CN104363449B - 图像预测方法及相关装置 - Google Patents

图像预测方法及相关装置 Download PDF

Info

Publication number
CN104363449B
CN104363449B CN201410606914.2A CN201410606914A CN104363449B CN 104363449 B CN104363449 B CN 104363449B CN 201410606914 A CN201410606914 A CN 201410606914A CN 104363449 B CN104363449 B CN 104363449B
Authority
CN
China
Prior art keywords
template
pixel region
pixel
image block
mrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410606914.2A
Other languages
English (en)
Other versions
CN104363449A (zh
Inventor
黄鑫
张红
杨海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201410606914.2A priority Critical patent/CN104363449B/zh
Publication of CN104363449A publication Critical patent/CN104363449A/zh
Priority to EP15855669.6A priority patent/EP3177013B1/en
Priority to BR112017006017-5A priority patent/BR112017006017B1/pt
Priority to JP2017517280A priority patent/JP6387582B2/ja
Priority to PCT/CN2015/077272 priority patent/WO2016065872A1/zh
Priority to KR1020177007436A priority patent/KR102005007B1/ko
Priority to US15/454,356 priority patent/US10536692B2/en
Application granted granted Critical
Publication of CN104363449B publication Critical patent/CN104363449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明实施例公开了一种图像预测方法和相关装置。一种图像预测方法包括：确定与当前模板的匹配度符合预设条件的N个模板，其中，所述当前模板为当前图像块对应的模板，所述N为正整数，所述N个模板从所述当前图像块的参考图像中搜索得到；确定所述N个模板中的每个模板所对应图像块内像素区域的权重，所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同；基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像素点。本发明实施例的技术方案有利于提高图像预测的准确度。

Description

图像预测方法及相关装置
技术领域
本发明涉及图像处理技术领域，具体涉及图像预测方法和相关装置。
背景技术
随着光电采集技术的发展及不断增长的高清数字视频需求，视频数据量越来越大，有限异构的传输带宽、多样化的视频应用不断地对视频编码效率提出了更高的需求，高性能视频编码(英文：high efficient video coding，缩写：HEVC)标准的制定工作因需启动。
视频编码压缩的基本原理是利用空域、时域和码字之间的相关性，尽可能去除冗余。目前流行做法是采用基于块的混合视频编码框架，通过预测(包括帧内预测和帧间预测)、变换、量化、熵编码等操作实现视频编码压缩。帧内预测技术利用当前图像块的空间像素信息去除当前图像块的冗余信息以获得残差；帧间预测技术利用当前图像邻近的已编码或已解码图像像素信息去除当前图像块的冗余信息以获得残差。这种编码框架显示了很强生命力，HEVC也仍沿用这种基于块的混合视频编码框架。
现有技术提供了一种基于非局部均值滤波技术来对当前图像块进行像素值预测。在从参考图像中搜索到与当前模板匹配的所有模板之后，利用该多个模板对应的图像块的像素值的平均值得到当前图像块预测像素值。然而测试和实践过程中发现，现有预测技术的预测准确度有时候较低，进而很可能影响到视频编解码质量。
发明内容
本发明实施例提供一种图像预测方法和相关装置，以期提高图像预测的准确度。
本发明第一方面提供一种图像预测方法，包括：
确定与当前模板的匹配度符合预设条件的N个模板，其中，所述当前模板为当前图像块对应的模板，所述N为正整数，所述N个模板从所述当前图像块的参考图像中搜索得到；
确定所述N个模板中的每个模板所对应图像块内像素区域的权重，所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同；
基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像素点。
结合第一方面，在第一方面的第一种可能的实施方式中，所述确定所述N个模板中的每个模板所对应图像块内像素区域的权重，包括：
根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重；
基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重。
结合第一方面的第一种可能的实施方式，在第一方面的第二种可能的实施方式中，所述N个模板中的每个模板与对应图像块内像素区域的相似性参数包括：所述N个模板中的每个模板中的确定像素区域与对应图像块内像素区域的距离，和/或，所述N个模板中的每个模板中的确定像素区域的像素值的均值或加权均值与对应图像块内像素区域的像素值的比值或绝对差值。
结合第一方面的第一种可能的实施方式或第一方面的第二种可能的实施方式，在第一方面的第三种可能的实施方式中，所述根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重，包括：基于如下公式，根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重：
其中，所述E(Tx,Tm)表示所述当前模板Tx与所述N个模板中的模板Tm之间的失真，所述S表示所述当前模板Tx内像素区域的数量，所述σ表示模板缩放因子，所述a和所述σ为大于0的实数，所述wm表示模板Tm的权重，所述模板Tm为所述N个模板中的任意一个模板。
结合第一方面的第一至三种中的任意一种可能的实施方式，在第一方面的第四种可能的实施方式中，所述基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重，包括：基于如下公式，基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重：
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述R(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm之间的相似性参数，所述表示R(i,j)对应的像素区域缩放因子。
结合第一方面的第四可能的实施方式，在第一方面的第五种可能的实施方式中，所述与R(i,j)之间具有线性关系或非线性关系。
结合第一方面的第五可能的实施方式，在第一方面的第六种可能的实施方式中，所述与R(i,j)之间的线性关系为：所述其中，所述β为缩放系数，所述β为大于0的实数。
结合第一方面的第五可能的实施方式，在第一方面的第七种可能的实施方式中，所述与R(i,j)之间的非线性关系为：所述的取值基于所述R(i,j)所落入的距离区间确定，其中，不同距离区间对应不同取值的像素区域缩放因子。
结合第一方面的第七可能的实施方式，在第一方面的第八种可能的实施方式中，所述与R(i,j)之间的非线性关系为：
其中，所述a1小于所述a2，所述a2小于所述a3，所述b1小于所述b2；所述a1、a2、a3、b1和b2为大于0的实数；
或者，
所述与R(i,j)之间的非线性关系为：
其中，所述a4小于所述a5，所述a5小于所述a6，所述a6小于所述a7，所述b3小于所述b4，所述b4小于所述b5；所述a4、a5、a6、b7、b3、b4和b5为大于0的实数；
或者，
所述与R(i,j)之间的非线性关系为：
其中，所述a8小于所述a9，所述a8、a9和b6为大于0的实数。
结合第一方面的第四至八种中的任意一种可能的实施方式，在第一方面的第九种可能的实施方式中，
所述R(i,j)等于d(i,j)或e(i,j)，其中，所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm中的确定像素区域之间的距离，e(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值与所述模板Tm的平均像素值或加权平均像素值之间的比值或绝对差值。
结合第一方面的第九可能的实施方式，在第一方面的第十种可能的实施方式中，所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm左上角像素点的距离，或所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，其中，所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，小于或等于所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的除所述像素点y之外的任意一个像素点的距离。
结合第一方面或第一方面的第一至十种中的任意一种可能的实施方式，在第一方面的第十一种可能的实施方式中，
所述基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值包括：利用如下公式，基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值：
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述pm(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值，所述pre(i,j)表示所述当前图像块中的坐标为(i,j)的像素区域的预测像素值。
结合第一方面或第一方面的第一至十一种中的任意一种可能的实施方式，在第一方面的第十二种可能的实施方式中，所述确定与当前模板的匹配度符合预设条件的N个模板包括：
确定与当前模板的匹配度最高的M个模板；从所述M个模板中确定符合预设条件的N个模板，所述N小于所述M。
结合第一方面的第十二可能的实施方式，在第一方面的第十三种可能的实施方式中，所述从所述M个模板中确定符合预设条件的N个模板，包括：从所述M个模板中确定像素值与所述当前模板的像素值之间的失真小于或等于阈值的N个模板。
结合第一方面的第十二可能的实施方式，在第一方面的第十四种可能的实施方式中，
所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真，或者，所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真的调整值。
结合第一方面或者第一方面的第一至十四种中的任意一种可能的实施方式，在第一方面的第十五种可能的实施方式中，
所述图像预测方法应用于视频编码过程中或所述图像预测方法应用于视频解码过程中。
本发明第二方面提供一种图像预测装置，包括：
第一确定单元，用于确定与当前模板的匹配度符合预设条件的N个模板，其中，所述当前模板为当前图像块对应的模板，所述N为正整数，所述N个模板从所述当前图像块的参考图像中搜索得到；
第二确定单元，用于确定所述N个模板中的每个模板所对应图像块内像素区域的权重，所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同；
预测单元，用于基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像素点。
结合第二方面，在第二方面的第一种可能的实施方式中，所述第二确定单元包括：
第一确定子单元，用于根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重；
第二确定子单元，用于基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重。
结合第二方面的第一种可能的实施方式，在第二方面的第二种可能的实施方式中，所述N个模板中的每个模板与对应图像块内像素区域的相似性参数包括：所述N个模板中的每个模板中的确定像素区域与对应图像块内像素区域的距离，和/或，所述N个模板中的每个模板中的确定像素区域的像素值的均值或加权均值与对应图像块内像素区域的像素值的比值或绝对差值。
结合第二方面的第一种可能的实施方式或第二方面的第二种可能的实施方式，在第二方面的第三种可能的实施方式中，
所述第一确定子单元具体用于：基于如下公式，根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重：
其中，所述E(Tx,Tm)表示所述当前模板Tx与所述N个模板中的模板Tm之间的失真，所述S表示所述当前模板Tx内像素区域的数量，所述σ表示模板缩放因子，所述a和所述σ为大于0的实数，所述wm表示模板Tm的权重，所述模板Tm为所述N个模板中的任意一个模板。
结合第二方面的第一至三种中的任意一种可能的实施方式，在第二方面的第四种可能的实施方式中，所述第二确定单元具体用于：基于如下公式，基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重：
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述R(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm之间的相似性参数，所述表示R(i,j)对应的像素区域缩放因子。
结合第二方面的第四可能的实施方式，在第二方面的第五种可能的实施方式中，所述与R(i,j)之间具有线性关系或非线性关系。
结合第二方面的第五可能的实施方式，在第二方面的第六种可能的实施方式中，所述与R(i,j)之间的线性关系为：所述其中，所述β为缩放系数，所述β为大于0的实数。
结合第二方面的第五可能的实施方式，在第二方面的第七种可能的实施方式中，
所述与R(i,j)之间的非线性关系为：所述的取值基于所述R(i,j)所落入的距离区间确定，其中，不同距离区间对应不同取值的像素区域缩放因子。
结合第二方面的第七可能的实施方式，在第二方面的第八种可能的实施方式中，所述与R(i,j)之间的非线性关系为：
其中，所述a1小于所述a2，所述a2小于所述a3，所述b1小于所述b2；所述a1、a2、a3、b1和b2为大于0的实数；
或者，
所述与R(i,j)之间的非线性关系为：
其中，所述a4小于所述a5，所述a5小于所述a6，所述a6小于所述a7，所述b3小于所述b4，所述b4小于所述b5；所述a4、a5、a6、a7、b3、b4和b5为大于0的实数；
或者，
所述与R(i,j)之间的非线性关系为：
其中，所述a8小于所述a9，所述a8、a9和b6为大于0的实数。
结合第二方面的第四至八种中的任意一种可能的实施方式，在第二方面的第九种可能的实施方式中，所述R(i,j)等于d(i,j)或e(i,j)，其中，所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm中的确定像素区域之间的距离，e(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值与所述模板Tm的平均像素值或加权平均像素值之间的比值或绝对差值。
结合第二方面的第九可能的实施方式，在第二方面的第十种可能的实施方式中，所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm左上角像素点的距离，或所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，其中，所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，小于或等于所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的除所述像素点y之外的任意一个像素点的距离。
结合第二方面或第二方面的第一至十种中的任意一种可能的实施方式，在第二方面的第十一种可能的实施方式中，所述预测单元具体用于：利用如下公式，基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值：
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述pm(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值，所述pre(i,j)表示所述当前图像块中的坐标为(i,j)的像素区域的预测像素值。
结合第二方面或第二方面的第一至十一种中的任意一种可能的实施方式，在第二方面的第十二种可能的实施方式中，所述第一确定单元具体用于：确定与当前模板的匹配度最高的M个模板；从所述M个模板中确定符合预设条件的N个模板，所述N小于所述M。
结合第二方面的第十二可能的实施方式，在第二方面的第十三种可能的实施方式中，
所述第一确定单元具体用于：确定与当前模板的匹配度最高的M个模板；从所述M个模板中确定像素值与所述当前模板的像素值之间的失真小于或等于阈值的N个模板。
结合第二方面的第十二可能的实施方式，在第二方面的第十四种可能的实施方式中，
所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真，或者，所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真的调整值。
结合第二方面或者第二方面的第一至十四种中的任意一种可能的实施方式，在第二方面的第十五种可能的实施方式中，
所述图像预测装置应用于视频编码装置中或所述图像预测装置应用于视频解码装置中。
可以看出，本发明实施例的方案中，在确定与当前模板的匹配度符合预设条件的N个模板之后，确定所述N个模板中的每个模板所对应图像块内像素区域的权重，基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像素点。由于确定出的所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同，即同一模板所对应一图像块内的至少两个像素区域的权重不同，摒弃了传统技术中所有模板所对应图像块内的各像素区域权重均相同(权重均等于1)，由于像素区域的权重有了一定差异，这样更可能符合实际相关性的差异，进而有利于准确的预测当前图像块内像素区域的像素值，进而有利于提高视频编解码性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1-a是本发明实施例提供的一种与帧内预测对应的预测单元划分方式的示意图；
图1-b是本发明实施例提供的几种与帧间预测对应的预测单元划分方式的示意图；
图1-c是本发明实施例提供的一种图像预测方法的流程示意图；
图1-d是本发明实施例提供的一种图像块和模板之间的位置关系的示意图；
图2是本发明实施例提供的另一种图像预测方法的流程示意图；
图3是本发明实施例提供的另一种图像预测方法的流程示意图；
图4是本发明实施例提供的另一种图像预测方法的流程示意图；
图5是本发明实施例提供的另一种图像预测装置的示意图；
图6是本发明实施例提供的另一种图像预测装置的示意图；
图7是本发明实施例提供的另一种图像预测装置的示意图。
具体实施方式
本发明实施例提供一种图像预测方法和相关装置，以期提高图像预测的准确度。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
以下分别进行详细说明。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面先对本发明实施例可能涉及的一些概念进行介绍。
在多数的编码框架中，视频序列包括一系列图像(英文：picture)，图像被进一步划分为切片(英文：slice)，slice再被划分为块(英文：block)。视频编码以块为单位，可从picture的左上角位置开始从左到右从上到下一行一行进行编码处理。在一些新的视频编码标准中，block的概念被进一步扩展。在H.264标准中有宏块(英文：macro block，缩写：MB)，MB可进一步划分成多个可用于预测编码的预测块(英文：partition)。其中，在HEVC标准中，采用编码单元(英文：coding unit，缩写：CU)，预测单元(英文：prediction unit，缩写：PU)和变换单元(英文：transformunit，缩写：TU)等基本概念，从功能上划分了多种Unit，并采用全新的基于树结构进行描述。比如CU可以按照四叉树进行划分为更小的CU，而更小的CU还可以继续划分，从而形成一种四叉树结构。对于PU和TU也有类似的树结构。无论CU，PU还是TU，本质上都属于块block的概念，CU类似于宏块MB或编码块，是对编码图像进行划分和编码的基本单元。PU可对应预测块，是预测编码的基本单元。对CU按照划分模式进一步划分成多个PU。TU可以对应变换块，是对预测残差进行变换的基本单元。高性能视频编码(英文：high efficiencyvideo coding，缩写：HEVC)标准中则可以把它们统称之为编码树块(英文：coding treeblock，缩写：CTB)等等。
在HEVC标准中，编码单元的大小可包括64×64，32×32，16×16和8×8等四个级别，每个级别的编码单元按照帧内预测和帧间预测由可以划分为不同大小的预测单元。其中，例如图1-a和图1-b所示，图1-a举例示出了一种与帧内预测对应的预测单元划分方式，图1-b举例示出了几种与帧间预测对应的预测单元划分方式。
在视频编码技术发展演进过程中，视频编码专家们想了各种方法来利用相邻编解码块之间的时空相关性来努力提高编码效率。其中，在H264/高级视频编码(英文：advancedvideo coding，缩写：AVC)标准中，跳过模式(skip mode)和直接模式(directmode)成为提高编码效率的有效工具，在低码率时使用这两种编码模式的块能占到整个编码序列的一半以上。当使用跳过模式时，只需要在码流中传递一个跳过模式标记，就可以利用周边运动矢量推导得到当前图像块的运动矢量，根据该运动矢量来直接拷贝参考块的值作为当前图像块的重建值。此外，当使用直接模式时，编码器可以利用周边运动矢量推导得到当前图像块的运动矢量，根据该运动矢量直接拷贝参考块的值作为当前图像块的预测值，在编码端利用该预测值对当前图像块进行编码预测。正演进中的高性能视频编码(英文：high efficiency video coding，缩写：HEVC)标准中，通过引进一些新编码工具，进一步提高视频编码性能。融合编码(merge)模式和自适应运动矢量预测(英文：advancedmotion vectorprediction，缩写：AMVP)模式是两个重要的帧间预测工具。其中，融合编码(merge)利用当前编码块周边已编码块的运动信息(包括预测方向和运动矢量，参考图像索引)构造一个候选运动信息集合，通过比较，可选择出编码效率最高的候选运动信息作为当前编码块的运动信息，在参考图像中找到当前编码块的预测值，对当前编码块进行预测编码，同时，把表示选择来自哪个周边已编码块的运动信息的索引值写入码流。当使用自适应运动矢量预测模式时，利用周边已编码块的运动矢量作为当前编码块运动矢量的预测值，可以选定一个编码效率最高的运动矢量来预测当前编码块的运动矢量，并可把表示选定哪个周边运动矢量的索引值写入视频码流。
下面继续探讨本发明实施例的技术方案。
下面先介绍本发明实施例提供的图像预测方法，本发明实施例提供的图像预测方法的执行主体是视频编码装置或视频解码装置，其中，该视频编码装置或视频解码装置可以是任何需要输出或存储视频的装置，如笔记本电脑、平板电脑、个人电脑、手机或视频服务器等设备。
本发明图像预测方法的一个实施例，一种图像预测方法包括：确定与当前模板的匹配度符合预设条件的N个模板，其中，所述当前模板为当前图像块对应的模板，其中，所述N为正整数，其中，所述N个模板从所述当前图像块的参考图像中搜索得到；确定所述N个模板中的每个模板所对应图像块内像素区域的权重，所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同；基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像素点。
请参见图1-c，图1-c为本发明的一个实施例提供的一种图像预测方法的流程示意图。其中，图1-c举例所示，本发明的一个实施例提供的一种图像预测方法可包括：
101、确定与当前模板的匹配度符合预设条件的N个模板。
其中，所述当前模板为当前图像块对应的模板。所述N个模板从所述当前图像块的参考图像中搜索得到。所述N为正整数。
其中，例如所述N可等于1、2、3、4、5、7、9、12或其他值。
102、确定所述N个模板中的每个模板所对应图像块内像素区域的权重。
其中，所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同。
其中，本发明各实施例提及的像素区域包括至少一个像素点。也就是说像素区域可能是像素点或像素块，若像素区域为像素块，则像素区域的大小例如可为2*2、1*2、1*3、4*2、4*3、4*4或其他大小。
其中，所述N个模板中的每个模板对应一个不同的图像块，因此所述N个模板对应N个图像块。其中，模板的形状可能的L型或者其他形状。例如图1-d所示，图像块对应的模板可为该图像块周围相邻的L型像素区域。例如图1-d中的图像块x周围相邻L型像素区域Tx为图像块x对应的模板Tx，图像块m周围相邻L型像素区域Tm为图像块m对应的模板Tm，图像块m2周围相邻L型像素区域Tm2为图像块m2对应的模板Tm2。其中，图像块和该图像块对应的模板之间可以没有重叠区。
例如N个模板中的每个模板所对应图像块内像素区域的权重，可与所述N个模板中的每个模板与对应图像块内像素区域的相似性参数相关。其中，两个对象的相似性参数可用于表征两个对象的相似性。例如，所述N个模板中的模板Tm与图像块m内的像素区域w的相似性参数可用于表征模板Tm与图像块内的像素区域w之间的相似性。其中，图像块m为模板Tm对应的图像块。模板Tm可为所述N个模板中的任意一个模板。其中，像素区域w为图像块m中的任意一个像素区域。
具体举例，模板Tm与对应图像块m内的像素区域w的相似性参数例如可为像素区域w与模板Tm内的确定像素区域之间的距离；或可为该模板Tm中的确定像素区域的像素值的均值或加权均值与像素区域w的像素值的比值或者绝对差值。也就是说，模板Tm所对应的图像块m内的像素区域w的权重，可以与像素区域w与该模板Tm中的确定像素区域之间距离之间具有对应关系。或者所述N个模板中的模板Tm所对应图像块m内的像素区域w的权重，可与模板Tm中的确定像素区域的像素值的均值或加权均值与像素区域w的像素值的比值或绝对差值之间具有对应关系。
其中，图像块对应的模板是该图像块周围已重建像素中的一部分，与图像块有着对应关系，图像块对应的模板可用来代表图像块进行搜索和匹配。通过模板与图像块的对应关系，可以找到相匹配的模板对应的图像块用来做预测等操作。
可选的，在本发明的一些可能的实施方式中，上述模板Tm中的确定像素区域例如可以为模板Tm的左上角像素点、左上像素区域、左下角像素点、左下像素区域、右上角像素点、右上像素区域、右下角像素点、右下像素区域、中心像素区域、中心像素点或其他像素区域)。
其中，所述模板Tm的左上像素区域为所述模板Tm的左上角像素点或所述模板Tm中的包含所述模板Tm的左上角像素点的像素块；所述模板Tm的左下像素区域为所述模板Tm的左下角像素点或所述模板Tm中的包含所述模板Tm的左下角像素点的像素块；所述模板Tm的右上像素区域为所述模板Tm的右上角像素点或所述模板Tm中的包含所述模板Tm的右上角像素点的像素块；所述模板Tm的中心素区域为所述模板Tm的中心像素点或所述模板Tm中的包含所述模板Tm的中心像素点的像素块。
其中，像素区域w与模板Tm内的确定像素区域之间的距离例如可为像素区域w与模板Tm内的确定像素区域中的距离最近的两个像素点之间的距离，或者像素区域w与模板Tm内的确定像素区域之间的距离可为像素区域w中的任意一个像素点与模板Tm内的确定像素区域中的任意一个像素点之间的距离，或者像素区域w与模板Tm内的确定像素区域之间的距离可为像素区域w中的确定像素点(其中，像素区域w中的确定像素点可为像素区域w的左上角像素点、左下角像素点、右上角像素点、右下角像素点或中心像素点)与模板Tm内的确定像素区域(其中，模板Tm内的确定像素点例如为模板Tm的左上角像素点、左下角像素点、右上角像素点、右下角像素点或中心像素点)中的确定像素点之间的距离。当然亦可按照其他方式来计算像素区域w与模板Tm内的确定像素区域之间的距离。
103、基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值。
可以看出，本实施例图像预测方案中，在确定与当前模板的匹配度符合预设条件的N个模板之后，确定所述N个模板中的每个模板所对应图像块内像素区域的权重，基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像素点。由于确定出的所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同，即同一模板所对应一图像块内的至少两个像素区域的权重不同，摒弃了传统技术中所有模板所对应图像块内的各像素区域权重均相同(权重均等于1)，由于像素区域的权重有了一定差异，这样更可能符合实际相关性的差异，进而有利于准确的预测当前图像块内像素区域的像素值，进而有利于提高视频编解码性能。
可选的，在本发明一些可能实施方式中，所述确定与当前模板的匹配度符合预设条件的N个模板包括确定与当前模板的匹配度最高的N个模板；或确定与当前模板的匹配度最高的M个模板，从所述M个模板中确定符合预设条件的N个模板，所述N小于所述M。
例如，所述从所述M个模板中确定符合预设条件的N个模板包括：从所述M个模板中确定像素值与所述当前模板的像素值之间的失真小于或等于阈值的N个模板。举例来说，所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真，或者，所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真的调整值。当然，所述阈值也可以是其他预设的值。可以理解的是，通过引入筛选阈值有利于筛选出匹配度相对较差的模板不参与运算，有利于提高预测准确性且有利于降低运算复杂度。
其中，确定所述N个模板中的每个模板所对应图像块内像素区域的权重的方式可能是多种多样的。
举例来说，所述确定所述N个模板中的每个模板所对应图像块内像素区域的权重可包括：根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重；基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重。
可选的，在本发明的一些可能的实施方式中，所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，可以包括：所述N个模板中的每个模板中的确定像素区域与对应图像块内像素区域的距离，和/或，所述N个模板中的每个模板内像素区域的像素值的均值或加权均值与对应图像块内像素区域的像素值的比值或绝对差值。
可选的，在本发明一些可能实施方式中，所述根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重，可以包括：基于如下公式，根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重：
其中，所述表示所述当前模板Tx与所述N个模板中的模板Tm之间的失真，所述S表示所述当前模板Tx内像素区域的数量，所述σ表示模板缩放因子，所述a和所述σ为大于0的实数，所述wm表示模板Tm的权重，所述模板Tm为所述N个模板中的任意一个模板。当a取值如2、3或4等整数时，有利于简化运算复杂度。
可选的，在本发明的一些可能实施方式中，所述基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重，可以包括：基于如下公式，基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重：
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述R(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm之间的相似性参数，所述表示R(i,j)对应的像素区域缩放因子。
可选的，在本发明的一些可能实施方式中，所述与R(i,j)之间具有线性关系或非线性关系。
举例来说，所述与R(i,j)之间的线性关系为：
所述其中，所述β为缩放系数，所述β为大于0的实数。
举例来说，所述与R(i,j)之间的非线性关系为：所述的取值基于所述R(i,j)所落入的距离区间确定，其中，不同距离区间对应不同取值的像素区域缩放因子。
举例来说，所述与R(i,j)之间的非线性关系可为：
其中，所述a1小于所述a2，所述a2小于所述a3，所述b1小于所述b2；所述a1、a2、a3、b1和b2为大于0的实数。
例如a1＝0.3，a2＝0.5，a3＝1。例如b1＝4，b2＝8。
又举例来说，所述与R(i,j)之间的非线性关系可为：
其中，所述a4小于所述a5，所述a5小于所述a6，所述a6小于所述a7，所述b3小于所述b4，所述b4小于所述b5；所述a4、a5、a6、b7、b3、b4和b5为大于0的实数。
例如a4＝0.3，a5＝0.5，a6＝0.8，a6＝1。例如b3＝4，b4＝6，b5＝6。
又举例来说，所述与R(i,j)之间的非线性关系可为：
其中，所述a8小于所述a9，所述a8、a9和b6为大于0的实数。
例如a8＝0.5，a9＝1。例如b6＝5。
上述举例示出了与R(i,j)之间的非线性关系可分段函数关系，分段函数的分段数量可不限于上述举例的2段、2段或4段，当然也可以是更多数量的分段。
可选的，在本发明的一些可能实施方式中，所述R(i,j)例如可等于d(i,j)或者e(i,j)，其中，所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm中的确定像素区域之间的距离，e(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值与所述模板Tm的平均像素值或加权平均像素值之间的比值或绝对差值。
举例来说，所述d(i,j)可表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm左上角像素点的距离，或所述d(i,j)可表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，其中，所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，小于或等于所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的除所述像素点y之外的任意一个像素点的距离。
可选的，在本发明的一些可能实施方式中，所述基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值包括：利用如下公式，基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值：
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述pm(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值，所述pre(i,j)表示所述当前图像块中的坐标为(i,j)的像素区域的预测像素值。
其中，本实施例提供的所述图像预测方法可应用于视频编码过程中或可应用于视频解码过程中。
为便于更好的理解和实施本发明实施例的上述方案，下面结合更具体的应用场景进行进一步说明。
请参见图2，图2为本发明的另一个实施例提供的另一种图像预测方法的流程示意图。其中，图2举例所示，本发明的另一个实施例提供的另一种图像预测方法可包括：
201、确定与当前模板的匹配度最高的M个模板。
其中，M可以为设定值，也就是说，可从若干个候选模板中选择当前模板的匹配度最高的M个模板。例如可从10个候选模板中确定出与当前模板的匹配度最高的5个模板，当然这5个模板与当前模板的匹配度不一定相等，但是这5个模板中的任意一个模板与当前模板的匹配度，大于或等于除这5个模板外的其他任意一个候选模板与当前模板的匹配度。
其中，所述当前模板为当前图像块对应的模板。所述N个模板从所述当前图像块的参考图像中搜索得到。所述N为正整数。
其中，例如所述M可等于2、3、4、5、7、9、12或其他值。
202、从所述M个模板中确定符合预设条件的N个模板。
例如，所述从所述M个模板中确定符合预设条件的N个模板包括：从所述M个模板中确定像素值与所述当前模板的像素值之间的失真小于或等于阈值的N个模板。举例来说，所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真，或者，所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真的调整值。当然，所述阈值也可以是其他预设的值。可以理解的是，通过引入筛选阈值有利于筛选出匹配度相对较差的模板不参与运算，有利于提高预测准确性且有利于降低运算复杂度。
203、确定所述N个模板中的每个模板的权重。
例如可根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重
204、基于所述N个模板中的每个模板的权重，确定所述N个模板中的每个模板所对应图像块内像素区域的权重。
例如可基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重。
其中，所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同。
其中，本发明各实施例提及的像素区域包括至少一个像素点。也就是说像素区域可能是像素点或像素块，若像素区域为像素块，则像素区域的大小例如可为2*2、1*2、1*3、4*2、4*3、4*4或其他大小。
其中，所述N个模板中的每个模板对应一个不同的图像块，因此所述N个模板对应N个图像块。其中，模板的形状可能的L型或者其他形状。例如图1-d所示，图像块对应的模板可为该图像块周围相邻的L型像素区域。例如图1-d中的图像块x周围相邻L型像素区域Tx为图像块x对应的模板Tx，图像块m周围相邻L型像素区域Tm为图像块m对应的模板Tm，图像块m2周围相邻L型像素区域Tm2为图像块m2对应的模板Tm2。其中，图像块和该图像块对应的模板之间可以没有重叠区。
例如N个模板中的每个模板所对应图像块内像素区域的权重，可与所述N个模板中的每个模板与对应图像块内像素区域的相似性参数相关。其中，两个对象的相似性参数可用于表征两个对象的相似性。例如，所述N个模板中的模板Tm与图像块m内的像素区域w的相似性参数可用于表征模板Tm与图像块内的像素区域w之间的相似性。其中，图像块m为模板Tm对应的图像块。模板Tm可为所述N个模板中的任意一个模板。其中，像素区域w为图像块m中的任意一个像素区域。
具体举例，模板Tm与对应图像块m内的像素区域w的相似性参数例如可为像素区域w与模板Tm内的确定像素区域之间的距离；或可为该模板Tm中的确定像素区域的像素值的均值或加权均值与像素区域w的像素值的比值或者绝对差值。也就是说，模板Tm所对应的图像块m内的像素区域w的权重，可以与像素区域w与该模板Tm中的确定像素区域之间距离之间具有对应关系。或者所述N个模板中的模板Tm所对应图像块m内的像素区域w的权重，可与模板Tm中的确定像素区域的像素值的均值或加权均值与像素区域w的像素值的比值或绝对差值之间具有对应关系。
可选的，在本发明的一些可能的实施方式中，上述模板Tm中的确定像素区域例如可以为模板Tm的左上角像素点、左上像素区域、左下角像素点、左下像素区域、右上角像素点、右上像素区域、右下角像素点、右下像素区域、中心像素区域、中心像素点或其他像素区域)。
其中，所述模板Tm的左上像素区域为所述模板Tm的左上角像素点或所述模板Tm中的包含所述模板Tm的左上角像素点的像素块；所述模板Tm的左下像素区域为所述模板Tm的左下角像素点或所述模板Tm中的包含所述模板Tm的左下角像素点的像素块；所述模板Tm的右上像素区域为所述模板Tm的右上角像素点或所述模板Tm中的包含所述模板Tm的右上角像素点的像素块；所述模板Tm的中心素区域为所述模板Tm的中心像素点或所述模板Tm中的包含所述模板Tm的中心像素点的像素块。
其中，像素区域w与模板Tm内的确定像素区域之间的距离例如可为像素区域w与模板Tm内的确定像素区域中的距离最近的两个像素点之间的距离，或者像素区域w与模板Tm内的确定像素区域之间的距离可为像素区域w中的任意一个像素点与模板Tm内的确定像素区域中的任意一个像素点之间的距离，或者像素区域w与模板Tm内的确定像素区域之间的距离可为像素区域w中的确定像素点(其中，像素区域w中的确定像素点可为像素区域w的左上角像素点、左下角像素点、右上角像素点、右下角像素点或中心像素点)与模板Tm内的确定像素区域(其中，模板Tm内的确定像素点例如为模板Tm的左上角像素点、左下角像素点、右上角像素点、右下角像素点或中心像素点)中的确定像素点之间的距离。当然亦可按照其他方式来计算像素区域w与模板Tm内的确定像素区域之间的距离。
205、基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值。
可选的，在本发明的一些可能的实施方式中，所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，可以包括：所述N个模板中的每个模板中的确定像素区域与对应图像块内像素区域的距离，和/或，所述N个模板中的每个模板内像素区域的像素值的均值或加权均值与对应图像块内像素区域的像素值的比值或绝对差值。
可选的，在本发明一些可能实施方式中，所述根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重，可以包括：基于如下公式，根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重：
其中，所述表示所述当前模板Tx与所述N个模板中的模板Tm之间的失真，所述S表示所述当前模板Tx内像素区域的数量，所述σ表示模板缩放因子，所述a和所述σ为大于0的实数，所述wm表示模板Tm的权重，所述模板Tm为所述N个模板中的任意一个模板。当a取值如2、3或4等整数时，有利于简化运算复杂度。
可选的，在本发明的一些可能实施方式中，所述基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重，可以包括：基于如下公式，基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重：
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述R(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm之间的相似性参数，所述表示R(i,j)对应的像素区域缩放因子。
可选的，在本发明的一些可能实施方式中，所述与R(i,j)之间具有线性关系或非线性关系。
举例来说，所述与R(i,j)之间的线性关系为：
所述其中，所述β为缩放系数，所述β为大于0的实数。
举例来说，所述与R(i,j)之间的非线性关系为：所述的取值基于所述R(i,j)所落入的距离区间确定，其中，不同距离区间对应不同取值的像素区域缩放因子。
举例来说，所述与R(i,j)之间的非线性关系可为：
其中，所述a1小于所述a2，所述a2小于所述a3，所述b1小于所述b2；所述a1、a2、a3、b1和b2为大于0的实数；
又举例来说，所述与R(i,j)之间的非线性关系可为：
其中，所述a4小于所述a5，所述a5小于所述a6，所述a6小于所述a7，所述b3小于所述b4，所述b4小于所述b5；所述a4、a5、a6、b7、b3、b4和b5为大于0的实数；
又举例来说，所述与R(i,j)之间的非线性关系可为：
其中，所述a8小于所述a9，所述a8、a9和b6为大于0的实数。
上述举例示出了与R(i,j)之间的非线性关系可分段函数关系，分段函数的分段数量可不限于上述举例的2段、2段或4段，当然也可以是更多数量的分段。
可选的，在本发明的一些可能实施方式中，所述R(i,j)例如可等于d(i,j)或者e(i,j)，其中，所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm中的确定像素区域之间的距离，e(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值与所述模板Tm的平均像素值或加权平均像素值之间的比值或绝对差值。
举例来说，所述d(i,j)可表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm左上角像素点的距离，或所述d(i,j)可表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，其中，所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，小于或等于所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的除所述像素点y之外的任意一个像素点的距离。
可选的，在本发明的一些可能实施方式中，所述基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值包括：利用如下公式，基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值：
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述pm(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值，所述pre(i,j)表示所述当前图像块中的坐标为(i,j)的像素区域的预测像素值。
可以理解，对于坐标为(i,j)的像素区域，当像素区域包括多个像素点时(i,j)中的i和j具有一定取值范围而非定值。
其中，本实施例提供的所述图像预测方法可应用于视频编码过程中或可应用于视频解码过程中。
可以看出，本实施例图像预测方案中，确定与当前模板的匹配度最高的M个模板之后，进一步从M个模板中确定与当前模板的匹配度符合预设条件的N个模板，确定所述N个模板中的每个模板所对应图像块内像素区域的权重，基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像素点。由于确定出的所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同，即同一模板所对应一图像块内的至少两个像素区域的权重不同，摒弃了传统技术中所有模板所对应图像块内的各像素区域权重均相同(权重均等于1)，由于像素区域的权重有了一定差异，这样更可能符合实际相关性的差异，进而有利于准确的预测当前图像块内像素区域的像素值，进而有利于提高视频编解码性能。
请参见图3，图3为本发明的另一个实施例提供的一种视频编码方法的流程示意图。其中，图3举例所示，本发明的另一个实施例提供的另一种视频编码方法可包括：
301、视频编码装置确定与当前模板的匹配度最高的M个模板。
其中，M可以为设定值，也就是说，可从若干个候选模板中选择当前模板的匹配度最高的M个模板。例如可从10个候选模板中确定出与当前模板的匹配度最高的5个模板，当然这5个模板与当前模板的匹配度不一定相等，但是这5个模板中的任意一个模板与当前模板的匹配度，大于或等于除这5个模板外的其他任意一个候选模板与当前模板的匹配度。
其中，所述当前模板为当前图像块对应的模板。所述N个模板从所述当前图像块的参考图像中搜索得到。所述N为正整数。
其中，例如所述M可等于2、3、4、5、7、9、12或其他值。
302、视频编码装置从所述M个模板中确定符合预设条件的N个模板。
例如，所述从所述M个模板中确定符合预设条件的N个模板包括：从所述M个模板中确定像素值与所述当前模板的像素值之间的失真小于或等于阈值的N个模板。举例来说，所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真，或者，所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真的调整值。当然，所述阈值也可以是其他预设的值。可以理解的是，通过引入筛选阈值有利于筛选出匹配度相对较差的模板不参与运算，有利于提高预测准确性且有利于降低运算复杂度。
303、视频编码装置确定所述N个模板中的每个模板的权重。
例如可根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重
304、视频编码装置基于所述N个模板中的每个模板的权重，确定所述N个模板中的每个模板所对应图像块内像素区域的权重。
例如可基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重。
其中，所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同。
其中，本发明各实施例提及的像素区域包括至少一个像素点。也就是说像素区域可能是像素点或像素块，若像素区域为像素块，则像素区域的大小例如可为2*2、1*2、1*3、4*2、4*3、4*4或其他大小。
其中，所述N个模板中的每个模板对应一个不同的图像块，因此所述N个模板对应N个图像块。其中，模板的形状可能的L型或者其他形状。例如图1-d所示，图像块对应的模板可为该图像块周围相邻的L型像素区域。例如图1-d中的图像块x周围相邻L型像素区域Tx为图像块x对应的模板Tx，图像块m周围相邻L型像素区域Tm为图像块m对应的模板Tm，图像块m2周围相邻L型像素区域Tm2为图像块m2对应的模板Tm2。其中，图像块和该图像块对应的模板之间可以没有重叠区。
例如N个模板中的每个模板所对应图像块内像素区域的权重，可与所述N个模板中的每个模板与对应图像块内像素区域的相似性参数相关。其中，两个对象的相似性参数可用于表征两个对象的相似性。例如，所述N个模板中的模板Tm与图像块m内的像素区域w的相似性参数可用于表征模板Tm与图像块内的像素区域w之间的相似性。其中，图像块m为模板Tm对应的图像块。模板Tm可为所述N个模板中的任意一个模板。其中，像素区域w为图像块m中的任意一个像素区域。
具体举例，模板Tm与对应图像块m内的像素区域w的相似性参数例如可为像素区域w与模板Tm内的确定像素区域之间的距离；或可为该模板Tm中的确定像素区域的像素值的均值或加权均值与像素区域w的像素值的比值或者绝对差值。也就是说，模板Tm所对应的图像块m内的像素区域w的权重，可以与像素区域w与该模板Tm中的确定像素区域之间距离之间具有对应关系。或者所述N个模板中的模板Tm所对应图像块m内的像素区域w的权重，可与模板Tm中的确定像素区域的像素值的均值或加权均值与像素区域w的像素值的比值或绝对差值之间具有对应关系。
可选的，在本发明的一些可能的实施方式中，上述模板Tm中的确定像素区域例如可以为模板Tm的左上角像素点、左上像素区域、左下角像素点、左下像素区域、右上角像素点、右上像素区域、右下角像素点、右下像素区域、中心像素区域、中心像素点或其他像素区域)。
其中，所述模板Tm的左上像素区域为所述模板Tm的左上角像素点或所述模板Tm中的包含所述模板Tm的左上角像素点的像素块；所述模板Tm的左下像素区域为所述模板Tm的左下角像素点或所述模板Tm中的包含所述模板Tm的左下角像素点的像素块；所述模板Tm的右上像素区域为所述模板Tm的右上角像素点或所述模板Tm中的包含所述模板Tm的右上角像素点的像素块；所述模板Tm的中心素区域为所述模板Tm的中心像素点或所述模板Tm中的包含所述模板Tm的中心像素点的像素块。
其中，像素区域w与模板Tm内的确定像素区域之间的距离例如可为像素区域w与模板Tm内的确定像素区域中的距离最近的两个像素点之间的距离，或者像素区域w与模板Tm内的确定像素区域之间的距离可为像素区域w中的任意一个像素点与模板Tm内的确定像素区域中的任意一个像素点之间的距离，或者像素区域w与模板Tm内的确定像素区域之间的距离可为像素区域w中的确定像素点(其中，像素区域w中的确定像素点可为像素区域w的左上角像素点、左下角像素点、右上角像素点、右下角像素点或中心像素点)与模板Tm内的确定像素区域(其中，模板Tm内的确定像素点例如为模板Tm的左上角像素点、左下角像素点、右上角像素点、右下角像素点或中心像素点)中的确定像素点之间的距离。当然亦可按照其他方式来计算像素区域w与模板Tm内的确定像素区域之间的距离。
305、视频编码装置基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值。
可选的，在本发明的一些可能的实施方式中，所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，可以包括：所述N个模板中的每个模板中的确定像素区域与对应图像块内像素区域的距离，和/或，所述N个模板中的每个模板内像素区域的像素值的均值或加权均值与对应图像块内像素区域的像素值的比值或绝对差值。
可选的，在本发明一些可能实施方式中，所述根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重，可以包括：基于如下公式，根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重：
其中，所述表示所述当前模板Tx与所述N个模板中的模板Tm之间的失真，所述S表示所述当前模板Tx内像素区域的数量，所述σ表示模板缩放因子，所述a和所述σ为大于0的实数，所述wm表示模板Tm的权重，所述模板Tm为所述N个模板中的任意一个模板。当a取值如2、3或4等整数时，有利于简化运算复杂度。
可选的，在本发明的一些可能实施方式中，所述基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重，可以包括：基于如下公式，基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重：
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述R(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm之间的相似性参数，所述表示R(i,j)对应的像素区域缩放因子。
可选的，在本发明的一些可能实施方式中，所述与R(i,j)之间具有线性关系或非线性关系。
举例来说，所述与R(i,j)之间的线性关系为：
所述其中，所述β为缩放系数，所述β为大于0的实数。
举例来说，所述与R(i,j)之间的非线性关系为：所述的取值基于所述R(i,j)所落入的距离区间确定，其中，不同距离区间对应不同取值的像素区域缩放因子。
举例来说，所述与R(i,j)之间的非线性关系可为：
其中，所述a1小于所述a2，所述a2小于所述a3，所述b1小于所述b2；所述a1、a2、a3、b1和b2为大于0的实数；
又举例来说，所述与R(i,j)之间的非线性关系可为：
其中，所述a4小于所述a5，所述a5小于所述a6，所述a6小于所述a7，所述b3小于所述b4，所述b4小于所述b5；所述a4、a5、a6、b7、b3、b4和b5为大于0的实数；
又举例来说，所述与R(i,j)之间的非线性关系可为：
其中，所述a8小于所述a9，所述a8、a9和b6为大于0的实数。
上述举例示出了与R(i,j)之间的非线性关系可分段函数关系，分段函数的分段数量可不限于上述举例的2段、2段或4段，当然也可以是更多数量的分段。
可选的，在本发明的一些可能实施方式中，所述R(i,j)例如可等于d(i,j)或者e(i,j)，其中，所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm中的确定像素区域之间的距离，e(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值与所述模板Tm的平均像素值或加权平均像素值之间的比值或绝对差值。
举例来说，所述d(i,j)可表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm左上角像素点的距离，或所述d(i,j)可表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，其中，所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，小于或等于所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的除所述像素点y之外的任意一个像素点的距离。
可选的，在本发明的一些可能实施方式中，所述基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值包括：利用如下公式，基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值：
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述pm(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值，所述pre(i,j)表示所述当前图像块中的坐标为(i,j)的像素区域的预测像素值。
可以理解，对于坐标为(i,j)的像素区域，当像素区域包括多个像素点时(i,j)中的i和j具有一定取值范围而非定值。
306、视频编码装置利用所述当前图像块内像素区域的原始像素值和当前图像块内像素区域的预测像素值得到当前图像块的预测残差。
307、视频编码装置将当前图像块的预测残差写入视频码流。
其中，本实施例提供的所述图像预测方法可应用于视频编码过程中或可应用于视频解码过程中。
可以看出，本实施例图像编码方案中，确定与当前模板的匹配度最高的M个模板之后，进一步从M个模板中确定与当前模板的匹配度符合预设条件的N个模板，确定所述N个模板中的每个模板所对应图像块内像素区域的权重，基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像素点。由于确定出的所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同，即同一模板所对应一图像块内的至少两个像素区域的权重不同，摒弃了传统技术中所有模板所对应图像块内的各像素区域权重均相同(权重均等于1)，由于像素区域的权重有了一定差异，这样更可能符合实际相关性的差异，进而有利于准确的预测当前图像块内像素区域的像素值，进而有利于提高视频编解码性能。
请参见图4，图4为本发明的另一个实施例提供的一种视频解码方法的流程示意图。其中，图4举例所示，本发明的另一个实施例提供的另一种视频解码方法可包括：
401、视频解码装置确定与当前模板的匹配度最高的M个模板。
其中，M可以为设定值，也就是说，可从若干个候选模板中选择当前模板的匹配度最高的M个模板。例如可从10个候选模板中确定出与当前模板的匹配度最高的5个模板，当然这5个模板与当前模板的匹配度不一定相等，但是这5个模板中的任意一个模板与当前模板的匹配度，大于或等于除这5个模板外的其他任意一个候选模板与当前模板的匹配度。
其中，所述当前模板为当前图像块对应的模板。所述N个模板从所述当前图像块的参考图像中搜索得到。所述N为正整数。
其中，例如所述M可等于2、3、4、5、7、9、12或其他值。
402、视频解码装置从所述M个模板中确定符合预设条件的N个模板。
例如，所述从所述M个模板中确定符合预设条件的N个模板包括：从所述M个模板中确定像素值与所述当前模板的像素值之间的失真小于或等于阈值的N个模板。举例来说，所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真，或者，所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真的调整值。当然，所述阈值也可以是其他预设的值。可以理解的是，通过引入筛选阈值有利于筛选出匹配度相对较差的模板不参与运算，有利于提高预测准确性且有利于降低运算复杂度。
403、视频解码装置确定所述N个模板中的每个模板的权重。
例如可根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重。
404、视频解码装置基于所述N个模板中的每个模板的权重，确定所述N个模板中的每个模板所对应图像块内像素区域的权重。
例如可基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重。
其中，所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同。
其中，本发明各实施例提及的像素区域包括至少一个像素点。也就是说像素区域可能是像素点或像素块，若像素区域为像素块，则像素区域的大小例如可为2*2、1*2、1*3、4*2、4*3、4*4或其他大小。
其中，所述N个模板中的每个模板对应一个不同的图像块，因此所述N个模板对应N个图像块。其中，模板的形状可能的L型或者其他形状。例如图1-d所示，图像块对应的模板可为该图像块周围相邻的L型像素区域。例如图1-d中的图像块x周围相邻L型像素区域Tx为图像块x对应的模板Tx，图像块m周围相邻L型像素区域Tm为图像块m对应的模板Tm，图像块m2周围相邻L型像素区域Tm2为图像块m2对应的模板Tm2。其中，图像块和该图像块对应的模板之间可以没有重叠区。
例如N个模板中的每个模板所对应图像块内像素区域的权重，可与所述N个模板中的每个模板与对应图像块内像素区域的相似性参数相关。其中，两个对象的相似性参数可用于表征两个对象的相似性。例如，所述N个模板中的模板Tm与图像块m内的像素区域w的相似性参数可用于表征模板Tm与图像块内的像素区域w之间的相似性。其中，图像块m为模板Tm对应的图像块。模板Tm可为所述N个模板中的任意一个模板。其中，像素区域w为图像块m中的任意一个像素区域。
具体举例，模板Tm与对应图像块m内的像素区域w的相似性参数例如可为像素区域w与模板Tm内的确定像素区域之间的距离；或可为该模板Tm中的确定像素区域的像素值的均值或加权均值与像素区域w的像素值的比值或者绝对差值。也就是说，模板Tm所对应的图像块m内的像素区域w的权重，可以与像素区域w与该模板Tm中的确定像素区域之间距离之间具有对应关系。或者所述N个模板中的模板Tm所对应图像块m内的像素区域w的权重，可与模板Tm中的确定像素区域的像素值的均值或加权均值与像素区域w的像素值的比值或绝对差值之间具有对应关系。
可选的，在本发明的一些可能的实施方式中，上述模板Tm中的确定像素区域例如可以为模板Tm的左上角像素点、左上像素区域、左下角像素点、左下像素区域、右上角像素点、右上像素区域、右下角像素点、右下像素区域、中心像素区域、中心像素点或其他像素区域)。
其中，所述模板Tm的左上像素区域为所述模板Tm的左上角像素点或所述模板Tm中的包含所述模板Tm的左上角像素点的像素块；所述模板Tm的左下像素区域为所述模板Tm的左下角像素点或所述模板Tm中的包含所述模板Tm的左下角像素点的像素块；所述模板Tm的右上像素区域为所述模板Tm的右上角像素点或所述模板Tm中的包含所述模板Tm的右上角像素点的像素块；所述模板Tm的中心素区域为所述模板Tm的中心像素点或所述模板Tm中的包含所述模板Tm的中心像素点的像素块。
其中，像素区域w与模板Tm内的确定像素区域之间的距离例如可为像素区域w与模板Tm内的确定像素区域中的距离最近的两个像素点之间的距离，或者像素区域w与模板Tm内的确定像素区域之间的距离可为像素区域w中的任意一个像素点与模板Tm内的确定像素区域中的任意一个像素点之间的距离，或者像素区域w与模板Tm内的确定像素区域之间的距离可为像素区域w中的确定像素点(其中，像素区域w中的确定像素点可为像素区域w的左上角像素点、左下角像素点、右上角像素点、右下角像素点或中心像素点)与模板Tm内的确定像素区域(其中，模板Tm内的确定像素点例如为模板Tm的左上角像素点、左下角像素点、右上角像素点、右下角像素点或中心像素点)中的确定像素点之间的距离。当然亦可按照其他方式来计算像素区域w与模板Tm内的确定像素区域之间的距离。
405、视频解码装置基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值。
可选的，在本发明的一些可能的实施方式中，所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，可以包括：所述N个模板中的每个模板中的确定像素区域与对应图像块内像素区域的距离，和/或，所述N个模板中的每个模板内像素区域的像素值的均值或加权均值与对应图像块内像素区域的像素值的比值或绝对差值。
可选的，在本发明一些可能实施方式中，所述根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重，可以包括：基于如下公式，根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重：
其中，所述表示所述当前模板Tx与所述N个模板中的模板Tm之间的失真，所述S表示所述当前模板Tx内像素区域的数量，所述σ表示模板缩放因子，所述a和所述σ为大于0的实数，所述wm表示模板Tm的权重，所述模板Tm为所述N个模板中的任意一个模板。当a取值如2、3或4等整数时，有利于简化运算复杂度。
可选的，在本发明的一些可能实施方式中，所述基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重，可以包括：基于如下公式，基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重：
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述R(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm之间的相似性参数，所述表示R(i,j)对应的像素区域缩放因子。
可选的，在本发明的一些可能实施方式中，所述与R(i,j)之间具有线性关系或非线性关系。
举例来说，所述与R(i,j)之间的线性关系为：
所述其中，所述β为缩放系数，所述β为大于0的实数。
举例来说，所述与R(i,j)之间的非线性关系为：所述的取值基于所述R(i,j)所落入的距离区间确定，其中，不同距离区间对应不同取值的像素区域缩放因子。
举例来说，所述与R(i,j)之间的非线性关系可为：
其中，所述a1小于所述a2，所述a2小于所述a3，所述b1小于所述b2；所述a1、a2、a3、b1和b2为大于0的实数；
又举例来说，所述与R(i,j)之间的非线性关系可为：
其中，所述a4小于所述a5，所述a5小于所述a6，所述a6小于所述a7，所述b3小于所述b4，所述b4小于所述b5；所述a4、a5、a6、b7、b3、b4和b5为大于0的实数；
又举例来说，所述与R(i,j)之间的非线性关系可为：
其中，所述a8小于所述a9，所述a8、a9和b6为大于0的实数。
上述举例示出了与R(i,j)之间的非线性关系可分段函数关系，分段函数的分段数量可不限于上述举例的2段、2段或4段，当然也可以是更多数量的分段。
可选的，在本发明的一些可能实施方式中，所述R(i,j)例如可等于d(i,j)或者e(i,j)，其中，所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm中的确定像素区域之间的距离，e(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值与所述模板Tm的平均像素值或加权平均像素值之间的比值或绝对差值。
举例来说，所述d(i,j)可表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm左上角像素点的距离，或所述d(i,j)可表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，其中，所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，小于或等于所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的除所述像素点y之外的任意一个像素点的距离。
可选的，在本发明的一些可能实施方式中，所述基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值包括：利用如下公式，基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值：
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述pm(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值，所述pre(i,j)表示所述当前图像块中的坐标为(i,j)的像素区域的预测像素值。
可以理解，对于坐标为(i,j)的像素区域，当像素区域包括多个像素点时(i,j)中的i和j具有一定取值范围而非定值。
406、视频解码装置解码视频码流得到当前图像块的预测残差。
407、视频解码装置利用当前图像块的预测像素值和当前图像块的预测残差对当前图像块进行重建。
可以看出，本实施例图像解码方案中，确定与当前模板的匹配度最高的M个模板之后，进一步从M个模板中确定与当前模板的匹配度符合预设条件的N个模板，确定所述N个模板中的每个模板所对应图像块内像素区域的权重，基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像素点。由于确定出的所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同，即同一模板所对应一图像块内的至少两个像素区域的权重不同，摒弃了传统技术中所有模板所对应图像块内的各像素区域权重均相同(权重均等于1)，由于像素区域的权重有了一定差异，这样更可能符合实际相关性的差异，进而有利于准确的预测当前图像块内像素区域的像素值，进而有利于提高视频编解码性能。
在一些测试条件下实施上述方案的得出了如下一些性能提升。
在条件1下，即从候选模板中直接确定符合条件的N个模板，所述与R(i,j)之间具有线性关系(如)的应用场景下，各色彩分量对于的编码效率提升如下：Y-8.3％，U-7.8％，V-7.5％。
在条件2下，即从候选模板中直接确定符合条件的N个模板，所述与R(i,j)之间具有分段函数关系的应用场景下，各色彩分量对于的编码效率提升如下：Y-8.1％，U-7.4％，V-7.5％。
在条件3下，即从候选模板中先确定M个模板，再从M个模板中确定符合条件的N个模板，所述与R(i,j)之间具有线性关系(如)的应用场景下，
各色彩分量对于的编码效率提升如下：Y-8.5％，U-8.0％，V-7.7％。
其中，基于ClassF序列上测试的率失真性能提升效果如下表所示。
条件1 条件2 条件3
BasketballDrillText -2.9％ -3.3％ -3.3％
ChinaSpeed -4.0％ -3.6％ -4.2％
SlideEditing -19.2％ -18.5％ -19.4％
SlideShow -7.0％ -6.9％ -7.1％
ClassF序列平均 -8.3％ -8.1％ -8.5％
可以看出，本发明实施例的方案在测试条件下，可以获得编码效率和率失真性能的较大提升。
下面还提供用于实施上述方案的相关装置。
参见图5，本发明实施例还提供一种图像预测装置500，可包括：
其中，第一确定单元510，用于确定与当前模板的匹配度符合预设条件的N个模板，其中，所述当前模板为当前图像块对应的模板，所述N个模板从所述当前图像块的参考图像中搜索得到，所述N为正整数。
第二确定单元520，用于确定所述N个模板中的每个模板所对应图像块内像素区域的权重，所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同。
预测单元530，用于基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像素点。
可选的，在本发明的一些可能实施方式中，
所述第二确定单元520包括：
第一确定子单元，用于根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重；
第二确定子单元，用于基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重。
可选的，在本发明的一些可能实施方式中，所述N个模板中的每个模板与对应图像块内像素区域的相似性参数包括：所述N个模板中的每个模板中的确定像素区域与对应图像块内像素区域的距离，和/或，所述N个模板中的每个模板中的确定像素区域的像素值的均值或加权均值与对应图像块内像素区域的像素值的比值或绝对差值。
可选的，在本发明的一些可能实施方式中，所述第一确定子单元具体用于基于如下公式，根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重：
其中，所述E(Tx,Tm)表示所述当前模板Tx与所述N个模板中的模板Tm之间的失真，所述S表示所述当前模板Tx内像素区域的数量，所述σ表示模板缩放因子，所述a和所述σ为大于0的实数，所述wm表示模板Tm的权重，所述模板Tm为所述N个模板中的任意一个模板。
可选的，在本发明的一些可能实施方式中，
所述第二确定单元具体用于：基于如下公式，基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重：
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述R(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm之间的相似性参数，所述表示R(i,j)对应的像素区域缩放因子。
可选的，在本发明的一些可能实施方式中，所述与R(i,j)之间具有线性关系或非线性关系。
可选的，在本发明的一些可能实施方式中，所述与R(i,j)之间的线性关系为：所述其中，所述β为缩放系数，所述β为大于0的实数。
可选的，在本发明的一些可能实施方式中，所述与R(i,j)之间的非线性关系为：所述的取值基于所述R(i,j)所落入的距离区间确定，其中，不同距离区间对应不同取值的像素区域缩放因子。
可选的，在本发明的一些可能实施方式中，所述与R(i,j)之间的非线性关系为：
其中，所述a1小于所述a2，所述a2小于所述a3，所述b1小于所述b2；所述a1、a2、a3、b1和b2为大于0的实数；
或者，
所述与R(i,j)之间的非线性关系为：
其中，所述a4小于所述a5，所述a5小于所述a6，所述a6小于所述a7，所述b3小于所述b4，所述b4小于所述b5；所述a4、a5、a6、a7、b3、b4和b5为大于0的实数；
或者，
所述与R(i,j)之间的非线性关系为：
其中，所述a8小于所述a9，所述a8、a9和b6为大于0的实数。
可选的，在本发明的一些可能实施方式中，所述R(i,j)等于d(i,j)或e(i,j)，其中，所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm中的确定像素区域之间的距离，e(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值与所述模板Tm的平均像素值或加权平均像素值之间的比值或绝对差值。
可选的，在本发明的一些可能实施方式中，所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm左上角像素点的距离，或所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，其中，所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，小于或等于所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的除所述像素点y之外的任意一个像素点的距离。
可选的，在本发明的一些可能实施方式中，其特征在于，所述预测单元具体用于：利用如下公式，基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值：
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述pm(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值，所述pre(i,j)表示所述当前图像块中的坐标为(i,j)的像素区域的预测像素值。
可选的，在本发明一些可能实施方式中，所述第一确定单元具体用于：确定与当前模板的匹配度最高的M个模板；从所述M个模板中确定符合预设条件的N个模板，所述N小于所述M。
可选的，在本发明的一些可能实施方式中，所述第一确定单元具体用于：确定与当前模板的匹配度最高的M个模板；从所述M个模板中确定像素值与所述当前模板的像素值之间的失真小于或等于阈值的N个模板。
可选的，在本发明的一些可能实施方式中，所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真，或者，所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真的调整值。
可选的，在本发明的一些可能实施方式中，所述图像预测装置应用于视频编码装置中或所述图像预测装置应用于视频解码装置中。
可以理解的是，本实施例的图像预测装置500的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。图像预测装置500可为任何需要输出、播放视频的装置，如笔记本电脑，平板电脑、个人电脑、手机等设备。
可以看出，本实施例图像预测装置500在确定与当前模板的匹配度符合预设条件的N个模板之后，确定所述N个模板中的每个模板所对应图像块内像素区域的权重，基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像素点。由于确定出的所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同，即同一模板所对应一图像块内的至少两个像素区域的权重不同，摒弃了传统技术中所有模板所对应图像块内的各像素区域权重均相同(权重均等于1)，由于像素区域的权重有了一定差异，这样更可能符合实际相关性的差异，进而有利于准确的预测当前图像块内像素区域的像素值，进而有利于提高视频编解码性能。
参见图6，图6为本发明实施例提供的图像预测装置600的示意图，图像预测装置600可包括至少一个总线601、与总线601相连的至少一个处理器602以及与总线601相连的至少一个存储器603。
其中，处理器602通过总线601，调用存储器603中存储的代码以用于确定与当前模板的匹配度符合预设条件的N个模板，其中，所述当前模板为当前图像块对应的模板，其中，所述N为正整数，其中，所述N个模板从所述当前图像块的参考图像中搜索得到；确定所述N个模板中的每个模板所对应图像块内像素区域的权重，所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同；基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像素点。
其中，例如所述N可等于1、2、3、4、5、7、9、12或其他值。
其中，本发明各实施例提及的像素区域包括至少一个像素点。也就是说像素区域可能是像素点或像素块，若像素区域为像素块，则像素区域的大小例如可为2*2、1*2、1*3、4*2、4*3、4*4或其他大小。
其中，所述N个模板中的每个模板对应一个不同的图像块，因此所述N个模板对应N个图像块。
例如N个模板中的每个模板所对应图像块内像素区域的权重，可与所述N个模板中的每个模板与对应图像块内像素区域的相似性参数相关。其中，两个对象的相似性参数可用于表征两个对象的相似性。例如，所述N个模板中的模板Tm与图像块m内的像素区域w的相似性参数可用于表征模板Tm与图像块内的像素区域w之间的相似性。其中，图像块m为模板Tm对应的图像块。模板Tm可为所述N个模板中的任意一个模板。其中，像素区域w为图像块m中的任意一个像素区域。
具体举例，模板Tm与对应图像块m内的像素区域w的相似性参数例如可为像素区域w与模板Tm内的确定像素区域之间的距离；或可为该模板Tm中的确定像素区域的像素值的均值或加权均值与像素区域w的像素值的比值或者绝对差值。也就是说，模板Tm所对应的图像块m内的像素区域w的权重，可以与像素区域w与该模板Tm中的确定像素区域之间距离之间具有对应关系。或者所述N个模板中的模板Tm所对应图像块m内的像素区域w的权重，可与模板Tm中的确定像素区域的像素值的均值或加权均值与像素区域w的像素值的比值或绝对差值之间具有对应关系。
可选的，在本发明的一些可能的实施方式中，上述模板Tm中的确定像素区域例如可以为模板Tm的左上角像素点、左上像素区域、左下角像素点、左下像素区域、右上角像素点、右上像素区域、右下角像素点、右下像素区域、中心像素区域、中心像素点或其他像素区域)。
其中，所述模板Tm的左上像素区域为所述模板Tm的左上角像素点或所述模板Tm中的包含所述模板Tm的左上角像素点的像素块；所述模板Tm的左下像素区域为所述模板Tm的左下角像素点或所述模板Tm中的包含所述模板Tm的左下角像素点的像素块；所述模板Tm的右上像素区域为所述模板Tm的右上角像素点或所述模板Tm中的包含所述模板Tm的右上角像素点的像素块；所述模板Tm的中心素区域为所述模板Tm的中心像素点或所述模板Tm中的包含所述模板Tm的中心像素点的像素块。
其中，像素区域w与模板Tm内的确定像素区域之间的距离例如可为像素区域w与模板Tm内的确定像素区域中的距离最近的两个像素点之间的距离，或者像素区域w与模板Tm内的确定像素区域之间的距离可为像素区域w中的任意一个像素点与模板Tm内的确定像素区域中的任意一个像素点之间的距离，或者像素区域w与模板Tm内的确定像素区域之间的距离可为像素区域w中的确定像素点(其中，像素区域w中的确定像素点可为像素区域w的左上角像素点、左下角像素点、右上角像素点、右下角像素点或中心像素点)与模板Tm内的确定像素区域(其中，模板Tm内的确定像素点例如为模板Tm的左上角像素点、左下角像素点、右上角像素点、右下角像素点或中心像素点)中的确定像素点之间的距离。当然亦可按照其他方式来计算像素区域w与模板Tm内的确定像素区域之间的距离。
可选的，在本发明一些可能实施方式中，所述确定与当前模板的匹配度符合预设条件的N个模板包括确定与当前模板的匹配度最高的N个模板；或确定与当前模板的匹配度最高的M个模板，从所述M个模板中确定符合预设条件的N个模板，所述N小于所述M。
例如，处理器602从所述M个模板中确定符合预设条件的N个模板包括：从所述M个模板中确定像素值与所述当前模板的像素值之间的失真小于或等于阈值的N个模板。举例来说，所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真，或者，所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真的调整值。当然，所述阈值也可以是其他预设的值。可以理解的是，通过引入筛选阈值有利于筛选出匹配度相对较差的模板不参与运算，有利于提高预测准确性且有利于降低运算复杂度。
其中，处理器602确定所述N个模板中的每个模板所对应图像块内像素区域的权重的方式可能是多种多样的。
举例来说，处理器602所述确定所述N个模板中的每个模板所对应图像块内像素区域的权重可包括：根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重；基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重。
可选的，在本发明的一些可能的实施方式中，所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，可以包括：所述N个模板中的每个模板中的确定像素区域与对应图像块内像素区域的距离，和/或，所述N个模板中的每个模板内像素区域的像素值的均值或加权均值与对应图像块内像素区域的像素值的比值或绝对差值。
可选的，在本发明一些可能实施方式中，处理器602可基于如下公式，根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重：
其中，所述E(Tx,Tm)表示所述当前模板Tx与所述N个模板中的模板Tm之间的失真，所述S表示所述当前模板Tx内像素区域的数量，所述σ表示模板缩放因子，所述a和所述σ为大于0的实数，所述wm表示模板Tm的权重，所述模板Tm为所述N个模板中的任意一个模板。当a取值如2、3或4等整数时，有利于简化运算复杂度。
可选的，在本发明一些可能实施方式中，处理器602可基于如下公式，基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重：
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述R(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm之间的相似性参数，所述表示R(i,j)对应的像素区域缩放因子。
可选的，在本发明的一些可能实施方式中，所述与R(i,j)之间具有线性关系或非线性关系。
举例来说，所述与R(i,j)之间的线性关系为：
所述其中，所述β为缩放系数，所述β为大于0的实数。
举例来说，所述与R(i,j)之间的非线性关系为：所述的取值基于所述R(i,j)所落入的距离区间确定，其中，不同距离区间对应不同取值的像素区域缩放因子。
举例来说，所述与R(i,j)之间的非线性关系可为：
其中，所述a1小于所述a2，所述a2小于所述a3，所述b1小于所述b2；所述a1、a2、a3、b1和b2为大于0的实数。
例如a1＝0.3，a2＝0.5，a3＝1。例如b1＝4，b2＝8。
又举例来说，所述与R(i,j)之间的非线性关系可为：
其中，所述a4小于所述a5，所述a5小于所述a6，所述a6小于所述a7，所述b3小于所述b4，所述b4小于所述b5；所述a4、a5、a6、b7、b3、b4和b5为大于0的实数。
例如a4＝0.3，a5＝0.5，a6＝0.8，a6＝1。例如b3＝4，b4＝6，b5＝6。
又举例来说，所述与R(i,j)之间的非线性关系可为：
其中，所述a8小于所述a9，所述a8、a9和b6为大于0的实数。
例如a8＝0.5，a9＝1。例如b6＝5。
上述举例示出了与R(i,j)之间的非线性关系可分段函数关系，分段函数的分段数量可不限于上述举例的2段、2段或4段，当然也可以是更多数量的分段。
可选的，在本发明的一些可能实施方式中，所述R(i,j)例如可等于d(i,j)或者e(i,j)，其中，所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm中的确定像素区域之间的距离，e(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值与所述模板Tm的平均像素值或加权平均像素值之间的比值或绝对差值。
举例来说，所述d(i,j)可表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm左上角像素点的距离，或所述d(i,j)可表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，其中，所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，小于或等于所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的除所述像素点y之外的任意一个像素点的距离。
可选的，在本发明的一些可能实施方式中，处理器602利用如下公式基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值：
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述pm(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值，所述pre(i,j)表示所述当前图像块中的坐标为(i,j)的像素区域的预测像素值。
可以理解的是，本实施例的图像预测装置600的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。图像预测装置600可为任何需要输出、播放视频的装置，如笔记本电脑，平板电脑、个人电脑、手机等设备。
可以看出，本实施例图像预测装置600在确定与当前模板的匹配度符合预设条件的N个模板之后，确定所述N个模板中的每个模板所对应图像块内像素区域的权重，基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像素点。由于确定出的所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同，即同一模板所对应一图像块内的至少两个像素区域的权重不同，摒弃了传统技术中所有模板所对应图像块内的各像素区域权重均相同(权重均等于1)，由于像素区域的权重有了一定差异，这样更可能符合实际相关性的差异，进而有利于准确的预测当前图像块内像素区域的像素值，进而有利于提高视频编解码性能。
参见图7，图7是本发明的另一实施例提供的图像预测装置700的结构框图。其中，图像预测装置700可以包括：至少1个处理器701，存储器705和至少1个通信总线702。其中，通信总线702用于实现这些组件之间的连接通信。其中，该图像预测装置700可选的可以包含至少1个网络接口704和/或用户接口703，用户接口703可以包括显示器(例如触摸屏、LCD、全息成像(Holographic)、CRT或者投影(Projector)等)、点击设备(例如鼠标或轨迹球(trackball)触感板或触摸屏等)、摄像头和/或拾音装置等。
其中，存储器705可以包括只读存储器和随机存取存储器，并向处理器701提供指令和数据。存储器705中的一部分还可以包括非易失性随机存取存储器。
在一些实施方式中，存储器705存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：
操作***7051，包含各种***程序，用于实现各种基础业务以及处理基于硬件的任务。
应用程序模块7052，包含各种应用程序，用于实现各种应用业务。
在本发明的实施例中，通过调用存储器705存储的程序或指令，处理器701用于确定与当前模板的匹配度符合预设条件的N个模板，其中，所述当前模板为当前图像块对应的模板，其中，所述N为正整数，其中，所述N个模板从所述当前图像块的参考图像中搜索得到；确定所述N个模板中的每个模板所对应图像块内像素区域的权重，所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同；基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像素点。
其中，例如所述N可等于1、2、3、4、5、7、9、12或其他值。
其中，本发明各实施例提及的像素区域包括至少一个像素点。也就是说像素区域可能是像素点或像素块，若像素区域为像素块，则像素区域的大小例如可为2*2、1*2、1*3、4*2、4*3、4*4或其他大小。
其中，所述N个模板中的每个模板对应一个不同的图像块，因此所述N个模板对应N个图像块。
例如N个模板中的每个模板所对应图像块内像素区域的权重，可与所述N个模板中的每个模板与对应图像块内像素区域的相似性参数相关。其中，两个对象的相似性参数可用于表征两个对象的相似性。例如，所述N个模板中的模板Tm与图像块m内的像素区域w的相似性参数可用于表征模板Tm与图像块内的像素区域w之间的相似性。其中，图像块m为模板Tm对应的图像块。模板Tm可为所述N个模板中的任意一个模板。其中，像素区域w为图像块m中的任意一个像素区域。
具体举例，模板Tm与对应图像块m内的像素区域w的相似性参数例如可为像素区域w与模板Tm内的确定像素区域之间的距离；或可为该模板Tm中的确定像素区域的像素值的均值或加权均值与像素区域w的像素值的比值或者绝对差值。也就是说，模板Tm所对应的图像块m内的像素区域w的权重，可以与像素区域w与该模板Tm中的确定像素区域之间距离之间具有对应关系。或者所述N个模板中的模板Tm所对应图像块m内的像素区域w的权重，可与模板Tm中的确定像素区域的像素值的均值或加权均值与像素区域w的像素值的比值或绝对差值之间具有对应关系。
可选的，在本发明的一些可能的实施方式中，上述模板Tm中的确定像素区域例如可以为模板Tm的左上角像素点、左上像素区域、左下角像素点、左下像素区域、右上角像素点、右上像素区域、右下角像素点、右下像素区域、中心像素区域、中心像素点或其他像素区域)。
其中，所述模板Tm的左上像素区域为所述模板Tm的左上角像素点或所述模板Tm中的包含所述模板Tm的左上角像素点的像素块；所述模板Tm的左下像素区域为所述模板Tm的左下角像素点或所述模板Tm中的包含所述模板Tm的左下角像素点的像素块；所述模板Tm的右上像素区域为所述模板Tm的右上角像素点或所述模板Tm中的包含所述模板Tm的右上角像素点的像素块；所述模板Tm的中心素区域为所述模板Tm的中心像素点或所述模板Tm中的包含所述模板Tm的中心像素点的像素块。
其中，像素区域w与模板Tm内的确定像素区域之间的距离例如可为像素区域w与模板Tm内的确定像素区域中的距离最近的两个像素点之间的距离，或者像素区域w与模板Tm内的确定像素区域之间的距离可为像素区域w中的任意一个像素点与模板Tm内的确定像素区域中的任意一个像素点之间的距离，或者像素区域w与模板Tm内的确定像素区域之间的距离可为像素区域w中的确定像素点(其中，像素区域w中的确定像素点可为像素区域w的左上角像素点、左下角像素点、右上角像素点、右下角像素点或中心像素点)与模板Tm内的确定像素区域(其中，模板Tm内的确定像素点例如为模板Tm的左上角像素点、左下角像素点、右上角像素点、右下角像素点或中心像素点)中的确定像素点之间的距离。当然亦可按照其他方式来计算像素区域w与模板Tm内的确定像素区域之间的距离。
可选的，在本发明一些可能实施方式中，所述确定与当前模板的匹配度符合预设条件的N个模板包括确定与当前模板的匹配度最高的N个模板；或确定与当前模板的匹配度最高的M个模板，从所述M个模板中确定符合预设条件的N个模板，所述N小于所述M。
例如，处理器701从所述M个模板中确定符合预设条件的N个模板包括：从所述M个模板中确定像素值与所述当前模板的像素值之间的失真小于或等于阈值的N个模板。举例来说，所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真，或者，所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真的调整值。当然，所述阈值也可以是其他预设的值。可以理解的是，通过引入筛选阈值有利于筛选出匹配度相对较差的模板不参与运算，有利于提高预测准确性且有利于降低运算复杂度。
其中，处理器701确定所述N个模板中的每个模板所对应图像块内像素区域的权重的方式可能是多种多样的。
举例来说，处理器701所述确定所述N个模板中的每个模板所对应图像块内像素区域的权重可包括：根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重；基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重。
可选的，在本发明的一些可能的实施方式中，所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，可以包括：所述N个模板中的每个模板中的确定像素区域与对应图像块内像素区域的距离，和/或，所述N个模板中的每个模板内像素区域的像素值的均值或加权均值与对应图像块内像素区域的像素值的比值或绝对差值。
可选的，在本发明一些可能实施方式中，处理器701可基于如下公式，根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重：
其中，所述E(Tx,Tm)表示所述当前模板Tx与所述N个模板中的模板Tm之间的失真，所述S表示所述当前模板Tx内像素区域的数量，所述σ表示模板缩放因子，所述a和所述σ为大于0的实数，所述wm表示模板Tm的权重，所述模板Tm为所述N个模板中的任意一个模板。当a取值如2、3或4等整数时，有利于简化运算复杂度。
可选的，在本发明一些可能实施方式中，处理器701可基于如下公式，基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重：
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述R(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm之间的相似性参数，所述表示R(i,j)对应的像素区域缩放因子。
可选的，在本发明的一些可能实施方式中，所述与R(i,j)之间具有线性关系或非线性关系。
举例来说，所述与R(i,j)之间的线性关系为：
所述其中，所述β为缩放系数，所述β为大于0的实数。
举例来说，所述与R(i,j)之间的非线性关系为：所述的取值基于所述R(i,j)所落入的距离区间确定，其中，不同距离区间对应不同取值的像素区域缩放因子。
举例来说，所述与R(i,j)之间的非线性关系可为：
其中，所述a1小于所述a2，所述a2小于所述a3，所述b1小于所述b2；所述a1、a2、a3、b1和b2为大于0的实数。
例如a1＝0.3，a2＝0.5，a3＝1。例如b1＝4，b2＝8。
又举例来说，所述与R(i,j)之间的非线性关系可为：
其中，所述a4小于所述a5，所述a5小于所述a6，所述a6小于所述a7，所述b3小于所述b4，所述b4小于所述b5；所述a4、a5、a6、b7、b3、b4和b5为大于0的实数。
例如a4＝0.3，a5＝0.5，a6＝0.8，a6＝1。例如b3＝4，b4＝6，b5＝6。
又举例来说，所述与R(i,j)之间的非线性关系可为：
其中，所述a8小于所述a9，所述a8、a9和b6为大于0的实数。
例如a8＝0.5，a9＝1。例如b6＝5。
上述举例示出了与R(i,j)之间的非线性关系可分段函数关系，分段函数的分段数量可不限于上述举例的2段、2段或4段，当然也可以是更多数量的分段。
可选的，在本发明的一些可能实施方式中，所述R(i,j)例如可等于d(i,j)或者e(i,j)，其中，所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm中的确定像素区域之间的距离，e(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值与所述模板Tm的平均像素值或加权平均像素值之间的比值或绝对差值。
举例来说，所述d(i,j)可表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm左上角像素点的距离，或所述d(i,j)可表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，其中，所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，小于或等于所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的除所述像素点y之外的任意一个像素点的距离。
可选的，在本发明的一些可能实施方式中，处理器701利用如下公式基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值：
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述pm(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值，所述pre(i,j)表示所述当前图像块中的坐标为(i,j)的像素区域的预测像素值。
可以理解的是，本实施例的图像预测装置700的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。图像预测装置700可为任何需要输出、播放视频的装置，如笔记本电脑，平板电脑、个人电脑、手机等设备。
可以看出，本实施例图像预测装置700在确定与当前模板的匹配度符合预设条件的N个模板之后，确定所述N个模板中的每个模板所对应图像块内像素区域的权重，基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像素点。由于确定出的所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同，即同一模板所对应一图像块内的至少两个像素区域的权重不同，摒弃了传统技术中所有模板所对应图像块内的各像素区域权重均相同(权重均等于1)，由于像素区域的权重有了一定差异，这样更可能符合实际相关性的差异，进而有利于准确的预测当前图像块内像素区域的像素值，进而有利于提高视频编解码性能。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上上述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (28)

1.一种图像预测方法，其特征在于，包括：
确定与当前模板的匹配度符合预设条件的N个模板，其中，所述当前模板为当前图像块对应的模板，所述N为正整数，所述N个模板从所述当前图像块的参考图像中搜索得到；
确定所述N个模板中的每个模板所对应图像块内像素区域的权重，所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同；
基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像素点；
所述确定所述N个模板中的每个模板所对应图像块内像素区域的权重，包括：
根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重；
基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重；
所述N个模板中的每个模板与对应图像块内像素区域的相似性参数包括：所述N个模板中的每个模板中的确定像素区域与对应图像块内像素区域的距离，和/或，所述N个模板中的每个模板中的确定像素区域的像素值的均值或加权均值与对应图像块内像素区域的像素值的比值或绝对差值。
2.根据权利要求1所述的方法，其特征在于，所述根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重，包括：基于如下公式，根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重：
<mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> <mo>=</mo> <msup> <mi>a</mi> <mrow> <mo>-</mo> <mrow> <mo>(</mo> <msub> <mi>E</mi> <mrow> <mo>(</mo> <msub> <mi>T</mi> <mi>x</mi> </msub> <mo>,</mo> <msub> <mi>T</mi> <mi>m</mi> </msub> <mo>)</mo> </mrow> </msub> <mo>/</mo> <mi>S</mi> <mo>)</mo> </mrow> <mo>*</mo> <mi>&amp;sigma;</mi> </mrow> </msup> </mrow>
其中，所述表示所述当前模板Tx与所述N个模板中的模板Tm之间的失真，所述S表示所述当前模板Tx内像素区域的数量，所述σ表示模板缩放因子，所述a和所述σ为大于0的实数，所述wm表示模板Tm的权重，所述模板Tm为所述N个模板中的任意一个模板。
3.根据权利要求1至2任一项所述的方法，其特征在于，所述基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重，包括：基于如下公式，基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重：
<mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <msub> <mi>w</mi> <mi>m</mi> </msub> <mrow> <mo>-</mo> <mn>1</mn> <mo>/</mo> <mo>&amp;part;</mo> <mrow> <mo>(</mo> <mi>R</mi> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow> </msup> </mrow>
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述R(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm之间的相似性参数，所述表示R(i,j)对应的像素区域缩放因子。
4.根据权利要求3所述的方法，其特征在于，所述与R(i,j)之间具有线性关系或非线性关系。
5.根据权利要求4所述的方法，其特征在于，所述与R(i,j)之间的线性关系为：所述其中，所述β为缩放系数，所述β为大于0的实数。
6.根据权利要求4所述的方法，其特征在于，
所述与R(i,j)之间的非线性关系为：所述的取值基于所述R(i,j)所落入的距离区间确定，其中，不同距离区间对应不同取值的像素区域缩放因子。
7.根据权利要求6所述的方法，其特征在于，所述与R(i,j)之间的非线性关系为：
其中，所述a1小于所述a2，所述a2小于所述a3，所述b1小于所述b2；所述a1、a2、a3、b1和b2为大于0的实数；
或者，
所述与R(i,j)之间的非线性关系为：
其中，所述a4小于所述a5，所述a5小于所述a6，所述a6小于所述a7，所述b3小于所述b4，所述b4小于所述b5；所述a4、a5、a6、b7、b3、b4和b5为大于0的实数；
或者，
所述与R(i,j)之间的非线性关系为：
其中，所述a8小于所述a9，所述a8、a9和b6为大于0的实数。
8.根据权利要求3任一项所述的方法，其特征在于，
所述R(i,j)等于d(i,j)或e(i,j)，其中，所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm中的确定像素区域之间的距离，e(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值与所述模板Tm的平均像素值或加权平均像素值之间的比值或绝对差值。
9.根据权利要求8所述的方法，其特征在于，所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm左上角像素点的距离，或所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，其中，所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，小于或等于所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的除所述像素点y之外的任意一个像素点的距离。
10.根据权利要求1-2任一项所述的方法，其特征在于，所述基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值包括：利用如下公式，基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值：
<mrow> <mi>p</mi> <mi>r</mi> <mi>e</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <msub> <mi>p</mi> <mi>m</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>w</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述pm(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值，所述pre(i,j)表示所述当前图像块中的坐标为(i,j)的像素区域的预测像素值。
11.根据权利要求1-2任一项所述的方法，其特征在于，所述确定与当前模板的匹配度符合预设条件的N个模板包括：
确定与当前模板的匹配度最高的M个模板；从所述M个模板中确定符合预设条件的N个模板，所述N小于所述M。
12.根据权利要求11所述的方法，其特征在于，所述从所述M个模板中确定符合预设条件的N个模板，包括：从所述M个模板中确定像素值与所述当前模板的像素值之间的失真小于或等于阈值的N个模板。
13.根据权利要求12所述的方法，其特征在于，
所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真，或者，所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真的调整值。
14.根据权利要求1-2任一项所述的方法，其特征在于，
所述图像预测方法应用于视频编码过程中或所述图像预测方法应用于视频解码过程中。
15.一种图像预测装置，其特征在于，包括：
第一确定单元，用于确定与当前模板的匹配度符合预设条件的N个模板，其中，所述当前模板为当前图像块对应的模板，所述N为正整数，所述N个模板从所述当前图像块的参考图像中搜索得到；
第二确定单元，用于确定所述N个模板中的每个模板所对应图像块内像素区域的权重，所述N个模板中的至少1个模板所对应图像块内的至少两个像素区域的权重不同；
预测单元，用于基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值，其中，所述像素区域包括至少一个像素点；
所述第二确定单元包括：
第一确定子单元，用于根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重；
第二确定子单元，用于基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重；
所述N个模板中的每个模板与对应图像块内像素区域的相似性参数包括：所述N个模板中的每个模板中的确定像素区域与对应图像块内像素区域的距离，和/或，所述N个模板中的每个模板中的确定像素区域的像素值的均值或加权均值与对应图像块内像素区域的像素值的比值或绝对差值。
16.根据权利要求15所述的装置，其特征在于，所述第一确定子单元具体用于：基于如下公式，根据所述N个模板中的每个模板与所述当前模板之间的匹配度确定所述N个模板中的每个模板的权重：
<mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> <mo>=</mo> <msup> <mi>a</mi> <mrow> <mo>-</mo> <mrow> <mo>(</mo> <msub> <mi>E</mi> <mrow> <mo>(</mo> <msub> <mi>T</mi> <mi>x</mi> </msub> <mo>,</mo> <msub> <mi>T</mi> <mi>m</mi> </msub> <mo>)</mo> </mrow> </msub> <mo>/</mo> <mi>S</mi> <mo>)</mo> </mrow> <mo>*</mo> <mi>&amp;sigma;</mi> </mrow> </msup> </mrow>
其中，所述表示所述当前模板Tx与所述N个模板中的模板Tm之间的失真，所述S表示所述当前模板Tx内像素区域的数量，所述σ表示模板缩放因子，所述a和所述σ为大于0的实数，所述wm表示模板Tm的权重，所述模板Tm为所述N个模板中的任意一个模板。
17.根据权利要求15至16任一项所述的装置，其特征在于，所述第二确定单元具体用于：基于如下公式，基于所述N个模板中的每个模板的权重以及所述N个模板中的每个模板与对应图像块内像素区域的相似性参数，确定所述N个模板中的每个模板所对应图像块内像素区域的权重：
<mrow> <msub> <mi>w</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <msub> <mi>w</mi> <mi>m</mi> </msub> <mrow> <mo>-</mo> <mn>1</mn> <mo>/</mo> <mo>&amp;part;</mo> <mrow> <mo>(</mo> <mi>R</mi> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow> </msup> </mrow>
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述R(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm之间的相似性参数，所述表示R(i,j)对应的像素区域缩放因子。
18.根据权利要求17所述的装置，其特征在于，所述与R(i,j)之间具有线性关系或非线性关系。
19.根据权利要求18所述的装置，其特征在于，所述与R(i,j)之间的线性关系为：所述其中，所述β为缩放系数，所述β为大于0的实数。
20.根据权利要求18所述的装置，其特征在于，
所述与R(i,j)之间的非线性关系为：所述的取值基于所述R(i,j)所落入的距离区间确定，其中，不同距离区间对应不同取值的像素区域缩放因子。
21.根据权利要求20所述的装置，其特征在于，所述与R(i,j)之间的非线性关系为：
其中，所述a1小于所述a2，所述a2小于所述a3，所述b1小于所述b2；所述a1、a2、a3、b1和b2为大于0的实数；
或者，
所述与R(i,j)之间的非线性关系为：
其中，所述a4小于所述a5，所述a5小于所述a6，所述a6小于所述a7，所述b3小于所述b4，所述b4小于所述b5；所述a4、a5、a6、a7、b3、b4和b5为大于0的实数；
或者，
所述与R(i,j)之间的非线性关系为：
其中，所述a8小于所述a9，所述a8、a9和b6为大于0的实数。
22.根据权利要求17任一项所述的装置，其特征在于，
所述R(i,j)等于d(i,j)或e(i,j)，其中，所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm中的确定像素区域之间的距离，e(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值与所述模板Tm的平均像素值或加权平均像素值之间的比值或绝对差值。
23.根据权利要求22所述的装置，其特征在于，所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm左上角像素点的距离，或所述d(i,j)表示所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，其中，所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的像素点y的距离，小于或等于所述图像块m中的坐标为(i,j)的像素区域与所述模板Tm内的除所述像素点y之外的任意一个像素点的距离。
24.根据权利要求15-16任一项所述的装置，其特征在于，所述预测单元具体用于：利用如下公式，基于所述N个模板中的每个模板所对应图像块内像素区域的权重和像素值计算所述当前图像块内像素区域的预测像素值：
<mrow> <mi>p</mi> <mi>r</mi> <mi>e</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>m</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <msub> <mi>p</mi> <mi>m</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> </mrow> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>w</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
其中，所述wm(i,j)表示所述N个模板中的模板Tm所对应的图像块m中的坐标为(i,j)的像素区域的权重，所述pm(i,j)表示所述图像块m中的坐标为(i,j)的像素区域的像素值，所述pre(i,j)表示所述当前图像块中的坐标为(i,j)的像素区域的预测像素值。
25.根据权利要求15-16任一项所述的装置，其特征在于，所述第一确定单元具体用于：确定与当前模板的匹配度最高的M个模板；从所述M个模板中确定符合预设条件的N个模板，所述N小于所述M。
26.根据权利要求25所述的装置，其特征在于，
所述第一确定单元具体用于：确定与当前模板的匹配度最高的M个模板；从所述M个模板中确定像素值与所述当前模板的像素值之间的失真小于或等于阈值的N个模板。
27.根据权利要求26所述的装置，其特征在于，
所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真，或者，所述阈值等于所述当前模板的像素值与所述M个模板的像素值之间的平均失真的调整值。
28.根据权利要求15-16任一项所述的装置，其特征在于，
所述图像预测装置应用于视频编码装置中或所述图像预测装置应用于视频解码装置中。
CN201410606914.2A 2014-10-31 2014-10-31 图像预测方法及相关装置 Active CN104363449B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201410606914.2A CN104363449B (zh) 2014-10-31 2014-10-31 图像预测方法及相关装置
EP15855669.6A EP3177013B1 (en) 2014-10-31 2015-04-23 Image prediction method and relevant device
BR112017006017-5A BR112017006017B1 (pt) 2014-10-31 2015-04-23 Método de predição de imagem e aparelho relacionado
JP2017517280A JP6387582B2 (ja) 2014-10-31 2015-04-23 画像予測方法および関連する装置
PCT/CN2015/077272 WO2016065872A1 (zh) 2014-10-31 2015-04-23 图像预测方法及相关装置
KR1020177007436A KR102005007B1 (ko) 2014-10-31 2015-04-23 픽쳐 예측 방법 및 관련 장치
US15/454,356 US10536692B2 (en) 2014-10-31 2017-03-09 Picture prediction method and related apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410606914.2A CN104363449B (zh) 2014-10-31 2014-10-31 图像预测方法及相关装置

Publications (2)

Publication Number Publication Date
CN104363449A CN104363449A (zh) 2015-02-18
CN104363449B true CN104363449B (zh) 2017-10-10

Family

ID=52530671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410606914.2A Active CN104363449B (zh) 2014-10-31 2014-10-31 图像预测方法及相关装置

Country Status (6)

Country Link
US (1) US10536692B2 (zh)
EP (1) EP3177013B1 (zh)
JP (1) JP6387582B2 (zh)
KR (1) KR102005007B1 (zh)
CN (1) CN104363449B (zh)
WO (1) WO2016065872A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10427978B2 (en) 2008-04-22 2019-10-01 United States Gypsum Company Coated building panels and articles containing calcium sulfate hemihydrate
CN104363449B (zh) * 2014-10-31 2017-10-10 华为技术有限公司 图像预测方法及相关装置
US10397569B2 (en) * 2016-06-03 2019-08-27 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
CN107770525B (zh) * 2016-08-15 2020-07-24 华为技术有限公司 一种图像编码的方法及装置
CN106530275B (zh) * 2016-10-11 2019-06-11 广州视源电子科技股份有限公司 元件错件检测方法和***
NL2020788B1 (en) * 2017-04-21 2019-06-26 China Petroleum & Chem Corp Apparatus and Method for Treating Waste Water Containing Ammonium Salts
CN110248188A (zh) * 2018-03-07 2019-09-17 华为技术有限公司 预测运动矢量生成方法以及相关设备
EP3777167A1 (en) * 2018-03-30 2021-02-17 Vid Scale, Inc. Template-based inter prediction techniques based on encoding and decoding latency reduction
US11956460B2 (en) * 2018-08-31 2024-04-09 Hulu, LLC Selective template matching in video coding
JP7471399B2 (ja) * 2019-09-27 2024-04-19 オッポ広東移動通信有限公司 予測値の確定方法、復号器及びコンピュータ記憶媒体
WO2024034861A1 (ko) * 2022-08-09 2024-02-15 현대자동차주식회사 템플릿 기반 예측을 이용하는 비디오 코딩을 위한 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101557514A (zh) * 2008-04-11 2009-10-14 华为技术有限公司 一种帧间预测编解码方法、装置及***
CN101854545A (zh) * 2009-03-30 2010-10-06 索尼公司 用于视频编码器中的帧内预测的方法和设备
CN103700115A (zh) * 2012-09-27 2014-04-02 中国航天科工集团第二研究院二O七所 一种复杂背景下运动目标相关匹配跟踪方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010048738A1 (en) 1997-04-03 2001-12-06 Sbc Technology Resourses, Inc. Profile management system including user interface for accessing and maintaining profile data of user subscribed telephony services
US6289052B1 (en) * 1999-06-07 2001-09-11 Lucent Technologies Inc. Methods and apparatus for motion estimation using causal templates
JP3715283B2 (ja) * 2003-02-04 2005-11-09 株式会社半導体理工学研究センター 動画像の画像圧縮符号化方法及び装置
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
KR20090132629A (ko) * 2007-04-09 2009-12-30 가부시키가이샤 엔.티.티.도코모 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램
CN102160379A (zh) * 2008-09-24 2011-08-17 索尼公司 图像处理装置和图像处理方法
US20110170793A1 (en) * 2008-09-24 2011-07-14 Kazushi Sato Image processing apparatus and method
US8873626B2 (en) * 2009-07-02 2014-10-28 Qualcomm Incorporated Template matching for video coding
WO2012123321A1 (en) * 2011-03-14 2012-09-20 Thomson Licensing Method for reconstructing and coding an image block
EP2627086A1 (en) * 2012-02-10 2013-08-14 Thomson Licensing Method and device for encoding a block of an image and corresponding reconstructing method and device
US9237343B2 (en) * 2012-12-13 2016-01-12 Mitsubishi Electric Research Laboratories, Inc. Perceptually coding images and videos
CN104982035B (zh) * 2012-12-18 2018-12-11 西门子公司 用于对数字图像的序列进行编码的方法
CN104363449B (zh) * 2014-10-31 2017-10-10 华为技术有限公司 图像预测方法及相关装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101557514A (zh) * 2008-04-11 2009-10-14 华为技术有限公司 一种帧间预测编解码方法、装置及***
CN101854545A (zh) * 2009-03-30 2010-10-06 索尼公司 用于视频编码器中的帧内预测的方法和设备
CN103700115A (zh) * 2012-09-27 2014-04-02 中国航天科工集团第二研究院二O七所 一种复杂背景下运动目标相关匹配跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Pixel-based Averaging Predictor for HEVC Lossless Coding;WIGE.E et al;《IEEE International Conference on Image Processing（ICIP）》;20130918;全文 *

Also Published As

Publication number Publication date
US20170180727A1 (en) 2017-06-22
BR112017006017A2 (zh) 2018-06-26
US10536692B2 (en) 2020-01-14
CN104363449A (zh) 2015-02-18
EP3177013A4 (en) 2017-08-09
JP6387582B2 (ja) 2018-09-12
KR102005007B1 (ko) 2019-07-29
EP3177013A1 (en) 2017-06-07
EP3177013B1 (en) 2022-05-11
WO2016065872A1 (zh) 2016-05-06
KR20170045270A (ko) 2017-04-26
JP2017536725A (ja) 2017-12-07

Similar Documents

Publication Publication Date Title
CN104363449B (zh) 图像预测方法及相关装置
CN104539966B (zh) 图像预测方法及相关装置
US10659803B2 (en) Picture prediction method and related apparatus
US20200145689A1 (en) Picture prediction method and picture prediction apparatus
EP3177015A1 (en) Image prediction method and related device
US20190098312A1 (en) Image prediction method and related device
CN104702962A (zh) 帧内编解码方法、编码器和解码器
CN104581177B (zh) 一种结合块匹配和串匹配的图像压缩方法和装置
CN108271023A (zh) 图像预测方法和相关设备
CN110121073B (zh) 一种双向帧间预测方法及装置
CN114026864B (zh) 用于几何分割模式的色度样本权重推导
US20180199058A1 (en) Video encoding and decoding method and device
CN104853192A (zh) 预测模式选择方法及装置
EP3706421A1 (en) Method and apparatus for video encoding and decoding based on affine motion compensation
CN110352599A (zh) 用于视频处理的方法和设备
CN112806011A (zh) 改进的虚拟时间仿射候选
KR102028016B1 (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
CN111654696A (zh) 一种帧内的多参考行预测方法、装置、存储介质及终端
CN116723328A (zh) 一种视频编码方法、装置、设备及存储介质
CN111246220B (zh) 一种基于vvc帧内编码的深度预测方法、设备及存储介质
CN114731396A (zh) 图像块的深度帧内预测
CN113767636B (zh) 帧内模式编解码的方法和***
US20220398455A1 (en) Iterative training of neural networks for intra prediction
CN110249630A (zh) 去块效应滤波装置和方法
KR102646642B1 (ko) 확장된 Intra Block Copy 방법을 통한 비디오 복호화 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant