CN104637028B - 图像处理装置及其图像优化方法 - Google Patents

Abstract

一种图像处理装置以及图像优化方法。图像处理装置包括高通滤波器、区块比对器、图像信息重建器以及运算器。高通滤波器接收第一图像以产生滤波后图像。区块比对器接收输入图像及第一图像以产生区块比对结果。图像信息重建器接收滤波后图像以及区块比对结果以产生图像重建信息。运算器接收输入图像以及图像重建信息以产生输出图像。

Description

图像处理装置及其图像优化方法

技术领域

本发明是有关于一种图像处理装置及其图像优化的方法，且特别是有关于一种提高分辨率的图像处理装置及其图像优化的方法。

背景技术

随着电子产品日益普及化，在电子装置上提供图像优质化的图像处理装置成为设计者的重要课题。为配合显示装置所输出的图像分辨率日益提高，使用者需要可以将低分辨率的原始图像优化的电子装置。

在已知的技术领域中，将低分辨率图像优化的方法包含了图像边缘锐利化(LumaTransient Improvement)方法以及数据库基础超分辨方法。然而，使用图像边缘锐利化方法会使图像的边缘变宽，而数据库基础超分辨方法虽然可以避免此问题，却因为图像数据库无法包含所有的输入图像类型而使得有些图像无法被优化。因此，如何避免图像边缘变宽以及克服输入图像类型有限的问题为本领域技术人员所重视的问题。

发明内容

本发明提供一种图像处理装置及其图像优化的方法，可对图像进行图像优化动作，藉以符合高分辨率显示装置的分辨率需求。

本发明的图像处理装置包括高通滤波器、区块比对器、图像信息重建器以及运算器。高通滤波器接收输入图像以产生滤波后图像。区块比对器接收输入图像以及第一图像，且对输入图像及第一图像进行区块比对以产生区块比对结果，其中第一图像依据输入图像所产生。图像信息重建器耦接高通滤波器以及区块比对器，且通过区块比对结果以及滤波后图像产生图像重建信息。运算器耦接图像信息重建器，且对图像重建信息与输入图像进行运算以产生输出图像。

本发明的图像优化方法适用于图像处理装置。其中的步骤包括：接收输入图像并藉以产生滤波后图像；且对输入图像以及第一图像进行区块间的比对操作以产生区块比对结果；再依据区块比对结果以及滤波后图像产生图像重建信息；最后对图像重建信息与输入图像进行运算以产生输出图像。

基于上述，本发明通过高通滤波以产生滤波后图像，且通过区块比对器比对输入图像以及第一图像以产生区块比对结果，再通过图像信息重建器产生图像重建信息且将图像重建信息与输入图像进行运算以获得输出图像。上述装置及方法可提升输入图像的分辨率，且不限输入图像的种类，又可同时解决为提升图像分辨率而造成图像边缘变宽的问题。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。

附图说明

图1绘示本发明一实施例的图像处理装置100的示意图。

图2绘示本发明另一实施例的图像处理装置200的示意图。

图3绘示本发明实施例的区块比对器220的实施方式的示意图。

图4绘示本发明实施例的图像信息重建器230的实施方式的示意图。

图5绘示本发明实施例的运算器240的实施方式的示意图。

图6绘示本发明实施例的图像优化方法的流程图。

[标号说明]

100、200：图像处理装置 110、210：高通滤波器

120、220：区块比对器 130、230：图像信息重建器

140、240：运算器 250：分辨率调整器

221、222、231：区块撷取器 223、232：运算单元

241：乘法器 242：加法器

IN：图像输入端 OUT：图像输出端

II：输入图像 OI：输出图像

IA：第一图像 FI：滤波后图像

BCR：区块比对结果 IRD：图像重建信息

RB：参考区块 TB：目标区块

IB：信息区块 GF：增益因子

P：乘积

具体实施方式

请参照图1，图1绘示本发明一实施例的图像处理装置100的示意图。图像处理装置100具有图像输入端IN以及图像输出端OUT，其中图像输入端IN接收输入图像II且图像输出端OUT产生输出图像OI。图像处理装置100还包括高通滤波器110、区块比对器120、图像信息重建器130以及运算器140。其中，高通滤波器110耦接至图像输入端IN以接收输入图像II，并针对所接收的输入图像II进行高通的滤波操作，进以产生滤波后图像FI。在此，高通滤波器110可以是数字滤波器，并用以滤除输入图像II中低频成分的数据，也就是说，高通滤波器110可针对输入图像II进行图像锐利化的处理。

区块比对器120耦接至图像输入端IN以接收输入图像II。另外，区块比对器120并接收依据输入图像II所产生的第一图像IA，而在本实施例中，第一图像IA等同输入图像II。区块比对器120可针对输入图像II以及第一图像IA进行区块比对的操作，并藉以产生区块比对结果BCR。区块比对器120还耦接至图像信息重建器130，区块比对器120并将所产生的区块比对结果BCR传送至图像信息重建器130。

具体来说明，区块比对器120可以取用第一图像IA中的一个区块，来与输入图像II中的区块进行图像数据的比对操作。其中，由第一图像IA中取用的区块(以下称参考区块)的尺寸可以小于被进行比对的输入图像II中的区块(以下称目标区块)的尺寸。并且，当发生参考区块与目标区块相同的状况时，则记录目标区块中的一代表点的坐标以产生区块比对结果BCR，其中的代表点可以为目标区块的中心点，或其它任意设定位置的点。

图像信息重建器130还耦接至高通滤波器110。图像信息重建器130接收来自于区块比对器120的区块比对结果BCR以及来自于高通滤波器110的接收滤波后图像FI，并且，图像信息重建器130可依据区块比对结果BCR以及滤波后图像FI来产生图像重建信息IRD。

在图像信息重建器130的实施细节方面，图像信息重建器130可以依据区块比对结果BCR中的多个向量中的部分，来查找出相对应的滤波后图像FI中的多个像素。图像信息重建器130并将这些像素的数值，利用加法运算的方式进行加总，并再计算出其平均值，进以藉此获得图像重建信息IRD。

附带一提的，上述图像信息重建器130的图像重建方法可以应用重迭区块动态补偿(Overlapped block motion compensation,OBMC)的方式来进行。

上述的加法运算可以是权重加法运算，图像信息重建器130可以针对不同向量所指向的滤波后图像FI中的点的数值依据不同权重进行加权，并将这些加权后的数值相加后计算其平均值来产生图像重建信息IRD。

运算器140耦接至输入端IN、图像信息重建器130以及输出端OUT。运算器140接收输入图像II以及图像重建信息IRD，并针对输入图像II以及图像重建信息IRD进行算术运算，并藉以产生输出图像OI。

请同时参照图2与图1，图2绘示本发明另一实施例的图像处理装置200的示意图。图2的图像处理装置200与图1的图像处理装置100的差别在图2的图像处理装置200还包括一个分辨率调整器250，其中分辨率调整器250耦接在图像输出端IN与高通滤波器210的耦接路径上。而且，区块比对器220并耦接至分辨率调整器250以接收由分辨率调整器250所产生的第一图像IA。

在本实施例中，分辨率调整器250可用来调整输入图像II的分辨率。也就是说，分辨率调整器250可用来降低输入图像II的分辨率并据以产生第一图像IA。当然，分辨率调整器250也可以不针对输入图像II的分辨率进行调整，也就是说其调整参数等于1(输入图像II与第一图像IA是相同的状况)。

分辨率调整器250接收输入图像II并且输出第一图像IA至高通滤波器210以及区块对比器220。如此一来，区块比对器220则得以利用分辨率较小的第一图像IA来对分辨率较大的输入图像II进行区块比对的动作，并藉以产生区块比对结果BCR。而区块比对器220的区块比对操作的运算量也可以减小，加快区块比对的速度。

另外，在本实施例中，高通滤波器110也改接收分辨率较小的第一图像IA来进行高通滤波的操作。比较值得注意的是，在高通滤波器110为数字滤波器的条件下，高通滤波器110的分接头(taps)数量及滤波系数可以依据所接收的第一图像IA的状态来加以设定。例如，设计者可以依据图像处理装置200的实际应用状况及需求来选用预先设定好的分接头数量及滤波系数来针对高通滤波器110进行设计。

以下请参考图3，图3绘示本发明实施例的区块比对器220的实施方式的示意图。其中区块比对器220包括区块撷取器221、区块撷取器222以及运算单元223。其中区块撷取器221接收第一图像IA并由第一图像IA中撷取出参考区块RB，而区块撷取器222则接收输入图像II并由输入图像II中撷取出目标区块TB。运算单元223则耦接至撷取器221以及区块撷取器222以分别接收参考区块RB以及目标区块TB。其中，运算单元223利用参考区块RB来对目标区块TB进行区块比对操作，并藉此产生区块比对结果。其中，参考区块RB的尺寸不大于目标区块TB。

具体来说，当运算单元223针对参考区块RB以及目标区块TB进行区块比对时，运算单元223可将目标区块TB依据参考区块RB的维度来划分为多个子区块，各子区块间可以部分相互重迭。运算单元223并针对参考区块RB来分别与目标区块TB的各子区块进行比对的操作，并在当参考区块RB与比对的子区块的数据的相似度够高时，记录下对应的子区块的参考点的坐标，并藉以产生向量的形式输出区块比对结果BCR。

请注意，上述的参考区块RB以及各子区块的比对操作再进行时，运算单元223可以依据各子区块的排列顺序依据行扫描或是列扫描的方式来逐一针对参考区块RB进行比对。

以下请参考图4，图4绘示本发明实施例的图像信息重建器230的实施方式的示意图。图像信息重建器230包括区块撷取器231以及运算单元233。其中区块撷取器231接收区块比对结果BCR并撷取一区块以产生信息区块IB，而运算单元232耦接区块撷取器231以接收信息区块IB。再者，运算单元232亦接收滤波后图像FI以与信息区块IB进行图像信息重建。

具体来说，当运算单元232接收到信息区块IB与滤波后图像FI之后，运算单元232查找出信息区块IB中的多个向量所对应的滤波后图像FI中的多个点，再对上述多个点的数值进行加总，再计算其平均值以获得信息区块IB的中心点的图像重建信息IRD。

在上述的针对多个像素的数值进行加总的操作中，本发明实施例也可以通过权重加法，其中的权重值可依据滤波后图像FI中的像素所对应信息区块IB中的向量来决定。

以下请参考图5，图5绘示本发明实施例的运算器240的实施方式的示意图。其中运算器240包括乘法器241以及加法器242。其中乘法器241接收图像重建信息IRD以及增益因子GF并输出乘积P，而加法器242耦接乘法器241以接收乘积P，以获得输出图像OI。

具体而言，乘法器241接收图像重建信息IRD以及增益因子GF，以将图像重建信息IRD与增益因子GF相乘以获得乘积P，再将乘积P传送至加法器252。而加法器252接收乘积P以及输入图像II后，再将乘积P与输入图像II相加以获得输出图像OI。上述的增益因子GF可以是预先设定的一个数值，而工程人员可以依据实际使用的状态来设定增益因子GF。

以下请参照图6，图6绘示本发明实施例的图像优化方法的流程图。图像优化方法的步骤包括：在步骤S610中，接收输入图像，并藉以产生滤波后图像；接着，在步骤S620中，对输入图像以及第一图像进行区块间的比对操作以产生区块比对结果；然后，在步骤S630中，依据区块比对结果以及滤波后图像产生图像重建信息；最后，在步骤S640中，对图像重建信息与输入图像进行运算以产生输出图像。

综上所述，本发明通过高通滤波、区块比对以及图像重建等方法提升输入图像的分辨率，且不限输入图像的种类，又可同时解决为提升图像分辨率而造成图像边缘变宽的问题。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附的权利要求范围所界定者为准。

Claims (12)

1.一种图像处理装置，包括：

高通滤波器，针对输入图像进行滤波以产生滤波后图像；

区块比对器，接收所述输入图像以及第一图像，对所述输入图像以及所述第一图像进行区块间的比对操作以产生区块比对结果；

图像信息重建器，耦接所述高通滤波器以及所述区块比对器，依据所述区块比对结果以及所述滤波后图像产生图像重建信息；以及

运算器，耦接所述图像信息重建器，针对所述图像重建信息与所述输入图像执行运算以产生输出图像，

其中，所述运算包括：根据所述图像重建信息与增益因子所执行之相乘运算，以及根据所述相乘运算的乘积与所述输入图像所执行之加法运算，所述第一图像依据所述输入图像所产生。

2.根据权利要求1所述的图像处理装置，其中还包括：

分辨率调整器，耦接在所述高通滤波器接收所述输入图像的路径间，所述分辨率调整器接收所述输入图像并依据一调整参数来调整所述输入图像的分辨率以产生所述第一图像。

3.根据权利要求1所述的图像处理装置，其中所述第一图像与所述输入图像相同。

4.根据权利要求1所述的图像处理装置，其中所述高通滤波器为具有多个分接头及多个滤波系数的数字滤波器。

5.根据权利要求1所述的图像处理装置，其中所述区块比对器包括：

第一区块撷取器，针对所述第一图像进行图像撷取以产生参考区块；

第二区块撷取器，针对所述输入图像进行图像撷取以产生目标区块，其中所述参考区块的尺寸小于所述目标区块的尺寸；以及

运算单元，耦接所述第一区块撷取器及所述第二区块撷取器，使所述目标区块与所述参考区块进行区块比对，并藉以产生所述区块比对结果。

6.根据权利要求1所述的图像处理装置，其中所述图像重建器包括：

区块撷取器，耦接所述区块比对器，撷取所述区块比对结果的部分以产生信息区块；以及

运算单元，耦接所述区块撷取器，依据所述信息区块中的多个向量查找出对应所述向量的滤波后图像中多个像素，所述运算单元并针对所述多个像素的值进行加法运算，并依据该加法运算的运算结果以计算出平均值，其中所述平均值用以产生所述图像重建信息。

7.根据权利要求6所述的图像处理装置，其中所述加法运算为权重加法运算。

8.根据权利要求1所述的图像处理装置，其中所述运算器包括：

乘法器，接收所述图像重建信息与所述增益因子，并产生所述乘积；以及

加法器，耦接所述乘法器，针对所述乘积与所述输入图像进行加法运算并产生所述输出图像。

9.一种图像优化方法，包括：

接收输入图像，并依据所述输入图像进行滤波动作，所述滤波动作包括高通滤波动作，藉以产生滤波后图像；

对所述输入图像以及第一图像进行区块间的比对操作以产生区块比对结果；

依据所述区块比对结果以及所述滤波后图像产生图像重建信息；以及

对所述图像重建信息与所述输入图像进行运算以产生输出图像，

其中，所述运算包括：根据所述图像重建信息与增益因子执行相乘运算，以及根据所述相乘运算的乘积与所述输入图像执行加法运算，所述第一图像依据所述输入图像来产生。

10.根据权利要求9所述的图像优化方法，还包括:

接收所述输入图像并依据调整参数来调整所述输入图像的分辨率以产生所述第一图像。

11.根据权利要求9所述的图像优化方法，其中对所述输入图像以及所述第一图像进行区块间的比对操作以产生所述区块比对结果的步骤包括；

撷取所述第一图像上的参考区块以及撷取所述输入图像上的目标区块，其中所述参考区块的尺寸小于所述目标区块的尺寸；以及

对所述参考区块以及所述目标区块进行区块比对以产生所述区块比对结果。

12.根据权利要求9所述的图像优化方法，其中依据所述区块比对结果以及所述滤波后图像产生所述图像重建信息的步骤包括：

在所述区块比对结果上撷取部分区块以产生信息区块；

依据所述信息区块中的多个向量查找出对应所述向量的滤波后图像中多个像素；以及

针对所述多个像素的值进行加法运算，并依据该加法运算的运算结果以计算出平均值，

其中所述平均值用以产生所述图像重建信息。