CN100493174C - 图像处理方法和图像处理装置 - Google Patents

Abstract

本发明公开了一种图像处理方法、图像处理装置及图像处理程序。图像特征解析部(10)进行输入图像(IIN)的图像特征解析，生成与图像坐标独立的图像特征量(FI)。信息量高密化部(20)对图像特征量(FI)进行信息量高密化，生成高密化图像特征量(SFI)。图像生成部(30)基于高密化图像特征量(SFI)，生成对输入图像(IIN)进行了信息量高密化的图像(IOUT)。

Description

图像处理方法和图像处理装置

技术领域

本发明涉及一种图像测量/认识、图像生成等图像处理，特别涉及从原图像生成信息量超过原图像的信息量高密化图像的技术。

背景技术

近年来，由于各种图像设备、影像设备的数字化和网络间的普及，正在形成计算机和家电设备相互连接，远程操作和媒体合并等所谓的无所不在的网络社会。图像设备的规格，从其机构、携带性、功能等的不同涉及到许多方面，因此，具有各种格式的图像信息正在流通。例如，在面向携带式电话的一段(one-segment)地上数字放送中，必须要将1920像素×1080行的HDTV(High Definition Television)图像下变频(down—conversion)为例如320像素×240行的图像，显示在携带式电话的显示装置上。也就是说，必须根据图像设备的规格，变换空间分辨率。并且，除了空间分辨率以外，有时也要变换因更新速度(refresh rate)的不同而产生的时间分辨率。例如，将每秒24帧的电影影片格式变换成每秒30帧的视频格式的电视电影工序就是一个例子。

在分辨率变换中，将生成超过取样时的分辨率的数据的操作称为“超分辨”。例如，当想将用DV格式(576像素×480行)记录的影像显示在HDTV时，需要像素数约为2倍，行数约为2.5倍的超分辨处理。并且，对于印刷用原稿必须要高分辨率的图像，例如，当用600dpi的分辨率印刷在A4格式纸(297mm×210mm)时，必须准备7128像素×5040行的原稿。由于很多摄影机的分辨率都低于此，因此，可以认为例如在从数字静像摄影机向打印机的直接打印等中，必须进行超分辨处理。由于这两个例子将分辨率取为像素数和行数，因此定义为“空间定义域超分辨”。另一方面，也有需要使时间分辨率高于取样时的“时间定义域超分辨”的时候。例如，当将用隔行扫描(交替)方式记录的影像显示在顺序扫描(顺序的)方式的显示装置上时，必须要两倍倍率的时间定义域超分辨处理。这样的处理被较多地应用在例如将逻辑放送题材挪用到数字放送时等。

这样的超分辨处理，被作为从现有数据来生成新数据的内插问题对待。内插方法的基本想法是从存在于新数据近旁的现有数据来推测自身的方法。若为空间定义域超分辨的话，则从水平、垂直、倾斜方向的邻接像素所具有的信号值来推测自身的信号值。若为时间定义域超分辨的话，则从正前面的数据和下一个数据来推测自身的数据。作为空间定义域超分辨的具体方法，一般有最近区域法、双线性法、双立方体(bi-cubic)法等(非专利文献1)。并且，还提出了用高频率成分的补充来补偿因这些内插法的不正常而引起的质量劣化的提案(专利文献1)。

另一方面，还提出了收集多数含有重复区域的低分辨率的数据，以对应点连在一起，来实现超分辨处理的手法(专利文献2)。

【非专利文献1】荒屋真二著，「明解3次元计算机图解」，共立出版，2003年9月25日，p.144—145

【专利文献1】日本特开2003-018398

【专利文献2】日本特开平10-069537

但是，在上述非专利文献1和专利文献1中所述的超分辨处理技术中，对于物体表面的样子和光泽等，不作任何考虑，在超分辨后的图像中没有包含保存原图像的样子和光泽等的结构。也就是说，有可能因超分辨处理，原图像纹理的印象发生变质，摄在图像中的物体的质感不同。

并且，在专利文献2所述的技术中，存在必须进行多次摄影，造成操作数目增加的问题。

发明内容

如上所鉴，本发明的目的在于：提供一种在不使原图像的图像特征变质的情况下，生成超过原图像的信息量的图像的图像处理技术。

为了解决上述课题，本发明，解析原图像的图像特征(例如，浓度分布、频率分布、对比度等)，利用所解析的图像特征、和从图像信息量(例如，像素数、灰度数、彩色信道数等)超过原图像的信息量高密化图像所获得的图像特征，进行增加图像信息量的信息量高密化处理。特别是，当使图像信息量为分辨率时，解析输入图像的纹理(样子和光泽等属性的总称)，利用所解析的纹理特征量、和从空间分辨率或者时间分辨率更高的超分辨图像所获得的超分辨纹理特征量，生成空间定义域超分辨图像或者时间定义域超分辨图像。

本发明的第一图像处理方法，增加原图像的图像信息量，生成高密化图像，其特征在于包括：进行上述原图像的空间频率解析或时间频率解析，将频率响应作为图像特征量的第1步骤；将从高密化图像的样本图像所取得的多个高密化图像特征量，根据其相似度分类为图像特征范畴，以每个上述图像特征范畴为单位，使相似的高密化图像特征量汇集为一个，预先存储在高密化图像特征量数据库中，对于在上述第1步骤中所获得的图像特征量，在该图像特征量具有成分的频率带，与存储在上述高密化图像特征量数据库中的高密化图像特征量进行比较，选定相似度最高的图像特征范畴，从高密化图像特征量数据库中读出所选定的图像特征范畴中的高密化图像特征量的第2步骤；以及对在上述第2步骤中所获得的高密化图像特征量，进行上述第1步骤的逆变换，生成上述高密化图像的第3步骤。

本发明的第二图像处理方法，增加原图像的图像信息量，生成高密化图像，其特征在于包括：进行上述原图像的空间频率解析或时间频率解析，将频率响应作为图像特征量的第1步骤；对被摄体的材质种类和分辨率种类的组合的每一个组合，根据样本图像计算出图像特征量，预先存储在纹理特征量数据库中，将同一材质中的分辨率不同的图像的同一像素所具有的图像特征量的一对预先存储在纹理特征量向量变换表中，对于在上述第1步骤中所获得的图像特征量，与存储在上述纹理特征量数据库中的图像特征量进行比较，选定具有相似度最高的图像特征量的被摄体的材质和分辨率的组合，根据选定的被摄体的材质和分辨率、以及对应于图像信息量的增加量的分辨率，参照纹理特征量向量变换表，将选定的被摄体的材质和对应于图像信息量的增加量的分辨率的组合所具有的图像特征量作为高密化图像特征量读出的第2步骤；以及对在上述第2步骤中所获得的高密化图像特征量，进行上述第1步骤的逆变换，生成上述高密化图像的第3步骤。

本发明的图像处理装置，增加原图像的图像信息量，生成高密化图像，其特征在于包括：进行上述原图像的空间频率解析或时间频率解析，将频率响应作为图像特征量的图像特征解析部；对于由上述图像特征解析部得到的图像特征量，在该图像特征量具有成分的频率带，与存储在高密化图像特征量数据库中的高密化图像特征量进行比较，选定相似度最高的图像特征范畴，从上述高密化图像特征量数据库中读出所选定的图像特征范畴中的高密化图像特征量的信息量高密化部；以及对由上述信息量高密化部所获得的高密化图像特征量，进行上述图像特征解析部的逆变换，生成上述高密化图像的图像生成部，其中，所述高密化图像特征量数据库将从高密化图像的样本图像所取得的多个高密化图像特征量，根据其相似度分类为图像特征范畴，以每个上述图像特征范畴为单位，使相似的高密化图像特征量汇集为一个而预先存储起来。

本发明的***，是一种具有服务器装置和客户装置，进行增加原图像的图像信息量，生成高密化图像的图像处理的服务器客户***，其特征在于：上述服务器装置，包括：进行上述原图像的空间频率解析或时间频率解析，将频率响应作为图像特征量的图像特征解析部；以及对于由上述图像特征解析部得到的图像特征量，在该图像特征量具有成分的频率带，与存储在高密化图像特征量数据库中的高密化图像特征量进行比较，选定相似度最高的图像特征范畴，从上述高密化图像特征量数据库中读出所选定的图像特征范畴中的高密化图像特征量，经由网络将该高密化图像特征量传送到上述客户装置中的信息量高密化部；其中，所述高密化图像特征量数据库将从高密化图像的样本图像所取得的多个高密化图像特征量，根据其相似度分类为图像特征范畴，以每个上述图像特征范畴为单位，使相似的高密化图像特征量汇集为一个而预先存储起来上述客户装置，包括：对来自上述服务器装置的高密化图像特征量，进行上述图像特征解析部的逆变换，生成上述高密化图像的图像生成部；以及显示由上述图像生成部所生成的高密化图像的图像显示部。

(发明的效果)

根据本发明，能够生成在原图像的图像特征不发生变质的情况下所保存的超过原图像的图像信息量的信息量高密化图像。特别是，当使图像信息量为分辨率时，能够在原封不动地保存原图像所具有的纹理印象的状态下，生成空间定义域超分辨图像或者时间定义域超分辨图像。

附图的简单说明

图1为示出了本发明的第1实施例所涉及的图像处理装置的结构的框图。

图2为图1的信息量高密化部的结构的一个例子。

图3为本发明的第1实施例所涉及的空间定义域超分辨处理的概念图。

图4为示出了进行本发明的第1实施例所涉及的空间定义域超分辨处理的图像处理装置的概要结构的框图。

图5为示出了图4的纹理解析部的结构和处理的一个例图。

图6为示出了图4的超分辨处理部的结构和处理的一个例图。

图7为示出了图4的图像生成部的结构和处理的一个例图。

图8为示出了本发明的第2实施例所涉及的图像处理装置的纹理的框图。

图9为示出了进行本发明的第2实施例所涉及的空间定义域超分辨处理的图像处理装置的概要结构的框图。

图10为示出了在图9的结构中，算出基本纹理特征量加权系数的方法的一个例图。

图11为示出了本发明的第3实施例所涉及的图像处理装置的结构的图。

图12为示出了图11的纹理特征量向量变换表的制作方法的一个例图。

图13为示出了本发明的第1结构例的图。

图14为示出了本发明的第2结构例的图。

图15为示出了本发明的第3结构例的图。

(符号的说明)

10—图像特征解析部；20、20A—信息量高密化部；30—图像生成部；40—纹理解析部(图像特征解析部)；50、50A—超分辨处理部(信息量高密化部)；60—图像生成部；71—纹理特征量数据库；72—纹理特征量向量变换表；IIN—输入图像(原图像)；FI—图像特征量；SFI—高密化图像特征量；IOUT—输出图像(高密化图像)；FVT—纹理特征量向量(图像特征量)；SFVT—超分辨化纹理特征量向量(高密化图像特征量)。

具体实施方式

在本发明的第1形态中，提供一种图像处理方法，包括：进行原图像的图像特征解析，获得与图像坐标独立的图像特征量的第1步骤；对在上述第1步骤中所获得的图像特征量进行信息量高密化，获得高密化图像特征量的第2步骤；以及基于在上述第2步骤中所获得的高密化图像特征量，生成对上述原图像进行了信息量高密化的高密化图像的第3步骤。

在本发明的第2形态中，提供上述第1形态的图像处理方法，在上述第2步骤中，从预先准备的多个图像特征范畴中选定上述图像特征量所属的图像特征范畴，从高密化图像特征量数据库将所选定的图像特征范畴中的被信息量高密化的基本图像特征量作为上述高密化图像特征量读出。

在本发明的第3形态中，提供上述第1形态的图像处理方法，在上述第2步骤中，对于上述图像特征量，分别算出与预先准备的多个图像特征范畴的相似度，根据所算出的相似度对上述各图像特征范畴中的基本图像特征量进行加权加法，来生成上述高密化图像特征量。

在本发明的第4形态中，提供上述第1形态的图像处理方法，在上述第2步骤中，从预先准备的多个图像特征范畴中选定上述图像特征量所属的图像特征范畴，参照变换表数据库，利用用于所选定的图像特征范畴中的特征量变换的变换表，将上述图像特征量变换成上述高密化图像特征量。

在本发明的第5形态中，提供上述第4形态的图像处理方法，上述多个图像特征范畴，以图像中所摄的物体材质为单位设置。

在本发明的第6形态中，提供上述第1形态的图像处理方法，利用空间分辨率或者时间分辨率作为上述图像特征量。

在本发明的第7形态中，提供上述第6形态的图像处理方法，利用傅里叶变换，求出空间频率响应或者时间频率响应。

在本发明的第8形态中，提供上述第6形态的图像处理方法，利用小波变换，求出空间频率响应或者时间频率响应。

在本发明的第9形态中，提供上述第6形态的图像处理方法，利用分度、相位及空间的方向性中的至少一个不同的多个空间滤波器，求出空间频率响应或者时间频率响应。

在本发明的第10形态中，提供一种图像处理装置，包括：进行原图像的图像特征解析，获得与图像坐标独立的图像特征量的图像特征解析部；对由上述图像特征解析部得到的图像特征量进行信息量高密化，获得高密化图像特征量的信息量高密化部；以及基于由上述信息量高密化部得到的高密化图像特征量，生成对上述原图像进行了信息量高密化的高密化图像的图像生成部。

在本发明的第11形态中，提供使计算机执行下述步骤的图像处理程序，进行原图像的图像特征解析，获得与图像坐标独立的图像特征量的第1步骤；对在上述第1步骤中所获得的图像特征量进行信息量高密化，获得高密化图像特征量的第2步骤；以及基于在上述第2步骤中所获得的高密化图像特征量，生成对上述原图像进行了信息量高密化的高密化图像的第3步骤。

以下，参照附图对本发明的实施例加以说明。

(第1实施例)

图1为示出了本发明的第1实施例所涉及的图像处理装置的结构的框图。图1所示的图像处理装置是生成超过原图像的信息量的信息量高密化图像的装置。

这里，在本案说明书中，“信息量高密化”是指增加所提供的图像的图像信息量的处理，根据情况可记载为“超信息处理”或者“超信息化”。图像信息量是指例如像素数、灰度数、彩色信道数等。若以像素数为例，对于320像素×240行的像素，同时在水平方向和垂直方向进行扩大到4倍的信息量高密化处理的话，则生成总像素数成为16倍的1280像素×960行的图像。当为灰度数时，例如，将各像素128灰度的输入图像扩大到256灰度的处理，相当于两倍的信息量高密化处理。当为彩色信道数时，将单色图像(彩色信道数为1)变换成RGB图像的处理，相当于3倍的信息量高密化处理。

组合上述3个例子，将「由128灰度的一个彩色信道构成的320像素×240行的单色图像」变换成「由256灰度的3个彩色信道构成的1280像素×960行的RGB图像」的处理，为使图像信息量增加到96倍(＝16×2×3)的信息量高密化处理。

在图1的结构中，图像特征解析部10解析作为原图像的输入图像IIN的图像特征，输出图像特征量FI(第1步骤)。这里，图像特征是例如浓度分布、频率响应、对比度等，其特征量分别由浓度直方图、频率谱、高亮部分和黑暗部分的比来表示。信息量高密化部20进行对应于图像特征量FI的信息量高密化处理，输出高密化图像特征量SFI(第2步骤)。由于直接对图像特征量FI进行信息量高密化，因此能够在不使图像特征自身发生变质的情况下，实现图像的信息量高密化。图像生成部30将高密化图像特征量SFI可见化，生成作为高密化图像的输出图像IOUT(第3步骤)。

图2为图1的信息量高密化部20的结构的一个例子。在图2中，图像特征范畴选定部21，从预先分类的图像特征范畴中选定图像特征量FI所属的范畴，将表示所选定的图像特征范畴的种类的图像特征索引ID输出。图像特征索引ID被提供给高密化图像特征量数据库22，与图像特征索引ID相对应的被信息量高密化的图像特征量，从高密化图像特征量数据库22作为高密化图像特征量SFI输出。

具体地说，例如，将图像特征量记为向量(例如，使浓度直方图的频度为向量要素)，利用任意分类手法(例如，K—mean法)汇集类似的向量进行范畴形成。并且，通过向量量化选定范畴的手法比较有效。高密化图像特征量数据库22在执行信息量高密化处理之前作成。图像信息量预先准备超过输入图像的高密样本图像，求出例如浓度直方图等图像特征量。例如，当将320像素×240行的输入图像变换成1280像素×960行的高密化图像时，只要将1280像素×960行的图像作为高密样本图像准备好就行。适用于图像特征范畴选定部21和高密化图像特征量数据库22的向量记载方法、分类手法、图像特征索引的给予方法，是共通的。

图3为概念地示出了使用空间分辨率作为图像信息量的空间定义域超分辨处理的图。假设用行L来观察低分辨率图像X的浓度分布的结果是获得了浓度分布X。这里，为了方便说明，将行L中的像素数设为8像素。并且，这里的浓度分布，不是正确地反映图示的图像数据的浓度分布，是为了说明概念而模式地示出的浓度分布，在以后的说明中也是一样。

当使像素数为4倍的超分辨处理时，每行的像素数成为32像素，必须要32个浓度级，因此，必须要用某些形式补充24个像素的浓度数据。此时，例如如浓度分布A所示，能够考虑以4个像素为单位等间隔地设置低分辨率图像X的浓度，其间的像素通过线形内插来补充的方法。此时，虽然沿着行L的浓度变化的增减图案被保存起来，但由于坡度平滑，因此如图像A那样，成了不正常的图像。这是虽然图像信息量变成了4倍，但为图像特征的纹理印象发生了变质的情况。

另一方面，浓度分布B与成为低频成分的浓度分布X的波形形状无关，作为高频成分形成。由于浓度级的变化变大，比浓度分布A变化剧烈，因此生成图像B那样的细微纹理。但是，由于波形与浓度分布A相差太大，因此纹理印象发生变质。

浓度分布C是将浓度分布A作为低频成分保存起来，再将空间频率高于浓度分布A的高频成分重叠的情况。此时，由于低频成分跟踪(trace)纹理的基本图案，而且高频成分加上细微的纹理图案，因此能够在原封不动地保存纹理印象的状态下，补充不足的24个像素的浓度级。

另外，由于上述说明对于图像的水平方向也一样适用，因此在此省略说明。

其次，参照图4、图5、图6及图7对具体地实现图3所述的「对低频成分重叠高频成分的技术思想(浓度分布C)」的方法加以说明。

图4为示出了进行将空间分辨率用作图像信息量的空间定义域超分辨处理的图像处理装置的概要结构的框图。为输入图像IIN的图像特征的纹理，以像素单位由作为图像特征解析部的纹理解析部40解析，被记述为纹理特征量向量FVT。作为信息量高密化部的超分辨处理部50在纹理特征量空间中执行超分辨处理，将作为图像特征量的纹理特征量向量FVT变换成作为高密化图像特征量的超分辨化纹理特征量向量SFVT。图像生成部60将超分辨化纹理特征量向量SFVT可见化，将输出图像IOUT输出。

图5为示出了图4的纹理解析部40的结构和处理的一个例图。如图5所示，纹理解析部40利用空间频率响应进行纹理解析。输入图像IIN在空间频率成分分解部41中被分配到多个信道中，提供给各空间频带，可获得空间频率响应量FRS。纹理特征量向量生成部42将空间频率响应量FRS作为要素生成纹理特征量向量FVT。纹理特征量向量FVT，在以各空间频带的响应信道为轴的纹理特征量空间内具有方向和大小，以该属性记述纹理。另外，当特征量的各要素相互独立时，由于成为没有重复、高效率的特征量表现，因此傅里叶变换和小波变换等对空间频率成分的分解比较有效。并且，也可以利用分度、相位及空间的方向性中的至少一个不同的多个空间滤波器，求出空间频率响应。

图6为示出了图4的超分辨处理部50的结构和处理的一个例图。在图6中，超分辨化纹理特征量数据库51，以多个图像特征范畴为单位，分别存储有从超过输入图像IIN的分辨率的样本图像生成的纹理特征量向量。对各纹理特征量向量分别标注用以特定图像特征范畴的索引1～M。纹理范畴选定部52将记述了输入图像IIN的纹理的纹理特征量向量FVT与被存储在超分辨化纹理特征量数据库51的各纹理特征量向量进行比较。

这里，由于输入图像IIN比样本图像分辨率低，因此纹理特征量向量FVT对高频成分不具有有意义的响应(大于等于任意提供的阈值的响应)，对直流成分到中间频率(在此例中的频率w)成分为止具有响应。于是，纹理范畴选定部52，具体地说，纹理特征量向量FVT在具有响应的低分辨率成分之间取得向量的内积，将此设为相似度。将内积最大(相似度最高)的索引(此例中的索引S)选定为纹理特征量索引IDT，将被标注了此纹理特征量索引IDT的纹理特征量向量作为超分辨化纹理特征量向量SFVT输出。由于超分辨化纹理特征量向量SFVT对超过频率w的频带也具有响应，因此为在纹理特征量空间完成了超分辨处理。另外，在图6中，用0～100的动态范围示出了响应量。

图7为示出了图4的图像生成部60的结构和处理的一个例图。如图7所示，这里的处理为与图5所示的空间频率分解相反的处理。也就是说，对于超分辨化纹理特征量向量SFVT的各要素，在空间频率的各频带中取得与基本函数的积，使全信道的和为输出图像IOUT。另外，当在纹理解析部40中使用了傅里叶变换和小波变换等时，在图像生成部60中执行它们的逆变换。

如上所述，根据本实施例，将输入图像的纹理记述为空间频率向量，与从超过输入图像的分辨率的超分辨样本图像生成的空间频率向量进行比较，进行纹理选定。因此，能够确实地获得超分辨处理后的图像纹理，其印象与输入图像一致的效果。

另外，这里，对用空间分辨率作为图像特征量的空间定义域超分辨处理加以了说明，用时间分辨率作为图像特征量的时间定义域超分辨处理也能够与这里所述的空间定义域超分辨处理同样进行。此时，纹理是从随时间变化的影像信号级的不同而产生的。因此，图4的纹理解析部40由时间定义域构成，进行时间频率分解。展开到时间定义域以后的处理与图4～图7所述的一样，在这里省略说明。

(第2实施例)

图8为示出了本发明的第2实施例所涉及的图像处理装置的结构的框图。图8所示的图像处理装置也与图1的图像处理装置一样，生成超过输入图像的信息量的信息量高密化图像。在图8中，对与图1共通的构成要素标注与图1相同的符号，这里，将其详细说明省略。

信息量高密化部20A，包括：高密化图像特征量数据库25、基本图像特征量加权系数计算部26、及图像特征量内插部27。高密化图像特征量数据库25，以多个图像特征范畴为单位，存储有从信息量超过输入图像IIN的高密样本图像生成的被信息量高密化的基本图像特征量。基本图像特征量加权系数计算部26，分别计算出从输入图像IIN获得的图像特征量FI、和被存储在高密化图像特征量数据库25中的各基本图像特征量的相似度，基于此相似度，求出基本图像特征量加权系数群GWC。基本图像特征量加权系数群GWC被提供给图像特征量内插部27。与此同时，高密化图像特征量数据库25将存储的基本图像特征量群GSFI提供给图像特征量内插部27。图像特征量内插部27，利用基本图像特征量加权系数群GWC对基本图像特征量群GSFI进行线形加权加法运算，作为高密化图像特征量SFI输出。

也就是说，在本实施例中，信息量高密化是通过图像特征量空间中的线形内插执行的。因此，输入图像IIN的图像特征在被信息量高密化的图像IOUT中也被保存。并且，由于利用基本图像特征量加权系数将多个基本图像特征量内插，因此能够更精密地生成被信息量高密化的图像特征量。

图9为示出了进行将空间分辨率用作图像信息量的空间定义域超分辨处理的图像处理装置的概要结构的框图。在图9中，对与图4共通的构成要素标注与图4相同的符号，这里，将其详细说明省略。

作为信息量高密化部的超分辨处理部50A，包括：超分辨化纹理特征量数据库55、基本纹理特征量加权系数计算部56及纹理特征量内插部57。超分辨化纹理特征量数据库55，以多个图像特征范畴为单位，存储有从分辨率超过输入图像IIN的超分辨样本图像生成的被超分辨化的基本纹理特征量向量，作为基本图像特征量。基本纹理特征量加权系数计算部56，分别计算出从输入图像IIN获得的纹理特征量向量FVT、和被存储在超分辨化纹理特征量数据库55中的基本纹理特征量向量的相似度，基于此相似度求出基本纹理特征量加权系数群GWCT。基本纹理特征量加权系数群GWCT被提供给纹理特征量内插部57。与此同时，超分辨化纹理特征量数据库55将存储的基本纹理特征量向量群GSFVT提供给纹理特征量内插部57。纹理特征量内插部57，利用基本纹理特征量加权系数群GWCT对基本纹理特征量向量群GSFVT进行线形加权加法运算，作为超分辨化纹理特征量向量SFVT输出。

也就是说，超分辨处理是通过纹理特征量空间中的线形内插执行的。因此，输入图像IIN的纹理在被超分辨化的图像IOUT中也被保存。并且，由于利用基本纹理特征量加权系数将多个基本纹理特征量内插，因此能够更精密地生成被信息量高密化的图像特征量。

图10为示出了算出基本纹理特征量加权系数的方法的一个例图。基本纹理特征量加权系数计算部56，对于记述了输入图像IIN的纹理的纹理特征量向量FVT，算出与超分辨化纹理特征量数据库55所具有的基本纹理特征量向量群GSFVT的相似度。纹理特征量向量FVT对高频成分不具有有意义的响应(大于等于任意提供的阈值的响应)，对直流成分到中间频率(在此例中的频率w)成分为止具有响应。于是，基本纹理特征量加权系数计算部56，具体地说，纹理特征量向量FVT在具有响应的低分辨率成分之间取得向量的内积，将此设为相似度。并且，进行使内积的和成为1的正规化(normalization)，作为基本纹理特征量向量加权系数群GWCT输出。由于基本纹理特征量向量群GSFVT对超过频率w的频带也具有响应，因此为在纹理特征量空间完成了超分辨处理。另外，在图10中，用0～100的动态范围示出了响应量。

如上所述，根据本实施例，将输入图像的纹理记述为空间频率向量，利用从相似度求出的加权系数对从超过输入图像的分辨率的超分辨样本图像生成的基本纹理特征量向量进行线形内插，来算出超分辨化纹理特征量向量。因此，能够确实地获得超分辨处理后的图像纹理，其印象与输入图像一致的效果。

另外，这里，对用空间分辨率作为图像特征量的空间定义域超分辨处理加以了说明，用时间分辨率作为图像特征量的时间定义域超分辨处理也能够与这里所述的空间定义域超分辨处理同样进行。此时，纹理是从随时间变化的影像信号级的不同产生的。因此，图9的纹理解析部40由时间定义域构成，进行时间频率分解。展开到时间定义域以后的处理与图9所述的一样，在这里省略说明。

(第3实施例)

图11为示出了本发明的第3实施例所涉及的图像处理装置的结构图。图11所示的图像处理装置生成超过输入图像IIN的分辨率的超分辨图像IOUT。对与图4共通的构成要素标注与图4相同的符号。信息量高密化部由纹理特征量数据库71及纹理特征量向量变换表72构成。为输入图像IIN的图像特征的纹理，以像素单位由纹理解析部40解析，被记述为纹理特征量向量FVT。纹理解析部40的内部动作，与图5一样，从空间频率响应量FRS生成纹理特征量向量FVT。

纹理特征量数据库71，预先从i类分辨率和j类材质，合计(i×j)个样本图像作成。通过纹理分辨部40将(i×j)个样本图像变换成纹理特征量向量，以样本图像为单位将其直方图登记到纹理特征量数据库71中。也就是说，以样本图像的像素为单位通过纹理分辨部40求出纹理特征量向量，以全部像素为对象求出纹理特征量向量的频度。藉此方法，对每个在图像中所摄的材质种类规定多个图像特征范畴M_1～M_j。

这里，分辨率不同的i类样本图像中的至少一个超过输入图像IIN的分辨率，成为超分辨化的条件。并且，材质是例如木纹、纸、石头、沙子等，可以从物理特性来定义它们，也可以从人目视的感觉来定义。并且，即使相同的木纹，也能够考虑纹理粗躁的木纹、表面平滑的木纹和明亮的木纹等表现，有关材料种类的表现多种多样。本发明对其表现并不作限制，接受任意的定义。

另外，当具有相同纹理特征量向量的像素较少，特征量直方图的各要素频率较低时，若利用分类手法(例如，K—mean法)汇总类似的向量构成直方图的话，则能够在不使纹理特征变质的情况下，减少数据量。

对于象这样预先准备的纹理特征量数据库71，进行与从输入图像IIN的全部像素的纹理特征量向量FVT求出的特征量直方图的比较(直方图的相似度比较方法随意)。在图11中，材质M_2、分辨率R_2的特征量直方图H1，被选作与输入图像IIN的特征量直方图的相似度最高的。为了不使为图像特征的纹理印象变质进行超分辨，只要在同一材质(此时是材质M_2)的图像特征范畴中，选择超过输入图像IIN的分辨率的特征量直方图就行。在此例中，选择分辨率R_i的特征量直方图H2。

另外，这里，由于利用直方图进行处理，因此即使在执行时、学习时也就是纹理特征量数据库71的作成时，空间信息(空间坐标)不一致，也能够适用。

其次，为了将输入图像IIN的纹理特征量超分辨化，利用纹理特征量向量变换表72。纹理特征量向量变换表72设置成与纹理特征量数据库71成对，存储有由i类分辨率和j类材质构成的(i×j)个变换表。现在，由于将「材质M_2、分辨率R_2」的特征量直方图H1选定为与输入图像IIN的纹理特征量向量FVT相似度最高的，因此为了将其变换为「材料性质M_2、分辨率R_i」的特征量直方图H2，参照「(M_2—R_2)→(M_2—R_i)」变换表TB。纹理特征量向量变换表72的输出是超分辨化纹理特征量向量SFVT，通过图像生成部60可见化，这样一来，能够获得输出图像IOUT。

图12为示出了纹理特征量向量变换表72的作成方法的一个例图。首先，从分辨率最高的图像开始，由「低通滤波器+次取样」阶段性地作成低分辨率图像。这里，使为分辨率最高的图像的分辨率R_i图像通过低通滤波器80，由次取样82降低分辨率，获得分辨率R_i—1图像。同样，使分辨率R_i—1图像通过低通滤波器83，由次取样84降低分辨率，获得分辨率R_i—2图像。

并且，对各图像进行纹理解析，求出纹理特征量向量。在图12中，用标号号码表示纹理特征量向量的种类。从分辨率R_i图像，能够获得以像素为单位具有标号号码的标号图像A。同样，从分辨率R_i—1图像能够获得标号图像B，从分辨率R_i—2图像能够获得标号图像C。另外，由于对标号图像A、标号图像B、标号图像C，在这里的说明中不需要示出全部像素，因此模式地示出了其一部分。

将分辨率R_i—1图像变换成分辨率R_i图像的纹理特征量向量变换表，例如，如下所示，由标号图像B和标号图像A的标号号码的对应关系来构筑。现在，如(标号对应例1>所示，标号图像B的标号号码「5」，存在于两个像素，且对应于标号图像A的标号号码「3」、「5」、「7」、「8」4种纹理特征量向量。各自的频度为1、2、4、1。因此，使取得最大频度的标号号码「7」的纹理特征量向量为超分辨化纹理特征量向量。例如，能够通过这样单纯的选择处理，作成纹理特征量向量变换表。

并且，若根据频度取得各纹理特征量向量的加权线形和的话，则能够实现以发生频度为准的超分辨，虽然另外产生计算量，但是纹理保存效果变高。

在这两个方法中，标号之间是一对一对应，将一个纹理特征量向量变换成一个超分辨化纹理特征量向量。所以，在图12的例子中，由于标号图像B的一个像素对应于标号图像A的4个像素，因此对标号图像A的4个像素平均分配纹理特征量向量。但是，为了更进一步地发挥出超分辨的效果，最好分别对4个像素分配超分辨化纹理特征量向量。

作为其具体方法，例如，能够考虑根据标号频度将超分辨化纹理特征量向量分配给各像素的方法。也就是说，对与标号图像B的标号「5」相对应的标号图像A的8个像素中的一个像素分配标号「3」、两个像素分配标号「5」、4个像素分配标号「7」、一个像素分配标号「8」。

不过，由于在纹理特征量数据库71作成时和输入图像IIN的超分辨执行时，纹理图案在空间上位于相同位置的情况极少，因此利用标号图像A的空间位置信息并不一定恰当。因此，当根据标号频度将超分辨化纹理特征量向量分配给每个像素时，最好通过随机数产生等手段随机进行。另外，虽然像素的选择是随机决定的，但是被选择的超分辨化纹理特征量向量和其频度是根据标号的对应关系决定的。

另一方面，将分辨率R_i—2图像变换成分辨率R_i图像的纹理特征量向量变换表，由标号图像C和标号图像A的标号号码组合来构筑。例如，若将标号图像C的标号号码「11」和标号图像A的标号组合的话，则频度成为(标号对应例2>。由于频度成为最大的是标号号码「7」「9」两个，因此例如只要使标号「7」「9」的两个纹理特征量向量的平均为超分辨化纹理特征量向量就行。并且，作为其它方法，也可以使用在将分辨率R_i—1图像变换成分辨率R_i图像的变换表的作成中已经说明的方法。

如上所述，根据本实施例，由于对每个材质将纹理特征量超分辨化，因此能够不使纹理的材质感变质来实现超分辨处理。并且，由于对于多个分辨率分别准备有纹理特征量，因此能够从低分辨率(也就是，输入图像)的纹理选定和高分辨率(也就是，输出图像)的图像生成的两个方面来实现没有纹理变质的超分辨处理。

另外，可以利用专门的硬件来实现本发明所涉及的图像处理装置的各个手段、或者本发明所涉及的图像处理方法的各步骤的全部或一部分，也可以通过计算机的程序软件地实现。

以下，举出实现本发明的结构例。

(第1结构例)

图13为示出了第1结构例的图，为利用个人计算机进行本发明所涉及的图像处理的结构的一个例子。摄影机101的分辨率低于显示装置102的分辨率，为了最大限度地发挥显示装置102的显示能力，利用被装入主存储器103中的本发明所涉及的图像处理程序来作成超分辨图像。由摄影机101取入的低分辨率图像被记录在图像存储器104中。预先对外部存储装置105准备好超分辨纹理特征量数据库105a，以便能够从主存储器103的图像处理程序参照。通过存储器总线106读入图像存储器104的低分辨率图像，按显示装置102的分辨率变换成高分辨率图像，再次经由存储器总线106传送到图像存储器107。被传送到图像存储器107的高分辨率图像能够通过显示装置102看见。另外，图像处理程序的动作、数据库的内容和作成方法等，为在上述实施例中所示的任意一个，在此省略说明。

另外，本发明并不限于图13的结构，能够采用各种结构。例如，也可以从连接在其它个人计算机上的外部存储装置通过网络108取得超分辨化纹理特征量数据库105a。并且，低分辨率图像，也可以通过网络108取得。

(第2结构例)

图14为示出了第2结构例的图，是利用服务器客户***进行本发明所涉及的图像处理的结构的一个例子。摄影机111的分辨率低于显示装置112的分辨率，为了最大限度地发挥显示装置112的显示能力，在服务器客户***中执行超分辨处理。服务器113包括纹理解析部114及超分辨处理部115，将输入图像IIN的纹理特征量FT超分辨化，作为超分辨化纹理特征量SFT经由网络发到顾客117。顾客117通过图像生成电路118将收到的超分辨化纹理特征量SFT可见化，将获得的超分辨图像显示在显示装置112上。另外，纹理解析、超分辨处理和超分辨化纹理特征量数据库的内容、作成方法等，为上述实施例所示的任意一个，在此省略说明。

另外，本发明并不限于图14的结构，能够采取各种结构。例如，摄影机111也可以是顾客117的一部分。

(第3结构例)

图15为示出了第3结构例的图，是利用带照相机的携带式电话和电视进行本发明所涉及的图像处理的结构的一个例子。带照相机的携带式电话121能够通过网络122或存储卡123将图像数据传送到电视124。带照相机的携带式电话121的分辨率低于电视124，为了最大限度地发挥电视124的显示能力，利用实际安装在电视内部电路中的纹理特征量解析电路、超分辨化纹理特征量数据库、图像生成电路来作成超分辨图像，显示在画面上。另外，详细的纹理特征量解析、超分辨化纹理特征量数据库、图像生成，为在上述实施例中所述的任意一个，在此省略说明。

另外，本发明并不限于图15的结构，能够采取各种结构。例如，带照相机的携带式电话121也可以是数字静像摄影机和影像视频摄影机(videomovie camera)。

如上所述，本发明，能够在广泛普及的个人计算机、服务器客户型***或带照相机的携带式电话、数字静像摄影机、影像视频摄影机、电视机等整个影像设备中执行，不需要特别的设备、运用、管理等。并且，对于专门硬件的实际安装、软件和硬件的组合等、***构筑方法、设备连接形态、设备内部的结构等并不作限制。

(实用性)

本发明，由于在不使图像特征变质的情况下，制作出信息量更多的图像，因此能够在视觉信息量被重视的各种应用领域实际运用。例如，在电子交易中，能够出示消费者注目的商品细节，能够用数字档案准确地向鉴赏者出示展品的细节，具有在影像制作中提高影像表现的可能性，在放送中保证各种影像格式互换性等的效果。

Claims (11)

1、一种图像处理方法，增加原图像的图像信息量，生成高密化图像，其特征在于：

包括：进行上述原图像的空间频率解析或时间频率解析，将频率响应作为图像特征量的第1步骤；

将从高密化图像的样本图像所取得的多个高密化图像特征量，根据其相似度分类为图像特征范畴，以每个上述图像特征范畴为单位，使相似的高密化图像特征量汇集为一个，预先存储在高密化图像特征量数据库中，对于在上述第1步骤中所获得的图像特征量，在该图像特征量具有成分的频率带，与存储在上述高密化图像特征量数据库中的高密化图像特征量进行比较，选定相似度最高的图像特征范畴，从高密化图像特征量数据库中读出所选定的图像特征范畴中的高密化图像特征量的第2步骤；以及

对在上述第2步骤中所获得的高密化图像特征量，进行上述第1步骤的逆变换，生成上述高密化图像的第3步骤。

2、一种图像处理方法，增加原图像的图像信息量，生成高密化图像，其特征在于：

包括：进行上述原图像的空间频率解析或时间频率解析，将频率响应作为图像特征量的第1步骤；

对被摄体的材质种类和分辨率种类的组合的每一个组合，根据样本图像计算出图像特征量，预先存储在纹理特征量数据库中，将同一材质中的分辨率不同的图像的同一像素所具有的图像特征量的一对预先存储在纹理特征量向量变换表中，对于在上述第1步骤中所获得的图像特征量，与存储在上述纹理特征量数据库中的图像特征量进行比较，选定具有相似度最高的图像特征量的被摄体的材质和分辨率的组合，根据选定的被摄体的材质和分辨率、以及对应于图像信息量的增加量的分辨率，参照纹理特征量向量变换表，将选定的被摄体的材质和对应于图像信息量的增加量的分辨率的组合所具有的图像特征量作为高密化图像特征量读出的第2步骤；以及

对在上述第2步骤中所获得的高密化图像特征量，进行上述第1步骤的逆变换，生成上述高密化图像的第3步骤。

3、根据权利要求1或2所述的图像处理方法，其特征在于：

利用傅里叶变换，求出空间频率响应或者时间频率响应。

4、根据权利要求1或2所述的图像处理方法，其特征在于：

利用小波变换，求出空间频率响应或者时间频率响应。

5、根据权利要求1或2所述的图像处理方法，其特征在于：

利用分度、相位及空间方向性中的至少一个不同的多个空间滤波器，求出空间频率响应或者时间频率响应。

6、一种图像处理装置，增加原图像的图像信息量，生成高密化图像，其特征在于：

包括：进行上述原图像的空间频率解析或时间频率解析，将频率响应作为图像特征量的图像特征解析部；

对于由上述图像特征解析部得到的图像特征量，在该图像特征量具有成分的频率带，与存储在高密化图像特征量数据库中的高密化图像特征量进行比较，选定相似度最高的图像特征范畴，从上述高密化图像特征量数据库中读出所选定的图像特征范畴中的高密化图像特征量的信息量高密化部；以及

对由上述信息量高密化部所获得的高密化图像特征量，进行上述图像特征解析部的逆变换，生成上述高密化图像的图像生成部，

其中，所述高密化图像特征量数据库将从高密化图像的样本图像所取得的多个高密化图像特征量，根据其相似度分类为图像特征范畴，以每个上述图像特征范畴为单位，使相似的高密化图像特征量汇集为一个而预先存储起来。

7.根据权利要求6所述的图像处理装置，其特征在于：

上述原图像为由带照相机的手机所摄的图像数据。

8.一种***，是一种具有服务器装置和客户装置，进行增加原图像的图像信息量，生成高密化图像的图像处理的服务器客户***，其特征在于：

上述服务器装置，包括：

进行上述原图像的空间频率解析或时间频率解析，将频率响应作为图像特征量的图像特征解析部；以及

对于由上述图像特征解析部得到的图像特征量，在该图像特征量具有成分的频率带，与存储在高密化图像特征量数据库中的高密化图像特征量进行比较，选定相似度最高的图像特征范畴，从上述高密化图像特征量数据库中读出所选定的图像特征范畴中的高密化图像特征量，经由网络将该高密化图像特征量传送到上述客户装置中的信息量高密化部；

其中，所述高密化图像特征量数据库将从高密化图像的样本图像所取得的多个高密化图像特征量，根据其相似度分类为图像特征范畴，以每个上述图像特征范畴为单位，使相似的高密化图像特征量汇集为一个而预先存储起来；

上述客户装置，包括：对来自上述服务器装置的高密化图像特征量，进行上述图像特征解析部的逆变换，生成上述高密化图像的图像生成部；以及

显示由上述图像生成部所生成的高密化图像的图像显示部。

9.一种服务器装置，是一种进行增加原图像的图像信息量，生成高密化图像的图像处理的服务器客户***中的服务器装置，其特征在于：

包括：进行上述原图像的空间频率解析或时间频率解析，将频率响应作为图像特征量的图像特征解析部；以及

对于由上述图像特征解析部得到的图像特征量，在该图像特征量具有成分的频率带，与存储在高密化图像特征量数据库中的高密化图像特征量进行比较，选定相似度最高的图像特征范畴，从上述高密化图像特征量数据库中读出所选定的图像特征范畴中的高密化图像特征量，经由网络将该高密化图像特征量传送到上述客户装置中的信息量高密化部，

其中，所述高密化图像特征量数据库将从高密化图像的样本图像所取得的多个高密化图像特征量，根据其相似度分类为图像特征范畴，以每个上述图像特征范畴为单位，使相似的高密化图像特征量汇集为一个而预先存储起来。

10.一种客户装置，是一种进行增加原图像的图像信息量，生成高密化图像的图像处理的服务器客户***中的客户装置，其特征在于：

包括：对来自权利要求9所述的服务器装置的高密化图像特征量，进行上述图像特征解析部的逆变换，生成上述高密化图像的图像生成部；以及

显示由上述图像生成部所生成的高密化图像的图像显示部。

11.一种***，具有带照相机的手机和显示装置，进行增加原图像的图像信息量，生成高密化图像的图像处理，其特征在于：

上述带照相机的手机，经由网络或记录媒体将所摄的图像数据传送给上述显示装置；

上述显示装置，包括：

进行上述原图像的空间频率解析或时间频率解析，将频率响应作为图像特征量的图像特征解析部；以及

对于由上述图像特征解析部得到的图像特征量，在该图像特征量具有成分的频率带，与存储在高密化图像特征量数据库中的高密化图像特征量进行比较，选定相似度最高的图像特征范畴，从上述高密化图像特征量数据库中读出所选定的图像特征范畴中的高密化图像特征量的信息量高密化部；

对由上述信息量高密化部所获得的高密化图像特征量，进行上述图像特征解析部的逆变换，生成上述高密化图像的图像生成部；以及

显示由上述图像生成部所生成的高密化图像的图像显示部，

其中，所述高密化图像特征量数据库将从高密化图像的样本图像所取得的多个高密化图像特征量，根据其相似度分类为图像特征范畴，以每个上述图像特征范畴为单位，使相似的高密化图像特征量汇集为一个而预先存储起来。

Images