CN1245016C - 图像处理装置及其处理方法、和存储介质 - Google Patents

Abstract

发送/接收单元(34)经网络接收从监视器发出的图像发送请求，并且发送完整或部分已消除失真的图像。由成像设备采集的图像存储在存储单元(33)中。根据发送/接收单元(34)所接收的请求，运算单元(32)选择存储在存储单元(33)的完整或部分图像。图像处理单元(36)将运算单元(32)选定的完整或部分图像转换成已消除失真的图像。

Description

图像处理装置及其处理方法、和存储介质

本专利申请是下列专利申请的分案申请：

申请号：00800791.8

申请日：2000年3月13日

发明名称：图像提供装置及其提供方法、图像处理装置及其处理方法、和存储介质

技术领域

本发明涉及一种图像提供装置及其提供方法、一种图像处理装置及其处理方法、以及一种用于记录图像处理执行程序的存储介质，并且特别涉及一种用于根据指示在远端提供和处理或显示图像的图像提供装置及其提供方法和图像处理装置及其处理方法，以及一种使用所述图像处理装置的图像提供***。

背景技术

随着网络技术的发展奠立了信息通信的基础，活动图像数据通过通信网络进行实时传送成为了可能。在这种电信基础设施下，在远端安装或提供摄影机，通过网络对该摄影机进行远程控制来观看所需的活动图像，这种技术的使用，在保安、广告、信息指南、房地产、远端医疗服务等领域都有应用前景。

现有一种摇动式(pan/tilt)摄影机可以用作允许远端控制的摄影机，它能够机械地移动摄影机的视点，以预定位置为参照点摇动镜头来改变图像采集位置，以缩放改变视域的角度。

由于这种摇动式摄影机具有可机械移动的部分，因此和完全电子操作的摄影机相比，它存在一些问题，这种摇动式摄影机的可靠性低，需要周期性维护，并且由于操作需要花费一定的时间，因此对所需图像的传送存在延时。

而且，机械操作的摇动式摄影机不能对多个用户提供图像采集视点或视角各不相同的图像。

而且，为了允许在360度的大范围内进行图像采集，在远端安装或提供的摇动式摄影机需要采用锥形镜的图像采集镜头。这种使用锥形镜的图像采集镜头存在结构方面的失真缺陷。针对上述情况，当使用锥形镜进行图像采集时，现有多种技术可以用来消除图像数据中的失真。

另外，还有一些图像采集***，可以消除使用锥形镜的图像采集镜头在用户所需位置所拍摄的图像中的失真，以将该图像发送给远端用户，这样，即使不摇动摄影机的镜头，用户也能获得所需的摇动图像。

传统提出的消除图像数据失真的技术，仅仅通过坐标转换(变换)，转换(变换)图像***失真部分的像素位置，并且不能提供足够的清晰度，而且失真部分与无失真部分相比，图像质量还是很差。

发明内容

本发明是针对上述实际情况而提出的，并且它的目的是提供一种获取不产生失真的高清晰度图像的图像提供装置及其提供方法和图像处理装置及其处理方法。

另外，本发明的另一目的是提供一种图像提供装置及其提供方法和图像处理装置及其处理方法，它的特点是易维护、可靠性高，并且能够无时延地发送图像，其中，多个用户可以使用图像采集视点或视角各不相同的图像。

为了达到上述目的，本发明提出一种图像提供装置，用于输入从图像采集装置整体拍摄的预定范围内的失真图像，并根据图像显示单元的请求提供完整或部分图像，该图像提供装置包括：发送/接收单元，用于从图像显示单元接收图像发送请求，并且将完整或部分已消除失真的图像发送给图像显示单元；存储单元，用于存储从图像采集装置输入的图像；运算单元，用作选择装置，根据发送/接收单元所接收的请求，选择存储在存储单元的完整或部分图像；图像转换单元，用于消除由运算单元选定的完整或部分图像的失真，并且将它转换成高质量的图像。

而且，本发明提出一种图像提供装置的图像提供方法，用于输入从图像采集单元整体拍摄的预定范围内的失真图像，并根据图像显示单元的请求提供完整或部分图像，该方法包括：通信步骤，接收来自图像显示单元的图像发送请求，并且发送完整或部分已消除失真的图像；存储步骤，存储从图像采集单元输入的图像；选择步骤，根据通信步骤中接收的请求，选择存储步骤中存储的完整或部分图像；图像转换步骤，将选择步骤中选定的完整或部分图像转换成已消除失真的图像，并且将它转换成高质量的图像。

而且，本发明提出一种提供计算机可读程序的存储介质，该程序用于执行一种处理，包括：通信步骤，输入从图像采集单元整体拍摄的预定范围内的失真图像，从图像显示单元接收对图像提供单元(该单元根据图像显示单元的请求提供完整或部分图像)的图像发送请求，并且向图像显示单元发送完整或部分已消除失真的图像；存储步骤，存储从图像采集单元输入的图像；选择步骤，选择存储步骤中存储的完整或部分图像；图像转换步骤，消除选择步骤中选定的完整或部分图像的失真，并且将它转换成高质量的图像。

而且，本发明提出一种图像处理装置，其中，该装置包括：分类分块电路，用于将有失真的图像数据分成分类块；预测值计算分块电路，用于将有失真的图像数据分成预测值计算块；分类自适应处理电路，用于根据从所述分类分块电路传送的分类块和从所述预测值计算分块电路传送的预测值计算块执行分类自适应处理以校正图像数据在拍摄时产生的失真，并且将它转换成高质量的图像。

并且，本发明提出一种图像处理方法，其中，该方法包括：分类分块步骤，由分类分块电路将有失真的图像数据分成分类块；预测值计算分块步骤，由预测值计算分块电路将有失真的图像数据分成预测值计算块；分类自适应处理步骤，由分类自适应处理电路根据从所述分类分块电路传送的分类块和从所述预测值计算分块电路传送的预测值计算块执行分类自适应处理以校正图像数据在拍摄时产生的失真，并且将它转换成高质量的图像。

并且，本发明提出一种图像提供***，包括：图像采集单元、图像提供单元和图像显示单元，其中，构成该***的图像采集单元包括用于整体拍摄预定范围内的图像的图像采集装置；图像提供单元包括：第一发送/接收部分，用于从图像显示单元接收图像发送请求，并且将完整或部分已消除失真的高质量图像发送给图像显示单元，存储部分，用于存储从图像采集单元输入的图像，选择装置，用于根据第一发送/接收部分所接收的请求，选择在存储部分中存储的完整或部分图像，图像转换电路，用于消除由选择装置选定的完整或部分图像的失真，并且将它转换成高质量的图像；图像显示单元，包括第二发送/接收部分，用于将图像发送请求发送给图像提供单元，并且从图像提供单元接收完整或部分已消除失真的高质量图像。

另外，本发明提供了一种图像提供***，包括：图像采集单元、图像提供单元，和图像处理单元，其中，构成该***的图像采集单元图像包括用于整体拍摄预定范围内的图像的图像采集部分；图像提供单元包括：第一发送/接收部分，用于从图像处理单元接收图像发送请求，并且将完整或部分图像发送给图像处理单元，存储部分，用于存储从图像采集单元输入的图像，和选择装置，用于根据第一发送/接收部分所接收的请求，选择存储部分中存储的完整或部分图像；图像处理单元，包括：第二发送/接收部分，用于将发送图像的请求发送给图像提供单元，并且从图像提供单元接收完整或部分图像；图像转换电路，用于将所接收的图像转换成高质量的通信图像。

通过下面给出的实施例描述，本发明的上述和其它目的，以及实际优点将会变得更加清楚。

附图说明

图1示出本发明中的图像提供***方框图；

图2示出本发明中用于图像提供***的图像采集单元的透视图；

图3示出图像采集单元输出的图像的示意图；

图4示出本发明中用于图像提供***的图像提供装置的方框图；

图5阐释从存储单元读出的图像；

图6阐释对从存储单元读出的图像进行转换后得到的图像；

图7示出本发明中用于图像提供***的图像处理单元的结构方框图；

图8阐释分类块和预测值计算块；

图9A和图9B阐释ADRC处理；

图10A和图10B阐释分类处理；

图11示出本发明中的学习单元方框图；

图12示出图像处理单元方框图；

图13阐释提供图像提供单元的图像的处理流程图；

图14阐释图像处理单元的图像转换处理流程图；

图15示出安装了执行图像提供***的一系列处理的程序的计算机结构方框图。

具体实施方式

现在描述本发明的一种图像提供装置及其提供方法、图像处理装置及其处理方法和一种用于记录图像处理执行程序的存储(记录)介质。

首先介绍应用本发明的图像提供***。该图像提供***包括图1所示的图像采集单元1。图像采集单元1用于采集预定对像的图像，并且将所采集的活动图像传送给图像提供装置(单元)2。图像提供单元2用于存储从图像采集单元1传送的图像，根据通过网络3从图像处理装置(单元)4或者从监视器7输入的发送请求，提取完整或部分存储图像，并且将该图像传送给通过网络3输出发送请求的图像处理单元4或者监视器7。

图像处理单元4从输入单元6-1输入用户请求信号，并且通过网络3将用于生成预定视点图像发送请求的指令发送给图像提供单元2。而且，图像处理单元4通过网络3接收从图像提供单元2传送的图像，也就是，与图像处理单元4所发送的指令对应的图像，并且对该图像进行转换或者直接将图像输出给监视器5。监视器5显示从图像处理器4传送的图像。

监视器7从输入单元6-2输入用户请求信号，并且通过网络3将用于生成预定视点图像发送请求的指令发送给图像提供单元2。另外，监视器7通过网络3接收从图像提供单元2传送的图像，也就是，与监视器7所发送的指令对应的图像，并且显示所接收的图像。

如图2所示，该图像提供***所使用的图像采集单元1包括由透明玻璃或塑料组成的透明圆柱体1。镜头12和摄影机13位于圆柱体11中，这样它们可以分别置放在预定的位置。镜头12反射从外部透过透明圆柱体11，并且由摄影机13接收的周围图像光线。摄影机13采集由镜头12反射的周围图像，并且将图像(如图3所示的失真图像21)传送给图像提供单元2。摄影机13采集的图像包括在摄影机13的光轴***的360度大范围内的图像。

图1的图像提供***中的图像提供单元2的结构，如图4所示。该图像提供单元2包括从图像采集单元1接收图像信号的A/D(Analog/Digital，模拟/数字)转换部分31。A/D转换部分31对从图像采集单元1输入的失真图像进行A/D转换，并且将输入图像的数字数据输出给运算部分32。运算部分32允许存储部分33存储从A/D转换部分31输入的图像数字数据。存储部分33存储从运算部分32传送的图像(如图3所示的图像21)的数字数据，并且将从运算部分32指定的图像数字数据传送给运算部分32。

通过网络3，发送/接收部分34从图像处理单元4或监视器7，接收用于生成预定视点图像发送请求的指令，并且将该指令传送给地址译码器35。地址译码器35将从发送/接收部分34传送的指令转换成指定存储在存储部分33的图像的地址的代码，并且将该代码输出给运算部分32。运算单元32输入从地址译码器35传送的指定图像地址的代码，并且从存储部分33读取与该代码对应的图像，然后将该图像传送给MPX.(multiplexer，多路复用器)37或者图像处理部分36。

例如，如图5所示，存储在存储部分33的完整或部分图像21由从地址译码器35传送的图像地址指定，并且从存储部分33读出。例如，图像51或图像52从存储部分33读出，并且传送给多路复用器37或图像处理部分36。图像处理部分36通过分类自适应处理将从运算部分32传送的图像转换成不带失真的图像(无失真图像)，并且将该图像输出给多路复用器37。例如，图5的图像51转换成图6的图像81，并且图5的图像52转换成图6的图像82。

根据从运算部分32传送的控制信号，多路复用器37选择从运算部分32传送的图像，或从图像处理部分36传送的图像，并且将选定的图像输出给发送/接收部分34。发送/接收部分34将从多路复用器37输入的图像发送给请求发送图像的图像处理单元4或监视器7。

下面将更详细地说明图像处理部分36，它通过分类自适应处理将从运算部分32传送的图像转换成不带失真的图像(无失真图像)。方框图7示出图像处理部分36的结构。用于分类的分块电路101将从运算部分32传送的失真图像划分为许多分类块，其中，带标记像素位于中心处，根据它的属性，将这些块归入预定的类中。

也就是，在图8中，假定从上端算起的第i行和从左端算起的第J列的像素(在图中由黑色小圆点标记的部分)用X_ij表示，分类分块电路101包括多个分类块，每个分类块由5个像素组成，分别是X_ij及其相邻的上、下、左、右的四个像素X_(i-1)j、X_i(j-1)、X_i(j+1)和X_(i-1)j。分类块将传送给分类自适应处理电路103。

在本例中，分类块是由呈十字型分布的像素构成的区域。然而，分类区的形状并不要求是十字型。另外，举例来说，可以采用矩形、正方形，或者任意形状。需要进一步说明的是，构成分类块的像素的数目也不限定为5个。

预测值计算分块电路102，将图像的像素划分成用于计算预测值的块，其中，带标记像素是用于计算无失真预测值的单元，要求位于中心处。也就是，在图8中，假定无失真图像中以像素X_ij(图中用小黑点标记的部分)为中心的3×3块的9个像素的像素值，依照从左到右和从上到下的顺序，分别用Y_ij(1)、Y_ij(2)、Y_ij(3)、Y_ij(4)、Y_ij(5)、Y_ij(6)、Y_ij(7)、Y_ij(8)、Y_ij(9)来表示，预测值计算分块电路102组成正方形预测值计算块，例如，为了计算Y_ij(1)至Y_ij(9)的预测值，组成以X_ij为中心，共由22个像素(X_(i-1)(j-2)、X_(i-1)(j-1)、X_(i-1)j、X_(i-1)(j+1)、X_(i-1)(j+2)、X_(i-1)(j+3)、X_(i-1)(j+4)、X_(i-1)(j+5)、X_(i-1)(j+6)、X_(i-1)(j+7)、X_i(j-2)、X_i(j-1)、X_ij、X_i(j+1)、X_i(j+2)、X_(i+1)(j-2)、X_(i+1)(j-1)、X_(i+1)j、X_(i+1)(j+1)、X_(i+1)(j+2)、X_(i+2)(j-1)、X_(i+2)j、X_(i+2)(j+1))构成的预测值计算块。

从更实际的角度来说，例如，计算图8的正方形中像素Y₂₃(1)至Y₂₃(9)的无失真预测值时，预测值计算块是由X₁₁、X₁₂、X₁₃、X₁₄、X₁₅、X₁₆、X₁₇、X₁₈、X₁₉、X₂₁、X₂₂、X₂₃、X₂₄、X₂₅、X₃₁、X₃₂、X₃₃、X₃₄、X₃₅、X₄₁、X₄₂、X₄₃组成的。

在预测值计算分块电路102中得到的预测值计算块传送给分类自适应处理电路103。

同样，和分类块的情况相同，对预测值计算块的形状和像素数目并无限定。需要说明的是，希望组成预测值计算块的像素数大于组成分类块的像素数。

另外，组成分类块和预测值计算块的像素数目可以随着带标记图像位置的变化而改变。

虽然进行上述分块时(其他处理也是一样)，位于图像边缘处附近的点并不存在对应的像素，但是，在这种情况下进行处理时，我们可以假定图像外部的像素与图像边缘的像素相同。

分类自适应处理电路103由ADRC(Adaptive Dynamic Range Coding，自适应动态范围编码)处理电路111、分类电路112、预测系数存储电路113和预测电路114组成，并且用于执行分类自适应处理。

ADRC处理电路111对来自分类块电路101的分类块执行ADRC处理，并且将经ADRC处理后得到的由ADRC代码构成的块传送给分类电路112。

在本例中，按照ADRC处理电路111的ADRC处理，构成分类块的像素位数从8位变为2位。

也就是，举例来说，为简化说明，我们考虑由位于直线上的4个像素构成的块，如图9A所示。在ADRC处理中，检测出对应像素值的最大值MAX和最小值MIN。而且，假定DR＝MAX-MIN为块的局部动态范围。根据该动态范围DR，将构成块的像素的像素值重新量化为K位。

也就是，用块中的每个像素值减去最小值MIN，然后将得到的减数值除以DR/2^K。此外，对应于所得的相除值的代码(ADRC代码)通过转换提供。从更实际的角度来说，例如，假定K等于2。在这种情况下，如图9B所示，可以将动态范围DR用4(＝2²)均分为四个范围，从而判定被除值属于哪个范围。此时，被除值的范围分为：最低级范围、第二级范围、第三级范围和最高级范围，可以采用二进制代码00B、01B、10B和11B来表示(B表示二进制数)。并且，在解码时，ADRC代码00B、01B、10B和11B转换成最低级范围的中心值L00、从最低级开始的第二级的中心值L01、从最低级开始第三级的中心值L10和最高级范围的中心值L11，这些级也是通过用4均分动态范围DR得到的。解码时，这些值还需要加上最小值MIN。

在此，这种ADRC处理被称为非边界匹配。

需要说明的是，有关ADRC处理的详细介绍，已公开在例如本发明申请人提交的日本申请公开号No.53778/1991等的申请中。

按照这种ADRC处理，重新量化时采用了比构成块的像素位数更少的位数，从而可以减少像素值的位数。

下面对分类处理和自适应处理进行简要的说明。分类自适应处理是一种处理过程，它根据特征对输入信号进行分类，并且对每个类的输入信号进行相应的自适应处理，它可以粗略地划分为分类处理和自适应处理。

首先，介绍分类处理。

例如，如图10A所示，假定2×2像素构成的块(分类块)是由1个带标记的像素和3个与之相邻的像素构成，并且假定每个像素用1位表示(0级或1级)。在这种情况下，根据每个像素的级别分布的不同，由4个像素构成的2×2块可以划分为16种模式，如图10.B所示。这种模式分类就是分类处理，它是在分类电路112中执行的。

需要说明的是，可以根据图像(块中的图像)的活动性(图像的复杂性)，(变化的剧烈性)等进行分类处理。

通常，如在本例中，原始像素大约分配8位。另外在本例中，如上所述，分类块是由5个像素构成的。因此，对由8位原始像素构成的分类块进行分类处理时，需要划分为巨大的(2⁸)⁵种类别。

另一方面，在本例的ADRC处理电路111中，减少了像素的位数(从8位减少到2位)。从而减少了类别(1024＝(2²)⁵)。

根据从ADRC处理电路111传送的ADRC代码，分类电路112执行分类处理，并将用于指定类别的信号输出给预测系数存储电路113。

下面介绍自适应处理。

为了进行自适应处理，需要作预先的预测系数学习。根据由图像采集单元1输入的失真图像和由多台摄影机拍摄的无失真图像等，获得用于从失真图像预测无失真图像的预测系数，并且将该预测系数存储在预测系数电路113中。

下面结合图11所示的学习单元200介绍自适应处理。

从图像采集单元1输入的失真图像从失真图像输入部分201输入。而且，在由图像采集单元1拍摄的大致相同位置的无失真图像从无失真图像部分202输入。例如，无失真图像部分202是周边失真更小的多台摄影机。

然后，将从失真图像输入部分201和无失真图像部分202输入的图像，传送给学习分块部分203。学习分块部分203生成图像块，该图像块是用作失真图像和无失真图像间的预测系数学习的处理单元。在这种情况下，失真图像周边的失真部分的像素数目比无失真图像对应的像素数目要少。因此，对于失真图像的失真部分和无失真部分改变用于学习的图像块是比较理想的。例如，对于失真部分，理想的做法是设置范围很广的图像块，以包括离带标记像素很远部分的像素。在这种关系下，由于在自适应处理的过程中，是从具有较少像素的图像块预测具有较多像素数目的图像块，因此有必要使用相同的失真图像块预测多个无失真的像素值。针对上述情况，也就是，通过分别收集离带标记像素相对位置相同的图像块来学习预测系数，可以根据相同的失真图像块预测多个无失真的像素值。

在学习分块部分203提取的失真图像块输入给ADRC处理部分204，并且在分类部分205根据ADRC处理结果对每个失真图像块进行归类。ADRC处理部分204和分类部分205的结构分别与上面描述的ADRC处理电路111和分类电路112类似。

失真图像块的分类结果输入给预测系数学习部分206。而且，对应的失真图像块和作为预测导师的无失真图像通过学习分块部分输入给预测系数学习部分206。

下面将详细介绍预测系数学习部分206。

例如，在此，考虑对无失真图像像素值y的预测值E[y]是由一次线性组合模型确定的，该模型是由失真图像像素的像素值(此后根据需要偶尔也称作学习数据)x₁、x₂......和预定的预测系数w₁、w₂......的线性组合表示的。在这种情况下，预测值E[y]可以用下述方程表示。

E[y]＝w₁x₁+w₂x₂+...+w₂₅x₂₅                         (1)

其中，矩阵W是预测系数w的集合，矩阵X是学习数据x的集合，矩阵Y是预测值E[y]的集合，具体定义如下：

$X=\left(\begin{array}{cccc}{x}_{11}& x_{12}& \·\·\·& x_{1n}\\ x_{21}& x_{22}& \·\·\·& x_{2n}\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ x_{m1}& x_{12}& \·\·\·& x_{\mathrm{mn}}\end{array}\right)$

$W=\left(\begin{array}{c}{W}_1\\ W_2\\ \·\·\·\\ W_m\end{array}\right),Y^{\′}=\left(\begin{array}{c}E\left[y_1\right]\\ E\left[y_2\right]\\ \·\·\·\\ E\left[y_n\right]\end{array}\right)$

如下描述的观察方程成立。

XW＝Y’         (2)

因此，考虑将最小平方数应用到该观察方程，来确定接近无失真图像的像素值y的预测值E[y]。在这种情况下，矩阵Y是无失真图像的像素值Y的集合(此后根据场合也称作导师数据)，矩阵E是预测值E[y]与无失真图像的像素值y之间的误差值e的集合，具体定义如下：

$E=\left(\begin{array}{c}{e}_1\\ e_2\\ \·\·\·\\ e_m\end{array}\right),Y=\left(\begin{array}{c}{y}_1\\ y_2\\ \·\·\·\\ y_n\end{array}\right)$

从方程(2)推导，得出下面的误差方程。

XW＝Y+E           (3)

在这种情况下，确定接近于无失真图像的像素值y的预测值E[y]的预测系数w_i，可以通过最小化下面误差的平方和来确定。

因此，将上述误差的平方和对预测系数w_i求偏导，也就是，满足下面方程的预测系数W_i产生用于确定接近于无失真图像的像素值y的预测值E[y]的最佳值。

$e_1\frac{\∂e_1}{{\∂w}_i}+e_2\frac{{\∂e}_2}{{\∂w}_i}+...+e_m\frac{{\∂e}_m}{\∂w_i}=0(i=\mathrm{1,2},...,n)---\left(4\right)$

由上可知，将方程(3)对预测值系数Wi求偏导，得到如下方程。

$\frac{{\∂e}_i}{{\∂w}_i}=x_{i1},\frac{{\∂e}_i}{{\∂w}_2}=x_{i2},...,\frac{\∂e_i}{{\∂w}_n}=x_{\mathrm{in}},(i=\mathrm{1,2},...,m)---\left(5\right)$

由方程(4)和(5)，得到方程(6)。

$\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}_i{x}_{i1}=0,\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}_i{x}_{i2}=0,...,\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}_i{x}_{\mathrm{in}}=0---\left(6\right)$

然后，考虑方程(3)的误差方程中的学习数据x，预测系数w，导师数据y和误差e的关系，可以得到下述正则方程。

$\left\{\begin{array}{c}\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i1}{x}_{i1}\right)w_1+\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i2}{x}_{i2}\right)w_2+...+\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i1}{x}_{\mathrm{in}}\right)w_n=\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i1}{y}_i\right)\\ \left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i2}{x}_{i1}\right)w_1+\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i2}{x}_{i2}\right)w_2+...+\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i2}{x}_{\mathrm{in}}\right)w_n=\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{i2}{y}_i\right)\\ \·\·\·\\ \left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{in}}{x}_{i1}\right)w_1+\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{in}}{x}_{i2}\right)w_2+...+\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{in}}{x}_{\mathrm{in}}\right)w_n=\left(\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{iy}}{y}_i\right)\end{array}\right.---\left(7\right)$

方程(7)的正则方程数目和待定的预测系数w的数目相同。

并且，将上述正则方程传送给预测系数运算(计算)部分207。预测系数运算部分207通过求解方程(7)确定最佳预测系数w。例如，在求解方程(7)时，可以采用消元法(Gauss-Jordan消元法)等方法。

采用上述方法，求得每个类的最佳系数w，并且将该预测系数传送给预测系数存储电路113。

也就是，自适应处理是通过使用由学习获得并且存储在预测系数存储电路113的预测系数w，从失真图像求得接近无失真图像的像素值y的预测值E[y]。

图7中的预测系数存储电路113预先存储了上述每个类的最佳预测系数w。预测系数存储电路113根据从分类电路112传送的用于指定类别的信号将类的最佳预测系数w输出给预测电路114，预测电路114根据从预测系数存储电路113传送的最佳预测系数w，执行自适应处理，并且将无失真图像的像素值y输出给多路复用器(MPX.)37。

需要说明的是，自适应处理不同于插值处理，因为在无失真图像中包含了失真图像中没有的再现成分。也就是，当仅仅考虑方程(1)时，自适应处理与使用插值滤波器的插值处理相似，但是与插值滤波器的抽头系数对应的预测系数w是通过使用导师数据y进行学习来确定的。由于这个原因，包含在无失真图像中的成分可以被再现。因此，可以说自适应处理是具有图像的所谓创造性行为的处理。

方框图12阐释当图像处理单元4从图像提供单元2接收的失真图像转换成无失真图像时，图像处理单元4的功能结构。用于分类的分块电路131将通过网络3从图像提供单元2接收的失真图像的像素分成用于分类的块，并且将它们传送给分类自适应处理电路133。用于预测值计算的分块电路132将从图像处理单元2接收的失真图像的像素分成用于预测值计算的块，并且将它们传送给分类自适应处理电路133。

分类自适应处理电路133由ADRC处理电路141、分类电路142、预测系数存储电路143和预测电路144组成，并且根据从分类分块电路131传送的分类块和从预测值计算分块电路132传送的预测值计算块执行分类自适应处理，创建无失真图像，并且将它输出给监视器5。

ADRC处理电路141对来自分类分块电路131的分类块执行ADRC处理，并且将因此所获得的由ADRC代码构成的块传送给分类电路142。分类电路142根据从ADRC处理电路141传送的ADRC代码执行分类处理，并且将用于指定类别的信号输出给预测系数电路143。预测系数存储电路143预先存储每个类的最佳预测系数w，并且根据从分类电路142传送的指定类别的信号，将每个类的最佳预测值系数w输出给预测电路144。预测电路144根据从预测系数存储电路143传送的最佳预测系数w和从预测值计算分块电路132传送的预测值计算块，执行自适应处理，并且将无失真图像的像素值y输出给监视器5。

下面参照流程图13，描述图像提供单元2的提供图像处理过程。在步骤S11，图像提供单元2的管理器启动(激活)图像提供单元2。在步骤S12，图像提供单元2的A/D转换部分31对从图像采集单元1传送的图像执行A/D转换，生成输入图像的数字数据，并且将该数据传送给运算部分32。在步骤S13，图像提供单元2的运算部分32允许存储部分33存储从A/D转换部分31输入的数字数据。

在步骤S14，发送/接收部分34通过网络3接收从图像处理单元4或者监视器7传送的发送图像请求，并且将该请求传送给地址译码器35。地址译码器35将从发送/接收部分34传送的图像发送请求转换成指定图像地址的代码，并且将该代码输出给运算部分32。运算部分32根据从地址译码器35传送的信号，判断是否存在发送请求。如果判定存在发送请求，则执行步骤S15，输入从地址译码器35传送的指定图像地址的代码。在步骤S16，运算部分32根据指定图像地址的代码，从存储部分33中读出预定的图像。

在步骤S17，运算部分32根据从地址译码器35传送的信号，也就是，与从图像处理单元4或监视器7传送的图像发送请求对应的信号，判断是否存在图像转换请求。如果判定存在图像转换请求，则执行步骤S18，将从存储部分33读出的预定图像输出给图像处理部分36，并且允许图像处理部分36将它转换成无失真图像，和允许多路复用器37将该无失真图像输出给发送/接收部分34。在步骤S17，如果判定不存在图像转换请求，在图像处理单元4中执行将图像变成无失真图像的转换。从而跳过步骤S18，运算部分32将从存储部分33读取的预定图像直接输出给多路复用器37。因此，将导致多路复用器37把失真图像输出给发送/接收部分34。

在步骤S19，发送/接收部分34通过网络3将从多路复用器37传送的图像发送给在步骤S14输出图像发送请求的图像处理单元4或监视器7。在步骤S20，运算部分32根据从输入部分(没有显示)的信号，判断图像提供是否完成，如果没有完成，处理过程返回到步骤S12，重复图像提供处理过程。在步骤S20，如果判定图像提供完成，则处理过程结束。

在步骤S14，如果判定不存在发送请求，过程返回到步骤S12。因此，重复从图像采集单元1传送的图像的输入处理过程。

如上所述，图像提供单元2根据来自图像提供单元4或监视器7的请求，对图像处理单元4或监视器7提供预定的图像。如果图像处理单元4和监视器7同时请求不同的图像，图像提供者2同时发送预定的图像。

下面参照流程图14，说明与图13的步骤S18对应的图像处理部分36的图像转换过程。在步骤S51，图像处理单元36从运算部分32输入预定的图像。在步骤S52，分类分块电路101将失真图像分成以带标记像素为中心的分类块。预测值计算分块电路102将失真图像分成以带标记像素为中心的预测值计算块。

在步骤S53，ADRC处理电路111根据从分类分块电路101传送的分类块，通过ADRC处理生成与分类块中的像素值对应的2位ADRC代码。在步骤S54，分类电路112根据从ADRC处理电路111传送的ADRC代码执行分类，并且将用于指定类别的信号输出给预测系数存储电路113。

在步骤S55，预测系数存储电路113将与指定类别的信号对应的类的最佳预测系数w输出给预测电路114。在步骤S56，预测电路114根据从预测系数存储电路113传送的最佳预测系数w和从预测值计算分块电路102传送的预测值计算块，计算带标记像素的像素值。

在步骤S57，预测电路114将步骤S56计算出的无失真图像的像素值输出给多路复用器37。在步骤S58，预测电路58判断预定图像的像素值是否已经输出。如果判定预定图像的像素值没有输出，处理过程返回到步骤S51，重复图像转换处理。在步骤S58，如果判定预定图像的像素值已经输出，则处理过程结束。

如上所述，图像处理部分36根据从运算部分32传送的图像，采用分类自适应处理，生成无失真图像。

需要说明的是，当图像提供单元2将图像采集单元1拍摄的部分图像直接发送给图像处理单元4时，图像处理单元4所执行的处理过程和参照流程图14介绍的处理过程相似。

如上所述，本发明的图像提供***可以实时地为多个用户提供不同的位置或视角的图像。因此，如果在保安领域使用这种***，可以减少摄影机的死角，从而提高安全性。如果在广告、信息指南或房地产领域使用这种***，许多用户可以同时观看任意位置或视角的图像，如实际的产品或建筑物的内部等。因此，所提供的信息量大大增加。从而提高广告的效应。

而且，如果将本发明应用于远程医疗服务领域，那么当多名分布在不同地方的医生组成小组做手术时，每个医生可以同时看到他们希望看到部分的图像。因此，每个医生都可以在很短的时间内作出准确的判断。从而，减轻了病人的负担。

由于图像采集单元1没有机械操作部分，因此它的维护期比较长，并且图像采集单元1也更少发生故障。

需要说明的是，虽然我们只介绍了图像采集单元1采集动态图像，并且将图像输出给图像提供单元2，但是图像采集单元1也可以采集静态图像，并且将图像输出给图像提供单元2；图像提供单元2可以提供静态图像给图像处理部4或监视器7。

另外，图像采集单元1也可以采用使用一个或多个鱼眼石镜头的结构。

在此公开的***是指由多个单元组成的整体装置。

而且，上述的一系列处理既可以通过硬件实现，也可以通过软件实现。如果使用软件执行该系列处理，需要在广泛使用的计算机等上安装组成该软件的程序。

因此，图15给出一个计算机示例，其中的计算机安装了执行上述系列处理的程序。在此使用的程序可以预先记录在作为计算机记录介质的硬盘305或ROM 303。另外，程序也可以临时性或永久性存储(记录)在可移动的介质中，如软盘、CD-ROM(Compact Disc Read Only Memory，光盘只读存储器)、MO(Magneto Optional，磁性光学)磁盘、DVD(Digital Versatile Disc，数字化通用光盘)、磁盘、半导体存储器、磁性存储器或光学存储器等等。这种可移动的存储介质可以作为所谓的软件包提供。

需要说明的是，除了从上述可移动记录介质将程序安装到计算机外，还可以通过用于数字卫星广播的人造卫星的无线发送(无线***)从下载站点将程序传送给计算机，或者通过网络如因特网的线路将程序传送给计算机，并且计算机可以用同样的方式由通信部分308接收程序，以将该程序安装到内部的硬盘305中。

计算机包括内部的CPU(Central Processing Unit，中央处理器)302。输入/输出接口310通过总线301与CPU 302相连。用户操作由键盘和/或鼠标等构成的输入部分307，通过输入/输出接口310将命令输入给CPU 302，CPU302根据命令执行存储在ROM(Read Only Memory，只读存储器)的程序。或者，CPU 302将存储在硬盘305的程序、从卫星或网络传送的，由通信部分308接收的程序并安装在硬盘305中的程序、或者从与驱动器309相连的可移动记录介质中读出并安装在硬盘305中的程序，载入到RAM(RandomAccess Memory，随机访问存储器)，并执行该程序。因此，CPU 302执行上述流程图的处理过程，或者由上述方框图的结构执行的处理过程。而且，例如，CPU 302根据需要通过输入/输出接口310从由LCD(Liquid CrystalDisplay，液晶显示)或扬声器等构成的输出部分306输出它的处理结果，从通信部分308发送该处理结果；和/或将它记录到硬盘305中。

在这里需要说明的是，没有必要按照流程图描述的顺序以时间序列方式处理描述计算机执行各种处理的程序的步骤，这种处理可以包括采用并行或单独方式执行的处理，如并行处理或对象处理。

而且，程序既可以由一台计算机执行，也可以由多台计算机进行分布式执行。另外，程序还可以传送到远端计算机进行执行。

工业应用

在本发明中，由于进行了失真图像和无失真的高质量图像间的学习，因此失真图像可以校正为无失真图像，并且全部转换为高质量的图像。因此失真图像的清晰度可以转换成与无失真部分类似的清晰度。由于转换只需通过预测操作来完成，而不需要执行坐标变换(转换)后的插值处理，因此操作不要花费很多时间。另外，与传统使用的插值法不同，预测操作是根据失真图像和无失真图像间的学习执行的。因此，本***等同于创建了不存在的像素。因此，可以获取图像的更高清晰度。

Claims (3)

1.一种图像处理装置，包括：

分类分块电路，用于将有失真的图像数据分成分类块；

预测值计算分块电路，用于将有失真的图像数据分成预测值计算块；

分类自适应处理电路，用于根据从所述分类分块电路传送的分类块和从所述预测值计算分块电路传送的预测值计算块执行分类自适应处理以校正图像数据在拍摄时产生的失真，并且将它转换成高质量的图像。

2.如权利要求1所述的图像处理装置，

进一步包括用于拍摄有失真的图像数据的图像采集装置。

3.一种图像处理方法，包括：

分类分块步骤，由分类分块电路将有失真的图像数据分成分类块；

预测值计算分块步骤，由预测值计算分块电路将有失真的图像数据分成预测值计算块；

分类自适应处理步骤，由分类自适应处理电路根据从所述分类分块电路传送的分类块和从所述预测值计算分块电路传送的预测值计算块执行分类自适应处理以校正图像数据在拍摄时产生的失真，并且将它转换成高质量的图像。

Images