CN101241590B

CN101241590B - 图像处理设备和方法、程序和记录介质

Info

Publication number: CN101241590B
Application number: CN2008100054612A
Authority: CN
Inventors: 增田卓; 中根敏秀; 斋木嘉春; 宅间英贵
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-02-09
Filing date: 2008-02-04
Publication date: 2011-09-14
Anticipated expiration: 2028-02-04
Also published as: US20080193042A1; JP2008197829A; CN101241590A; US8036482B2

Abstract

在此公开了一种图像处理设备，包括：失真校正处理器，用于从失真的广视场图像中生成失真校正的输出图像；以及所选区域设置单元，用于在所述输出图像中设置所选区域，其中，当生成除了所述所选区域以外的区域的输出图像时，所述失真校正处理器以比生成所述所选区域的输出图像时更低的图像质量来校正失真。

Description

图像处理设备和方法、程序和记录介质

技术领域

本发明涉及图像处理设备和方法、程序和记录介质，更具体地，涉及当生成除了所选区域以外的区域的图像时，比生成所选区域的图像时校正失真的图像质量更低，此时从广视场的失真图像中生成失真校正的输出图像的领域。

背景技术

迄今为止，已经提出了用于使用户在使用例如鱼眼镜头捕获的广视场的图像中指定所需区域、校正所指定区域的失真和显示所校正的图像的设备(见日本专利公开号2000-324386)。

发明内容

如果对于每一帧都校正指定区域的失真以生成校正后的图像信号，则失真校正处理是耗时的任务。因此，即使以高速率读取所捕获的图像信号，也难以以高帧频生成校正后的图像信号。

本发明的实施例提供能够以高帧频生成失真校正的图像信号的图像处理设备和方法、程序和记录介质。

根据本发明的原理，为了从失真的广视场图像中生成失真校正的输出图像，当生成除了所选区域以外的区域的输出图像时，比生成所选区域的输出图像时失真校正的图像质量更低。

根据本发明的实施例的图像处理设备包括：失真校正处理器，用于从失真的广视场图像生成失真校正的输出图像；以及所选区域设置单元，用于在输出图像中设置所选区域；其中，在生成除了所述所选区域以外的区域的输出图像时比生成所选区域的输出图像时失真校正的图像质量更低。

根据本发明的另一实施例的图像处理方法、程序和记录介质包括步骤：在输出图像中设置所选区域；以及当生成除了所选区域以外的区域的输出图像时，比生成所述所选区域的输出图像时失真校正的图像质量更低。

根据本发明的另一实施例，对以整体被设置为除了所述所选区域以外的区域的输出图像粗略地校正失真，其后生成所选区域的输出图像。为了校正失真的图像质量更低，计算在广视场图像中与所述输出图像中位于每隔一个像素的间隔处或每多个像素的间隔处的像素对应的像素位置，并进行映射处理，用于使用位于所计算的位置处的像素信号作为输出图像中的相应像素的信号，由此用于从失真的广视场图像中生成失真校正的输出图像。在所选区域中，对每个像素进行映射处理，以从失真的广视场图像中生成失真校正的输出图像。可以将被映射处理所处理的像素的像素信号可用作没有没有被映射处理所处理的像素的像素信号。可选地，将被布置为与所处映射处理从中读取像素信号的广视场图像中的像素相邻的像素的像素信号用作没有被映射处理所处理的像素的像素信号。

根据本发明的另一实施例，为了从失真的广视场图像生成失真校正的输出图像，当生成除了所选区域以外的区域的图像时，比生成所选区域的图像时更粗略地校正失真。因此，减少了用于生成输出图像的计算量，并且可以以高帧频生成输出图像。

从结合通过示例图示本发明的优选实施例的附图的下列描述中，本发明的上述和其他目的、特征和优点将变得清晰。

附图说明

图1是并入了根据本发明的图像处理设备的照相机***的方框图；

图2是示出在图像捕获器件上形成的对象图像的图；

图3A和3B是示出镜头的图像高度特性的图；

图4A到4D是图示失真校正处理的原理的图；

图5A到5D是图示对于所选区域和未选区域的失真校正计算的图；

图6是失真校正处理的全部操作序列的流程图；

图7是示出在输出图像中的所选区域的图；

图8是对于未选区域的失真校正序列的流程图；

图9是对于所选区域的失真校正序列的流程图；

图10是图示对于未选区域的另一失真校正序列的图；

图11是对于未选区域的另一失真校正序列的流程图；

图12是图像处理***的方框图；

图13是另一图像处理器的方框图；以及

图14A和14B是示出包括全部图像在内的输出图像的图。

具体实施方式

以下将参考附图描述本发明的优选实施例。图1以方框形式示出并入了根据本发明的图像处理设备的照相机***。

如图1所示，照相机***包括图像捕获单元11、失真校正处理器12、输入单元13、信息存储器14、自动选择信息生成器15和图像输出单元16。

图像捕获单元11包括图像捕获光学***111、图像捕获器件112和A/D转换器113。图像捕获光学***111用于将物体图像聚焦到图像捕获器件112的图像捕获表面上。具体地，图像捕获光学***111包括用于将广视场中的对象(object)图像聚焦到图像捕获器件112的图像捕获表面上的鱼眼镜头。可选地，图像捕获光学***111可以包括例如广角镜头、PAL(全景环形镜头)等等来代替鱼眼镜头。还可选地，图像捕获光学***111可以包括管状、杯形、或圆锥镜，用于反射广视场中的物体图像作为聚焦到图像捕获器件113的图像捕获表面上的图像，或可以包括镜头和镜子的组合，用于捕获更广视场中的图像。

图像捕获器件112包括CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)传感器等等，用于将光转换为电信号。由A/D转换器113将由图像捕获器件112生成的模拟图像信号转换成数字图像信号，该数字图像信号被供应给失真校正处理器12中的输入图像缓冲器121。

失真校正处理器12包括输入图像缓冲器121、失真校正计算器122和输出图像缓冲器123。失真校正处理器12从图像捕获单元11获得的广视角图像中生成失真校正的输出图像。具体地，失真校正处理器12进行映射处理，用于计算广视角图像上对应于榆出图像的各像素的像素位置，并用于使用在所计算的像素位置处的像素信号作为输出图像的相应像素的信号。

输入图像缓冲器121保存从图像捕获单元11供应的广视角图像的像素信号。在失真校正计算器122进行映射处理时，输出图像缓冲器123通过连续写入从输入图像缓冲器121读取的像素信号来保存失真校正的输出图像。失真校正计算器122计算在广视角图像上对应于输出图像的各像素的像素位置。

失真校正计算器122与输入单元13、信息存储器14和自动选择信息生成器15连接。输入单元13接收用于摇动(panning)、倾斜和缩放动作的操作输入，以改变输出图像相对于广视角图像的范围，并且还接收用于在输出图像中设置所选区域的操作输入。

所选区域是在失真方面被校正以提供比除了所选区域以外的输出图像区域(以后称为“未选区域”)更好的图像质量的输出图像区域。未选区域是被提供以缩短失真校正所需的计算时间的区域，并且未选区域允许其图像质量低于所选区域。

所选区域不局限于任何具体的形状。但是，如果所选区域是使得失真校正计算器122容易确定图像是否是在所选区域内所包括的图像的形状，则这种形状的所选区域有利于失真校正计算器122的失真校正处理。例如，如果所选区域是矩形，则当规定矩形的左角的像素位置、矩形的宽度(水平方向上的像素数)和矩形的高度(垂直方向上的像素数)时，可以唯一确定所选区域，这使得失真校正计算器122容易确定图像是否是所选区域中所包括的图像。如果所选区域是圆形，则当规定圆形的中心像素位置和圆形的半径或直径尺寸时，可以唯一确定所选区域，这使得失真校正计算器122容易确定图像是否是所选区域中所包括的图像。

由用户通过输入单元13输入用于设置所选区域的参数。可选地，可以显示用于设置所选区域设置屏幕，并且用户可以在所显示的设置屏幕上指定所选区域以确定参数。将参数作为设置信息JA供应给失真校正计算器122。

信息存储器14用于存储用来设置通过摇动、倾斜和缩放动作而选择的输出图像的范围的参数，并用于在输出图像中设置所选区域的参数。信息存储器14可以存储一个或多个所选区域的参数，并且可以从信息存储器14中读取所期望的参数，并将其作为设置信息JB供应给失真校正计算器122，用于设置所选区域。

自动选择的信息生成器15自动地设置所选区域。具体地，自动选择信息生成器15使用图像信号DVa来比较多个帧图像，以检测已经发生移动的区域。然后，自动选择信息生成器15自动地设置包含已经发生移动的区域在内的所选区域，并将代表所选区域的参数作为设置信息JC供应给失真校正计算器122。可选地，自动选择信息生成器15可以检测已经发生颜色改变或亮度改变的区域，并可以自动地设置包含这种所检测区域在内的所选区域。

照相机***可以包括用于设置所选区域的输入单元13、信息存储器14和自动选择信息生成器15中的任意一个或全部。

当从广视场中的失真图像中生成未选区域的失真校正的图像时，失真校正计算器122比生成所选区域的图像时校正失真的图像质量更低。具体地，当生成未选区域的图像时，失真校正计算器122进行映射处理，用于计算在广视角图像上对应于输出图像中在每个像素的间隔或多个像素的间隔处的各像素的像素位置，并使用在所计算的像素位置处的像素信号作为输出图像的对应像素的信号，由此以更低图像质量校正失真。失真校正计算器122连续向输出图像缓冲器123中写入根据映射处理从输入图像缓冲器121读取的像素信号，以将失真校正的输出图像存储在输出图像缓冲器123中。

图像输出单元16将从失真校正处理器12的输出图像缓冲器123中读取的图像信号输出到显示相应图像的显示器件(未示出)，该图像信号被转换成与显示器件兼容的输出格式的图像信号DVout。

失真校正处理器12、失真校正计算器122等等可以是硬件实现的或软件实现的。

下面将描述失真校正处理的原理。例如，用于校正由图像捕获光学***111产生的图像失真的失真校正处理使用基于一般算法的几何校正处理，用于将失真的二维坐标***转换成无失真的二维正交坐标***。可以在ROM、另一存储器等等中存储算法的转换公式和转换表。失真校正处理不局限于这种几何校正处理，而可以是任何其他已知的失真校正处理。

如果图像捕获光学***111包括鱼眼镜头等，并且其视场呈现为图2所示的半球场(a semispherical field)51，则由图像捕获器件112生成的图像信号代表圆形广视场图像(wide-field-of-view image)Gc。代表来自失真校正处理器12的输出图像的视场的输出区域OBs对应于在广视场图像Gc中的区域ARs。进行失真校正处理以将区域ARs的图像信号映射到输出屏幕上的像素位置，以便校正图像失真。

图3A和3B是示出镜头的图像高度特性的图。图3A示出从y轴方向上观看的关于点O的上半球面视场的二维表示。在图3A中，箭头OPk指示对象的方向。如果将位于箭头OPk所指示的方向上的对象聚焦在聚焦点Q，则从点O到聚焦点Q的距离表示图像高度Lh。图3B示出了图像高度特性。在图3B中，水平轴指示角度(入射角)θ，而垂直轴指示图像高度Lh。可以将图3B所示的数据存储在存储器中作为转换表。

图4A到4D是图示失真校正处理的原理的图。图4A示出代表输出图像的视场的输出区域OBs的图像的显示屏幕61。图4B示出针对半球场51设置的输出区域OBs。输出区域OBs对应于显示屏幕61。例如，在输出区域OBs上的点P对应于显示屏幕61上的像素位置PX。输出区域OBs和显示屏幕61具有中心HO。图4C示出投影在x-y平面上的半球场51。投影了半球场51的区域对应于广视场图像Gc的区域。

以下将描述针对半球状域51设置的输出区域OBs上的点，例如点P。如果由P(u，v，w)表示点P的位置，则由于OP＝(u²+v²+w²)^1/2，因此可以确定角度θ为θ＝arccos[w/((u²+v²+w²)^1/2)]。如果预先确定了关于图像捕获光学***111的上述图像高度特性，并且存储了用于角度θ和图像高度Lh之间转换的转换表，则可以通过计算角度θ来获得关于点P的图像高度Lh。

如果从点P垂直x-y平面延伸的线与x-y平面相交于点P′(u，v，0)，则OP′＝OP×sin(θ)。因此，聚焦点Q(xp，yp)位于由xp＝u×Lh/((u²+v²+w²)^1/2×sin(θ))，yp＝v×Lh/((u²+v²+w²)^1/2×sin(θ))指示的位置处。以此方式可以确定聚焦点Q(xp，yp)。

可选地，可以确定对应于点P的点P′在x-y平面上的方向和x轴之间的角度

，并且可以从角度

和图像高度Lh确定聚焦点Q的位置。可以确定角度为

＝arccos[u/(u²+v²)^1/2]。因此，确定聚焦点Q为在向x轴倾斜角度

的方向上从点O隔开图像高度Lh处的位置。

从图像信号DVa获得如此确定的聚焦点Q的图像信号。基于所获得的图像信号，如图4D所示绘制出对应于输出区域OBs上的点P在显示屏幕61上的像素位置PX。在校正由图像捕获光学***111产生的失真的同时，类似地处理显示屏幕61上的所有像素位置，从而将像素信号映射到显示屏幕61的像素。在没有对应于聚焦点Q的像素信号的情况下，可以通过使用聚焦点Q周围的像素的像素信号来创建对应于聚焦点Q的像素信号。例如，可以对聚焦点Q周围的像素的像素信号插值以生成对应于聚焦点Q的像素信号。以此方式，可以从输入图像缓冲器121读取与显示屏幕61上的各个点对应的聚焦点Q的像素信号，并将其写入输出图像缓冲器123中，以保存显示屏幕61上的像素的像素信号。因此，将失真校正的图像的图像信号存储在输出图像缓冲器123中。

在以上失真校正处理中，如果计算在广视场图像上对应于显示屏幕61上的各个点的像素位置，即如果计算对应于显示屏幕61上的各个点的聚焦点Q，则要花费很长的计算时间。当生成未选区域的图像时，可以以比生成所选区域的图像时更低的图像质量校正失真，来减少计算时间。例如，如果在未选区域中的每隔一个像素的间隔处或在每多个像素的间隔处进行映射处理，则减少了计算像素位置的次数，结果计算时间更短。

图5A到5D是图示对于所选区域和未选区域的失真校正计算的图。图5A示出输出图像GZ。输出图像GZ包含所选区域GZse和用作未选区域GZns的其余区域。在未选区域GZns中，在每隔一个像素的间隔处或在每多个像素的间隔处计算广视场图像上的像素位置，如图5B所示。在图5B中，在每隔一个像素的间隔处，即在阴影线示出的像素处，水平和垂直地计算在广视场图像上的像素位置。

当如此在每隔一个像素的间隔处或在每多个像素的间隔处计算广视场图像上的像素位置时，计算像素位置的次数减少了，结果计算时间更短。不能映射没有计算像素位置的那些像素的像素信号。因此，将计算了像素位置并且被映射的那些像素的像素信号用作没有计算像素位置的那些像素的像素信号。例如，当在广视场图像上的像素信号G(x，y)被映射为在像素位置PX(1，1)处的像素信号DP(1，1)时，如图5C所示，复制像素信号G(x，y)用作在各个像素位置PX(1，2)、PX(2，1)、PX(2，2)处的像素信号DP(1，2)、DP(2，1)、DP(2，2)。在所选区域GZse中，如图5D所示，计算在广视场图像上的所有像素的像素位置，并映射其像素信号。

由于可以通过以上处理缩短计算时间，因此能够以高帧频产生校正后的图像信号。如果选择所选区域GZse以便包括受关注的对象，则防止了不适当地降低受关注的对象的图像质量。

此外，在检查连续像素以确定输出图像的每个像素是在所选区域GZse中的像素还是在未选区域GZns中的像素的同时，实行失真校正处理。可选地，可以对被临时设置为未选区域GZns的全部输出图像实行失真校正处理，然后对被设置在输出图像中的所选区域GZse中所包括的像素实行失真校正处理。

如果对被临时设置为未选区域GZns的全部输出图像实行失真校正处理，然后对被设置在输出图像中的所选区域GZse中所包括的像素实行失真校正处理，则由于不需要确定每个像素是在所选区域中的像素还是在未选区域中的像素，因此可以有效地进行失真校正处理。如果仅对所选区域GZse中的如下那些像素实行失真校正处理：还没有在被临时设置为未选区域GZns的全体输出图像上所实行的失真校正处理中计算这些像素在广视场图像上的像素位置，则由于没有对相同像素重复失真校正处理，因此可以有效地进行失真校正处理。

下面将参考流程图描述失真校正处理。图6是将对被临时设置为未选区域的全体输出图像实行的、其后对被设置在输出图像中的所选区域中所包括的像素实行的失真校正处理的全部操作序列的流程图。

在图6所示的步骤ST1中，对未选区域实行失真校正处理。具体地，例如，对被临时设置为未选区域GZns的全体输出图像GZ实行失真校正处理。然后，对被设置在输出图像GZ中的所选区域GZse实行失真校正处理。其后，失真校正处理结束。

图7示出在输出图像中设置的所选区域。由PX(x，y)表示输出图像上的像素位置，由PX(0，0)表示其左上角上的像素。输出图像具有由水平宽度W和垂直高度H定义的尺寸。例如，所选区域GZse是由P(u0，v0)表示其左上角上的像素的矩形。所选区域GZse具有由水平宽度Ws和垂直高度Hs定义的尺寸。

图8是对于未选区域的失真校正序列的流程图。在图8所示的步骤ST11中，失真校正计算器12把要建立的视场设置为输出图像，即输出区域OBs。然后，控制前进到步骤ST12。

在步骤ST12中，失真校正计算器122将指示垂直坐标值的变量y初始化为“y＝0”。然后，控制前进到步骤ST13。

在步骤ST13中，失真校正计算器122确定失真校正处理是否已经到达了垂直的最后像素而完成。如果变量y的值还没有到达垂直高度H，则控制前进到步骤ST14。

在步骤ST14中，失真校正计算器122将指示水平坐标值的变量x初始化为“x＝0”。然后，控制前进到步骤ST15。

在步骤ST15中，失真校正计算器122确定失真校正处理是否已经到达了水平的最后像素而完成。如果变量x的值还没有到达水平高度W，则控制前进步骤ST16。

在步骤ST16中，失真校正计算器122实行失真校正处理，以计算与输出图像上的像素位置PX(x，y)对应的广视场图像上的像素位置。然后，控制前进到步骤ST17。

在步骤ST17中，失真校正计算器122进行用于映射像素信号的映射处理。具体地，失真校正计算器122读取位于步骤S16中所计算的像素位置处的像素信号G(jx，jy)，并将其设置为位于像素位置PX(x，y)处的像素信号DP(x，y)。然后，失真校正计算器122复制所读取的像素信号G(jx，jy)，用作还没有被计算像素位置的像素的像素信号。具体地，失真校正计算器122将位于像素位置P(x+1，y)处的像素信号DP(x+1，y)设置为像素信号G(jx，jy)，将位于像素位置P(x，y+1)处的像素信号DP(x，y+1)设置为像素信号G(jx，jy)，并将位于像素位置P(x+1，y+1)处的像素信号DP(x+1，y+1)设置为像素信号G(jx，jy)。然后，控制前进到步骤ST18。

在步骤ST18中，由于失真校正计算器122计算位于每隔一个像素的间隔处的像素位置，因此失真校正计算器122给变量x加“2”，以产生新的变量x值。然后，控制返回步骤ST15。

重复从步骤ST15到步骤ST18的处理循环以逐步地水平经过输出图像进行失真校正处理。当沿着一条线完成失真校正处理时，变量x的值到达输出图像的水平宽度W。因此，控制从步骤ST15前进到步骤ST19。

在步骤ST19中，由于失真校正计算器122计算位于每隔一个像素的间隔处的像素位置，因此失真校正计算器122给变量y加“2”，以产生新的变量y值。然后，控制返回到步骤ST13。重复从步骤ST13到步骤ST19的处理循环以逐步地垂直经过每隔一条线的每条线进行失真校正处理。当在输出图像上完全完成了失真校正处理时，变量y的值到达输出图像的垂直高度H。在步骤ST13中，判断变量y的值已经达到了输出图像的垂直高度H。现在，在未选区域中的失真校正处理结束。

图9是对于所选区域的失真校正序列的流程图。在图9所示的步骤ST21中，失真校正计算器122设置所选区域。然后，控制前进到步骤ST22。

在步骤ST22中，失真校正计算器122将指示垂直坐标值的变量y设置为所选区域中的第一像素位置“y＝v0”。然后，控制前进到步骤ST23。

在步骤ST23中，失真校正计算器122确定失真校正处理是否已经到达所选区域中的垂直的最后像素。如果变量y的值还没有到达所选区域中的垂直像素位置v0与所选区域的高度Hs的总和，则控制前进到步骤ST24。

在步骤ST24中，失真校正计算器122将指示水平坐标值的变量x设置为所选区域中的第一像素位置“x＝u0“。然后，控制前进到步骤ST25。

在步骤ST25中，失真校正计算器122确定失真校正处理是否已经到达所选区域中的水平的最后像素。如果变量x的值还没有到达所选区域中的水平像素位置u0与所选区域中的宽度Ws的总和，则控制前进到步骤ST26。

在步骤ST26中，失真校正计算器122实行失真校正处理，以计算与输出图像上的像素位置PX(x，y)对应的广视场图像上的像素位置。然后，控制前进到步骤ST27。

在步骤ST27中，失真校正计算器122进行用于映射像素信号的映射处理。具体地，失真校正计算器122读取位于步骤S26中所计算的像素位置处的像素信号G(jx，jy)，并将其设置为位于像素位置PX(x，y)处的像素信号DP(x，y)。然后，控制前进到步骤ST28。

在步骤ST28中，由于失真校正计算器122计算所选区域中的所有像素位置，因此失真校正计算器122给变量x加“1”，以产生新的变量x值。然后，控制返回到步骤ST25。

重复从步骤ST25到步骤ST28的处理循环，以逐步地水平经过所选区域进行失真校正处理。当沿着所选区域的一条线完成失真校正处理时，变量x的值到达值“Ws+u0”。因此，控制从步骤ST25前进到步骤ST29。

在步骤ST29中，由于失真校正计算器122计算所选区域中的所有像素位置，因此失真校正计算器122给变量y加“1”，以产生新的变量y值。然后，控制返回到步骤ST23。重复从步骤ST23到步骤ST29的处理循环，以逐步地垂直经过每条线进行每一条线的失真校正处理。当在所选区域中完全完成了失真校正处理时，变量y的值到达值“Hs+v0”。在步骤ST23中，判断变量y的值为已经达到值“Hs+v0”。现在，在所选区域中的失真校正处理结束。

根据对于未选区域的上述失真校正处理，如图5C所示，将计算了其像素位置且被映射的像素的像素信号用作没有计算其像素位置的像素的像素信号。然而，当将一个像素信号复制成三个像素时，未选区域的图像由四个像素单元组成，并且可能具有依赖于成像对象的降低的图像质量。图10示出用于解决这种问题的失真校正处理。根据图10所示的失真校正处理，读取被布置与基于失真校正处理的结果而从广视场图像读取其像素信号的像素相邻的像素的像素信号，用作没有计算其像素位置的像素的图像信号。例如，当对具有像素位置PX(1，1)的像素进行失真校正处理并从广视场图像中所计算的像素位置读取像素信号G(j，k)时，将被布置与对应于像素位置PX(1，1)的广视场图像中的像素位置周向(circumferentially)相邻的像素位置处的像素信号G(j，k+1)用作被布置与像素位置PX(1，1)右侧相邻的像素位置PX(1，2)处的像素信号。将被布置与对应于像素位置PX(1，1)的广视场图像中的像素位置径向(radially)相邻的像素位置处的像素信号G(j+1，k)用作被布置与像素位置PX(1，1)下侧相邻的像素位置PX(2，1)处的像素信号。类似地，将被布置与对应于像素位置PX(1，1)的广视场图像中的像素位置对角相邻的像素位置处的像素信号G(j+1，k+1)用作被布置与像素位置PX(1，1)右下侧相邻的像素位置PX(2，2)处的像素信号。

图11是对于未选区域的失真校正序列的流程图，其根据图10所示的失真校正处理使用来自相邻像素的像素信号。用相同的步骤标号来标记与图8所示的那些步骤相同的图11所示的那些步骤，并且下面不将对其详细描述。

在图11所示的步骤ST37中，失真校正计算器122进行用于映射像素信号的映射处理。具体地，失真校正计算器122读取位于步骤S16中所计算的像素位置处的像素信号G(jx，jy)，并将其设置为位于像素位置PX(x，y)处的像素信号DP(x，y)。然后，失真校正计算器122从被布置与读取了像素信号G(jx，jy)的像素位置相邻的像素中读取像素信号，并使用所读取的像素信号作为位于没有计算的像素处的像素信号。具体地，失真校正计算器122使用从相邻像素读取的像素信号DP(jx+1，ky)作为位于像素位置PX(x+1，y)处的像素信号DP(x+1，y)，使用从相邻像素读取的像素信号DP(jx，ky+1)作为位于像素位置PX(x，y+1)处的像素信号DP(x，y+1)，并使用从相邻像素读取的像素信号DP(jx+1，ky+1)作为位于像素位置PX(x+1，y+1)处的像素信号DP(x+1，y+1)。然后，控制前进到步骤ST18。

根据图10和11所示的失真校正处理，使得在未选区域中的图像的信息量大于在如图5C所示复制像素信号的情况下的信息量，而没有增加在失真校正处理中所进行的计算量。因此，未选区域中的图像质量好于在复制像素信号的情况下的图像质量。

如果当计算了其像素位置的像素离所选区域越远时，它们之间的间隔越大，则由于进一步减少了计算像素位置的次数，因此进一步缩短了进行失真校正处理所需的时间。在接近于所选区域的地方任何图像质量的恶化程度都较低。因此，所选区域和未选区域之间的边界不太明显，并且防止了输出图像的质量不适当降低。

在以上实施例中，在广视场图像上计算所选区域中的所有像素的像素位置，并且在广视场图像上计算未选区域中每隔一个像素的间隔处或每多个像素的间隔处的像素的像素位置。但是，也可以在广视场图像上计算所选区域中的每隔一个像素的间隔处或每多个像素的间隔处的像素的像素位置。在这种情况下，在未选区域中在比所选区域中以更宽的像素到像素的间隔来在广视场图像上计算像素的像素位置。

失真校正处理12不局限于由图像捕获单元11产生的图像信号DVa的处理，而可以适用于存储器中所存储的图像信号的失真的校正。

图12以方框形式示出了根据本发明的另一实施例的图像处理***。图12所示的图像处理***没有图像捕获单元11，而包括存储器21。存储器21在其中存储例如广视场图像。失真校正处理器12从存储器21读取图像信号DVm，并对图像信号DVm进行上述失真校正处理。因此，失真校正处理器12能够以高帧频生成失真校正的输出图像，同时减少生成输出图像所需的计算量。

如上所述，当生成未选区域的图像时，失真校正处理器12以比生成所选区域的图像时更低的图像质量来校正失真，此时失真校正处理器12从广视场中的失真图像生成失真校正的输出图像。因此，减少了生成输出图像所需的计算量，并且可以以高帧频生成输出图像。由于减少了生成输出图像所需的计算量，因此失真校正处理器12消耗的电功率量减少。

当失真校正处理器12生成未选区域中的输出图像时，失真校正处理器12能够在如下两种操作模式之间切换：以比生成所选区域的输出图像时更低的图像质量来校正失真的第一操作模式，以及不以更低的图像质量校正失真的第二操作模式。如果将失真校正处理器12设置为第一操作模式，则它能够以高帧频产生失真校正的输出图像，并且如果将失真校正处理器12设置为第二操作模式，则它能够产生具有全部高图像质量的输出图像。因此，根据本发明的图像处理设备能够进行具有高自由度的失真校正处理。

不仅可以显示失真校正的输出图像，还可以结合该输出图像显示广视场图像，以便可以从广视场图像中区分出该输出图像。以此方式，易于浏览者确定广视场图像的哪个区域经过了失真校正并被输出作为失真校正后的输出图像。如果所选区域在广视场图像中也是可区分的，则浏览者还能够确认在输出图像中是如何提供所选区域的。

图13以方框形式示出用于结合输出图像来输出广视场图像的另一图像处理器。用相同的参考字符来标记与图1所示的那些部分相同的图13所示的那些部分，并且下面将不详细描述。

如图13所示，图像提取处理器124从图像信号DVa中提取广视场图像Gc中的图像信号DVc，并向显示识别处理器125供应该图像信号DVc。如图2所示，广视场图像Gc呈现图像捕获器件112的图像捕获表面的部分区域，并由图像捕获光学***111确定该广视场图像Gc。如果将广视场图像Gc的区域固定在图像捕获表面上，则当从图像信号DVa中提取位于给定像素位置处的像素信号时，可以产生广视场图像Gc的区域的像素信号。如果图像捕获光学***111是可代替的，并且因此广视场图像Gc的区域在图像捕获表面上是可变的，或如果图像捕获光学***111的光学特性可以改变，并且因此广视场图像Gc的区域在图像捕获表面上是可变的，则预先确定在图像捕获表面上的广视场图像Gc的区域，并且从所确定的广视场图像Gc的区域中提取像素信号。通过捕获图像以使由白色对象完全占据图像捕获光学***111的视场，并通过检测在哪些像素位置图像信号DVa是白电平(white level)，可以很容易确定广视场图像Gc的区域。

基于从输入单元13供应的设置信息JA和从存储器14读取的设置信息JB，显示识别处理器125处理与由设置信息JA、JB指示的输出图像的视场对应的区域ARs，使得用户可以容易地识别区域ARs。例如，显示识别处理器125显示在区域ARs和除了区域ARs以外的区域之间的边界，或改变除了区域ARs以外的区域的亮度或颜色，以使区域ARs在视觉上可区分。显示识别处理器125还处理与由设置信息JA、JB和从自动选择信息生成器15供应的设置信息JC指示的所选区域GZse对应的在输出图像GZ上的区域ARse，以便用户可以如识别区域ARs一样容易地识别区域ARse。基于上述图像处理过程，显示识别处理器125生成图像的图像信号DVcp(下文中称为“全部图像Gcp”)，其中区域ARs区域ARse在广视场图像Gc中是可区分的，并且显示识别处理器125向输出图像处理器126供应该图像信号DVcp。显示识别处理器125可以基于设置信息JA、JB、JC，选择性地进行区分区域ARs的处理和区分区域ARse的处理，以便可以如所期望那样可区分地显示区域ARs、ARse。

输出图像处理器126基于从输出图像缓冲器123读取的图像信号DVb和从显示识别处理器125供应的图像信号DVcp，生成图像的图像信号DVd，该图像的图像信号DVd包括在其中并入全部图像Gcp的失真校正的输出图像，并且输出图像处理器126向图像输出单元16供应该图像信号DVd。

图14A和14B示出显示的在其中并入了全部图像Gcp的输出图像GZ。图14A示了输出图像GZ，并且图14B以放大的比例示出了全部图像Gcp。

如此显示全部图像Gcp使得在视觉上可区分输出图像GZ的区域和输出图像GZ中的所选区域GZse。例如，将这些区域显示为帧，或以不同的亮度级、颜色等等来显示这些区域。当以此方式显示全部图像Gcp时，浏览者发现很容易确定全部图像Gcp的哪个区域用作输出区域GZ的区域，还容易确定输出图像GZ的哪个区域用作所选区域GZse。如果如此限定这些区域使得在全部图像Gcp中所期望的对象被包括在输出图像GZ和所选区域GZse中，则防止了该对象的图像质量变得更低，并且可以以高帧频产生失真校正的图像信号。

当自动设置所选区域GZse时，可以使所选区域GZse可区分地显示，用于浏览者确认是否设置了所选区域，并校正失真以便不降低所期望的对象的图像质量。

虽然已经详细地示出并描述了本发明的某些优选实施例，但应该理解，在不脱离所附权利要求的范围的情况下，可以在其中进行各种改变和修改。

Claims

1.一种图像处理设备，包括：

失真校正处理器，用于从失真的广视场图像生成失真校正的输出图像；以及

所选区域设置单元，用于在所述输出图像中设置所选区域；

其中，在生成除了所述所选区域以外的区域的输出图像时，所述失真校正处理器以比在生成所述所选区域的输出图像时更低的图像质量来校正失真，

其中，当以更低的图像质量校正失真时，所述失真校正处理器计算在广视场图像中与所述输出图像中位于每隔一个像素的间隔处或每多个像素的间隔处的像素对应的像素位置，并进行映射处理，用于使用位于所计算的位置处的像素信号作为所述输出图像中的相应像素的信号，由此用于从失真的广视场图像中生成失真校正的输出图像。

2.根据权利要求1所述的图像处理设备，其中，所述所选区域设置单元相互比较在多个帧中的所述广视场图像，并基于所述广视场图像之间的比较结果，自动设置所述所选区域。

3.根据权利要求1所述的图像处理设备，其中，所述失真校正处理器粗略地校正在以其整体被设置为除了所述所选区域以外的区域的输出图像上的失真，其后生成所述所选区域的输出图像。

4.根据权利要求1所述的图像处理设备，其中，所述失真校正处理器使用所述映射处理所处理的像素的像素信号，作为没有被所述映射处理所处理的像素的像素信号。

5.根据权利要求1所述的图像处理设备，其中，所述失真校正处理器使用被布置为与所处映射处理从中读取像素信号的广视场图像中的像素相邻的像素的像素信号，作为没有被所述映射处理所处理的像素的像素信号。

6.根据权利要求1所述的图像处理设备，其中，所述失真校正处理器可在如下两种操作模式之间切换：当生成所述所选区域的输出图像时以更低的图像质量校正失真的第一操作模式、以及不以更低的图像质量校正失真的第二操作模式。

7.一种处理图像的方法，包括步骤：

从失真的广视场图像中生成失真校正的输出图像；以及

在所述输出图像中设置所选区域；

其中，所述生成失真校正的输出图像的步骤包括步骤：当生成除了所述所选区域以外的区域的输出图像时，以比生成所述所选区域的输出图像时更低的图像质量来校正失真，

其中，所述生成失真校正的输出图像的步骤包括步骤：当以更低的图像质量校正失真时，计算在广视场图像中与所述输出图像中位于每隔一个像素的间隔处或每多个像素的间隔处的像素对应的像素位置，并进行映射处理，用于使用位于所计算的位置处的像素信号作为所述输出图像中的相应像素的信号，由此用于从失真的广视场图像中生成失真校正的输出图像。