CN101561926B - 图像处理设备、图像拍摄设备、图像处理方法 - Google Patents

Abstract

本发明涉及图像处理设备、图像拍摄设备、图像处理方法和程序。该图像处理设备包括：输入单元，被配置成输入指示滤波处理的特性的特性参数；检测单元，被配置成基于由输入单元输入的特性参数来检测图像拍摄信号和获得信号之间的相移量；第一形成单元，被配置成形成用于预测目标图像拍摄像素值的、由多个获得像素组成的第一预测抽头；系数获得单元，被配置成为了通过与第一预测抽头的值之间的乘积和运算来预测目标图像拍摄像素值，获得根据特性参数和相移量生成的第一预测系数；和第一计算单元，被配置成通过执行第一预测系数和第一预测抽头值之间的乘积和运算来生成与图像拍摄信号对应的第一输出信号。

Description

图像处理设备、图像拍摄设备、图像处理方法

技术领域

本发明涉及一种图像处理设备、图像拍摄设备、图像处理方法和程序。

背景技术

在现有技术中，提出了通过数字化处理来恢复或校正在拍摄现实世界的光以获得图像信号的过程中发生的各种信号的变化的各种技术。例如，在以下描述的未审查的第11-266363号日本专利申请公开中，公开了这样一种图像处理设备，其考虑图像读取设备的个体差异来使读取期间的误差最小化。在以下描述的未审查的第2003-8845号日本专利申请公开中，公开了这样一种技术，在该技术中，使用扫描仪读取的图像信号的辐射噪声水平降低，图像质量得到改进。

此外，在以下描述的未审查的第2001-250119号日本专利申请公开中，公开了能够校正例如图像信号中包含的运动模糊的信号处理设备。在以下描述的未审查的第2005-63097号日本专利申请公开中，公开了这样一种图像信号处理设备，在该图像信号处理设备中，考虑表示真实值和观测值之间的关系的模型来校正由于数码照相机的自动对焦功能而发生的模糊。

发明内容

然而，在对通过拍摄现实世界的光而获得的图像信号执行数字化处理的情况下，当在处理前执行从模拟信号到数字信号的转换(以下称为AD转换)时，存在图像信号中发生失真的情况。例如，在穿过抗混叠滤波器后，已知在图像的边界部分的周围将出现被称为振铃(ringing)的失真，所述抗混叠滤波器被安装在许多图像拍摄设备中用于消除与AD转换中的采样相伴的重叠噪声。

这样的图像信号失真对用于获得更接近现实世界的图像的数字化处理所使用的模型产生影响。也就是说，当将根据现实世界的情形定义的模型应用于AD转换后的图像信号时，上述图像信号失真变成与模型有关的误差，因而可能导致无法获得数字化处理的预期效果。

期望提供一种能够消除因获得数字信号时的滤波处理而导致的图像失真的新颖的、改进的图像处理设备、与其一起使用的图像拍摄设备、与其一起使用的图像处理方法和与其一起使用的程序。

根据本发明的实施例，提供一种图像处理设备，包括：输入装置，用于输入特性参数，所述特性参数指示对通过拍摄现实世界的光而产生的图像拍摄信号执行的滤波处理的特性；检测装置，基于由输入装置输入的特性参数来检测图像拍摄信号和对图像拍摄信号执行滤波处理而获得的获得信号之间的相移量；第一形成装置，基于已使用检测装置检测出的相移量进行相移后的获得信号，形成用于预测图像拍摄信号中的目标图像拍摄像素值的、由多个获得像素组成的第一预测抽头；系数获得装置，为了通过与第一预测抽头的值之间的乘积和运算来预测目标图像拍摄像素值，获得根据特性参数和相移量生成的第一预测系数；和第一计算装置，通过在由系数获得装置获得的第一预测系数和从第一形成装置输出的第一预测抽头的值之间执行乘积和运算来生成与图像拍摄信号对应的第一输出信号。

通过这样的构造，输入装置输入特性参数，所述特性参数指示对通过拍摄现实世界的光而产生的图像拍摄信号执行的滤波处理的特性。检测装置基于输入的特性参数来检测图像拍摄信号和对图像拍摄信号执行滤波处理而获得的获得信号之间的相移量。然后，第一形成装置从利用检测出的相移量进行相移后的获得信号形成用于预测图像拍摄信号中的目标图像拍摄像素值的、由多个获得像素组成的第一预测抽头。此外，为了通过与第一预测抽头的值之间的乘积和运算来预测目标图像拍摄像素值，系数获得装置获得基于特性参数和相移量生成的第一预测系数。然后，第一计算装置执行获得的第一预测系数和获得的第一预测抽头的值之间的乘积和运算，从而生成与图像拍摄信号对应的第一输出信号。

在图像处理设备中，图像拍摄信号可以是通过对从现实世界的光获得的原始图像信号的累积效应(integration effect)而产生的信号。图像处理设备还可包括第二形成装置，其基于与图像拍摄信号对应的第一输出信号形成用于预测原始图像信号中的目标原始像素值的、由多个图像拍摄像素组成的第二预测抽头；和第二计算装置，通过在第二预测系数和从第二形成装置输出的第二预测抽头的值之间执行乘积和运算来生成与原始图像信号对应的第二输出信号，其中第二预测系数是为了通过与第二预测抽头的值之间的乘积和运算来预测目标原始像素值，基于产生图像拍摄信号时的累积效应的模型而生成的。

系数获得装置可以根据基于特性参数生成的图像拍摄信号和获得信号之间的关系表达式以及基于图像的相邻相关性的性质生成的约束条件表达式来计算第一预测系数。

输入装置可获得包含在获得信号的头部中的特性参数。

检测装置可从以相互关联的方式存储特性参数和相移量的表中获得并检测相移量。

系数获得装置可以基于预先存储的图像拍摄采样信号和特性参数来计算关于图像拍摄采样信号的、与获得信号对应的获得采样信号，并且根据利用图像拍摄采样信号和计算出的获得采样信号而生成的表达式来计算第一预测系数。

输入装置可响应于用户的操作而经由输入设备获得特性参数。

检测装置可基于预先存储的图像拍摄采样信号和特性参数来计算关于图像拍摄采样信号的、与获得信号对应的获得采样信号，并检测与将获得采样信号移位与预定像素数对应的量而生成的多个移位信号中的与图像拍摄采样信号之差最小的移位信号相对应的移位像素数作为相移量。

根据本发明的另一实施例，提供一种图像拍摄设备，包括：图像拍摄装置，用于拍摄现实世界的光并产生图像拍摄信号；输入装置，用于输入特性参数，所述特性参数指示对由图像拍摄装置产生的图像拍摄信号执行的滤波处理的特性；检测装置，基于由输入装置输入的特性参数来检测图像拍摄信号和对图像拍摄信号执行滤波处理而获得的获得信号之间的相移量；第一形成装置，基于已使用检测装置检测出的相移量进行相移后的获得信号，形成用于预测图像拍摄信号中的目标图像拍摄像素值的、由多个获得像素组成的第一预测抽头；系数获得装置，为了通过与第一预测抽头的值之间的乘积和运算来预测目标图像拍摄像素值，获得根据特性参数和相移量生成的第一预测系数；和第一计算装置，通过在由系数获得装置获得的第一预测系数和从第一形成装置输出的第一预测抽头的值之间执行乘积和运算来生成与图像拍摄信号对应的第一输出信号。

根据本发明的另一实施例，提供一种图像处理方法，包括以下步骤：输入特性参数，所述特性参数指示对通过拍摄现实世界的光而产生的图像拍摄信号执行的滤波处理的特性；基于输入的特性参数检测图像拍摄信号和对图像拍摄信号执行滤波处理而获得的获得信号之间的相移量；基于已使用检测出的相移量进行相移后的获得信号，形成用于预测图像拍摄信号中的目标图像拍摄像素值的、由多个获得像素组成的第一预测抽头；为了通过与第一预测抽头的值之间的乘积和运算来预测目标图像拍摄像素值，获得根据特性参数和相移量生成的第一预测系数；以及通过在获得的第一预测系数和第一预测抽头的值之间执行乘积和运算来生成与图像拍摄信号对应的第一输出信号。

根据本发明的另一实施例，提供一种程序，使控制图像处理设备的计算机用作：输入装置，用于输入特性参数，所述特性参数指示对通过拍摄现实世界的光而产生的图像拍摄信号执行的滤波处理的特性；检测装置，基于由输入装置输入的特性参数来检测图像拍摄信号和对图像拍摄信号执行滤波处理而获得的获得信号之间的相移量；第一形成装置，基于已使用检测装置检测出的相移量进行相移后的获得信号，形成用于预测图像拍摄信号中的目标图像拍摄像素值的、由多个获得像素组成的第一预测抽头；系数获得装置，为了通过与第一预测抽头的值之间的乘积和运算来预测目标图像拍摄像素值，获得根据特性参数和相移量生成的第一预测系数；和第一计算装置，通过在由系数获得装置获得的第一预测系数和从第一形成装置输出的第一预测抽头的值之间执行乘积和运算来生成与图像拍摄信号对应的第一输出信号。

如前所述，按照根据本发明实施例的图像处理设备、图像拍摄设备、图像处理方法和程序，当获得数字信号时，可消除由于滤波处理而发生的图像失真。

附图说明

图1是显示直到通过拍摄现实世界的光而获得数字信号前的处理的例子的示意图；

图2是显示从原始图像信号转换到一维图像拍摄信号的例子的示意图；

图3A和图3B是显示由于抗混叠滤波器而导致的对信号的影响的例子的示意图；

图4是显示根据本发明第一实施例的图像处理设备的构造的框图；

图5是使用IIR滤波器进行滤波运算的例子的示意图；

图6是显示根据本发明第一实施例的图像处理器的构造的框图；

图7是显示相移量检测器的第一示例性构造的框图；

图8是显示根据相移量检测器的第一示例性构造的相移量检测过程的流程的流程图；

图9是显示相移量检测器的第二示例性构造的框图；

图10是显示相移表的例子的示意图；

图11是根据本发明第一实施例的预测抽头形成单元的处理的例子的示意图；

图12是显示系数生成器的第一示例性构造的框图；

图13是图像拍摄信号和获得信号之间的关系的示意图；

图14是显示根据系数生成器的第一示例性构造的系数生成过程的流程的流程图；

图15是显示系数生成器的第二示例性构造的框图；

图16是显示根据系数生成器的第二示例性构造的系数生成过程的流程的流程图；

图17是显示由根据本发明第一实施例的图像处理设备执行的处理流程的流程图；

图18是显示根据本发明第二实施例的图像处理设备的构造的框图；

图19是显示根据本发明第二实施例的图像处理器的构造的框图；

图20是显示根据本发明第二实施例的系数计算单元的处理流程的流程图；

图21是显示根据本发明第二实施例的图像处理设备的预测计算过程的流程的流程图；

图22是显示根据本发明第三实施例的处理目标范围的示意图；

图23是显示根据本发明第三实施例的图像处理设备的构造的框图；

图24是显示由于自动对焦功能而导致的模糊累积效应的示意图；

图25是显示二维平面上的图像拍摄信号和原始图像信号之间的关系的示意图；

图26是显示根据本发明第三实施例的第二图像处理器的构造的框图；

图27是显示根据本发明第三实施例的第二预测计算过程的流程的流程图；

图28是显示运动模糊的累积效应的示意图；

图29是显示根据本发明第四实施例的图像拍摄设备的构造的框图；和

图30是显示通用计算机的构造的例子的框图。

具体实施方式

以下将参考附图详细描述本发明的优选实施例。在本说明书和附图中，用相同的附图标记代表基本具有相同功能的组件，因此，省略重复的描述。

图1是举例显示从拍摄现实世界的光开始、直到获得转换为数字数据的信号为止的处理过程的概况的示意图。

参考图1，来自现实世界的被摄物的光通过光学低通滤波器10，输入到图像拍摄单元20。图像拍摄单元20对应于例如图像传感器，诸如CCD(电荷耦合器件)或者CMOS(互补金属氧化物半导体)。在本说明书中，通过光学低通滤波器10并输入到图像拍摄单元20的信号将被称为原始图像信号。

输入到图像拍摄单元20的原始图像信号例如作为电荷被存储在图像拍摄单元20中，并作为图像拍摄信号被输出，图像拍摄信号为模拟格式的电信号。在此之后，从图像拍摄单元20输出的图像拍摄信号被输入到抗混叠滤波器30。抗混叠滤波器30为用于消除与数字转换期间的采样相伴的重叠噪声的滤波器。典型地，使用模拟低通滤波器(低频通过滤波器)形成抗混叠滤波器30。

通过抗混叠滤波器30获得的模拟信号被AD转换器40采样，从而被转换为数字信号。在本说明书中，通过抗混叠滤波器30之后获得的图像信号将被称为获得信号。

图2是显示原始图像信号被CCD转换为图像拍摄信号并输出的状态的示意图，作为图像拍摄单元20的操作的例子。在图2中，以按时间顺序被划分为六个部分(a)到(f)的方式显示具有九个像素的CCD的操作。

参考图2的部分(a)，CCD包括按3×3矩阵布置的九个光接收区22、与光接收区22的各列相邻的三个垂直转移单元24、与各垂直转移单元24连接的水平转移单元26和与水平转移单元26连接的放大器28。

在这样的CCD构造中，首先，输入的原始图像信号作为电荷被存储在每个光接收区22中(图2的部分(a))。接下来，存储的电荷移到垂直转移单元24(图2的部分(b))。其后，垂直转移单元24的电荷逐行地向着水平转移单元26移动(图2的部分(c))。然后，水平转移单元26内部的电荷沿水平方向移动，并被放大器28放大，然后输出(图2的部分(d))。接下来，下一行的电荷移到水平转移单元26(图2的部分(e))。然后，水平转移单元26内部的电荷类似地沿水平方向移动，并被放大器28放大，然后输出(图2的部分(f))。

如这里所看到的，在使用CCD形成图像拍摄单元20的情况下，二维图像信号被转换为水平方向上的一维电信号，在此之后，信号作为图像拍摄信号输出。此外，在使用例如CMOS形成图像拍摄单元20的情况下，二维图像信号类似地被转换为一维电信号，在此之后，信号被输出。

如结合图1所描述的，在作为从图像拍摄单元20输出的一维电信号的图像拍摄信号被输入到AD转换器40之前，抗混叠滤波器30对该信号进行处理。此时，存在这样的情况，即，在滤波处理输出的获得信号中发生图像的失真、退化等。

图3A和图3B显示使用等效IIR(无限脉冲响应)滤波器仿真由于抗混叠滤波器导致的对信号的影响的例子的结果。

图3A显示被输入到IIR滤波器的图像拍摄信号。图3B显示由IIR滤波器输出的获得信号。图3A和图3B的水平轴显示像素位置，其垂直轴显示像素位置处的像素值。

参考图3A，下降沿存在于像素位置6至8处。这个区域对应于例如现实世界中的背景和被摄物之间的边界部分。相比而言，参考图3B，在图像拍摄信号中不存在的山脉部分存在于与下降沿相隔一固定间隔的像素位置10和11附近。这是被称为振铃的图像失真，该现象是由于一些频率分量被等效于抗混叠滤波器的IIR滤波器消除而发生的。

当例如获得信号作为图像数据被扩展和显示时，这样的图像的失真和退化在视觉上被用户识别为大的失真。此外，当对获得信号执行用于获得接近于原始图像信号的图像的校正过程等时，在这样的图像的失真和退化存在的情况下，在处理用的模型上出现差错，并且可能出现难以获得预期效果的状态。

因此，在本发明的以下描述的第一至第四实施例中，消除了与滤波处理相伴的图像失真和退化。

第一实施例

图4是显示根据本发明的第一实施例的图像处理设备100的构造的简要框图。参考图4，图像处理设备100包括参数输入单元110和图像处理器120。

参数输入单元110连接至图像处理器120，并将特性参数输入到图像处理器120，所述特性参数指示对通过拍摄现实世界的光而产生的图像拍摄信号执行的滤波处理的特性。例如，如图1所示，在对图像拍摄信号执行抗混叠处理的情况下，将指示抗混叠滤波器的特性的特性参数从参数输入单元110输入到图像处理器120。

这里，以抗混叠滤波器为例来描述特性参数。通常，根据图像拍摄设备例如相机的的各部件的类型唯一地确定特性参数。

如上所述，抗混叠滤波器为模拟低通滤波器。由于这个原因，在数字化处理中，可使用符合低通滤波器的特性的IIR滤波器来表示抗混叠滤波器的特性。当将输入到滤波器的图像拍摄信号表示为A_i并将从滤波器输出的获得信号表示为B_i时，通过以下描述的表达式(1)表示IIR滤波器的特性。

$B_0=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{a}_i\·A_i-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{b}_i\·B_i---\left(1\right)$

其中，n为IIR滤波器的阶数，a_i为与图像拍摄信号A_i相乘的系数，b_i为与递归的获得信号B_i相乘的系数。在抗混叠滤波器中，在水平方向上顺序地执行这样的计算，例如，对从图2中显示的放大器28输出的图像拍摄信号在水平方向上顺序地执行这样的计算。

例如，如果可使用阶数为4、归一化截止频率为0.5的巴特沃斯IIR滤波器来近似低通滤波器，则系数a_i变为a₀＝0.0940、a₁＝0.3759、a₂＝0.5639、a₃＝0.3759和a₄＝0.0940。系数b_i变为b₁＝0.0000、b₂＝0.4860、b₃＝0.0000和b₄＝0.0177。归一化截止频率是指当尼奎斯特(Nyquist)频率被设置为1时增益响应为

的频率。

图5示意性地显示在阶数为4的情况下基于表达式(1)的IIR滤波器的计算状态。图5的部分(A)中沿水平方向布置的圆形每个表示按时间顺序被输入到滤波器的图像拍摄信号A_i。另一方面，图5的部分(B)中沿水平方向布置的圆形每个表示滤波器中计算输出的获得信号B_i。在水平方向上按崭新程度递增的顺序从左到右布置按时间顺序的信号。

参考图5，将理解，利用过去5次的图像拍摄信号A_i(0≤i≤4)，包括最近的输入信号A₀和过去4次的获得信号B_i(1≤i≤4)，根据表达式(1)计算最近获得的信号B₀。

返回来参考图4，参数输入单元110将IIR滤波器的阶数n、归一化截止频率ω、用于图像拍摄信号的系数a_i和用于获得信号的系数b_i作为模拟这样的滤波器的特性的特性参数输入到图像处理器120。

参数输入单元110可以是例如从用户接收特性参数输入的装置。例如，在图像处理设备100具有包括按钮、开关、键盘等输入装置和诸如液晶显示面板的显示装置的情况下，可在显示装置上显示用于确定特性参数的选项，从而用户利用输入装置选择一个选项。

此外，可显示在例如特性参数改变的同时由图像处理器120进行处理(稍后将描述)而输出的图像，从而用户选择合适的图像。在这样的情况下，即使用户不知道特性参数，仍可获得基于合适的特性参数被处理的图像。

此外，在用户知道特性参数的情况下，用户可输入特性参数的值。可利用例如图30中的输出单元914或输入单元912(稍后将描述)实现选项或图像的显示以及用户的选择输入和信息输入。

与以上相反，参数输入单元110可获得例如预先记录在输入的获得信号的头部区中的特性参数，并可将特性参数输入到图像处理器120。例如，在图1中显示的AD转换器40将获得信号转换为数字信号之后，可将包括特性参数的头部区附加到获得信号。在这样的情况下，即使图像处理设备100本身未设有用于从用户接收输入的装置，图像处理设备100也可获得特性参数信息。在第四实施例(稍后将描述)中将进一步描述使用头部来输入特性参数。

另一方面，图4中显示的图像处理器120接收AD转换后的获得信号作为输入信号，使用上述特性参数执行以下详细描述的一系列过程，其后，生成输出信号。本实施例中的图像处理器120的输出信号为与通过消除抗混叠滤波器引起的图像失真而恢复的图像拍摄信号相对应的数字信号。

图6是显示根据本实施例的图像处理器120的详细构造的框图。参考图6，图像处理器120包括相移量检测器130、预测抽头形成单元150、系数生成器160和预测计算单元180。

基于上述由参数输入单元110输入的特性参数，相移量检测器130检测图像拍摄信号和对图像拍摄信号执行滤波处理所获得的获得信号之间的相移量，并输出该相移量。

这里，相移是指一系列信号在时间轴上的移动。相移量为这样的信号的移动量。已知，例如，当模拟信号通过低通滤波器时，滤波处理后的信号与滤波处理前的信号在信号图样上发生时间轴上的偏差。如参考图2所描述的，输入到根据本实施例的图像处理器120的图像拍摄信号为通过将二维图像信号转换为一维电信号并提取该信号而获得的信号。由于这个原因，在图像拍摄信号和在本实施例中处理的获得信号之间也发生相移，并存在仅用基于表达式(1)的简单信号计算不能获得正确结果的情况。因此，在根据本实施例的图像处理器120中，将由于对图像拍摄信号执行滤波处理而导致的信号偏差检测为相移量，并在考虑检测出的相移量校正信号时执行计算。

以下参考图7至图10给出相移量检测器130的两个示例性构造的描述。

图7是显示根据第一示例性实施例的相移量检测器130a的构造的框图。参考图7，相移量检测器130a包括采样信号存储单元132、系数计算单元134、移位信号发生器136、差计算单元138和最小差确定单元140。

采样信号存储单元132为相移量检测器130a拥有的存储区，存储图像拍摄采样信号IMa，图像拍摄采样信号IMa为任意的图像拍摄信号的采样值。当检测相移量时，采样信号存储单元132将图像拍摄采样信号IMa输出到系数计算单元134和差计算单元138。

系数计算单元134通过对从采样信号存储单元132获得的图像拍摄采样信号IMa使用从参数输入单元110输入的特性参数来执行上述表达式(1)的计算，并输出与关于图像拍摄采样信号IMa的获得信号对应的获得采样信号IMb。

移位信号发生器136对从系数计算单元134输出的获得采样信号IMb产生多个移位信号IMb_d(d＝1，2，...)，在所述多个移位信号IMb_d中，获得采样信号IMb的相位被移位与预定的像素数对应的量。此刻，可使预定的像素数在例如-5-+5像素范围中。在移位信号发生器136中在-5-+5像素范围中产生移位信号的情况下，输出11个移位信号IMb_d，包括没有移位的信号。

此外，移位信号发生器136将移位信号IMb_d输出到差计算单元138，还将移位像素数s_d(d＝1，2，...)输出到最小差确定单元140。此时，例如，在当假设图5中的水平方向(右方向)为正方向时两个像素在正方向上移位的情况下，每个移位像素数s_d为“2”，当两个像素在负方向上移位时，每个移位像素数s_d为“-2”。

差计算单元138计算从采样信号存储单元132获得的图像拍摄采样信号IMa和从移位信号发生器136输出的每个移位信号IMb_d之间的差值。作为在差计算单元138中计算的差值，例如，关于图像信号中的目标像素周围的固定区域中的像素的像素值的绝对差值的总和可被使用。差计算单元138将以这种方式对于每个移位信号IMb_d计算的差值v_d(d＝1，2，...)输出到最小差确定单元140。

最小差确定单元140以相互关联的方式临时存储从移位信号发生器136输出的移位像素数s_d和从差计算单元138输出的差值v_d，并确定差值v_d的最小值。然后，与被确定为最小值的差值v_d对应的移位像素数s_d被输出，作为因滤波处理而发生的相移量s。

这里，在相移量检测器130a中使用图像拍摄采样信号IMa，但是图像拍摄采样信号IMa可以不是图像数据。例如，任何一维数据可被用作图像拍摄采样信号IMa，只要它是可用来检测相移量的数据即可。

图8是显示由根据第一示例性构造的相移量检测器130a进行的相移量检测过程的流程的流程图。

参考图8，首先，系数计算单元134使用从参数输入单元110输入的特性参数对从采样信号存储单元132获得的图像拍摄采样信号IMa执行系数计算，并输出获得采样信号IMb(S804)。

接下来，移位信号发生器136产生多个移位信号IMb_d，其中获得采样信号IMb被移位与预定的像素数对应的量(S808)。此时，移位信号IMb_d被输出到差计算单元138，此外，移位像素数s_d被输出到最小差确定单元140。

在此之后，差计算单元138顺序地对移位信号IMb_d执行与图像拍摄采样信号IMa之间的差计算，与移位信号IMb_d对应的差值v_d被输出到最小差确定单元140(S812)。此时，如果对所有的移位信号IMb_d的差计算完成，则所述过程前进到S820，如果还留有差计算没有完成的移位信号IMb_d，则所述过程返回到S808，并重复处理(S816)。

然后，最小差确定单元140检测获得最小差值v_d时的移位像素数s_d作为相移量s，并输出它(S820)。

按照根据第一示例性构造的相移量检测器130a，可基于从参数输入单元110输入的特性参数利用图像拍摄采样信号来检测相移量。结果，通过适当地校正由于对图像拍摄信号执行的滤波处理而发生的相移，同时执行用于预测图像拍摄信号的处理过程(稍后将描述)，改进了预测精度。

图9是显示根据第二示例性构造的相移量检测器130b的构造的框图。参考图9，相移量检测器130b包括相移表142。

相移表142为以相互关联的方式存储表示滤波器的特性的特性参数和由于每个滤波器而发生的相移量的参照表。通常，当特性参数被确定时，唯一地确定相移量。因此，如果已知从参数输入单元110输入的特性参数的候选者，就可以将特性参数和与其对应的相移量相互关联地存储在相移表142中。

图10是显示相移表142的结构的图示。参考图10，以二维表格式形成相移表142，在二维表格式中，每列对应于滤波器阶数n的值，每行对应于截止频率ω的归一值。在图10的例子中，三个值，即，4、5和6被定义为滤波器阶数n，0.5-0.8的四个值以0.1为单位被定义为截止频率ω，从而，3×4＝12个相移量被存储。这里例举的相移量的值为由使用具有每个滤波器阶数和截止频率的巴特沃斯IIR滤波器近似的滤波器产生的相移量。

根据图9中显示的第二示例性构造的相移量检测器130b从参数输入单元110接收特性参数的输入，参考图10中显示的相移表142，获得并输出与输入的特性参数对应的相移量。结果，在每次输入特性参数时，可在不执行用于检测相移量的计算的情况下获得相移量。

可通过组合参考图7至图10描述的两个示例性构造来形成相移量检测器130。例如，在输入的特性参数为已知参数的情况下，可从根据第二示例性构造的相移表142获得相移量。在输入的特性参数不是已知参数的情况下，可根据第一示例性构造计算相移量。此时，通过将根据第一示例性构造计算的相移量添加到相移表142，在再一次输入相同的特性参数的情况下，可从相移表142获得相移量，而不再次计算相移量。

接下来，返回来参考图6，继续根据本实施例的图像处理器120的构造的描述。

预测抽头形成单元150使用从相移量检测器130输出的相移量s使获得信号x的相位移位，提取并形成由多个获得像素组成的预测抽头x_i，预测抽头x_i用于预测图像拍摄信号当中的目标图像拍摄像素值。这里，假设目标图像拍摄像素是指与执行图像拍摄信号预测所在的像素位置相对应的图像拍摄信号的像素值。

图11是从原理上描绘预测抽头形成单元150中的处理状态的示意图。如可从上述表达式(1)所理解的，执行滤波处理之后的获得信号的每个像素值与目标像素周围的像素值具有相关性。因此，利用目标图像拍摄像素周围的多个像素值，执行目标图像拍摄像素值的预测。预测抽头是指用于执行这样的目标图像拍摄像素值的预测的多个像素值的布局。

在图11的上部，作为预设的预测抽头的例子，显示了七个像素B₁至B₇，在B₁至B₇中，目标像素B₄在中心。典型地，在预测抽头形成单元150内部预先定义预测抽头的像素数。在图11中，预测抽头的像素数被设置为7。预测抽头的像素数不限于这个，可以是任何值。

关于该预设的预测抽头，预测抽头形成单元150考虑上述相移来形成预测抽头。假设，例如，从相移量检测器130输入的相移量s等于-1。这意味着由于滤波处理导致被延迟与一个像素对应的量而获得从图像拍摄单元20输出的图像拍摄信号。因此，在预测抽头形成单元150使用于预测目标图像拍摄像素值的预测抽头从预设的预测抽头向前移动与一个像素对应的量之后，预测抽头形成单元150提取预测抽头。

参考图11，在该图的下部，显示了由预测抽头形成单元150提取的预测抽头。这里，基于从相移量检测器130输入的相移量s＝-1，提取从预设的预测抽头B₁至B₇向前移动与一个像素对应的量(图中的右方向)的预测抽头B₀至B₆。

再次返回来参考图6，继续根据本实施例的图像处理器120的构造的描述。

基于特性参数和相移量s，系数生成器160生成并获得预测系数w_i，预测系数w_i用于与从预测抽头形成单元150输出的预测抽头x_i进行乘积和运算来预测目标图像拍摄像素值。

以下参考图12至图15给出系数生成器160的两个示例性构造的描述。

图12是显示根据第一示例性实施例的系数生成器160a的构造的框图。系数生成器160a包括系数近似单元162、约束条件设置单元164、矩阵生成器166和系数计算单元168。

系数近似单元162利用从参数输入单元110输入的滤波器的特性参数来计算获得像素值和图像拍摄像素值之间的关系表达式的系数的近似值。

此刻，当将上述表达式(1)中显示的IIR滤波器的计算表达式应用于获得像素值B_i(i＝1-4)时，导出表达式(2)至(5)。

$B_1=\underset{i=1}{\overset{n+1}{\mathrm{\Σ}}}{a}_i\·A_i-\underset{i=2}{\overset{n+1}{\mathrm{\Σ}}}{b}_i\·B_i---\left(2\right)$

$B_2=\underset{i=2}{\overset{n+2}{\mathrm{\Σ}}}{a}_i\·A_i-\underset{i=3}{\overset{n+2}{\mathrm{\Σ}}}{b}_i\·B_i---\left(3\right)$

$B_3=\underset{i=3}{\overset{n+3}{\mathrm{\Σ}}}{a}_i\·A_i-\underset{i=4}{\overset{n+3}{\mathrm{\Σ}}}{b}_i\·B_i---\left(4\right)$

$B_4=\underset{i=4}{\overset{n+4}{\mathrm{\Σ}}}{a}_i\·A_i-\underset{i=5}{\overset{n+4}{\mathrm{\Σ}}}{b}_i\·B_i---\left(5\right)$

当从这些表达式顺序地扩展获得像素值B_i时，无限数量的图像拍摄像素值A_i(0≤i)出现在从B₀开始的负方向上，作为确定目标获得像素值B₀所用的项。因此，在系数近似单元162中，图像拍摄像素值A_i和获得像素值B_i之间的关系被近似，以便仅使用无限数量的图像拍摄像素值A_i中的有限数量的图像拍摄像素值A_i来表示获得像素值B_i，所述有限数量的图像拍摄像素值A_i在目标获得像素值B₀附近，并对目标获得像素值B₀施加显著的影响。

这里，作为例子，利用图像拍摄像素值A_i(0≤i≤6)来执行近似。首先，当在表达式(1)中顺序地扩展和替代获得像素值B_i时，导出表达式(6)。

$B_0=\underset{i=0}{\overset{n+6}{\mathrm{\Σ}}}{\mathrm{\α}}_i\·A_i-\underset{i=7}{\overset{n+6}{\mathrm{\Σ}}}{\mathrm{\β}}_i\·B_i---\left(6\right)$

其中，α_i和β_i是共同表示应用于A_i和B_i每一项的系数的值，通过在表达式(1)中顺序地扩展获得像素值B_i并替代它来获得α_i和β_i。此外，仅提取和近似A_i(0≤i≤6)的项，从而导出表达式(7)。

$B_0\≈\underset{i=0}{\overset{6}{\mathrm{\Σ}}}{a^{\′}}_i\·A_i---\left(7\right)$

其中，利用基于特性参数a_i和b_i计算的α_i的表达式(8)表示系数a′_i(以下将被称为近似系数)。

${a^{\′}}_i=\frac{{\mathrm{\α}}_i}{\underset{i=0}{\overset{6}{\mathrm{\Σ}}}{\mathrm{\α}}_i}---\left(8\right)$

图13是从原理上显示表达式(7)的近似表达式的示意图。在图13的(A)部分中，显示了作为电荷存储在相当于例如CCD的图像拍摄单元20中的图像拍摄信号的每个像素值A_i(0≤i≤6)。图13的(B)部分以基准为零的柱形图的形式显示了与图像拍摄信号的每个像素值A_i相乘的近似系数a′_i。图13的(C)部分显示了系数a′_i与图像拍摄信号的每个像素值A_i相乘，然后累积而获得的获得信号的像素值B₀。

如图13的(B)部分所示，近似系数a′_i可采用负值。因此，实际上，如图13所示，不是所有的电荷都相加。然而，在图13的(C)部分中，为了描述起见，显示所有的电荷被累积。

返回来参考图12，继续根据第一示例性构造的系数生成器160a的描述。

利用系数近似单元162生成的近似系数a′_i，矩阵生成器166基于从预测抽头形成单元150输入的预测抽头x_i中包含的像素数生成用于计算预测系数的矩阵表达式。

当将预测抽头x_i中包含的像素数表示为m，将近似系数的数量表示为k时，m个关系表达式在图像拍摄信号和通过下述表达式(9)表示的获得信号之间成立。

$B_l=\underset{i=l}{\overset{l+k-1}{\mathrm{\Σ}}}{a^{\′}}_{i-l}\·A_i---\left(9\right)$

其中，l为大于或等于0并小于或等于m-1的整数。当以矩阵格式的形式表示以表达式(9)表示的m个关系表达式时，导出表达式(10)。

此外，当将图像拍摄信号的矩阵表示为A，将近似系数的矩阵表示为a′，并将获得信号的矩阵表示为B时，还可将表达式(10)表示的图像拍摄信号和获得信号之间的关系表达式表示成如表达式(11)所示。

B＝a′A                (11)

矩阵生成器166生成表达式(10)或(11)中显示的矩阵表达式。然而，为了求解这个关系表达式，表达式的阶数不足。因此，此外，在约束条件设置单元164中，设置用于计算A_i的约束条件表达式，从而补充表达式的不足阶数。

基于从系数近似单元162输入的近似系数的数量k和预测抽头中包含的像素数m，约束条件设置单元164如下所述地设置关于图像拍摄像素值A_i的约束条件表达式。优选地使用下述关系表达式作为约束条件表达式：该关系表达式是通过将预定约束条件系数c_i与图像拍摄像素值A_i相乘并使用其和或差而定义的。可使用任何约束条件表达式，只要它是表示图像拍摄像素值A_i的像素中的合适关系的表达式即可。这里，以使用代表图像的相邻相关性的性质的表达式为例进行描述。

作为表示图像的相邻相关性的性质的表达式，可以使用例如表示相邻像素的像素值相等的表达式(12)的关系表达式。

A_i＝A_i+1                (12)

当以矩阵形式表示表达式(12)时，导出以下表达式。

或者，作为表示图像的相邻相关性的性质的表达式，可使用表示例如相邻像素间的变化量固定的表达式(14)的关系表达式。

A_i-A_i+1＝A_i+1-A_i+2            (14)

当以矩阵形式表示表达式(14)时，导出以下表达式。

此外，在系数计算单元168(稍后将描述)中，为了能够调整在计算预测系数时约束条件表达式的影响，可使用表达式(16)或(17)替换表达式(13)或(15)。

在使用表达式(16)或(17)的情况下，当使约束条件表达式的影响变强时，w被设置为大值，当使约束条件表达式的影响变弱时，w被设置为小值。

当将这些约束条件表达式的左侧表示为O，将约束条件系数的矩阵表示为C，并将图像拍摄信号的矩阵表示为A时，可将表达式(13)、(15)、(16)或(17)表示成以下表达式：

O＝cA                    (18)

约束条件设置单元164将表达式(18)的矩阵表达式作为约束条件表达式输出到矩阵生成器166。

返回来参考图12，继续根据第一示例性构造的系数生成器160a 的描述。

矩阵生成器166将表达式(10)或(11)中显示的图像拍摄信号和获得信号之间的关系表达式与表达式(18)中显示的约束条件表达式组合，从而生成下述表达式(19).

$\left(\begin{array}{c}B\\ O\end{array}\right)=\left(\begin{array}{c}{a}^{\′}\\ c\end{array}\right)A---\left(19\right)$

由于约束条件表达式补充了图像拍摄信号和获得信号之间的关系表达式中不足的阶数，所以表达式(19)具有足以确定预测系数的解的阶数。将由矩阵生成器166生成的表达式(19)输出到系数计算单元168。

系数计算单元168通过对从矩阵生成器166输出的表达式(19)进行求解，计算用于基于获得信号预测图像拍摄信号的预测系数。

当将表达式(19)表示成表达式(20)那样时，可将预测系数确定为使表达式(21)的E最小化的系数。

M＝FA                (20)

E＝(M-FA)²           (21)

可将表达式(21)的E最小化所在的系数计算为满足以下表达式(22)的值：

$\frac{\mathrm{dE}}{\mathrm{dA}}=0---\left(22\right)$

可如在以下表达式(23)中那样计算预测系数被用作每个元素的预测系数矩阵W。

W＝(FF^t)^-1F^t         (23)

其中，t表示矩阵的转置，-1表示逆矩阵。此外，基于表达式(19)、(20)和(23)导出以下表达式。

$A=\mathrm{WM}=W\left(\begin{array}{c}B\\ O\end{array}\right)---\left(24\right)$

也就是说，预测系数矩阵W为提供用于基于矩阵B预测表示图像拍摄信号的像素值的矩阵A的所有元素的系数的矩阵。预测系数矩阵W的第一行为用于预测图像拍摄像素值A₀的系数。第二行为用于预测图像拍摄像素值A₁的系数。以下，第i行为用于预测图像拍摄像素值A_i-1的系数。

基于如上所述计算的预测系数矩阵W，系数计算单元168提取与由预测抽头形成单元150形成的预测抽头的目标像素位置对应的预测系数w_i，并输出预测系数w_i作为系数生成的结果。当从预测系数矩阵W提取预测系数w_i时，考虑从相移量检测器130输出的相移量s。例如，在如图11所示的相移量s＝-1的情况下，作为水平方向上从右端像素起的第四像素的B₃位于目标像素的位置，从而，在预测系数矩阵W的第四行的系数被作为预测系数w_i输出。

图14是显示由根据第一示例性构造的系数生成器160a执行的系数生成过程的流程的流程图。

参考图14，首先，系数近似单元162基于特性参数生成图像拍摄信号和获得信号之间的关系表达式的近似系数(S1404)。

接下来，约束条件设置单元164基于从系数近似单元162输入的近似系数的数量和预测抽头中包含的像素数来生成用于补充在S1404中生成的关系表达式的阶数的约束条件表达式(S1408)。

在此之后，矩阵生成器166利用图像拍摄信号和获得信号之间的关系表达式和在S1408中生成的约束条件表达式来生成用于计算预测系数的矩阵表达式，其中在图像拍摄信号和获得信号之间的关系表达式中，使用在S1404中生成的近似系数(S1412)。

然后，在系数计算单元168中，通过对在S1412中生成的矩阵表达式进行求解来计算预测系数矩阵，提取并输出用于计算目标图像拍摄像素值的预测系数(S1416)。

至此，已参考图12至图14描述了系数生成器160的第一示例性构造。根据系数生成器160的第一示例性构造，可利用图像拍摄信号和基于从参数输入单元110输入的特性参数产生的获得信号之间的关系表达式以及基于图像的相邻相关性的性质产生的约束条件表达式来计算和获得用于预测目标图像拍摄像素值的预测系数。

接下来，将参考图15和图16给出系数生成器160的第二示例性构造的描述。图15是显示根据第二示例性构造的系数生成器160b的构造的框图。系数生成器160b包括采样信号存储单元170、系数计算单元172、预测抽头提取单元174、规范表达式生成器176和系数计算单元178。

采样信号存储单元170为供系数生成器160b处理的存储区，存储图像拍摄采样信号INa，图像拍摄采样信号INa为任意图像拍摄信号的采样值。当生成预测系数时，采样信号存储单元170将图像拍摄采样信号INa输出到系数计算单元172和规范表达式生成器176。

系数计算单元172利用从参数输入单元110输入的特性参数对从采样信号存储单元170输入的图像拍摄采样信号INa执行根据上述表达式(1)表示的滤波运算。然后，系数计算单元172将关于图像拍摄采样信号INa的、与获得信号对应的获得采样信号INb输出到预测抽头提取单元174。

与参考图11所描述的预测抽头形成单元150的处理类似，预测抽头提取单元174从获得采样信号INb提取用于生成系数的预测抽头，并将预测抽头输出到规范表达式生成器176。

代替在预测抽头提取单元174中从获得采样信号INb提取用于生成系数的预测抽头，可基于相移量s使从系数计算单元172输出的获得采样信号INb的相位返回到原点。在这种情况下，使在预测抽头形成单元150中形成的预测抽头x_i的相位返回到原点也是必须的。

规范表达式生成器176利用从采样信号存储单元170输入的图像拍摄采样信号INa和从预测抽头提取单元174输入的用于生成系数的预测抽头来生成以下预测表达式：

$A_k=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{w}_i{B}_{\mathrm{ki}}---\left(25\right)$

其中，A_k表示在图像拍摄采样信号INa的目标像素位置k处的像素值，B_ki表示在从获得采样信号INb提取的用于生成系数的预测抽头i的目标像素位置k处的像素值，m表示预测抽头中包含的像素数，w_i表示预测系数。然后，当将用于生成预测表达式的像素数表示为N时，可获得预测系数w_i作为使表达式(26)的E最小化的系数。

$E=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{(A_k-\underset{i=0}{\overset{m}{\mathrm{\Σ}}}{w}_i{B}_{\mathrm{ki}})}^2---\left(26\right)$

使表达式(26)的E最小化的系数被计算为满足以下表达式(27)的值。

$\frac{\mathrm{dE}}{d{w}_i}=0---\left(27\right)$

当扩展表达式(26)时，利用下述表达式(28)和(29)推出表达式(30)：

$X_{\mathrm{ij}}=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{B}_{\mathrm{ki}}{B}_{\mathrm{kj}}---\left(28\right)$

$Y_i=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{B}_{\mathrm{ki}}{A}_i---\left(29\right)$

表达式(30)为通常称为规范表达式的表达式。规范表达式生成器176生成在表达式(30)中显示的规范表达式，并将规范表达式输出到系数计算单元178。

系数计算单元178利用扫除法(高斯消元法或高斯-约当消元法)等对从规范表达式生成器176输入的表达式(30)的规范表达式关于w_i进行求解，并输出预测系数w_i。

图16是显示由根据第二示例性构造的系数生成器160b执行的系数生成过程的流程的流程图。

参考图16，首先，系数计算单元172利用从参数输入单元110输入的特性参数对从采样信号存储单元170获得的图像拍摄采样信号执行系数计算，并输出获得采样信号(S1604)。

接下来，预测抽头提取单元174从输入自系数计算单元172的获得采样信号中提取预测抽头，所述预测抽头用于计算预测系数(S1608)。

在此之后，规范表达式生成器176利用从采样信号存储单元170获得的图像拍摄采样信号和在S1608中从获得采样信号提取的预测抽头来生成用于计算预测系数的规范表达式(S1612)。

然后，在系数计算单元178中，通过对在S1612中生成的规范矩阵表达式进行求解来计算预测系数矩阵，获得并输出用于计算目标图像拍摄像素值的预测系数(S1616)。

至此，已描述了系数生成器160的第二示例性构造。根据系数生成器160的第二示例性构造，基于预先存储的图像拍摄采样信号和从参数输入单元110输入的特性参数，计算关于图像拍摄采样信号的与获得信号对应的获得采样信号。然后，基于使用图像拍摄采样信号和从计算出的获得采样信号提取的预测抽头生成的表达式，计算并获得用于预测图像拍摄像素值的预测系数。

再次返回来参考图6，接着描述根据本实施例的图像处理器120的构造。

系数生成器160获得的预测系数w_i被输入到预测计算单元180。预测计算单元180执行输入的预测系数w_i和预测抽头x_i之间的乘积和运算，生成与图像拍摄信号对应的输出信号y。通过以下表达式表示预测计算单元180中的乘积和运算：

$Y_k=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{w}_i{x}_{\mathrm{ki}}---\left(31\right)$

其中，y_k表示在输出信号的目标像素位置k处的像素值，x_ki表示从获得信号形成的预测抽头在目标像素位置k处的第i像素值，m表示预测抽头中包含的像素数，w_i表示预测系数。

从预测计算单元180输出根据表达式(31)生成的输出信号Y_k，作为根据本实施例的图像处理器120的处理结果。

图17是显示根据本实施例的图像处理器100的处理流程的流程图。

参考图17，首先，将指示对图像拍摄信号执行的滤波处理的特性的特性参数从参数输入单元110输入到图像处理器120(S1704)。

接下来，基于从参数输入单元110输入的特性参数，相移量检测器130检测图像拍摄信号和对图像拍摄信号执行滤波处理所获得的获得信号之间的相移量(S1708)。此刻检测出的相移量被输出到预测抽头形成单元150和系数生成器160。

在此之后，预测抽头形成单元150基于相移后的获得信号来形成由多个获得像素组成的预测抽头，所述预测抽头用于预测图像拍摄信号中的目标图像拍摄像素值(S1712)。此刻形成的预测抽头被输出到系数生成器160和预测计算单元180。

此外，系数生成器160基于特性参数和相移量生成并获得用于预测目标图像拍摄像素值的预测系数(S1716)。此刻获得的预测系数被输出到预测计算单元180。

然后，在预测计算单元180中，通过系数生成器160获得的预测系数和从预测抽头形成单元150输出的预测抽头之间的乘积和运算来计算目标图像拍摄像素值(S1720)。

此时，如果对所有的目标图像拍摄像素的处理没有完成，则对下一目标图像拍摄像素重复S1720的过程(S1724)。如果对所有的目标图像拍摄像素的处理完成，则根据本实施例的图像处理器100的处理完成。

至此，已描述了根据本发明的第一实施例的图像处理设备100。按照根据第一实施例的图像处理设备100，通过基于输入到图像处理设备100的特性参数从获得信号预测图像拍摄信号并输出图像拍摄信号，可消除由于对图像拍摄信号执行滤波处理而发生的图像失真。

通常，即使输入到图像处理设备100的获得信号的内容改变，如果滤波器的类型没有改变，则用于从获得信号预测图像拍摄信号的预测系数也不改变。由于这个原因，如以下作为本发明的第二实施例描述的，可临时存储生成的预测系数，从而当滤波器的类型没有改变时，可视情况获得存储的预测系数，并将其用于预测图像拍摄信号。

第二实施例

图18是显示根据本发明的第二实施例的图像处理设备200的构造的简要框图。参考图18，图像处理设备200包括参数输入单元110和图像处理器220。

参数输入单元110连接至图像处理器220，以与第一实施例中相同的方式将指示滤波处理的特性的特性参数输入到图像处理器220。

图像处理器220利用从参数输入单元110输入的特性参数来生成与从获得信号x预测的图像拍摄信号对应的输出信号y。

图19是显示根据本实施例的图像处理器220的详细构造的框图。参考图19，图像处理器220包括相移量检测器130、预测抽头形成单元150、预测计算单元180、系数计算单元290、存储单元292和系数获得单元294。以下将给出每个组件的描述，重点强调与根据第一实施例的图像处理器120的组件不同的组件。

基于特性参数和相移量s，系数计算单元290通过与从预测抽头形成单元150输出的预测抽头x_i间的乘积和运算来生成用于预测目标图像拍摄像素值的预测系数w_i。可利用基于参考图12至图14描述的系数生成器160的第一示例性构造的方法或者基于参考图15和图16描述的系数生成器160的第二示例性构造的方法来执行由系数计算单元290进行的预测系数的生成。然后，不将通过所述方法之一生成的预测系数w_i输出到预测计算单元180，而是系数计算单元290将通过所述方法之一生成的预测系数w_i存储在存储单元292的预定存储区中。

存储单元292为任意的存储区，由诸如闪存、硬盘等存储装置形成。在存储单元292中，以与例如特性参数相关联的方式来存储系数计算单元290计算出的预测系数。存储单元292可以是与图30的存储单元916(稍后将描述)相同的存储区。

当系数获得单元294从获得信号x预测性地计算与图像拍摄信号对应的输出信号y时，系数获得单元294参考存储单元292获得要使用的预测系数。要使用的预测系数为例如以与输入的特性参数相关联的方式被存储在存储单元292中的预测系数。相反，可仅将最近计算出的预测系数存储在存储单元292中，系数获得单元294可获得最近预测系数。

图20是显示由根据本实施例的系数计算单元290执行的系数计算过程的流程的流程图。

参考图20，首先，从参数输入单元110输入特性参数(S2004)。接下来，相移量检测器130获得从特性参数检测出的相移量(S2008)。在此之后，执行参考图14或图16描述的系数生成，从而计算用于从获得信号预测图像拍摄信号的预测系数(S2012)。然后，将计算出的预测系数存储在存储单元294中(S2016)。

不是在每次输入获得信号时，而是在特性参数改变时，应该执行这样的系数计算过程一次。

在此之后，当获得信号x被输入到图像处理设备200时，系数获得单元294从存储单元292获得预先计算的预测系数，并执行用于计算和输出每个图像拍摄像素值的预测计算过程。

图21是显示由根据本实施例的图像处理设备200执行的预测计算过程的流程的流程图。

参考图21，首先，从参数输入单元110输入特性参数(S2104)。然后，确定特性参数是否改变(S2108)。此时，当特性参数改变时，再一次执行参考图20描述的由系数计算单元290进行的系数计算过程，并将新的预测系数存储在存储单元292中。

在此之后，系数获得单元294从存储单元292获得预测系数(S2116)。此外，相移量检测器130计算相移量或者从相移表获得相移量(S2120)。此外，预测抽头形成单元150从获得信号形成预测抽头，在所述预测抽头中考虑了相移量(S214)。

然后，预测计算单元180通过系数获得单元294获得的预测系数和从预测抽头形成单元150输出的预测抽头之间的乘积和运算来计算目标图像拍摄像素值(S2128)。

此时，如果对所有的目标图像拍摄像素的处理没有完成，则对下一目标图像拍摄像素重复S2128的过程(S2132)。如果对所有的目标图像拍摄像素的处理完成，则由根据本实施例的图像处理器200进行的预测计算过程完成。

至此，已参考图18至图21描述了根据第二实施例的图像处理设备200。按照根据第一实施例的图像处理设备200，通过存储在特性参数改变时计算的预测系数，在每次输入获得信号时执行生成用于预测图像拍摄信号的预测系数的过程变得不再必要的，从而，图像处理所承担的负担减轻。

第三实施例

在到现在为止描述的第一实施例和第二实施例中，从图像处理设备100或200输出基于指示对图像拍摄信号执行滤波处理的特性的特性参数从获得信号预测的输出信号。输出信号对应于通过从获得信号消除由于滤波处理导致的图像失真而恢复的图像拍摄信号，适合于基于根据现实世界的状态定义的模型的各种图像处理。因此，在第三实施例中，将进一步描述用于执行从图像拍摄信号预测原始图像信号的第二预测计算过程的图像处理设备。

图22是显示第三实施例中的处理目标的范围的示意图。参考图22，再次显示了参考图1描述的从现实世界的光被拍摄时直到获得数字信号为止的处理的概要。

此外，在图22的下部，显示了指示第一预测计算过程和第二预测计算过程的两个箭头。第一预测计算过程对应于到目前为止描述的第一和第二实施例中的预测计算过程，该预测计算过程从获得信号预测图像拍摄信号。另一方面，第二预测计算过程从与图像拍摄信号对应的第一预测计算过程的输出信号(第一输出信号)预测输入到图像拍摄单元20的原始图像信号。在第三实施例中，执行这样的第一和第二预测计算过程，最后输出与原始图像信号对应的第二输出信号。

图23是显示根据本实施例的图像处理设备300的构造的简要框图。参考图23，图像处理设备300包括参数输入单元110、第一图像处理器120和第二图像处理器320。

与第一实施例类似，参数输入单元110将指示滤波器处理的特性的特性参数输入到第一图像处理器120。

第一图像处理器120为与第一实施例中描述的图像处理器120相同的处理器。也就是说，基于从参数输入单元120输入的特性参数，第一图像处理器120通过预测计算从获得信号x生成与图像拍摄信号对应的信号，并输出作为第一输出信号y的信号。图像处理设备300的构造不限于图23中显示的构造。例如，可替代根据本实施例的第一图像处理器120而使用根据第二实施例的图像处理器220。

在第二图像处理器320对从第一图像处理器120输出的第一输出信号y执行基于用于预测原始图像信号的模型(稍后将描述)的第二预测计算之后，第二图像处理器320输出第二输出信号z。如参考图22所描述的，第二输出信号z为与从对应于图像拍摄信号的第一输出信号y预测的原始图像信号对应的信号。

下面将参考图24和图25来描述用于校正由于数码照相机的自动对焦功能而导致的模糊的模型，在第二图像处理器320中在第二预测计算过程中处理该模型。

由于数码照相机的自动对焦功能而导致的模糊是指这样的现象：即，由于不是对用户原本期望进行图像拍摄的被摄物进行聚焦而是对背景进行聚焦，在此状态下执行图像拍摄而导致图像拍摄信号处于被摄物的边缘不清楚的状态。在这样的模糊中，在从图像拍摄信号预测没有模糊的原始图像信号的情况下，使用具有由于模糊而导致的累积效应的模型。

图24是显示由于自动对焦功能而导致的模糊累积效应的示意图。图24的部分(A)显示在通过光学低通滤波器10之后输入到图像拍摄单元20的原始图像信号Z_i(0≤i≤6)。图24的部分(B)以零被用作基准的柱形图的形式显示当确定目标图像拍摄像素值时相邻的像素值的贡献的权重的系数u_i。此刻的目标像素为处于图24的部分(A)的像素序列的中心的i＝3的像素。

图24的部分(C)显示通过原始图像信号Z_i和系数u_i的乘积和给出的目标图像拍摄像素值A₃。如可从图24的部分(C)理解的，在由于自动对焦功能导致模糊发生的情况下，焦点偏移到被摄物的前面或后面，从而发生模糊的图像拍摄像素值变为这样的值，即，用预定系数表示的权重与相邻的原始图像信号的像素值相乘，并被累积。这是一种类型的图像拍摄期间的空间累积效应。

在图24中，为了方便起见，已利用一维像素序列给出描述。实际上，在模糊模型中，位于二维光接收表面上的目标像素附近的像素的值对目标图像拍摄像素值有贡献。

图25是显示二维平面上的图像拍摄信号和原始图像信号之间的关系的示意图。参考图25，用x轴和y轴表示二维平面。这里，用xy坐标表示的每个框对应于图像拍摄单元20中的每个光接收区。

当由于自动对焦功能而导致的模糊在具有图25中显示的二维光接收表面的图像拍摄单元20中发生时，通过例如相邻的5×5＝25个原始图像信号的像素值z_xy确定图像拍摄信号的像素值A_xy。

在图25的例子中，例如，基于被包括Z₄₄的框(a)包围的25个原始图像信号的像素值来确定图像拍摄信号的像素值A₂₂。以类似的方式，当例如从图像拍摄信号预测原始图像信号的像素值Z₄₄时，将理解，应该考虑被包括A₂₂的框(b)包围的25个图像拍摄信号的像素值。

例如用表达式(32)至(35)表示基于图24和图25中所示的模糊模型的、图像拍摄信号和原始图像信号之间的关系。这里，作为预测抽头，8×8＝64(x方向上的8个×y方向上的8个)个像素被使用。

$A_f=\left(\begin{array}{c}A(x,y)\\ A(x+1,y)\\ A(x+2,y)\\ \·\\ \·\\ \·\\ A(x,y+1)\\ A(x+1,y+1)\\ \·\\ \·\\ \·\\ A(x+7,y+7)\end{array}\right)---\left(32\right)$

$W_f=\left(\begin{array}{cccc}W(-2,-2)& W(-1,-2)& \·\·\·& W\left(\mathrm{2,2}\right)\\ W(-2,-2)& W(-1,-2)& \·\·\·& W\left(\mathrm{2,2}\right)\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ W(-2,-2)& W(-1,-2)& \·\·\·& W\left(\mathrm{2,2}\right)\end{array}\right)---\left(33\right)$

$Z_f=\left(\begin{array}{cccc}Z(x-2,y-2)& Z(x-1,y-2)& \·\·\·& Z(x,y-2)\\ Z(x-1,y-2)& Z(x,y-2)& \·\·\·& Z(x+1,y-2)\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ Z(x+2,y+2)& Z(x+3,y+2)& \·\·\·& Z(x+9,y+9)\end{array}\right)---\left(34\right)$

A_f＝W_fZ_f            (35)

其中，A_f为对每行取出二维图像拍摄信号并排列为一行的序列矢量，W_f为在距目标像素的相关位置处表示的每个像素的系数矩阵，Z_f为在距目标像素的相关位置处表示的原始图像信号的像素值矩阵。

在表达式(35)中，如果可确定系数矩阵W_f的逆矩阵，则可从图像拍摄信号预测原始图像信号。也就是说，可校正发生模糊的图像拍摄信号，并可获得没有模糊的原始图像信号。

然而，相对于图像拍摄信号的像素数，表达式(32)至(35)中显示的矩阵表达式具有大量的原始图像信号的像素，不可能在原来状态下获得逆矩阵。因此，在原始图像信号的预测中，同样通过引入使用图像的相邻相关性的性质的上述约束条件表达式，补充矩阵表达式的不足阶数。

对于使用图像的相邻相关性的性质的约束条件表达式，例如，表达式(36)至(39)所表示的关系表达式可被使用。

U₁(X(x，y)-X(x，y-1))＝0        (36)

U₂(X(x，y)-X(x+1，y)＝0         (37)

U₃(X(x，y)-X(x，y+1))＝0        (38)

U₄(X(x，y)-X(x-1，y))＝0        (39)

这些是这样的关系表达式，即，在二维平面上上、下、左和右相邻的像素值相等，在这些关系表达式中，系数U₁至U₄为被引入以便能够调整表达式(36)至(39)的每个约束条件的影响的系数。通过例如在上述未审查的第2005-63097号日本专利申请公开中公开的技术，视情况设置这些系数U₁至U₄的值。

以上述方式，通过除了表达式(35)的关系表达式之外还引入表达式(36)至(39)的约束条件表达式，可获得表达式(40)中显示的系数矩阵W_f的逆矩阵W_f ^-1：

Z_f＝W_f ^-1A_f            (40)

在根据本实施例的第二图像处理器320中，基于这样的累积效应的模型生成与上述原始图像信号对应的第二输出信号。

图26是显示第二图像处理器320的构造的框图。参考图26，第二图像处理器320包括第二预测抽头形成单元350、存储单元360、第二系数获得单元370和第二预测计算单元380。

第二预测抽头形成单元350从与图像拍摄信号对应的第一输出信号y中提取用于预测原始图像信号中的目标原始像素值的多个像素，并形成第二预测抽头A_f。

存储单元360为在其中存储预先计算的预测系数矩阵W_f ^-1的存储区。为了通过与第二预测抽头A_f的乘积和运算来预测目标原始像素值，基于上述累积效应模型计算预测系数矩阵W_f ^-1。

当预测原始图像信号时，第二系数获得单元370获得存储在存储单元360中的预测系数矩阵W_f ^-1。然后，第二系数获得单元370从预测系数矩阵W_f ^-1内提取用于预测目标原始像素值的一行作为第二预测系数w_f，并将该行输出到第二预测计算单元380。

第二预测计算单元380执行从第二系数获得单元370输出的第二预测系数w_f和从第二预测抽头形成单元350输出的第二预测抽头A_f之间的乘积和运算，从而生成并输出与原始图像信号对应的第二输出信号z。

图27是显示由根据本实施例的第二图像处理器320执行的预测计算过程的流程的流程图。

参考图27，首先，系数获得单元370从存储单元360获得第二预测系数(S2704)。接下来，第二预测抽头形成单元350从与图像拍摄信号对应的第一输出信号形成第二预测抽头(S2708)。然后，在第二预测计算单元380中，通过获得的第二预测系数和形成的第二预测抽头之间的乘积和运算来计算目标原始像素值(原始图像信号在目标像素中的像素值)(S2712)。

此时，如果对所有的目标原始像素值的处理没有完成，则对下一目标原始像素重复S2712的过程(S2716)。如果对所有的目标原始像素值的处理完成，则由根据本实施例的第二图像处理器320进行的预测计算过程完成。

至此，已参考图22至图27描述了根据本发明的第三实施例的图像处理设备300。按照根据第三实施例的图像处理设备300，在从获得信号生成与图像拍摄信号对应的第一输出信号之后，此外，基于累积效应模型生成与原始图像信号对应的第二输出信号。此时，在第一图像处理器120中，例如，由于消除了图像失真，诸如参考图3描述的振铃，所以累积效应模型的误差减小，使得可改进由第二图像处理器320执行的用于预测原始图像信号的处理过程的精度。

可被根据第三实施例的图像处理设备300处理的累积效应模型不限于上述由于自动对焦功能而导致的模糊的模型。例如，也可使用累积效应模型来表示在被摄物或拍摄者移动的同时执行图像拍摄的情况下发生的运动模糊。

图28是显示运动模糊的累积效应的示意图。图28的部分(A)显示在下述情况下输入到图像拍摄单元20的原始图像信号Z_it的变化状态，在所述情况下，在时间t＝1-5的时间段内，被摄物在像素位置i＝1-f处表示的光接收表面内移动。图28的部分(A)中表示每个像素的框内部显示的字符“F”表示前景(即，被摄物)被反映在对应的像素中。另一方面，字符“B”表示背景被反映在对应的像素中。

在图28的部分(A)中，每次时间前进1时，在时间t＝1在像素位置i＝3-7反映的被摄物沿像素位置的正方向(图中的右方向)以1为单位移动，并在时间t＝5时位于像素位置i＝7-b。此时，当例如在图像拍摄单元20中在时间t＝1-5期间执行曝光时，图28的部分(A)中显示的在相同的像素位置处的5个像素的像素值在时间轴上的平均值变为图像拍摄所获得的图像拍摄像素值。

图28的部分(B)在指示像素值的幅度的柱形图中显示以这种方式获得的图像拍摄信号的每个像素值A_i。此刻，为了方便起见，设置：前景的原始图像信号的像素值Z_it等于F，背景的原始图像信号的像素值Z_it等于0。

参考图28的部分(B)，在像素位置i＝7处，图像拍摄信号的像素值A₇等于F，在像素位置i＝7处在曝光时间段期间总是反映前景。相比而言，在像素位置i＝7周围的像素(3≤i≤6和8≤i≤b)中，图像拍摄像素值具有0-F之间的值，在这些周围的像素处，在曝光时间段期间被摄物移动，并且前景和背景被反映。通过以下表达式给出图28的部分(B)中的图像拍摄信号的每个像素值A_i：

$A_i=\frac{1}{5}\underset{t=1}{\overset{5}{\mathrm{\Σ}}}{Z}_{\mathrm{it}}---\left(41\right)$

通过表达式(41)表示的运动模糊为在图像拍摄期间发生的一种类型的时间相关的累积效应。然而，如可从图28的部分(A)理解的，在发生运动模糊的情形下，原始图像信号在任意时间上的像素值与在前后时间附近被输入到其它像素的像素值据说彼此近似相等。例如，在时间t＝5在像素位置i＝7处的原始图像信号的像素值Z₇₅等于在移动的被摄物的左端部分的像素值Z₆₄、Z₅₃、Z₄₂和Z₃₁。因此，关于运动模糊，通过从图像拍摄信号的多个像素形成预测抽头并执行预定的预测系数和预测抽头的像素值之间的乘积和运算，可获得已消除运动模糊的、与原始图像信号对应的输出信号。

此时，如果对从包含诸如滤波处理所涉及的振铃等图像失真的获得信号预测的图像拍摄信号执行用于消除运动模糊的处理过程，则在上述运动模糊模型中发生误差，并且没有充分地获得消除效果。然而，通过应用本发明的第三实施例，可消除滤波处理所涉及的图像失真，而且，可消除运动模糊。结果，可有效地消除运动模糊。

至此，已描述了本发明的第一至第三实施例。每个实施例为关于用于从获得信号预测图像拍摄信号或原始图像信号的图像处理设备的实施例。相比而言，如以下作为第四实施例描述的，可以以将根据第一至第三实施例的图像处理设备100至300的每个与图像拍摄装置组合这样的方式来形成图像拍摄设备。

第四实施例

图29是显示图像拍摄设备400的构造的框图，在图像拍摄设备400中，将根据第一实施例的图像处理设备100与图像拍摄装置组合。参考图29，图像拍摄设备400包括光学低通滤波器10、图像拍摄单元20、抗混叠滤波器30、AD转换器40、信号累积单元50、参数输入单元110和图像处理器120。

输入到图像拍摄设备400的光信号通过光学低通滤波器10，以便被形成为原始图像信号，并被输入到图像拍摄单元20。输入到图像拍摄单元20的原始图像信号被作为电荷存储，并被作为模拟格式的图像拍摄信号输出。从图像拍摄单元20输出的图像拍摄信号被输入到抗混叠滤波器30。在抗混叠滤波器30中，消除引起图像拍摄信号中包含的重叠噪声发生的预定频率分量。AD转换器40将通过抗混叠滤波器30后获得的模拟信号转换为数字信号。

在本实施例中，被AD转换器40转换为数字信号的获得信号被输入到信号累积单元50。在信号累积单元50中，将包含滤波器的特性参数的头部附加到获得信号。然后，附加了头部的获得信号被输入到图像处理器120和参数输入单元110。

参数输入单元110从输入的获得信号的头部获得特性参数，并将特性参数输入到图像处理器120。如在第一实施例中举例说明的，在如在本实施例中那样用户经由参数输入单元110输入特性参数的情况下，可不提供用于将头部附加到获得信号的信号累积单元50。在这种情况下，被AD转换器40转换为数字信号的获得信号被直接输入到图像处理器120。

基于被转换为数字信号的获得信号和从参数输入单元110输入的特性参数，图像处理器120执行上述预测计算过程，并输出已消除图像失真的输出信号。

根据本发明的第四实施例，将图像拍摄装置和用于消除图像失真的图像处理装置的集成体提供给用户，从而与消除图像失真有关的上述效果被广泛地提供给用户。

用硬件还是软件来实现在本说明书中描述的根据第一至第四实施例的一系列处理过程无关紧要。当用软件来执行一系列处理过程时，利用合并在专用硬件中的计算机或者例如图30中显示的通用计算机来执行构成该软件的程序。

在图30中，CPU(中央处理单元)902控制通用计算机的整个操作。ROM(只读存储器)904将描述一系列处理过程的部分或全部的程序存储在其中。在RAM(随机访问存储器)906中，临时存储用于CPU的计算过程的程序、数据等。

CPU 902、ROM 904和RAM 906经由总线908彼此互连。此外，输入/输出接口910也连接至总线908。

输入/输出接口910为用于将CPU 902、ROM 904和RAM 906与输入单元912、输出单元914、存储单元916、通信单元918和驱动器920连接的接口。

输入单元912接收用户经由输入装置输入的指令和信息，输入装置包括按钮、开关、操作杆、鼠标、键盘等。输出单元914经由显示装置和或诸如扬声器的音频输出装置将信息输出给用户，显示装置例如为CRT(阴极射线管)、液晶显示装置或OLED(有机发光二极管)。

存储单元916由例如硬盘驱动器、闪存等形成，存储程序、程序数据、图像数据等。通信单元918经由诸如LAN(局域网)或互联网的网络执行通信过程。如需要的话，在通用计算机中提供驱动器920，并且，例如，将可移动介质922加载到驱动器920中。

当用软件执行根据第一至第四实施例的一系列处理过程时，例如存储在ROM 904、存储单元916或可移动介质922中的程序在执行时被读取到RAM 906中，并供CPU 902执行。

在前面，已参考附图描述了本发明的优选实施例。不用说，本发明不限于这样的例子。显而易见的是，本领域的技术人员可在本发明的范围和精神内设想各种改变或修改。应该理解，各种改变或修改自然是落在本发明的技术范围内。

例如，可不必根据在流程图中描述的顺序执行根据到目前为止描述的每个实施例的图像处理。根据第一至第三实施例的图像处理设备和根据第四实施例的图像拍摄设备中的处理步骤可包括并行或者彼此独立地执行的处理过程。

本发明包含与于2008年4月17日在日本专利局提交的第JP2008-108136号日本优先权专利申请中公开的内容相关的目标内容，特此引入该申请的整个内容作为参考。

本领域的技术人员应该理解，各种修改、组合、次组合和改变可根据设计要求和其它因素而发生，只要它们在权利要求或其等同物的范围内即可。

Claims (10)

1.一种图像处理设备，包括：

输入装置，用于输入特性参数，所述特性参数指示对通过拍摄现实世界的光而产生的图像拍摄信号执行的滤波处理的特性；

检测装置，基于由输入装置输入的特性参数来检测所述图像拍摄信号和对所述图像拍摄信号执行滤波处理而获得的获得信号之间的相移量；

第一形成装置，基于已使用检测装置检测出的相移量进行相移后的获得信号，形成用于预测图像拍摄信号中的目标图像拍摄像素值的、由多个获得像素组成的第一预测抽头；

系数获得装置，为了通过与第一预测抽头的值之间的乘积和运算来预测目标图像拍摄像素值，获得根据所述特性参数和所述相移量生成的第一预测系数；和

第一计算装置，通过在由系数获得装置获得的第一预测系数和从第一形成装置输出的第一预测抽头的值之间执行乘积和运算来生成与所述图像拍摄信号对应的第一输出信号。

2.根据权利要求1所述的图像处理设备，还包括：

第二形成装置，基于与所述图像拍摄信号对应的第一输出信号形成用于预测原始图像信号中的目标原始像素值的、由多个图像拍摄像素组成的第二预测抽头；和

第二计算装置，通过在第二预测系数和从第二形成装置输出的第二预测抽头的值之间执行乘积和运算来生成与原始图像信号对应的第二输出信号，所述第二预测系数是为了通过与第二预测抽头的值之间的乘积和运算来预测目标原始像素值，基于产生所述图像拍摄信号时的累积效应的模型而生成的，

其中，所述图像拍摄信号是通过对于从现实世界的光获得的原始图像信号的累积效应而产生的信号。

3.根据权利要求1或2所述的图像处理设备，其中，所述系数获得装置根据基于所述特性参数生成的图像拍摄信号和所述获得信号之间的关系表达式以及基于图像的相邻相关性的性质生成的约束条件表达式来计算第一预测系数。

4.根据权利要求1或2所述的图像处理设备，其中，所述输入装置获得包含在所述获得信号的头部中的特性参数。

5.根据权利要求1或2所述的图像处理设备，其中，所述检测装置从以相互关联的方式存储特性参数和相移量的表中获得并检测所述相移量。

6.根据权利要求1所述的图像处理设备，其中，所述系数获得装置基于预先存储的图像拍摄采样信号和所述特性参数来计算关于所述图像拍摄采样信号的、与获得信号对应的获得采样信号，并且根据利用所述图像拍摄采样信号和计算出的获得采样信号而生成的表达式来计算第一预测系数。

7.根据权利要求1所述的图像处理设备，其中，所述输入装置响应于用户的操作而经由输入设备获得所述特性参数。

8.根据权利要求1所述的图像处理设备，其中，所述检测装置基于预先存储的图像拍摄采样信号和所述特性参数来计算关于所述图像拍摄采样信号的、与获得信号对应的获得采样信号，并检测与将获得采样信号移位与预定像素数对应的量而生成的多个移位信号中的与图像拍摄采样信号之差最小的移位信号相对应的移位像素数作为所述相移量。

9.一种图像拍摄设备，包括：

图像拍摄装置，用于拍摄现实世界的光并产生图像拍摄信号；

输入装置，用于输入特性参数，所述特性参数指示对由图像拍摄装置产生的图像拍摄信号执行的滤波处理的特性；

检测装置，基于由输入装置输入的特性参数来检测所述图像拍摄信号和对所述图像拍摄信号执行滤波处理而获得的获得信号之间的相移量；

第一形成装置，基于已使用检测装置检测出的相移量进行相移后的获得信号，形成用于预测图像拍摄信号中的目标图像拍摄像素值的、由多个获得像素组成的第一预测抽头；

系数获得装置，为了通过与第一预测抽头的值之间的乘积和运算来预测目标图像拍摄像素值，获得根据所述特性参数和所述相移量生成的第一预测系数；和

第一计算装置，通过在由系数获得装置获得的第一预测系数和从第一形成装置输出的第一预测抽头的值之间执行乘积和运算来生成与所述图像拍摄信号对应的第一输出信号。

10.一种图像处理方法，包括以下步骤：

输入特性参数，所述特性参数指示对通过拍摄现实世界的光而产生的图像拍摄信号执行的滤波处理的特性；

基于输入的特性参数检测所述图像拍摄信号和对所述图像拍摄信号执行滤波处理而获得的获得信号之间的相移量；

基于已使用检测出的相移量进行相移后的获得信号，形成用于预测图像拍摄信号中的目标图像拍摄像素值的、由多个获得像素组成的第一预测抽头；

为了通过与第一预测抽头的值之间的乘积和运算来预测目标图像拍摄像素值，获得根据所述特性参数和所述相移量生成的第一预测系数；以及

通过在获得的第一预测系数和第一预测抽头的值之间执行乘积和运算来生成与所述图像拍摄信号对应的第一输出信号。

Images