CN1461555A - 图像处理装置及其方法和摄像装置 - Google Patents

图像处理装置及其方法和摄像装置 Download PDF

Info

Publication number
CN1461555A
CN1461555A CN02801317A CN02801317A CN1461555A CN 1461555 A CN1461555 A CN 1461555A CN 02801317 A CN02801317 A CN 02801317A CN 02801317 A CN02801317 A CN 02801317A CN 1461555 A CN1461555 A CN 1461555A
Authority
CN
China
Prior art keywords
pixel
frame
pixel data
image
target frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN02801317A
Other languages
English (en)
Other versions
CN1233151C (zh
Inventor
近藤哲二郎
永野隆浩
石桥淳一
泽尾贵志
藤原直树
和田成司
三宅彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1461555A publication Critical patent/CN1461555A/zh
Application granted granted Critical
Publication of CN1233151C publication Critical patent/CN1233151C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Television Systems (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明涉及一种图像处理装置，用于生成在时间方向上具有高密度且具有自然运动模糊的图像。相关计算单元(103和104)分别计算多帧中目标帧(#n)的目标像素的像素数据与相邻于目标帧(#n)的帧(#n－1)的对应像素的像素数据之间的相关，以及目标帧(#n)的目标像素的像素数据与相邻于目标帧(#n)的另一帧(#n+1)的对应像素的像素数据之间的相关。单侧像素值生成单元(105)生成在目标帧(#n)与两个相邻帧(#n－1，#n+1)中所包含的对应数据具有更高相关性的一帧之间所生成的第一合成帧的第一像素数据。单侧像素值生成单元(106)根据目标像素数据和第一像素数据，生成在目标帧(#n)与另一相邻帧之间所生成的第二合成帧的第二像素数据。

Description

图像处理装置及其方法和摄像装置
技术领域
本发明涉及一种图像处理装置，特别涉及一种考虑由传感器检测的信号与真实世界之间差别的图像处理装置。
背景技术
用于检测真实世界中的事件并且处理从图像传感器输出的采样数据的技术正在广泛的使用当中。
例如，在通过采用视频摄像机拍摄在预定静止背景之前移动的对象而获得的图像中，当对象的运动速度相对快时，会出现运动模糊。
另外，根据由视频摄像机拍摄的图像在时间方向上生成高密度(high-density)图像的技术也在使用中。
然而，当在时间方向上生成高密度图像时，没有考虑运动模糊。根据具有运动模糊的图像在时间方向上生成的高密度图像为不自然图像。
发明内容
本发明是鉴于这一问题而提出的，并且它的目的是在时间方向上生成具有自然运动模糊的高密度图像。
本发明的一种图像处理装置，用于处理由多帧的像素数据形成的图像，其中，图像是通过包括多个检测元件的传感器而获得的，其中每个检测元件均具有时间累积效应(time integration effect)，包括：相关检测部件，用于检测多帧中目标帧的目标像素的像素数据与相邻于目标帧的第一帧的对应像素的像素数据之间的相关，以及目标帧的目标像素的像素数据与相邻于目标帧的第二帧的对应像素的像素数据之间的相关；以及像素数据生成部件，用于根据由相关检测部件检测的具有更高相关性的第一和第二帧的对应像素其中之一的像素数据，生成在目标帧与第一和第二帧中对应像素的像素数据具有更高相关性的一帧之间所生成的第一合成帧的第一像素的像素数据，并且根据目标像素的像素数据和第一像素的像素数据，生成在目标帧与第一和第二帧中的另一帧之间所生成的第二合成帧的第二像素的像素数据。
像素数据生成部件可以将由相关检测部件检测的具有更高相关性的第一和第二帧的对应像素其中之一的像素数据，复制为在目标帧与第一和第二帧中对应像素的像素数据具有更高相关性的这一帧之间所生成的第一合成帧的第一像素的像素数据。
像素数据生成部件可以在与第一帧和目标帧的时间间距相等的位置生成第一合成帧，并且在与第二帧和目标帧的时间间距相等的位置生成第二合成帧。
像素数据生成部件可以通过从目标像素的像素数据值的两倍值减去第一像素的像素数据值，计算第二像素的像素数据。
图像处理装置可以对通过具有排列在至少一个方向上的多个检测元件的传感器而获得的图像进行处理。
图像处理装置可以对通过具有以矩阵形式排列的多个检测元件的传感器而获得的图像进行处理。
相关检测部件可以检测像素数据的差值作为相关。
本发明的一种图像处理方法包括：相关检测步骤，检测多帧中目标帧的目标像素的像素数据与相邻于目标帧的第一帧的对应像素的像素数据之间的相关，以及目标帧的目标像素的像素数据与相邻于目标帧的第二帧的对应像素的像素数据之间的相关；以及像素数据生成步骤，根据在相关检测步骤检测的具有更高相关性的第一和第二帧的对应像素其中之一的像素数据，生成在目标帧与第一和第二帧中对应像素的像素数据具有更高相关性的一帧之间所生成的第一合成帧的第一像素的像素数据，并且根据目标像素的像素数据和第一像素的像素数据，生成在目标帧与第一和第二帧中的另一帧之间所生成的第二合成帧的第二像素的像素数据。
像素数据生成步骤可以将在相关检测步骤检测的具有更高相关性的第一和第二帧的对应像素其中之一的像素数据，复制为在目标帧与第一和第二帧中对应像素的像素数据具有更高相关性的这一帧之间所生成的第一合成帧的第一像素的像素数据。
像素数据生成步骤可以在与第一帧和目标帧的时间间距相等的位置生成第一合成帧，并且在与第二帧和目标帧的时间间距相等的位置生成第二合成帧。
像素数据生成步骤可以通过从目标像素的像素数据值的两倍值减去第一像素的像素数据值，计算第二像素的像素数据。
在图像处理方法中，可以对通过具有排列在至少一个方向上的多个检测元件的传感器而获得的图像进行处理。
在图像处理方法中，可以对通过具有以矩阵形式排列的多个检测元件的传感器而获得的图像进行处理。
相关检测步骤可以检测像素数据的差值作为相关。
本发明的一种存储在存储介质中的程序包括：相关检测步骤，检测多帧中目标帧的目标像素的像素数据与相邻于目标帧的第一帧的对应像素的像素数据之间的相关，以及目标帧的目标像素的像素数据与相邻于目标帧的第二帧的对应像素的像素数据之间的相关；以及像素数据生成步骤，根据在相关检测步骤检测的具有更高相关性的第一和第二帧的对应像素其中之一的像素数据，生成在目标帧与第一和第二帧中对应像素的像素数据具有更高相关性的一帧之间所生成的第一合成帧的第一像素的像素数据，并且根据目标像素的像素数据和第一像素的像素数据，生成在目标帧与第一和第二帧中的另一帧之间所生成的第二合成帧的第二像素的像素数据。
像素数据生成步骤可以将在相关检测步骤检测的具有更高相关性的第一和第二帧的对应像素其中之一的像素数据，复制为在目标帧与第一和第二帧中对应像素的像素数据具有更高相关性的这一帧之间所生成的第一合成帧的第一像素的像素数据。
像素数据生成步骤可以在与第一帧和目标帧的时间间距相等的位置生成第一合成帧，并且在与第二帧和目标帧的时间间距相等的位置生成第二合成帧。
像素数据生成步骤可以通过从目标像素的像素数据值的两倍值减去第一像素的像素数据值，计算第二像素的像素数据。
可以对通过具有排列在至少一个方向上的多个检测元件的传感器而获得的图像进行处理。
可以对通过具有以矩阵形式排列的多个检测元件的传感器而获得的图像进行处理。
相关检测步骤可以检测像素数据的差值作为相关。
本发明的一种程序用于使计算机执行一个过程，其中该过程包括：相关检测步骤，检测多帧中目标帧的目标像素的像素数据与相邻于目标帧的第一帧的对应像素的像素数据之间的相关，以及目标帧的目标像素的像素数据与相邻于目标帧的第二帧的对应像素的像素数据之间的相关；以及像素数据生成步骤，根据在相关检测步骤检测的具有更高相关性的第一和第二帧的对应像素其中之一的像素数据，生成在目标帧与第一和第二帧中对应像素的像素数据具有更高相关性的一帧之间所生成的第一合成帧的第一像素的像素数据，并且根据目标像素的像素数据和第一像素的像素数据，生成在目标帧与第一和第二帧中的另一帧之间所生成的第二合成帧的第二像素的像素数据。
像素数据生成步骤可以将在相关检测步骤检测的具有更高相关性的第一和第二帧的对应像素其中之一的像素数据，复制为在目标帧与第一和第二帧中对应像素的像素数据具有更高相关性的这一帧之间所生成的第一合成帧的第一像素的像素数据。
像素数据生成步骤可以在与第一帧和目标帧的时间间距相等的位置生成第一合成帧，并且在与第二帧和目标帧的时间间距相等的位置生成第二合成帧。
像素数据生成步骤可以通过从目标像素的像素数据值的两倍值减去第一像素的像素数据值，计算第二像素的像素数据。
一种执行该程序的计算机可以对通过具有排列在至少一个方向上的多个检测元件的传感器而获得的图像进行处理。
一种执行该程序的计算机可以对通过具有以矩阵形式排列的多个检测元件的传感器而获得的图像进行处理。
相关检测步骤可以检测像素数据的差值作为相关。
本发明的图像采集(pick up)设备包括：图像采集部件，用于将由具有预定像素数目的图像采集单元采集的对象图像，其中每个单元均具有时间累积效应；相关检测部件，用于检测多帧中目标帧的目标像素的像素数据与相邻于目标帧的第一帧的对应像素的像素数据之间的相关，以及目标帧的目标像素的像素数据与相邻于目标帧的第二帧的对应像素的像素数据之间的相关；以及像素数据生成部件，用于根据由相关检测部件检测的具有更高相关性的第一和第二帧的对应像素其中之一的像素数据，生成在目标帧与第一和第二帧中对应像素的像素数据具有更高相关性的一帧之间所生成的第一合成帧的第一像素的像素数据，并且根据目标像素的像素数据和第一像素的像素数据，生成在目标帧与第一和第二帧中的另一帧之间所生成的第二合成帧的第二像素的像素数据。
像素数据生成部件可以将由相关检测部件检测的具有更高相关性的第一和第二帧的对应像素其中之一的像素数据，复制为在目标帧与第一和第二帧中对应像素的像素数据具有更高相关性的这一帧之间所生成的第一合成帧的第一像素的像素数据。
像素数据生成部件可以在与第一帧和目标帧的时间间距相等的位置生成第一合成帧，并且在与第二帧和目标帧的时间间距相等的位置生成第二合成帧。
像素数据生成部件可以通过从目标像素的像素数据值的两倍值减去第一像素的像素数据值，计算第二像素的像素数据。
图像处理设备可以对通过具有排列在至少一个方向上的多个检测元件的传感器而获得的图像进行处理。
图像处理设备可以对通过具有以矩阵形式排列的多个检测元件的传感器而获得的图像进行处理。
相关检测部件可以检测像素数据的差值作为相关。
由此可以获得时间方向上的高密度自然图像。
附图简述
图1是本发明的图像处理装置的一个实施例的方框图；
图2是图像处理装置的结构方框图；
图3是示出传感器的图像采集操作的图；
图4示出像素的排列；
图5示出检测元件的操作；
图6示出响应光输入而具有累积效应的传感器的像素数据；
图7A示出通过拍摄对应于移动前景的对象和对应于静止背景的对象而获得的图像；
图7B示出通过拍摄对应于移动前景的对象和对应于静止背景的对象而获得的图像模型；
图8示出背景区域、前景区域、混合区域、覆盖背景区域以及非覆盖背景区域；
图9是示出包含对应于静止前景的对象和对应于静止背景的对象的图像中在时间轴上经过扩展的一条线上的相邻像素的像素值的模型图；
图10是示出对应于经过划分的快门时间2ts的时间区间内的在时间轴上经过扩展的像素值的模型图；
图11是示出对应于经过划分的快门时间2ts的时间区间内的在时间轴上经过扩展的像素值的模型图；
图12是示出对应于经过划分的快门时间2ts的时间区间内的在时间轴上经过扩展的像素值的模型图；
图13示出所提取的前景区域、背景区域以及混合区域的像素；
图14示出像素之间的关系以及其中像素值在时间轴上经过扩展的模型；
图15是示出对应于经过划分的快门时间2ts的时间区间内的在时间轴上经过扩展的像素值的模型图；
图16是示出对应于经过划分的快门时间2ts的时间区间内的在时间轴上经过扩展的像素值的模型图；
图17是示出对应于经过划分的快门时间2ts的时间区间内的在时间轴上经过扩展的像素值的模型图；
图18是示出对应于经过划分的快门时间2ts的时间区间内的在时间轴上经过扩展的像素值的模型图；
图19是示出对应于经过划分的快门时间2ts的时间区间内的在时间轴上经过扩展的像素值的模型图；
图20是示出对混合区域的像素所执行的处理的图；
图21是混合区域的像素与其像素值之间的时间上的理想关系；
图22是混合区域的像素与其像素值之间的时间上的理想关系；
图23示出用于检查将具有高相关性的像素值设为单侧双密度图像的像素这一处理的适当性的处理结果；
图24示出用于检查将具有高相关性的像素值设为单侧双密度图像的像素这一处理的适当性的处理结果；
图25示出用于检查将具有高相关性的像素值设为单侧双密度图像的像素这一处理的适当性的处理结果；
图26示出用于检查将具有高相关性的像素值设为单侧双密度图像的像素这一处理的适当性的处理结果；
图27示出用于检查将具有高相关性的像素值设为单侧双密度图像的像素这一处理的适当性的处理结果；
图28示出用于检查将具有高相关性的像素值设为单侧双密度图像的像素这一处理的适当性的处理结果；
图29是示出对背景区域的像素所执行的处理的图；
图30是示出对前景区域的像素所执行的处理的图；
图31是示出对混合区域的像素所执行的处理的图；
图32是示出对背景区域的像素所执行的处理的图；
图33是示出对前景区域的像素所执行的处理的图；
图34示出输入图像的例子；
图35示出放大输入图像的例子；
图36示出输入图像中相对于像素位置的像素值变化；
图37示出双密度图像的例子；
图38示出放大双密度图像的例子；
图39示出输入图像中相对于像素位置的像素值变化；
图40示出双密度图像的例子；
图41示出放大双密度图像的例子；
图42示出输入图像中相对于像素位置的像素值变化；
图43是示出其中生成在时间方向上具有双密度的图像的时间分辨率生成过程的流程图；
图44是示出其中生成在时间方向上具有双密度的图像的时间分辨率生成过程的流程图。
最佳实施方式
图1是本发明的图像处理装置的一个实施例的方框图。CPU(CentralProcessing Unit，中央处理器)21根据存储在ROM(Read Only Memory，只读存储器)22或存储单元28中的软件程序，执行各种处理。RAM(Random AccessMemory，随机访问存储器)23根据需要存储由CPU21执行的程序以及数据。CPU21、ROM22和RAM23通过总线24相互连接。
CPU21通过总线24连接到输入和输出接口25。输入单元26如键盘、鼠标或麦克风以及输出单元27如显示器或扬声器也连接到输入和输出接口25。CPU21响应从输入单元26输入的命令，执行各种处理。CPU21将通过处理获得的图像、语音等输出到输出单元27。
连接到输入和输出接口25的存储单元28为硬盘，并且它存储由CPU21执行的程序以及各种数据。通信单元29通过因特网或其他网络与外部装置进行通信。在本例中，通信单元29用作捕获传感器输出的捕获单元。
软件程序可以通过通信单元29获得，并且可以存储在存储单元28中。
当连接到输入和输出接口25的驱动器30载入磁盘51、光盘52、光磁盘53或半导体存储器54时，驱动器30对该记录介质进行驱动，从而获取软件程序和数据。所获取的程序或数据根据需要传输到存储单元28，并且存储在其中。
下面讨论用于根据从传感器捕获的数据生成在时间方向上具有高密度的图像的图像处理装置的处理。
图2是图像处理装置的结构方框图。
图像处理装置的功能是用硬件还是用软件来实施无关紧要。换句话说，本描述中的每个方框图可以视为硬件方框图，或者软件功能方框图。
在此，运动模糊是指由于真实世界中被拍摄对象的移动以及传感器的成像特性而产生的包含在对应于移动对象的图像中的失真。
在本发明描述中，对应于真实世界中被拍摄对象的图像称作图像对象。
提供给图像处理装置的输入图像输入到帧存储器101、相关计算器103和单侧(half-side)像素值生成器105。
帧存储器101逐帧地存储输入图像，并且将所存储的图像提供给帧存储器102、相关计算器103、相关计算器104以及单侧像素值生成器105。当输入图像的帧#n+1提供给图像处理装置时，帧存储器101将帧#n的图像提供给帧存储器102、相关计算器103、相关计算器104以及单侧像素值生成器105。
帧#n+1是帧#n的后一帧，并且帧#n是帧#n-1的后一帧。
帧存储器102存储从帧存储器101提供的图像，并且将所存储的图像提供给相关计算器104和单侧像素值生成器105。当向图像处理装置提供帧#n+1的输入图像时，帧存储器102将帧#n-1的图像提供给相关计算器104和单侧像素值生成器105。
相关计算器103计算从帧存储器101提供的帧#n的目标像素与帧#n+1的对应像素之间的相关值，并且将该相关值提供给单侧像素值生成器105。例如，由相关计算器103计算的相关值基于帧#n的目标像素的像素值与帧#n+1的对应像素的像素值之间的差值。当这些像素的像素值相互接近时，则认为这些像素的相关性高。换句话说，像素值的差值越小，相关性就越高。
相关计算器104计算从帧存储器101提供的帧#n的目标像素与从帧存储器102提供的帧#n-1的对应像素之间的相关值，并且将所得到的相关值提供给单侧像素值生成器105。例如，由相关计算器104计算的相关值基于帧#n的目标像素的像素值与帧#n-1的对应像素的像素值之间的差值。
单侧像素值生成器105根据从相关计算器103提供的相关值、从相关计算器104提供的相关值以及帧#n-1到帧#n+1的像素值，生成对应于帧#n的在时间方向上具有双密度的图像的像素值。所生成的像素值提供给单侧像素值生成器106。所生成的像素值还作为在时间方向上具有双密度的图像进行输出。
在时间方向上具有双密度的图像也称作双密度图像。
单侧像素值生成器105还将帧#n的图像提供给单侧像素值生成器106。
单侧像素值生成器106根据从单侧像素值生成器105提供的在时间方向上具有双密度的图像的像素值、以及帧#n的图像，生成对应于帧#n的在时间方向上具有双密度的图像的另一像素值，并且将所生成的像素值作为在时间方向上具有双密度的图像进行输出。
下面将参照图3到图19对提供给图像处理装置的输入图像进行讨论。
图3示出传感器的成像操作。传感器由具有作为固态(solid state)图像采集设备的CCD(Charge-Coupled Device，电荷耦合器件)区域传感器的CCD视频摄像机形成。对应于真实世界前景的对象111在对应于真实世界背景的对象112与传感器之间从左向右水平移动。
传感器拍摄对应于前景的对象111以及对应于背景的对象112的图像。然后，传感器以帧为单位输出所拍摄的图像。例如，传感器输出每秒30帧的图像。传感器的曝光时间因此为1/30秒。曝光时间是将输入光转化为电荷从开始到结束的时间区间。曝光时间也称作“快门时间”。
图4是示出像素排列的图。如图所示，字母A到I分别表示单个像素。这些像素排列在对应于图像的平面上。与各个像素一一对应的检测元件排列在传感器上。当传感器摄像时，每个检测元件分别输出形成图像的一个像素所对应的像素值。例如，每个检测元件在X方向上的位置对应于图像水平方向的位置，而每个检测元件在Y方向上的位置对应于图像垂直方向的位置。
参照图5，作为CCD的检测元件在对应于快门时间的时间区间内将输入光转化为电荷，并且累积所得到的电荷。电荷量与输入光的强度和输入光的时间周期大致成正比。在对应于快门时间的时间周期内，检测元件将从输入光转化的电荷加到已累积的电荷。具体地说，检测元件在对应于快门时间的时间区间内累积输入光，并且存储与所累积的光对应的电荷。检测元件因此被认为具有时间累积效应。
存储在检测元件中的电荷由未示出的电路转换为电压值，并且该电压值转换为像素值如数字数据，然后进行输出。从传感器输出的各个像素值是投影到一维空间的值，它是通过相对于快门时间累积对应于前景或背景且具有空间伸展的对象给定部分而获得的。
图6示出响应光输入而具有累积效应的传感器的像素数据。参照图6，f(t)表示响应输入光和无穷小时间的时间上的理想像素值。
参照图6，水平实线表示由传感器拍摄的输入图像的像素值。参照图6，水平虚线表示在时间方向上具有双密度的图像的像素值。
如图所示，传感器的快门时间是从时间t1到时间t3的区间，并且用2ts表示。
假定单个像素数据的像素值用对理想像素值f(t)的均匀积分(uniformintegration)表示，则从时间t1到时间t2的区间所对应的像素数据的像素值Y1用方程(1)表示，从时间t2到时间t3的区间所对应的像素数据的像素值Y2用方程(2)表示，并且从传感器输出的像素值Y3用方程(3)表示。 Y 1 = ∫ t 1 t 2 f ( t ) dt · 1 ts - - - - ( 1 ) Y 2 = ∫ t 2 t 3 f ( t ) dt · 1 ts - - - - ( 2 ) Y 3 = ∫ t 1 t 3 f ( t ) dt · 1 2 ts = Y 1 + Y 2 2 - - - - ( 3 )
通过改写方程(3)，得到方程(4)和(5)。
Y1＝2·Y3-Y2                          (4)
Y2＝2·Y3-Y1                          (5)
如果来自传感器的像素值Y3和从时间t2到时间t3的区间所对应的像素数据的像素值Y2是已知的，则根据方程(4)计算从时间t1到时间t2的区间所对应的像素数据的像素值Y1。如果来自传感器的像素值Y3和从时间t1到时间t2的区间所对应的像素数据的像素值Y1是已知的，则根据方程(5)计算从时间t2到时间t3的区间所对应的像素数据的像素值Y2。
如果一个像素的像素值和相对于这一像素的两个时间区间所对应的像素数据中的一个像素值如此是已知的，则计算两个时间区间所对应的像素数据中的另一像素值。
图7A示出通过拍摄对应于移动前景的对象和对应于静止背景的对象而获得的图像。如图所示，对应于前景的对象相对于屏幕从左向右水平移动。
图7B示出其中图7A所示的图像的一条线上的像素值在时间轴上经过扩展的模型图。图7B的水平方向对应于图7A的空间方向X。
背景区域像素的像素值只由对应于背景对象的图像成分(以下称作背景成分)形成。前景区域像素的像素值只由对应于前景对象的图像成分(以下称作前景成分)形成。
混合区域像素的像素值包含背景成分和前景成分。由于混合区域的像素由背景成分和前景成分形成，因此它可以称作失真区域。混合区域分为覆盖背景区域和非覆盖背景区域。
覆盖背景区域是前景对象的移动方向前端所对应的混合区域部分，并且在覆盖背景区域中背景随着时间被前景逐渐覆盖。
相反，非覆盖背景区域是前景对象的移动方向后端所对应的混合区域部分，并且在非覆盖背景区域中背景随着时间逐渐显现。
以这种方式，包含前景、背景、覆盖背景区域和非覆盖背景区域的图像作为输入图像提供给帧存储器101、相关计算器103和单侧像素值生成器105中的每一个。
图8说明背景区域、前景区域、混合区域、覆盖背景区域以及非覆盖背景区域。参照图7所示的图像，背景区域是静止部分，前景区域是移动部分，混合区域的覆盖背景是从背景变为前景的部分，并且混合区域的非覆盖背景是从前景变为背景的部分。
图9是示出包含对应于静止前景的对象和对应于静止背景的对象的图像中在时间轴上经过扩展的连续排列在一条线上的多个像素的像素值的模型图。例如，选择在图像的一条线上排列的像素作为一条线上的相邻像素。
图9所示的像素值F01到F04为对应于静止前景对象的像素的像素值，而图9所示的像素值B01到B04为对应于静止背景对象的像素的像素值。
图9中从上到下的垂直方向表示时间方向。图9所示的矩形上边对应于将入射到传感器的光转化为电荷的开始时间，并且图9所示的矩形下边对应于将入射到传感器的光转化为电荷的结束时间。具体地说，矩形上下边的距离是指快门时间2ts。
在下面讨论中，快门时间2ts与帧间距相等。
图9的水平方向对应于参照图7所述的空间方向X。具体地说，在图9所示的例子中，图9所示的从以“F01”表示的矩形的左边到以“B04”表示的矩形的右边的距离对应于8倍像素间距，即8个连续像素的范围。
当前景对象和静止图像为静止时，入射到传感器的光在对应于快门时间2ts的时间区间内保持不变。
对应于快门时间2ts的时间区间划分为至少两个相等长度的时间段。例如，当虚拟划分数为4时，图9所示的模型变为图10所示的模型。虚拟划分数是考虑对应于前景的对象在快门时间2ts内的移动量v来设置的。
移动量v表示以像素间距为单位的对应于移动对象的图像位置变化。例如，当对应于前景的对象图像移动，并且它相对于一个给定帧的原始位置在下一帧中偏移四个像素时，对应于前景的对象图像的移动量v为4。
例如，当对象的移动量为4时，虚拟划分数设为4，并且对应于快门时间2ts的时间区间划分为4段。
图10所示的最上一行是开始打开快门时的划分段。图10所示的第二行是从打开快门开始的第二划分段。图10所示的第三行是从打开快门开始的第三划分段。图10所示的第四行是从打开快门开始的第四划分段。
根据移动量v划分的快门时间2ts也称作“快门时间2ts/v”。
当对应于前景的对象为静止时，入射到传感器的光保持不变。前景成分F01/v等于像素值F01除以虚拟划分数而获得的值。类似地，当对应于前景的对象为静止时，前景成分F02/v等于像素值F02除以虚拟划分数而获得的值，前景成分F03/v等于像素值F03除以虚拟划分数而获得的值，并且前景成分F04/v等于像素值F04除以虚拟划分数而获得的值。
当对应于背景的对象为静止时，入射到传感器的光保持不变，并且背景成分B01/v等于像素值B01除以虚拟划分数而获得的值。类似地，当对应于背景的对象为静止时，背景成分B02/v等于像素值B02除以虚拟划分数而获得的值，背景成分B03/v等于像素值B03除以虚拟划分数而获得的值，并且背景成分B04/v等于像素值B04除以虚拟划分数而获得的值。
换句话说，当对应于前景的对象为静止时，入射到传感器且对应于前景对象的光在对应于快门时间2ts的时间区间内保持不变。因此，从打开快门开始的第一快门时间2ts/v的前景成分F01/v、从打开快门开始的第二快门时间2ts/v的前景成分F01/v、从打开快门开始的第三快门时间2ts/v的前景成分F01/v、以及从打开快门开始的第四快门时间2ts/v的前景成分F01/v为相同的值。这同样适用于F02/v到F04/v。
当对应于背景的对象为静止时，入射到传感器且对应于背景对象的光在对应于快门时间2ts的时间区间内保持不变。因此，从打开快门开始的第一快门时间2ts/v的背景成分B01/v、从打开快门开始的第二快门时间2ts/v的背景成分B01/v、从打开快门开始的第三快门时间2ts/v的背景成分B01/v、以及从打开快门开始的第四快门时间2ts/v的背景成分B01/v为相同的值。这同样适用于B02/v到B04/v。
下一步将讨论对应于前景的对象为移动而对应于背景的对象为静止的情况。
图11是示出在时间轴上经过扩展的一条线上的像素的像素值的模型图，其中，提供对应于前景的对象向右移动情况下的覆盖背景。参照图11，前景的移动量v为4。由于一帧的时间周期短，因此可以假定对应于前景的对象是匀速移动的固体。如图所示，前景对象的图像相对于给定帧在下一帧中向右偏移四个像素。
参照图11，帧中左起第一像素到第四像素属于前景区域。第五像素到第七像素属于作为覆盖背景区域的混合区域。参照图11，最右像素属于背景区域。
由于前景对象的移动方式是它随着时间逐渐覆盖背景对象，因此包含在属于覆盖背景区域的像素的像素值中的成分在快门时间2ts的时间区间内的某个时间点从背景成分变为前景成分。
如图11所示的包含在粗框内的像素值M用下面方程(6)表示：
M＝B02/v+B02/v+F07/v+F06/v                   (6)
如后面使用方程(8)所述，混合比率表示像素值的背景成分比率。
以下，用α表示混合比率。
例如，左起第五像素包含一个快门时间2ts/v的背景成分和三个快门时间2ts/v的前景成分，因此，第五像素的混合比率α为1/4。由于左起第六像素包含两个快门时间2ts/v的背景成分和两个快门时间2ts/v的前景成分，因此，它的混合比率α为1/2。左起第七像素包含三个快门时间2ts/v的背景成分和一个快门时间2ts/v的前景成分，因此，它的混合比率α为3/4。
当假定前景对象为匀速移动的固体从而前景图像在下一帧中偏移四个像素时，从打开快门开始的第一快门时间2ts/v所对应的如图11所示的左起第四像素的前景成分F07/v等于从打开快门开始的第二快门时间2ts/v所对应的如图11所示的左起第五像素的前景成分。同样地，前景成分F07/v分别等于从打开快门开始的第三快门时间2ts/v所对应的如图11所示的左起第六像素的前景成分，以及从打开快门开始的第四快门时间2ts/v所对应的如图11所示的左起第七像素的前景成分。
当假定前景对象为匀速移动的固体从而前景图像在下一帧中偏移四个像素时，从打开快门开始的第一快门时间2ts/v所对应的如图11所示的左起第三像素的前景成分F06/v等于从打开快门开始的第二快门时间2ts/v所对应的如图11所示的左起第四像素的前景成分。同样地，前景成分F06/v分别等于从打开快门开始的第三快门时间2ts/v所对应的如图11所示的左起第五像素的前景成分，以及从打开快门开始的第四快门时间2ts/v所对应的如图11所示的左起第六像素的前景成分。
当假定前景对象为匀速移动的固体从而前景图像在下一帧中偏移四个像素时，从打开快门开始的第一快门时间2ts/v所对应的如图11所示的左起第二像素的前景成分F05/v等于从打开快门开始的第二快门时间2ts/v所对应的如图11所示的左起第三像素的前景成分。同样地，前景成分F05/v分别等于从打开快门开始的第三快门时间2ts/v所对应的如图11所示的左起第四像素的前景成分，以及从打开快门开始的第四快门时间2ts/v所对应的如图11所示的左起第五像素的前景成分。
当假定前景对象为匀速移动的固体从而前景图像在下一帧中偏移四个像素时，从打开快门开始的第一快门时间2ts/v所对应的如图11所示的最左像素的前景成分F04/v等于从打开快门开始的第二快门时间2ts/v所对应的如图11所示的左起第二像素的前景成分。同样地，前景成分F04/v分别等于从打开快门开始的第三快门时间2ts/v所对应的如图11所示的左起第三像素的前景成分，以及从打开快门开始的第四快门时间2ts/v所对应的如图11所示的左起第四像素的前景成分。
对应于移动对象的前景区域以这种方式包含运动模糊，因此它可以称作失真区域。
图12是示出在时间轴上经过扩展的一条线上的像素的像素值的模型图，其中，提供对应于前景的对象向右移动情况下的非覆盖背景区域。参照图12，前景的移动量v为4。由于一帧的时间周期短，因此可以假定对应于前景的对象是匀速移动的固体。如图所示，前景对象的图像相对于给定帧在下一帧中向右偏移四个像素。
参照图12，最左像素到左起第四像素属于背景区域。第五像素到第七像素属于作为非覆盖背景的混合区域。参照图12，最右像素属于前景区域。
由于已覆盖背景对象的前景对象的移动方式是，随着时间逐渐从背景对象的前面移走前景对象，因此包含在属于非覆盖背景区域的像素的像素值中的成分在对应于快门时间2ts的时间区间内的某个时间点从前景成分变为背景成分。
图12中包含在粗框内的像素值M，用方程(7)表示：
M′＝F02/v+F01/v+B26/v+B26/v                    (7)
例如，左起第五像素包含三个快门时间2ts/v的背景成分和一个快门时间2ts/v的前景成分，因此，第五像素的混合比率α为3/4。由于左起第六像素包含两个快门时间2ts/v的背景成分和两个快门时间2ts/v的前景成分，因此它的混合比率α为1/2。左起第七像素包含一个快门时间2ts/v的背景成分和三个快门时间2ts/v的前景成分，因此，它的混合比率α为1/4。
当推广方程(6)和(7)时，像素值M用方程(8)表示： M = α · B + Σ i Fi / v - - - - ( 8 ) 其中，α是混合比率，B是背景像素值，而Fi/v是前景成分。
由于假定前景对象是匀速移动的固体，并且移动量v为4，因此从打开快门开始的第一快门时间2ts/v所对应的如图12所示的左起第五像素的前景成分F01/v等于从打开快门开始的第二快门时间2ts/v所对应的如图12所示的左起第六像素的前景成分。同样地，从打开快门开始的第三快门时间2ts/v所对应的如图12所示的左起第七像素的前景成分F01/v等于从打开快门开始的第四快门时间2ts/v所对应的如图12所示的左起第八像素的前景成分。
由于假定前景对象是匀速移动的固体，并且移动量v为4，因此从打开快门开始的第一快门时间2ts/v所对应的如图12所示的左起第六像素的前景成分F02/v等于从打开快门开始的第二快门时间2ts/v所对应的如图12所示的左起第七像素的前景成分。同样地，前景成分F02/v等于从打开快门开始的第三快门时间2ts/v所对应的如图12所示的左起第八像素的前景成分。
由于假定前景对象是匀速移动的固体，并且移动量v为4，因此从打开快门开始的第一快门时间2ts/v所对应的如图12所示的左起第七像素的前景成分F03/v等于从打开快门开始的第二快门时间2ts/v所对应的如图12所示的左起第八像素的前景成分。
参照图10到图12，虚拟划分数为4，但划分数可以对应于移动量v。而移动量v典型地又对应于前景对象的移动速度。例如，当前景对象的移动方式是它相对于特定帧在下一帧中向右偏移四个像素时，对象的移动量v为4。根据移动量v，虚拟划分数因此设为4。类似地，当前景对象的移动方式是它相对于特定帧在下一帧中向左偏移六个像素时，对象的移动量v为6。根据移动量v，虚拟划分数因此设为6。
图13和图14示出前景区域、背景区域、由上述覆盖背景区域和非覆盖背景区域组成的混合区域与经过分段的快门时间所对应的前景成分和背景成分之间的关系。
图13示出从包含在静止背景之前移动的对象所对应的前景的图像中提取前景区域、背景区域和混合区域的像素。如图所示，前景对象相对于屏幕水平移动。
帧#n+1是帧#n的后一帧，并且帧#n+2是帧#n+1的后一帧。
图14示出其中像素的像素值在时间轴上经过扩展的模型，其中，像素是从帧#n到帧#n+2中的任一帧的前景区域、背景区域和混合区域提取的，并且移动量v确定为4。
由于前景对象移动，因此前景区域的像素值包括四个不同的对应于快门时间2ts/v的前景成分。例如，图14所示的前景区域像素中的最左像素包括F01/v、F02/v、F03/v和F04/v。换句话说，前景区域的像素包含运动模糊。
背景对象保持静止，并且入射到传感器且对应于背景的光在对应于快门时间2ts的时间区间内保持不变。在这种情况下，背景区域的像素值不包含运动模糊。
属于由覆盖背景部分或非覆盖背景部分形成的混合区域的像素的像素值包括前景成分和背景成分。
下一步将讨论当对象图像移动时的一个模型，其中，像素连续排列在多个帧的各自一条线上，并且多帧中处于相同位置的像素的像素值在时间轴上经过扩展。例如，当对象图像相对于屏幕水平移动时，选择屏幕的一条线上的像素作为连续排列在一条线上的像素。
图15是示出在时间轴上经过扩展的三帧中处于相同位置的一条线上的相邻像素的像素值的模型图，其中，这些像素形成静止背景对象的图像。帧#n是帧#n-1的后一帧，并且帧#n+1是帧#n的后一帧。同样的指定适用于其他帧。
参照图15，像素值B01到B12是对应于静止背景对象的像素的像素值。由于背景对象保持静止，因此帧#n-1到帧#n+1中对应像素的像素值保持不变。所在位置与帧#n-1中像素值为B05的像素相同的帧#n像素和帧#n+1像素均具有像素值B05。
图16是示出在时间轴上经过扩展的三帧中处于相同位置的一条线上的像素的像素值的模型图，其中，所拍摄的是静止背景对象和如图所示向右移动的前景对象。图16所示的模型包含覆盖背景部分。
由于假定前景对象是匀速移动的固体(solid body)，并且如图16所示前景图像在下一帧中向右偏移四个像素，因此移动量v为4，并且虚拟划分数也为4。
例如，打开快门后的第一快门时间2ts/v所对应的如图16所示的帧#n-1的最左像素的前景成分为F12/v，并且打开快门后的第二快门时间2ts/v所对应的如图16所示的左起第二像素的前景成分也为F12/v。打开快门后的第三快门时间2ts/v所对应的如图16所示的左起第三像素的前景成分，和打开快门后的第四快门时间2ts/v所对应的如图16所示的左起第四像素的前景成分为F12/v。
打开快门后的第二快门时间2ts/v所对应的如图16所示的帧#n-1的最左像素的前景成分为F11/v，并且打开快门后的第三快门时间2ts/v所对应的如图16所示的左起第二像素的前景成分也为F11/v。打开快门后的第四快门时间2ts/v所对应的如图16所示的左起第三像素的前景成分为F11/v。
打开快门后的第三快门时间2ts/v所对应的如图16所示的帧#n-1的最左像素的前景成分为F10/v，并且打开快门后的第四快门时间2ts/v所对应的如图16所示的左起第二像素的前景成分也为F10/v。打开快门后的第四快门时间2ts/v所对应的如图16所示的帧#n-1的最左像素的前景成分为F09/v。
由于背景对象是静止的，因此打开快门后的第一快门时间2ts/v所对应的如图16所示的帧#n-1的左起第二像素的背景成分为B01/v。打开快门后的第一和第二快门时间2ts/v所对应的如图16所示的帧#n-1的左起第三像素的背景成分为B02/v。打开快门后的第一到第三快门时间所对应的如图16所示的帧#n-1的左起第四像素的背景成分为B03/v。
在如图16所示的帧#n-1中，最左像素属于前景区域，而左起第二到第四像素属于作为覆盖背景部分的混合区域。
在如图16所示的帧#n-1中，第五到第十二像素属于背景区域，并且其像素值分别为B04到B11。
在如图16所示的帧#n中，最左到第五像素属于前景区域。在帧#n的前景区域中，快门时间2ts/v所对应的前景成分是F05/v到F12/v中的一个。
由于假定前景对象是匀速移动的固体，并且前景图像发生移动，相对于任何给定帧的原始位置在下一帧中向右偏移四个像素，因此，打开快门后的第一快门时间2ts/v所对应的如图16所示的帧#n的左起第五像素的前景成分为F12/v，并且打开快门后的第二快门时间2ts/v所对应的如图16所示的左起第六像素的前景成分也为F12/v。打开快门后的第三快门时间2ts/v所对应的如图16所示的左起第七像素的前景成分，和打开快门后的第四快门时间2ts/v所对应的如图16所示的左起第八像素的前景成分为F12/v。
打开快门后的第二快门时间2ts/v所对应的如图16所示的帧#n的左起第五像素的前景成分为F11/v，并且打开快门后的第三快门时间2ts/v所对应的如图16所示的左起第六像素的前景成分也为F11/v。打开快门后的第四快门时间2ts/v所对应的如图16所示的左起第七像素的前景成分为F11/v。
打开快门后的第三快门时间2ts/v所对应的如图16所示的帧#n的左起第五像素的前景成分为F10/v，并且打开快门后的第四快门时间2ts/v所对应的如图16所示的左起第六像素的前景成分也为F10/v。打开快门后的第四快门时间2ts/v所对应的如图16所示的帧#n的左起第五像素的前景成分为F09/v。
由于背景对象是静止的，因此，打开快门后的第一快门时间2ts/v所对应的如图16所示的帧#n的左起第六像素的背景成分为B05/v。打开快门后的第一和第二快门时间2ts/v所对应的如图16所示的帧#n的左起第七像素的背景成分为B06/v。打开快门后的第一到第三快门时间2ts/v所对应的如图16所示的帧#n的左起第八像素的背景成分为B07/v。
在图16所示的帧#n中，左起第六到第八像素属于作为覆盖背景区域的混合区域。
在图16所示的帧#n中，第九到第十二像素属于背景区域，并且其像素值分别为B08到B11。
在图16所示的帧#n+1中，左起第一到第九像素属于前景区域。在帧#n+1的前景区域中，快门时间2ts/v所对应的前景成分是F01/v到F12/v中的一个。
由于假定前景对象是匀速移动的固体，并且前景图像发生移动，相对于任何给定帧的原始位置在下一帧中向右偏移四个像素，因此，打开快门后的第一快门时间2ts/v所对应的如图16所示的帧#n+1的左起第九像素的前景成分为F12/v，并且打开快门后的第二快门时间2ts/v所对应的如图16所示的左起第十像素的前景成分也为F12/v。打开快门后的第三快门时间2ts/v所对应的如图16所示的左起第十一像素的前景成分，和打开快门后的第四快门时间2ts/v所对应的如图16所示的左起第十二像素的前景成分为F12/v。
打开快门后的第二快门时间2ts/v所对应的如图16所示的帧#n+1的左起第九像素的前景成分为F11/v，并且打开快门后的第三快门时间2ts/v所对应的如图16所示的左起第十像素的前景成分也为F11/v。打开快门后的第四快门时间2ts/v所对应的如图16所示的左起第十一像素的前景成分为F11/v。
打开快门后的第三快门时间2ts/v所对应的如图16所示的帧#n+1的左起第九像素的前景成分为F10/v，并且打开快门后的第四快门时间2ts/v所对应的如图16所示的左起第十像素的前景成分也为F10/v。打开快门后的第四快门时间2ts/v所对应的如图16所示的帧#n+1的左起第九像素的前景成分为F09/v。
由于背景对象是静止的，因此，打开快门后的第一快门时间2ts/v所对应的如图16所示的帧#n+1的左起第十像素的背景成分为B09/v。打开快门后的第一和第二快门时间2ts/v所对应的如图16所示的帧#n+1的左起第十一像素的背景成分为B10/v。打开快门后的第一到第三快门时间2ts/v所对应的如图16所示的帧#n+1的左起第十二像素的背景成分为B11/v。
在图16所示的帧#n+1中，左起第十到第十二像素属于作为覆盖背景区域的混合区域。
图17是其中前景成分是从图16所示的像素值中提取的图像模型图。
图18是示出在时间轴上经过扩展的三帧中处于相同位置的一条线上的像素的像素值的模型图，其中，所拍摄的是静止背景对象和如图所示向右移动的前景对象。图18所示的模型包含非覆盖背景区域。
在图18中假定前景对象是匀速移动的固体。由于前景图像发生移动并且在下一帧中向右偏移四个像素，因此移动量v为4。
例如，打开快门后的第一快门时间2ts/v所对应的如图18所示的帧#n-1的最左像素的前景成分为F13/v，并且打开快门后的第二快门时间2ts/v所对应的如图18所示的左起第二像素的前景成分也为F13/v。打开快门后的第三快门时间2ts/v所对应的如图18所示的左起第三像素的前景成分，和打开快门后的第四快门时间2ts/v所对应的如图18所示的左起第四像素的前景成分为F13/v。
打开快门后的第一快门时间2ts/v所对应的如图18所示的帧#n-1的左起第二像素的前景成分为F14/v，并且打开快门后的第二快门时间2ts/v所对应的如图18所示的左起第三像素的前景成分也为F14/v。打开快门后的第一快门时间2ts/v所对应的如图18所示的左起第三像素的前景成分为F15/v。
由于背景对象是静止的，因此，打开快门后的第二到第四快门时间2ts/v所对应的如图18所示的帧#n-1的最左像素的背景成分为B25/v。打开快门后的第三和第四快门时间2ts/v所对应的如图18所示的帧#n-1的左起第二像素的背景成分为B26/v。打开快门后的第四快门时间2ts/v所对应的如图18所示的帧#n-1的左起第三像素的背景成分为B27/v。
在如图18所示的帧#n-1中，最左到第三像素属于作为非覆盖背景区域的混合区域。
在如图18所示的帧#n-1中，第四到第十二像素属于前景区域。该帧的前景成分是F13/v到F24/v中的一个。
在如图18所示的帧#n中，最左到第四像素属于背景区域，并且其像素值分别为B25到B28。
由于假定前景对象是匀速移动的固体，并且前景图像发生移动，相对于任何给定帧的原始位置在下一帧中向右偏移四个像素，因此，打开快门后的第一快门时间2ts/v所对应的如图18所示的帧#n的左起第五像素的前景成分为F13/v，并且打开快门后的第二快门时间2ts/v所对应的如图18所示的左起第六像素的前景成分也为F13/v。打开快门后的第三快门时间2ts/v所对应的如图18所示的左起第七像素的前景成分，和打开快门后的第四快门时间2ts/v所对应的如图18所示的左起第八像素的前景成分为F13/v。
打开快门后的第一快门时间2ts/v所对应的如图18所示的帧#n的左起第六像素的前景成分为F14/v，并且打开快门后的第二快门时间2ts/v所对应的如图18所示的左起第七像素的前景成分也为F14/v。打开快门后的第一快门时间2ts/v所对应的如图18所示的左起第七像素的前景成分为F15/v。
由于背景对象是静止的，因此，打开快门后的第二到第四快门时间2ts/v所对应的如图18所示的帧#n的左起第五像素的背景成分为B29/v。打开快门后的第三和第四快门时间2ts/v所对应的如图18所示的帧#n的左起第六像素的背景成分为B30/v。打开快门后的第四快门时间2ts/v所对应的如图18所示的帧#n的左起第七像素的背景成分为B31/v。
在图18所示的帧#n中，左起第五到第七像素属于作为非覆盖背景区域的混合区域。
在图18所示的帧#n中，第八到第十二像素属于前景区域。快门时间2ts/v所对应的帧#n的前景区域中的像素值是F13/v到F20/v中的一个。
如图18所示的帧#n+1的最左到第八像素属于背景区域，并且其像素值分别为B25到B32。
由于假定前景对象是匀速移动的固体，并且前景图像发生移动，相对于任何给定帧的原始位置在下一帧中向右偏移四个像素，因此，打开快门后的第一快门时间2ts/v所对应的如图18所示的帧#n+1的左起第九像素的前景成分为F13/v，并且打开快门后的第二快门时间2ts/v所对应的如图18所示的左起第十像素的前景成分也为F13/v。打开快门后的第三快门时间2ts/v所对应的如图18所示的左起第十一像素的前景成分，和打开快门后的第四快门时间2ts/v所对应的如图18所示的左起第十二像素的前景成分为F13/v。
打开快门后的第一快门时间2ts/v所对应的如图18所示的帧#n+1的左起第十像素的前景成分为F14/v，并且打开快门后的第二快门时间2ts/v所对应的如图18所示的左起第十一像素的前景成分也为F14/v。打开快门后的第一快门时间2ts/v所对应的如图18所示的左起第十一像素的前景成分为F15/v。
由于背景对象是静止的，因此，打开快门后的第二到第四快门时间2ts/v所对应的如图18所示的帧#n+1的左起第九像素的背景成分为B33/v。打开快门后的第三和第四快门时间2ts/v所对应的如图18所示的帧#n+1的左起第十像素的背景成分为B34/v。打开快门后的第四快门时间2ts/v所对应的如图18所示的帧#n+1的左起第十一像素的背景成分为B35/v。
在图18所示的帧#n+1中，左起第九到第十一像素属于作为非覆盖背景区域的混合区域。
在图18所示的帧#n+1中，第十二像素属于前景区域。快门时间2ts/v所对应的帧#n+1的前景区域中的前景成分是F13/v到F16/v中的一个。
图19是其中前景成分是从图18所示的像素值中提取的图像模型图。
下面对在混合区域中生成双密度图像的处理进行讨论。
在图20中，像素a到c位于帧#n的混合区域内。
帧#n的像素a的像素值Ma用方程(9)表示。
Ma＝B07/4+B07/4+B07/4+F12/4                    (9)
像素a所对应的双密度图像的像素值Ma1和像素值Ma2分别用方程(10)和方程(11)表示。在方程(10)和(11)中，前景成分或背景成分乘以系数2，以调节增益。
Ma1＝2×(B07/4+B07/4)
   ＝B07/2+B07/2
   ＝B07                                             (10)
Ma2＝2×(B07/4+F12/4)
   ＝B07/2+F12/2                                     (11)
方程(10)示出需要将帧#n-1的对应像素的像素值B07设为帧#n的像素a所对应的背景区域双密度图像的像素值Ma1。
根据通过改写方程(4)或方程(5)获得的方程(12)，确定帧#n的像素a所对应的前景区域双密度图像的像素值Ma2。
Ma2＝2×Ma-Ma1                                         (12)
图21是示出混合区域像素的像素值，即背景成分多的像素的像素值、前一帧或后一帧的对应像素的像素值、双密度图像的像素值以及时间上理想的像素值之间的关系的图。
图21中的水平实线表示输入图像的像素值。图21中的水平虚线表示在时间方向上具有双密度的图像的像素值。
当帧#n的混合区域像素包含更多背景成分时，如图21所示，将帧#n-1的背景区域中对应像素的像素值设为双密度图像的背景像素值。参照图21，背景双密度图像位于帧#n-1中。
当帧#n的混合区域像素包含更多背景成分时，根据方程(4)和方程(5)，从帧#n的混合区域像素的像素值和所设的背景双密度图像的像素值，计算前景双密度图像的对应像素值。参照图21，前景双密度图像位于帧#n+1中。
同样地，如方程(13)所示，在背景双密度图像中，将帧#n-1的对应像素的像素值B06设为像素b的像素值Mb1。根据方程(14)计算帧#n的像素b所对应的前景双密度图像的像素值Mb2。
Mb1＝2×(B06/4+B06/4)
   ＝B06/2+B06/2
   ＝B06                                         (13)
Mb2＝2×Mb-Mb1                                   (14)
像素c的像素值Mc用方程(15)表示。
Mc＝B05/4+F12/4+F11/4+F10/4                      (15)
帧#n的像素c所对应的双密度图像的像素值Mc1和像素值Mc2分别用方程(16)和方程(17)表示。在方程(16)和(17)中，前景成分或背景成分乘以系数2，以调节增益。
Mc1＝2×(B05/4+F12/4)
   ＝B05/2+F12/2                                 (16)
Mc2＝2×(F11/4+F10/4)
   ＝F11/2+F10/2                                 (17)
使用前景成分的空间相关性，方程(18)成立。
F＝F11＝F10＝F09＝F08＝F07＝F06                       (18)
根据方程(18)，F09/4＝F08/4＝F07/4＝F06/4。帧#n+1的像素c的像素值等于像素值F。
因此，方程(19)成立。
Mc2＝F11/2+F10/2
   ＝F                                               (19)
根据通过改写方程(4)或方程(5)获得的方程(20)，确定像素c所对应的背景双密度图像的像素值Mc1。
Mc1＝2×Mc-Mc2                                       (20)
图22是示出混合区域像素的像素值，即前景成分多的像素的像素值、前一帧或后一帧的对应像素的像素值、双密度图像的像素值以及时间上理想的像素值之间的关系的图。
图22中的水平实线表示由传感器拍摄的输入图像的像素值。图22中的水平虚线表示在时间方向上具有双密度的图像的像素值。
当帧#n的混合区域像素包含更多前景成分时，如图22所示，将帧#n+1的前景区域中对应像素的像素值设为双密度图像的前景像素值。参照图22，前景双密度图像位于帧#n+1中。
当帧#n的混合区域像素包含更多前景成分时，根据方程(4)和方程(5)，从帧#n的混合区域像素的像素值和所设的前景双密度图像的像素值，计算背景双密度图像的对应像素值。参照图22，背景双密度图像位于帧#n-1中。
当在移动量v为4的情况下生成包含两个或三个背景成分的双密度图像中的混合区域像素的像素值时，将前一帧或后一帧的背景区域像素的像素值设为背景双密度图像的像素值，并且根据方程(4)或方程(5)计算前景双密度图像的像素值。
当在移动量v为4的情况下生成包含一个背景成分的双密度图像中的混合区域像素的像素值时，将前一帧或后一帧的前景区域像素的像素值设为前景双密度图像的像素值，并且根据方程(4)或方程(5)计算背景双密度图像的像素值。
一般而言，当混合区域的像素与背景区域的对应像素的相关性高于前景区域的对应像素时，将背景区域相应像素的像素值设为背景双密度图像的像素值，并且使用方程(4)或方程(5)计算前景双密度图像的像素值。当混合区域的像素与前景区域的对应像素的相关性高于背景区域的对应像素时，将前景区域相应像素的像素值设为前景双密度图像的像素值，并且使用方程(4)或方程(5)计算背景双密度图像的像素值。
图23到图28示出用于检查将具有高相关性的像素值设为单侧双密度图像的像素这一处理的适当性的处理结果。
在两帧上平均具有快门时间ts的图像，因而生成对应于快门时间2ts的图像。根据所生成的具有快门时间2ts的图像以及具有快门时间ts的图像，比较具有快门时间2ts的图像的帧差值、具有快门时间2ts的图像以及具有快门时间ts的图像的帧差值。
在处理具有快门时间2ts的图像和快门时间ts的帧差值中，具有快门时间ts的图像对应于在上述双密度图像的生成过程中具有高相关性的像素。
图23是具有快门时间2ts的图像之间的帧差值的图像。
图24是具有快门时间2ts的图像之间的帧差值的混合区域图像的放大图。
图25示出具有快门时间2ts的图像之间的帧差值的混合区域图像中相对于像素位置的像素的像素值变化。
图26示出具有快门时间2ts的图像与具有快门时间ts的图像之间的帧差值的图像。在具有快门时间2ts的图像与具有快门时间ts的图像的计算过程中，具有快门时间ts的图像的背景像素与具有快门时间2ts的图像的目标像素之间的差值计算过程和具有快门时间ts的图像的前景像素与具有快门时间2ts的图像的目标像素之间的差值计算过程适当地进行交替。
图27是具有快门时间2ts的图像与具有快门时间ts的图像之间的帧差值的混合区域图像的放大图。
图28示出具有快门时间2ts的图像与具有快门时间ts的图像之间的帧差值的混合区域中与像素的像素位置相对的像素的像素值变化。
参照图23到图28，具有快门时间2ts的图像之间的帧差值近似等于具有快门时间2ts的图像与具有快门时间ts的对应图像之间的帧差值。
因此，通过将具有高相关性的像素值设为单侧双密度图像的像素，并且根据具有高相关性的像素值和原始像素值生成另一单侧双密度图像的像素值这一处理所产生的图像大致相同于从根据用减半的传感器快门时间拍摄的图像中获得的图像。
下面对根据背景区域的像素生成双密度图像的处理进行讨论。
参照图29，像素d位于帧#n的背景区域中。
帧#n的像素d的像素值Md用方程(21)表示。
Md＝B10/4+B10/4+B10/4+B10/4                          (21)
像素d所对应的双密度图像的像素值Md1和像素值Md2分别用方程(22)和方程(23)表示。在方程(22)和(23)中，背景成分均乘以系数2。
Md1＝2×(B10/4+B10/4)
   ＝B10/2+B10/2
   ＝B10                                             (22)
Md2＝2×(B10/4+B10/4)
   ＝B10/2+B10/2
   ＝B10                                             (23)
将帧#n-1的对应像素的像素值B10设为像素d所对应的双密度图像的像素值Md1和像素值Md2。
下面对根据前景区域的像素生成双密度图像的处理进行讨论。
当根据前景像素生成双密度图像时，不是从前一帧或后一帧获得正确的像素值，而是使用前景成分的空间相关性。使用具有更高相关值的前一帧或后一帧的像素值作为双密度图像任一侧的像素值。使用方程(4)或方程(5)计算双密度图像的另一像素值。
在图30中，像素e属于帧#n的前景区域。
帧#n的像素e的像素值Me用方程(24)表示。
Me＝F07/4+F08/4+F09/4+F10/4                          (24)
像素e所对应的双密度图像的像素值Me1和像素值Me2分别用方程(25)和方程(26)表示。在方程(25)和(26)中，前景成分乘以系数2，以调节增益。
Me1＝2×(F09/4+F10/4)
   ＝F09/2+F10/2                                     (25)
Me2＝2×(F07/4+F08/4)
   ＝F07/2+F08/2                                     (26)
当像素e与帧#n+1的对应像素的相关性高于帧#n-1的对应像素时，使用前景成分的空间相关性，方程(27)成立。
F＝F08＝F07＝F06＝F05＝F04＝F03                      (27)
如方程(28)所示，将帧#n+1的对应像素的像素值设为像素e所对应的双密度图像的像素值Me2。
Me2＝F07/2+F08/2
   ＝F06/4+F05/4+F04/4+F03/4
   ＝F                                              (28)
使用根据方程(4)或方程(5)改写的方程(29)，确定像素e所对应的双密度图像的另一像素值Me1。
Me1＝2×Me-Me2                                      (20)
通过这种方式，图像处理装置为属于混合区域的像素生成双密度图像。当如图31所示目标像素包含更多背景成分时，换句话说，当目标像素与背景像素具有更高相关性时，将背景的对应像素值设为背景双密度图像的像素值。根据方程(4)或方程(5)，生成前景双密度图像的像素值。
图像处理装置为属于混合区域的像素生成双密度图像。当如图31所示目标像素包含更多前景成分时，换句话说，当目标像素与前景像素具有更高相关性时，将前景的对应像素值设为前景双密度图像的像素值。根据方程(4)或方程(5)，生成背景双密度图像的像素值。
图像处理装置为属于背景区域的像素生成双密度图像。参照图32，选择具有更高相关性的像素，并且将具有高相关性的帧的像素值设为双密度图像的对应像素值，而且根据方程(4)或(5)，生成双密度图像的另一像素值。
通过这种方式，根据具有更小噪声的背景像素值，生成双密度图像。
图像处理装置为属于前景区域的像素生成双密度图像。参照图33，选择具有更高相关性的像素，并且将具有高相关性的帧的像素值设为双密度图像的对应像素值，而且根据方程(4)或(5)，生成双密度图像的另一像素值。
图34到图42示出由本发明的图像处理装置生成双密度图像的结果。
图34示出具有快门时间2ts的输入图像的例子。
图35示出包含具有快门时间2ts的输入图像的混合区域的放大图像的例子。
图36示出包含混合区域且具有快门时间2ts的输入图像中相对于像素位置的像素值变化。参照图36，横坐标表示像素位置，而纵坐标表示像素值。
图37示出根据输入图像由图像处理装置生成的单侧双密度图像的例子。
图38示出根据输入图像由图像处理装置生成的包含混合区域的单侧双密度图像的放大图。
图39示出根据输入图像由图像处理装置生成的包含混合区域的单例双密度图像中相对于像素位置的像素值变化。参照图39，横坐标表示像素位置，而纵坐标表示像素值。
图40示出根据输入图像由图像处理装置生成的另一单侧双密度图像。图40所示的双密度图像是图37所示的双密度图像之后的下一图像。
图41示出根据输入图像由图像处理装置生成的包含混合区域的另一单侧双密度图像的放大图。
图42示出根据输入图像由图像处理装置生成的包含混合区域的另一单侧双密度图像中相对于像素位置的像素值变化。参照图42，横坐标表示像素位置，而纵坐标表示像素值。
在由图像处理装置生成的图34到图42所示的双密度图像中，混合区域的宽度是输入图像混合区域宽度的一半。
同样在由图像处理装置生成的图34到图42所示的双密度图像中，运动模糊量是输入图像运动模糊量的一半。
参照图43所示的流程图，下面讨论用于生成在时间方向上具有双密度的图像的本发明图像处理装置的时间分辨率过程。
在步骤S11，图像处理装置获取输入图像。所获取的图像存储在帧存储器101和帧存储器102中，并且延迟一帧。每个延迟帧提供给相关计算器103或相关计算器104。
在步骤S12，相关计算器103计算与后一帧的对应像素的相关值，然后将算出的相关值提供给单侧像素值生成器105。相关计算器104计算与前一帧的对应像素的相关值，然后将算出的相关值提供给单侧像素值生成器105。
在步骤S13，单侧像素值生成器105根据从相关计算器103提供的相关值和从相关计算器104提供的相关值，从具有更高相关值的像素值生成双密度图像的单侧像素值。单侧像素值生成器105将所生成的像素值提供给单侧像素值生成器106。
例如，单侧像素值生成器105所生成的像素值属于双密度图像位于与后一帧和前一帧中具有更高相关性的一帧和目标帧的时间间距相等的位置的帧。
在步骤S14，单侧像素值生成器106根据目标像素的像素值以及从单侧像素值生成器105提供的双密度图像的单侧像素值，通过考虑传感器特性的计算，生成双密度图像的另一像素值。
例如，单侧像素值生成器106所生成的像素值属于双密度图像位于与后一帧和前一帧中具有更高相关性的一帧和目标帧的时间间距相等的位置的帧。
在步骤S15，单侧像素值生成器105和单侧像素值生成器106输出由所生成的像素值形成的双密度图像，然后过程结束。
通过这种方式，图像处理装置生成并输出在时间方向上具有双密度的图像。
具体地说，相关计算器103和相关计算器104分别计算目标帧的目标像素的数据与相邻于目标帧的第一帧和第二帧中对应于目标像素的像素数据之间的相关。根据具有高相关性的由相关计算器103或相关计算器104检测的第一和第二帧的对应像素其中之一的像素数据，单侧像素值生成器105和单侧像素值生成器106生成在目标帧与第一帧和第二帧中对应像素的像素数据具有高相关性的一帧之间所生成的第一合成帧的第一像素数据，并且根据目标像素数据和第一像素数据，生成在目标帧与第一帧和第二帧中的另一帧之间所生成的第二合成帧的第二像素数据。因此生成并输出在时间方向上具有双密度的图像。
单侧像素值生成器105和单侧像素值生成器106生成与第一帧和目标帧的时间间距相等的第一合成帧，以及与第二帧和目标帧的时间间距相等的第二合成帧。
参照图44所示的流程图，下面讨论用于生成在时间方向上具有双密度的图像的本发明图像处理装置的时间分辨率过程。
在步骤S31，图像处理装置获取具有快门时间2ts的输入图像。所获取的图像存储在帧存储器101和帧存储器102中，并且延迟一帧。每个延迟帧提供给相关计算器103或相关计算器104。
在步骤S32，相关计算器103计算目标帧的像素与后一帧的对应像素之间的像素值的差值绝对值，并且将像素值的差值绝对值提供给单侧像素值生成器105。相关计算器104计算目标帧的像素与前一帧的对应像素之间的像素值的差值绝对值，并且将像素值的差值绝对值提供给单侧像素值生成器105。
相关计算器103或相关计算器104可以检测像素值之间的差值作为相关。
在步骤S33，单侧像素值生成器105根据从相关计算器103提供的像素值的差值绝对值和从相关计算器104提供的像素值的差值绝对值，将绝对值更小的像素值设为双密度图像的单侧像素值。具体地说，单侧像素值生成器105将具有更高相关性的由相关计算器103或相关计算器104检测的相对于目标帧的后一帧和前一帧的对应像素其中之一的像素值复制为在目标帧与后一帧和前一帧中像素值具有更高相关性的一帧之间所生成的合成帧的像素值。
单侧像素值生成器105将像素值的差值绝对值更小的的双密度图像提供给单侧像素值生成器106。
在步骤S34，单侧像素值生成器106根据目标帧的像素值以及从单侧像素值生成器105提供的像素值的差值绝对值更小的双密度图像，通过考虑传感器特性的计算，生成双密度图像的另一像素值。
例如，单侧像素值生成器106通过从目标帧像素的像素值的两倍值减去像素值的差值绝对值更小的双密度图像像素的像素值，计算双密度图像的另一像素值。
在步骤S35，单侧像素值生成器105和单侧像素值生成器106输出包含所生成的像素值且具有快门时间ts的双密度图像，然后过程结束。
通过这种方式，单侧像素值生成器105将具有更高相关性的由相关计算器103和相关计算器104检测的第一和第二帧的对应像素其中之一的像素数据复制为在目标帧与第一帧和第二帧中对应数据具有更高相关性的一帧之间所生成的第一合成帧的第一像素数据。
单侧像素值生成器106通过从目标像素数据的两倍值减去第一像素数据，计算第二像素数据。
相关计算器103和相关计算器104的其中之一检测像素数据的差值作为相关。
根据本发明，本发明的图像处理装置从具有快门时间2ts的图像生成具有快门时间ts的双密度图像，并且输出双密度图像。
在上面讨论中，本发明的图像处理装置生成在时间方向上具有双密度的图像。通过重复上述过程，可以生成4倍、8倍和16倍密度图像。
前景对象的移动方向是从左到右，但是前景对象的移动方向不限定于任何特定方向。
传感器不限定于CCD。传感器可以是任何固态图像采集设备，如CMOS(Complementary Metal Oxide Semiconductor，互补型金属氧化物半导体)图像传感器、BBD(Bucket Brigade Device，组桶器件)、CID(Charge InjectionDevice，电荷注入器件)或CPD(Charge Priming Device，电荷启动器件)。传感器不限定于包括检测元件矩阵的传感器，并且可以是其中检测元件排列在一条线上的传感器。
如图1所示，存储本发明信号处理执行程序的存储介质包括采用与计算机分开的方式进行分发以将软件程序提供给用户的包介质。包介质可以是磁盘51(如软盘)、光盘52(如CD-ROM(Compact-Disk Read-Only Memory，致密盘只读存储器)和DVD(Digital Versatile Disk，数字多功能盘))、光磁盘53(如MD(Mini-Disk，微型盘)(商品名称))、半导体存储器54。该存储介质还可以包括存储程序且在计算机中提供给用户的ROM22或包含在存储单元28中的硬盘。
本发明不仅包括其中以所述次序顺序执行描述存储在存储介质中的程序的步骤的过程，还包括其中不是以顺序方式而是以并行或单独方式执行步骤的过程。
工业应用
本发明产生在时间方向上具有高密度且具有自然运动模糊的图像。

Claims (35)

1.一种图像处理装置，用于处理由多帧的像素数据形成的图像，其中，所述图像是通过包括多个检测元件的传感器而获得的，其中每个检测元件均具有时间累积效应，包括：
相关检测部件，用于检测多帧中目标帧的目标像素的像素数据与相邻于目标帧的第一帧的对应像素的像素数据之间的相关，以及目标帧的目标像素的像素数据与相邻于目标帧的第二帧的对应像素的像素数据之间的相关；以及
像素数据生成部件，用于根据由相关检测部件检测的具有更高相关性的第一和第二帧的对应像素其中之一的像素数据，生成在目标帧与第一和第二帧中对应像素的像素数据具有更高相关性的一帧之间所生成的第一合成帧的第一像素的像素数据，并且根据目标像素的像素数据和第一像素的像素数据，生成在目标帧与第一和第二帧中的另一帧之间所生成的第二合成帧的第二像素的像素数据。
2.如权利要求1所述的图像处理装置，其中，像素数据生成部件将由相关检测部件检测的具有更高相关性的第一和第二帧的对应像素其中之一的像素数据，复制为在目标帧与第一和第二帧中对应像素的像素数据具有更高相关性的这一帧之间所生成的第一合成帧的第一像素的像素数据。
3.如权利要求1所述的图像处理装置，其中，像素数据生成部件在与第一帧和目标帧的时间间距相等的位置生成第一合成帧，并且在与第二帧和目标帧的时间间距相等的位置生成第二合成帧。
4.如权利要求1所述的图像处理装置，其中，像素数据生成部件通过从目标像素的像素数据值的两倍值减去第一像素的像素数据值，计算第二像素的像素数据。
5.如权利要求1所述的图像处理装置，其中，对通过具有排列在至少一个方向上的多个检测元件的传感器而获得的图像进行处理。
6.如权利要求1所述的图像处理装置，其中，对通过具有以矩阵形式排列的多个检测元件的传感器而获得的图像进行处理。
7.如权利要求1所述的图像处理装置，其中，相关检测部件检测像素数据的差值作为相关。
8.一种图像处理装置的图像处理方法，其中，所述图像处理装置用于处理由多帧的像素数据形成的图像，所述图像是通过包括多个检测元件的传感器而获得的，其中每个检测元件均具有时间累积效应，包括：
相关检测步骤，检测多帧中目标帧的目标像素的像素数据与相邻于目标帧的第一帧的对应像素的像素数据之间的相关，以及目标帧的目标像素的像素数据与相邻于目标帧的第二帧的对应像素的像素数据之间的相关；以及
像素数据生成步骤，根据在相关检测步骤检测的具有更高相关性的第一和第二帧的对应像素其中之一的像素数据，生成在目标帧与第一和第二帧中对应像素的像素数据具有更高相关性的一帧之间所生成的第一合成帧的第一像素的像素数据，并且根据目标像素的像素数据和第一像素的像素数据，生成在目标帧与第一和第二帧中的另一帧之间所生成的第二合成帧的第二像素的像素数据。
9.如权利要求8所述的图像处理方法，其中，像素数据生成步骤将在相关检测步骤检测的具有更高相关性的第一和第二帧的对应像素其中之一的像素数据，复制为在目标帧与第一和第二帧中对应像素的像素数据具有更高相关性的这一帧之间所生成的第一合成帧的第一像素的像素数据。
10.如权利要求8所述的图像处理方法，其中，像素数据生成步骤在与第一帧和目标帧的时间间距相等的位置生成第一合成帧，并且在与第二帧和目标帧的时间间距相等的位置生成第二合成帧。
11.如权利要求8所述的图像处理方法，其中，像素数据生成步骤通过从目标像素的像素数据值的两倍值减去第一像素的像素数据值，计算第二像素的像素数据。
12.如权利要求8所述的图像处理方法，其中，对通过具有排列在至少一个方向上的多个检测元件的传感器而获得的图像进行处理。
13.如权利要求8所述的图像处理方法，其中，对通过具有以矩阵形式排列的多个检测元件的传感器而获得的图像进行处理。
14.如权利要求8所述的图像处理方法，其中，相关检测步骤检测像素数据的差值作为相关。
15.一种存储计算机可读的图像处理程序的存储介质，其中，所述程序用于处理由多帧的像素数据形成的图像，所述图像是通过包括多个检测元件的传感器而获得的，其中每个检测元件均具有时间累积效应，所述程序包括：
相关检测步骤，检测多帧中目标帧的目标像素的像素数据与相邻于目标帧的第一帧的对应像素的像素数据之间的相关，以及目标帧的目标像素的像素数据与相邻于目标帧的第二帧的对应像素的像素数据之间的相关；以及
像素数据生成步骤，根据在相关检测步骤检测的具有更高相关性的第一和第二帧的对应像素其中之一的像素数据，生成在目标帧与第一和第二帧中对应像素的像素数据具有更高相关性的一帧之间所生成的第一合成帧的第一像素的像素数据，并且根据目标像素的像素数据和第一像素的像素数据，生成在目标帧与第一和第二帧中的另一帧之间所生成的第二合成帧的第二像素的像素数据。
16.如权利要求15所述的存储介质，其中，像素数据生成步骤将在相关检测步骤检测的具有更高相关性的第一和第二帧的对应像素其中之一的像素数据，复制为在目标帧与第一和第二帧中对应像素的像素数据具有更高相关性的这一帧之间所生成的第一合成帧的第一像素的像素数据。
17.如权利要求15所述的存储介质，其中，像素数据生成步骤在与第一帧和目标帧的时间间距相等的位置生成第一合成帧，并且在与第二帧和目标帧的时间间距相等的位置生成第二合成帧。
18.如权利要求15所述的存储介质，其中，像素数据生成步骤通过从目标像素的像素数据值的两倍值减去第一像素的像素数据值，计算第二像素的像素数据。
19.如权利要求15所述的存储介质，其中，对通过具有排列在至少一个方向上的多个检测元件的传感器而获得的图像进行处理。
20.如权利要求15所述的存储介质，其中，对通过具有以矩阵形式排列的多个检测元件的传感器而获得的图像进行处理。
21.如权利要求15所述的存储介质，其中，相关检测步骤检测像素数据的差值作为相关。
22.一种在计算机上执行的程序，控制用于处理由多帧的像素数据形成的图像的图像处理装置，其中，所述图像是通过包括多个检测元件的传感器而获得的，其中每个检测元件均具有时间累积效应，所述程序包括：
相关检测步骤，检测多帧中目标帧的目标像素的像素数据与相邻于目标帧的第一帧的对应像素的像素数据之间的相关，以及目标帧的目标像素的像素数据与相邻于目标帧的第二帧的对应像素的像素数据之间的相关；以及
像素数据生成步骤，根据在相关检测步骤检测的具有更高相关性的第一和第二帧的对应像素其中之一的像素数据，生成在目标帧与第一和第二帧中对应像素的像素数据具有更高相关性的一帧之间所生成的第一合成帧的第一像素的像素数据，并且根据目标像素的像素数据和第一像素的像素数据，生成在目标帧与第一和第二帧中的另一帧之间所生成的第二合成帧的第二像素的像素数据。
23.如权利要求22所述的程序，其中，像素数据生成步骤将在相关检测步骤检测的具有更高相关性的第一和第二帧的对应像素其中之一的像素数据，复制为在目标帧与第一和第二帧中对应像素的像素数据具有更高相关性的这一帧之间所生成的第一合成帧的第一像素的像素数据。
24.如权利要求22所述的程序，其中，像素数据生成步骤在与第一帧和目标帧的时间间距相等的位置生成第一合成帧，并且在与第二帧和目标帧的时间间距相等的位置生成第二合成帧。
25.如权利要求22所述的程序，其中，像素数据生成步骤通过从目标像素的像素数据值的两倍值减去第一像素的像素数据值，计算第二像素的像素数据。
26.如权利要求22所述的程序，其中，对通过具有排列在至少一个方向上的多个检测元件的传感器而获得的图像进行处理。
27.如权利要求22所述的程序，其中，对通过具有以矩阵形式排列的多个检测元件的传感器而获得的图像进行处理。
28.如权利要求22所述的程序，其中，相关检测步骤检测像素数据的差值作为相关。
29.一种图像采集设备，包括：
图像采集部件，用于将具有预定数目像素的图像采集单元所采集的对象图像作为多帧像素数据进行输出，每一个均具有时间累积效应；
相关检测部件，用于检测多帧中目标帧的目标像素的像素数据与相邻于目标帧的第一帧的对应像素的像素数据之间的相关，以及目标帧的目标像素的像素数据与相邻于目标帧的第二帧的对应像素的像素数据之间的相关；以及
像素数据生成部件，用于根据由相关检测部件检测的具有更高相关性的第一和第二帧的对应像素其中之一的像素数据，生成在目标帧与第一和第二帧中对应像素的像素数据具有更高相关性的一帧之间所生成的第一合成帧的第一像素的像素数据，并且根据目标像素的像素数据和第一像素的像素数据，生成在目标帧与第一和第二帧中的另一帧之间所生成的第二合成帧的第二像素的像素数据。
30.如权利要求29所述的图像采集设备，其中，像素数据生成部件将由相关检测部件检测的具有更高相关性的第一和第二帧的对应像素其中之一的像素数据，复制为在目标帧与第一和第二帧中对应像素的像素数据具有更高相关性的这一帧之间所生成的第一合成帧的第一像素的像素数据。
31.如权利要求29所述的图像采集设备，其中，像素数据生成部件在与第一帧和目标帧的时间间距相等的位置生成第一合成帧，并且在与第二帧和目标帧的时间间距相等的位置生成第二合成帧。
32.如权利要求29所述的图像采集设备，其中，像素数据生成部件通过从目标像素的像素数据值的两倍值减去第一像素的像素数据值，计算第二像素的像素数据。
33.如权利要求29所述的图像采集设备，其中，对通过具有排列在至少一个方向上的多个检测元件的传感器而获得的图像进行处理。
34.如权利要求29所述的图像采集设备，其中，对通过具有以矩阵形式排列的多个检测元件的传感器而获得的图像进行处理。
35.如权利要求29所述的图像采集设备，其中，相关检测部件检测像素数据的差值作为相关。
CNB028013174A 2001-03-15 2002-03-12 图像处理装置及其方法和图像采集设备 Expired - Fee Related CN1233151C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP73851/2001 2001-03-15
JP73851/01 2001-03-15
JP2001073851A JP4608791B2 (ja) 2001-03-15 2001-03-15 画像処理装置および方法、記録媒体、並びにプログラム

Publications (2)

Publication Number Publication Date
CN1461555A true CN1461555A (zh) 2003-12-10
CN1233151C CN1233151C (zh) 2005-12-21

Family

ID=18931218

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028013174A Expired - Fee Related CN1233151C (zh) 2001-03-15 2002-03-12 图像处理装置及其方法和图像采集设备

Country Status (6)

Country Link
US (1) US7218791B2 (zh)
EP (1) EP1292129A4 (zh)
JP (1) JP4608791B2 (zh)
KR (1) KR100864341B1 (zh)
CN (1) CN1233151C (zh)
WO (1) WO2002076091A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345825B (zh) * 2008-01-24 2010-06-02 华硕电脑股份有限公司 调整模糊图像的方法
CN101436168B (zh) * 2008-12-17 2010-10-27 广东威创视讯科技股份有限公司 基于usb的图像采集方法及其装置
CN101754033B (zh) * 2006-06-26 2013-01-02 佳能株式会社 图像感测设备及其控制方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7715643B2 (en) 2001-06-15 2010-05-11 Sony Corporation Image processing apparatus and method, and image pickup apparatus
JP4596220B2 (ja) 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
DE60230206D1 (de) * 2001-06-26 2009-01-15 Sony Corp Bildverarbeitungsvorrichtung und Verfahren, und Bilderfassungsvorrichtung
US7702131B2 (en) * 2005-10-13 2010-04-20 Fujifilm Corporation Segmenting images and simulating motion blur using an image sequence
JP5003478B2 (ja) * 2007-12-28 2012-08-15 Ｎｋワークス株式会社 キャプチャーソフトウエアプログラムおよびキャプチャー装置
JP5039932B2 (ja) * 2007-12-28 2012-10-03 Ｎｋワークス株式会社 キャプチャーソフトウエアプログラムおよびキャプチャー装置
JP5858754B2 (ja) * 2011-11-29 2016-02-10 キヤノン株式会社 撮影装置、表示方法及びプログラム
USD906348S1 (en) * 2014-11-26 2020-12-29 Intergraph Corporation Computer display screen or portion thereof with graphic
US20190141332A1 (en) * 2017-11-08 2019-05-09 Qualcomm Incorporated Use of synthetic frames in video coding

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4107736A (en) * 1971-12-20 1978-08-15 Image Transform, Inc. Noise reduction system for video signals
US3875584A (en) * 1973-10-17 1975-04-01 Nasa Television noise reduction device
DE3144050C2 (de) 1981-11-03 1983-09-29 Deutsche Forschungs- und Versuchsanstalt für Luft- und Raumfahrt e.V., 5000 Köln Verfahren zur Übertragung und Wiedergabe von Videoszenen, insbesondere Luftbildszenen, mit reduzierter Bildfolgefrequenz
JPS58190184A (ja) * 1982-04-30 1983-11-07 Nec Corp フレ−ム間内插方法
US4532548A (en) 1983-01-27 1985-07-30 Hughes Aircraft Company Resolution enhancement and zoom
JPS6126382A (ja) * 1984-07-17 1986-02-05 Kokusai Denshin Denwa Co Ltd <Kdd> 動き量を用いた動画像フレ−ムレ−ト変換方式
JPH02290386A (ja) * 1989-04-27 1990-11-30 Sony Corp 動き補正付きテレビジョン信号方式変換器
GB2231746B (en) 1989-04-27 1993-07-07 Sony Corp Motion dependent video signal processing
JPH03101389A (ja) * 1989-09-14 1991-04-26 Fuji Electric Co Ltd 動画像処理方法
US5442462A (en) * 1992-06-10 1995-08-15 D.V.P. Technologies Ltd. Apparatus and method for smoothing images
JP3278882B2 (ja) * 1991-12-13 2002-04-30 ソニー株式会社 画像信号生成装置
JPH0678279A (ja) * 1992-08-25 1994-03-18 Ricoh Co Ltd ピクチャ生成方式
US6442203B1 (en) * 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
JP4491965B2 (ja) * 1999-12-28 2010-06-30 ソニー株式会社 信号処理装置および方法、並びに記録媒体
US6987530B2 (en) * 2001-05-29 2006-01-17 Hewlett-Packard Development Company, L.P. Method for reducing motion blur in a digital image
US8532338B2 (en) * 2004-07-06 2013-09-10 Hewlett-Packard Development Company, L.P. System and method for compensating for motion blur in optical navigation

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101754033B (zh) * 2006-06-26 2013-01-02 佳能株式会社 图像感测设备及其控制方法
CN101345825B (zh) * 2008-01-24 2010-06-02 华硕电脑股份有限公司 调整模糊图像的方法
CN101436168B (zh) * 2008-12-17 2010-10-27 广东威创视讯科技股份有限公司 基于usb的图像采集方法及其装置

Also Published As

Publication number Publication date
KR100864341B1 (ko) 2008-10-17
EP1292129A1 (en) 2003-03-12
EP1292129A4 (en) 2006-02-08
CN1233151C (zh) 2005-12-21
WO2002076091A1 (fr) 2002-09-26
JP2002281381A (ja) 2002-09-27
JP4608791B2 (ja) 2011-01-12
KR20030005346A (ko) 2003-01-17
US20030164882A1 (en) 2003-09-04
US7218791B2 (en) 2007-05-15

Similar Documents

Publication Publication Date Title
CN1156152C (zh) 照明闪烁检测、补偿装置和交流电源频率检测装置及其方法
CN1134975C (zh) 图像处理装置
CN1248162C (zh) 图像处理设备和方法、以及图像拍摄设备
CN1324873C (zh) 边界检测方法、图像处理设备和复印机
CN1208970C (zh) 图像处理装置
CN1233151C (zh) 图像处理装置及其方法和图像采集设备
CN1241147C (zh) 图像处理设备和方法,以及图像拾取设备
CN1251148C (zh) 图像处理设备
CN101079949A (zh) 图像处理设备和方法、记录介质以及程序
CN1770831A (zh) 数据处理方法、数据处理设备、半导体装置和电子设备
CN1645918A (zh) 半导体装置及其控制方法、信号处理方法和电子设备
CN1812479A (zh) 图像处理装置、方法和输出装置、摄像装置、程序和介质
CN1471691A (zh) 图像处理设备和方法,以及图像捕获设备
CN1269075C (zh) 图像处理设备
CN1533562A (zh) 电子元件的控制电路、电子电路、电光学装置、电光学装置的驱动方法和电子设备与电子元件的控制方法
CN101047822A (zh) 缩略图生成装置及摄像装置
CN1777242A (zh) 固体摄像器件
CN1975556A (zh) 光学设备
CN101052988A (zh) 图像生成装置及图像生成方法
CN1249629C (zh) 图像处理装置、图像处理方法和成像装置
CN1178490C (zh) 数据处理方法、数据处理装置
CN1817047A (zh) 用于处理具有排列的不同色彩分量的图像的图像处理装置,图像处理程序,电子照相机,以及图像处理方法
CN1313975C (zh) 图像处理装置和方法、以及图像捕获装置
CN1647524A (zh) 图像变换装置和图像变换方法
CN1471693A (zh) 图像处理设备和方法以及图像获取设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20051221

Termination date: 20130312