CN101485193A - 图像生成装置以及图像生成方法 - Google Patents

图像生成装置以及图像生成方法 Download PDF

Info

Publication number
CN101485193A
CN101485193A CNA2007800249718A CN200780024971A CN101485193A CN 101485193 A CN101485193 A CN 101485193A CN A2007800249718 A CNA2007800249718 A CN A2007800249718A CN 200780024971 A CN200780024971 A CN 200780024971A CN 101485193 A CN101485193 A CN 101485193A
Authority
CN
China
Prior art keywords
image
moving image
resolution
pixel
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800249718A
Other languages
English (en)
Other versions
CN101485193B (zh
Inventor
今川太郎
登一生
吾妻健夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101485193A publication Critical patent/CN101485193A/zh
Application granted granted Critical
Publication of CN101485193B publication Critical patent/CN101485193B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

图像生成装置，依拍摄暗淡且运动的被摄物体而获得的运动图像和静止图像来生成信噪比高且运动模糊少的新的运动图像，其包括：拍摄条件决定部(105c)，按来自被摄物体的受光量，决定用于拍摄运动图像和静止图像的拍摄条件；图像输入部(101)，接受根据拍摄条件而拍摄的运动图像和静止图像；合并处理部(104a)，生成帧率在所述运动图像的帧率以上、且各帧的分辨率在所述静止图像的分辨率以上的新的运动图像，该新的运动图像是通过使所述静止图像和在所述静止图像的曝光期间的新的运动图像的多个帧的合计之间的误差减少来生成的；拍摄条件决定部(105c)，将比所述运动图像的帧间隔长、且所测量的受光量越少则越长的时间决定为用于拍摄静止图像的曝光时间。

Description

图像生成装置以及图像生成方法
技术领域
本发明涉及生成运动图像的图像生成装置，尤其涉及依据通过拍摄同一事物而获得的原运动图像和静止图像来生成表示所述事物的新的运动图像的图像生成装置。
背景技术
随着数字摄像设备的进展，逐渐能够以较低的成本来拍摄高空间分辨率图像。并且，另一方面，为了实现摄像机的小型化、低成本化，摄像元件也越来越小型化。然而，在黑暗环境下拍摄在图像内运动的被摄物体的情况下，在拍摄高空间分辨率图像时会产生信噪比(S/N比)降低、即画质降低的问题。
这是因为，因构成摄像元件的像素数增加或摄像元件本身的大小减小，而各个像素的受光面积减小、受光量不足，与此相对噪声增加、画质降低的缘故。即使在受光后利用电气性的信号放大，噪声也同样被放大，因此不能改进信噪比。
并且，存在的问题是：若为了增大受光量而使曝光时间变长，则会产生因被摄物体运动而引起的运动模糊，因此不能拍摄清晰图像。并且，存在的问题是：若为了增大受光量而使透镜等光学***变大、使聚光量增大，则会导致摄像机整体的大型化、成本增加。
作为获得暗淡且运动的图像的以往的装置有，进行多次拍摄的装置(例如，参照专利文献1)。图1是示出所述专利文献1所述的以往的图像生成装置进行的处理的流程图。
在图1中，在步骤2201进行试拍，求出被摄物体的运动的朝向和大小，从而决定分割拍摄次数。在步骤2202进行多次拍摄。在步骤2203，根据运动矢量信息来使一方的图像的拍摄框移动，并进行加法平均，从而生成最后的拍摄图像。
专利文献1：(日本)特开2003-259184号公报
然而，在所述的以往的结构中存在的问题是：在图像内各个被摄物体进行不同运动的情况下，使图像框移动来进行加法平均，也会产生图像内进行不同运动的被摄物体的运动模糊。并且，存在的问题是：在被摄物体暗淡的情况下需要使要进行加法的二个图像的曝光时间变长，但是，在被摄物体的运动快的情况下会产生运动模糊，因此，以图像整体进行配准、且进行加法平均也不能消除运动模糊。并且，还存在的问题是：若使曝光时间变短，则使各个图像中的被摄物体的拍摄本身变得困难。
发明内容
为了解决所述以往的问题，本发明的目的在于提供一种图像生成装置，对于在黑暗环境下进行不同运动的多个被摄物体存在的图像，也可以获得信噪比高且运动模糊少的图像。
为了实现所述目的，本发明涉及的图像生成装置，依据通过拍摄同一事物而获得的原运动图像和静止图像，来生成表示所述事物的新的运动图像，其中，包括：图像输入单元，接受所述原运动图像和所述静止图像；以及图像合并单元，依据接受了的所述原运动图像和所述静止图像，来生成帧率在所述原运动图像的帧率以上、且各个帧的分辨率在所述静止图像的分辨率以上的新的运动图像，该新的运动图像是通过使所述静止图像和在所述静止图像的曝光期间的所述新的运动图像的多个帧的合计之间的误差减少来生成的；所述原运动图像的分辨率比所述静止图像的分辨率低，并且，所述原运动图像的帧间隔比所述静止图像的曝光时间短。
根据该结构，所述新的运动图像的多个帧被生成，以与所述静止图像之间的矛盾变小。以短的曝光时间而拍摄的所述原运动图像具有各个帧的运动模糊少的特性，另一方面，以长的曝光时间且高的分辨率而拍摄的所述静止图像具有在时间上和空间上包含的关于所述被摄物体的信息比所述原运动图像的一个帧还丰富的特性，可以生成同时具有这些特性的所述新的运动图像。
所述图像生成装置也可以，包括拍摄条件决定单元，测量来自被摄物体的受光量，按照所测量的受光量来决定用于拍摄所述原运动图像的拍摄条件以及用于拍摄所述静止图像的拍摄条件中的至少一方；所述图像输入单元，根据所述拍摄条件决定单元所决定的拍摄条件来拍摄所述被摄物体，从而接受所述原运动图像和所述静止图像；所述拍摄条件决定单元，将所测量的受光量越少则越变大的面积决定为用于拍摄所述原运动图像的一个像素的摄像元件的面积，或者，将所测量的受光量越少则越变长的时间决定为用于拍摄所述静止图像的曝光时间。
根据该结构，通过利用来自被摄物体的受光量越少按每一个像素的面积则越大的摄像元件来拍摄所述原运动图像，从而可以抑制在曝光时间短且光量低的状态下变得明显的噪声。并且，通过以来自被摄物体的受光量越少则越长的曝光时间来拍摄所述静止图像，从而可以抑制在分辨率高且光量低的状态下变得明显的噪声。此内容是，在以高的信噪比来生成所述新的运动图像时有用的。
因此，根据本发明的图像生成装置，可以生成帧率在所述原运动图像以上的、分辨率在所述静止图像以上的、信噪比高且抑制了运动模糊的、具有优秀特性的所述新的运动图像
而且，本发明，除了可以作为如上所述的图像生成装置来实现以外，也可以作为图像生成方法、使计算机执行其方法的程序、记录了其程序的CD-ROM等计算机可读的记录介质等来实现。
根据本发明的图像生成装置，尤其在黑暗环境下拍摄图像内运动的被摄物体的情况下，可以生成信噪比高、且抑制了运动模糊的新的运动图像。
附图说明
图1是示出以往的图像生成装置的结构的流程图。
图2是示出本发明的实施例中的图像生成***的硬件结构的方框图。
图3是示出实施例中的图像生成装置的结构的功能框图。
图4是示出图像生成装置的工作的流程图。
图5是示出受光量决定部的工作的流程图。
图6(a)以及(b)是示出输入图像的时序的一个例子的图。
图7(a)～(c)是示出摄像装置的具体例子的图。
图8(a)～(c)分别是示出所生成的高速高分辨率运动图像、所输入的高速低分辨率运动图像以及低速高分辨率运动图像的像素的配置的一个例子的图。
图9(a)～(c)是示出在校正像素值的情况下的入射光量和像素值的关系的例子的图表。
图10(a)以及(b)是示出以高速低分辨率运动图像来求出的运动检测结果和高速高分辨率运动图像的关系的图。
图11(a)～(d)是示出所生成的高速高分辨率运动图像的帧图像的一个例子的图。
图12(a)～(d)是示出高速高分辨率运动图像的帧图像的一个例子的图。
图13(a)～(d)是示出所输入的高速低分辨率运动图像的帧图像的一个例子的图。
图14是示出所输入的低速高分辨率运动图像的帧图像的一个例子的图。
图15(a)～(d)是示出可靠度分布的例子的图。
图16(a)～(d)是示出所生成的运动图像的帧图像的一个例子的图。
图17(a)～(d)是示出在不利用可靠度而生成的情况下的运动图像的帧图像的一个例子的图。
图18是示出在利用生成的可靠度而使编码图像的压缩率变化的情况下的可靠度和压缩率的关系的一个例子的图表。
图19是示出在合并彩色运动图像的情况下的处理顺序的流程图。
图20是示出区域分割处理的一个例子的图。
图21是示出图像生成***的具体例子的方框图。
图22是示出图像生成***的具体例子的方框图。
符号说明
10  撮像装置
20  图像存储装置
30  图像生成装置
40  显示装置
100 图像生成***
101  图像输入部
101a 高速图像输入部
101b 低速图像输入部
102  编码部
103  运动检测部
103a 运动分布计算部
103b 运动可靠度分布计算部
103c 传感器输入部
104  图像合并部
104a 合并处理部
104b 限制控制部
104c 运动限制指定部
104d 外部模型限制部
104e 限制指定部
105  受光量决定部
105a 光量传感器
105b 温度传感器
105c 拍摄条件决定部
300  摄像机
400  显示设备
具体实施方式
本发明的一个实施方式涉及的图像生成装置，依据通过拍摄同一事物而获得的原运动图像和静止图像，来生成表示所述事物的新的运动图像，其中，包括：图像输入单元，接受所述原运动图像和所述静止图像；以及图像合并单元，依据接受了的所述原运动图像和所述静止图像，来生成帧率在所述原运动图像的帧率以上、且各个帧的分辨率在所述静止图像的分辨率以上的新的运动图像，该新的运动图像是通过使所述静止图像和在所述静止图像的曝光期间的所述新的运动图像的多个帧的合计之间的误差减少来生成的；所述原运动图像的分辨率比所述静止图像的分辨率低，并且，所述原运动图像的帧间隔比所述静止图像的曝光时间短。
所述图像生成装置也可以，包括拍摄条件决定单元，测量来自被摄物体的受光量，按照所测量的受光量来决定用于拍摄所述原运动图像的拍摄条件以及用于拍摄所述静止图像的拍摄条件中的至少一方；所述图像输入单元，根据所述拍摄条件决定单元所决定的拍摄条件来拍摄所述被摄物体，从而接受所述原运动图像和所述静止图像；所述拍摄条件决定单元，将所测量的受光量越少则越变大的面积决定为用于拍摄所述原运动图像的一个像素的摄像元件的面积，或者，将所测量的受光量越少则越变长的时间决定为用于拍摄所述静止图像的曝光时间。
在此，所述拍摄条件决定单元，进一步，可以测量温度，将所测量的温度越高则越变大的面积决定为用于拍摄所述原运动图像的一个像素的摄像元件的面积，或者，将所述测量的温度越高则越变长的时间决定为用于拍摄所述静止图像的曝光时间。
并且，所述静止图像，也可以是其它的运动图像之中的一个帧，所述其它的运动图像的帧率比所述原运动图像的帧率低、且分辨率比所述原运动图像的分辨率高。
根据该结构，所述新的运动图像的多个帧被生成，以与所述静止图像之间的矛盾变小。据此，以短的曝光时间而拍摄的所述原运动图像具有各个帧的运动模糊少的特性，以长的曝光时间且高的分辨率而拍摄的所述静止图像具有在时间上和空间上包含的关于所述被摄物体的信息比所述原运动图像的一个帧还丰富的特性，可以生成同时具有这些特性的所述新的运动图像。
通过以来自被摄物体的受光量越少则越长的曝光时间来拍摄所述静止图像，或者，通过利用来自被摄物体的受光量越少按每一个像素的面积则越大的摄像元件来拍摄所述静止图像，从而可以抑制在受光量不足的情况下变得明显的噪声，也可以以高的信噪比来生成所述新的运动图像。
通过以温度越高则越长的曝光时间来拍摄所述静止图像，或者，通过利用温度越高按每一个像素的面积则越大的摄像元件来拍摄所述静止图像，从而可以对抗温度越高则越大的热噪声，也可以以高的信噪比来生成所述新的运动图像。
并且，图像生成装置，还可以包括限制单元，指定所生成的新的运动图像的像素值依据在时间上和空间上相邻的像素的像素值的连续性来应该满足的限制条件，所述图像合并单元，在维持所指定的所述限制条件的状态下，生成所述新的运动图像。
根据其结构，可以生成维持时间上和空间上的连续性的新的运动图像，因此，可以生成对这些连续性明显的自然界的影像合适的图像。
并且，图像生成装置，还可以包括运动检测单元，依据所述图像输入单元接受的所述原运动图像来检测对象物体的运动；以及限制单元，指定所生成的新的运动图像的像素值根据所述运动检测结果来应该满足的限制条件；所述图像合并单元，在维持所指定的所述限制条件的状态下，生成所述新的运动图像。
据此，可以利用依据运动检测的方法的内插来生成所述新的运动图像。
以下，对于本发明的实施例涉及的图像生成***，参照附图进行详细说明。
图2是本发明的实施例涉及的图像生成***的硬件结构的方框图。
图像生成***100是一种***，依据对于同一对象的多个运动图像(在此为高速低分辨率运动图像以及低速高分辨率运动图像)来生成时间和空间分辨率高的新的运动图像(在此为高速高分辨率运动图像)，该图像生成***100包括撮像装置10、图像存储装置20、图像生成装置30以及显示装置40。撮像装置10是一种摄像机等，以不同的二种时间和空间分辨率来获得运动图像(在此为对于同一对象的高速低分辨率运动图像以及低速高分辨率运动图像)。图像存储装置20是一种存储器等，暂时存储摄像装置10所拍摄的运动图像。图像生成装置30是一种装置，读出图像存储装置20所存储的运动图像，依据读出的多个运动图像来生成时间和空间分辨率高的新的运动图像。显示装置40是一种显示装置，显示图像生成装置30所生成的新的运动图像。而且，图像生成装置30，可以通过专用电路等的硬件来实现，也可以通过通用计算机中的图像处理程序等的软件来实现。
图3是图2所示的图像生成***100中的图像生成装置30的内部结构的功能框图。该图像生成装置30包括图像输入部101、运动检测部103、图像合并部104以及受光量决定部105。
图像输入部101是一种接口等，接受通过拍摄同一对象物体来获得的、时间和空间分辨率或时间和空间相位不同的多个运动图像的输入，在此，该图像输入部101具有：高速图像输入部101a，接受(或获得)以高速(高速帧率)且低空间分辨率来拍摄的运动图像(高速低分辨率运动图像)的输入；以及低速图像输入部101b，接受(或获得)以低速(低速帧率)且高空间分辨率来拍摄的与高速图像输入部101a相同对象的运动图像(低速高分辨率运动图像)的输入。如此，高速图像输入部101a所输入的图像和低速图像输入部101b所输入的图像，虽然时间和空间分辨率不同、但是拍摄了同一对象的图像。
在此，权利要求书中的“原运动图像”的一个例子是所述高速低分辨率图像，“静止图像”的一个例子是所述低速高分辨率图像的各个帧。
运动检测部103具有：传感器输入部103c，获得来自检测撮像装置10的运动的传感器(撮像装置10所具备的加速度传感器等)的信号，该撮像装置10生成被图像输入部101输入的图像；运动分布计算部103a，根据图像输入部101所输入的图像或/以及传感器输入部103c所输入的运动信号，对各个帧的图像整体进行输入图像中的图像(即，拍摄的对象物体)的运动检测；以及运动可靠度分布计算部103b，对各个帧的图像整体计算运动分布计算部103a的运动检测的可靠度。
图像合并部104是一种处理部，在图像输入部101所输入的多个运动图像中，对于可靠度高的图像区域，利用运动检测部103的运动检测的结果来生成新的运动图像，对于可靠度低的图像区域，利用预定的一定的限制条件来合并多个运动图像，该图像合并部104具有合并处理部104a、限制控制部104b、运动限制指定部104c、外部模型限制部104d以及限制指定部104e。
运动限制指定部104c是一种处理部，利用运动分布计算部103a的运动检测的结果，指定所生成的高速高分辨率运动图像的各个像素值应该满足的限制条件(以下，依赖运动检测的结果来指定的限制条件称为“运动限制条件”。)。
外部模型限制部104d，指定所生成的高速高分辨率运动图像的各个像素值与运动分布计算部103a的运动检测无关而应该满足的限制条件(以下，不依赖运动检测的结果来指定的限制条件称为“外部模型限制条件”。)。
限制控制部104b，利用运动分布计算部103a所计算的运动检测的结果和运动可靠度分布计算部103b所计算的可靠度，决定在所生成的高速高分辨率运动图像中的各个帧图像中的各个位置，使运动限制条件和外部模型限制条件分别有效的程度，并向限制指定部104e通知该程度。
限制指定部104e，根据限制控制部104b所决定的运动限制条件和外部模型限制条件的有效程度，指定将运动限制指定部104c所指定的运动限制条件和外部模型限制部104d所指定外部模型限制条件合并的限制条件，即指定所生成的高速高分辨率运动图像的各个像素值应该满足的限制条件。
合并处理部104a，根据限制指定部104e所指定的限制条件，将高速图像输入部101a所输入的高速图像和低速图像输入部101b所输入的低速图像合并，从而生成高速高分辨率运动图像。
编码部102，对合并处理部104a所生成的图像进行压缩编码，并将其输出。
在受光量决定部105中，拍摄条件决定部105c依据光量传感器105a所获得的来自被摄物体的光量、和温度传感器105b所获得的构成图像输入部的受光元件的温度来决定图像输入部的拍摄条件(曝光时间、帧率、像素大小)。
而且，在本实施例的“帧”中，除了包含逐行(progressive)方式的帧以外，还包含隔行(interlace)方式的偶数场以及奇数场。
其次，说明如上构成的图像生成装置30执行的处理。图4是图像生成装置30执行的处理的流程图。
在步骤600，在受光量决定部105中，拍摄条件决定部105c依据光量传感器105a所获得的来自被摄物体的光量、和温度传感器105b所获得的受光元件的温度来决定图像输入部的拍摄条件(曝光时间、帧率、像素大小)。并且，在设定后述的外部模型限制条件(目标高速高分辨率运动图像的像素值、和高速低分辨率运动图像以及低速高分辨率运动图像的像素值之间的关系)时使用所述拍摄条件。
图5是受光量决定部105执行的步骤600的详细处理的流程图。
在步骤651，光量传感器测量来自被摄物体的光量。可以将光量传感器与摄像元件分别设置，也可以利用摄像元件本身，以作为光量传感器。在步骤652，温度传感器测量构成图像输入部的受光元件的温度。
在步骤653，根据所述光量和温度来决定摄像元件的各个像素所需要的受光量。在此，预先设定需要的信噪比。对于拍摄图像中包含的噪声，存在依赖于摄像元件的温度的成分和入射光本身中包含的成分。由于根据摄像元件而噪声的温度依赖性不同，因此预先求出温度和噪声的关系。可以依据温度和光量来决定噪声强度N，依据光量来决定信号强度S。光量越增大，信噪比就越提高。因此，根据需要的信噪比决定需要的光量(受光量)。例如，在信号强度和噪声强度之间的比率为100的情况下，若噪声强度为10，则将需要的信号强度设定为1000。
在步骤654，求出用于低速高分辨率图像满足所述需要的受光量的拍摄条件。在低速高分辨率图像中，通过使曝光时间改变来获得需要的受光量。通过在步骤653所求出的需要的受光量除以在步骤651所获得的来自被摄物体的每单位时间的光量，从而可以获得需要的曝光时间。
在步骤655，求出用于高速低分辨率图像满足所述需要的受光量的拍摄条件。在高速低分辨率图像中，通过将像素大小改变，即通过将用于拍摄高速低分辨率图像的一个像素的摄像元件的面积改变，从而获得需要的受光量。将高速低分辨率图像的帧率设定为比低速高分辨率图像的曝光时间短。以帧间隔为上限来设定高速低分辨率图像的曝光时间，需要的受光量除以设定的曝光时间，从而决定需要的图像大小。通过在相邻的像素之间电气性地连接构成摄像元件的、各个像素的在光电转换后的电荷蓄积部等的方法，从而可以实现像素大小的变更。
在所述的流程图中，根据温度和光量决定需要的光量，但也可以是，假定温度为平均温度，而只根据被摄物体的光量决定需要的光量。并且，在所述的例子中，按照需要的光量来决定低速高分辨率图像的曝光时间和高速低分辨率图像的像素大小，但是，将任一方固定为平均值，而只使一方可变来进行处理也可以获得本发明的效果。
并且，虽然可以设定受光量来获得超过需要的光量的受光量，但是，为了抑制因长时间曝光输入图像、或像素大小的扩大而引起的时间和空间分辨率的降低，来有效率地进行生成图像的时间和空间分辨率的提高，优选的是，根据需要的受光量设定受光量。而且，对于曝光时间或像素大小，可以设定以图像整体相同的值，也可以按每个帧或图像内的每个位置进行变更。在此情况下，按每个帧或图像的每个位置测量来自被摄物体的光量。
再次，在图4的流程图中，在步骤601，按照所述拍摄条件，高速图像输入部101a接受高速低分辨率运动图像的输入，低速图像输入部101b接受对同一对象的低速高分辨率运动图像的输入。以后的说明中，对用于说明的图像利用亮度图像。
在图6(a)以及图6(b)示出，高速图像输入部101a所输入的高速低分辨率运动图像和低速图像输入部101b所输入的低速高分辨率运动图像的关系。在图6(a)以及图6(b)，按时间顺序排列这些二个图像的连续的帧图像，帧201以及帧202表示低速高分辨率图像，帧211～215表示高速低分辨率图像。
在图6(a)以及图6(b)，以图像的大小来表示空间分辨率的区别。帧211～215与帧201以及帧202相比，像素数少、空间分辨率低、像素大小大。另一方面，对于帧率，高速图像输入部101a的拍摄的帧率比低速图像输入部101b高，在此，高速图像输入部101a以低速图像输入部101b的一个帧间隔来拍摄四个帧。并且，帧201以及帧202的图像的时间方向的宽度表示曝光时间。低速图像输入部101b所输入的图像，由于帧率低，因此可以实现比高速图像输入部101a所输入的图像长的曝光。在图6(a)，低速高分辨率运动图像的帧201进行图6(b)的高速低分辨率运动图像的四个帧间隔的曝光。
而且，高速图像输入部101a所输入的帧和低速图像输入部101b所输入的帧的拍摄时机，已知时间的相对关系即可，并不一定需要同时拍摄(即，可以使在拍摄时机的相位不同)。并且，通过进行长时间曝光，从而在高分辨率图像中也可以获得如移动物体的移动轨迹之类的运动信息。通过在后述的图像的合并处理中生成符合从高分辨率图像获得的运动信息的运动图像，从而可以生成信噪比高的、抑制了运动模糊的、时间和空间分辨率高的运动图像。
在此，示出摄像装置10的具体例子，即举例示出获得二种图像的拍摄单元。如图7(a)，利用半透明反射镜(half mirror)来配置不同特性的二种摄像机，以使视角相同，从而可以拍摄二种图像；如图7(b)，在一个摄像机内利用半透明反射镜或棱镜来配置不同特性的二种摄像元件，以使视角相同，从而也可以拍摄二种图像；如图7(c)，利用同时拍摄二种图像的、不同特性的摄像元件，从而也可以拍摄二种图像。
其次，利用图8(a)～(c)，说明目标高速高分辨率运动图像的像素值(在此为亮度值)、和高速图像输入部101a所输入的高速低分辨率运动图像以及低速图像输入部101b所输入的低速高分辨率运动图像的像素值(在此为亮度值)之间的关系。该关系，用于生成图像，以作为高速高分辨率运动图像的各个像素应该满足的外部模型限制条件。
在此假设，各个图像的像素值与拍摄时的入射光量成比例，比例常数也是共通的。图8(a)示出目标高速高分辨率运动图像的各个帧的像素的配置。为了便于说明，取出高速高分辨率运动图像的一部分进行说明。图8(a)示出，在纵(Y轴)方向有三个像素、在横(X轴)方向有三个像素的四个帧的像素的配置。假设，在像素位置(X，Y，t)的像素的值为HH(X，Y，t)。在此假设，X和Y的值的范围为0、1、2，而t的值的范围为0、1、2、3。
同样，图8(b)示出，在与图8(a)相同的时间拍摄相同的视角的高速低分辨率运动图像的像素的配置。在此，将高速低分辨率运动图像的像素位置(XL，YL，t)的像素值表示为HL(XL，YL，t)。对于低分辨率图像和高分辨率图像，由于x，y方向的像素数不同，因此将低分辨率图像的x，y坐标值分别表示为XL，YL来区别于高分辨率图像的情况。在此，存在由高分辨率图像的x，y方向的各三个像素组成的九个像素的区域相当于低分辨率运动图像的一个像素的关系，而如公式1表示像素值的关系。低分辨率图像成为高分辨率图像的九个像素的和，而一个像素接受的光量也会增加。在步骤655决定实际加上的像素的范围。
(公式1)
HL ( x L , y L , t ) = Σ x = 0 2 Σ y = 0 2 HH ( x , y , t )
同样，图8(c)示出，在与图8(a)相同的时间拍摄相同的视角的低速高分辨率运动图像的像素的配置。在此，将低速高分辨率运动图像的像素位置(x，y，tL)的像素值表示为LH(x，y，tL)。
对于高速图像和低速图像，由于时间方向的帧数不同，因此将低速图像的帧编号表示为tL来区别于高速图像的情况。在此，存在高速图像的四个帧间隔相当于低速图像的一个帧间隔的关系，而如公式2表示像素值的关系。低分辨率图像成为高分辨率图像的3个像素的和，而一个像素接受的光量也会增加。在步骤654决定实际曝光时间。
(公式2)
LH ( x , y , t L ) = Σ i = 0 3 G ( t ) * HH ( x , y , t )
在此，G(t)表示在时间t的拍摄强度，并示出因随时间变化的摄像元件的灵敏度或拍摄时的光圈而引起的像素值的变化倍率。在摄像元件的灵敏度或拍摄时的光圈不随时间变化的情况下，成为G(t)＝1.0。
而且，在所述的例子中将时间t离散来表示，但是，在与连续的时间上的变化对应的情况下，利用公式3的关系式。通过将公式1、公式2的HH(x，y，t)在公式3置换为HHcont(x，y，tcont)，从而可以表示对在时间上连续的输入的劣化过程。
(公式3)
HH ( x , y , t ) = ∫ t t + Δt Exp ( t cont ) · HH cont ( x , y , t cont ) dt cont
在公式3中，Δt相当于所生成的高速高分辨率图像的帧图像的虚拟曝光时间，tcont表示连续时间，HHcont(x，y，tcont)表示在时间上连续的图像，Exp(tcont)表示高速高分辨率图像的帧图像的虚拟曝光在时间上的变化。
如图6(a)以及图6(b)示出，通过使低速图像的曝光时间比高速图像的曝光时间长，从而可以使受光量增加，来拍摄相对地抑制了噪声的图像，也可以生成信噪比高的、抑制了运动模糊的高速高分辨率运动图像。并且，在像素大小大的低分辨率图像的情况下，也可以使受光量增加，还可以生成信噪比高的、抑制了运动模糊的高速高分辨率运动图像。
在所述的例子中，说明了像素值与拍摄时的入射光量成比例的情况(图9(a))，但是，在因γ校正等而不比例的情况下(图9(b))、或根据像素而比例常数不同的情况下，另外，通过使图像被拍摄时的摄像元件的输出入特性(输出入关系)相反地对应来利用，从而可以将像素值校正为对入射光具有同一比例关系的值，且满足公式1或公式2的关系。例如，通过利用如图9(c)的像素值和校正值的对应关系，来校正如图9(b)获得的像素值，从而可以进行与如图9(a)获得的像素值相同的处理。
并且，在所述的说明中，作为像素值利用亮度值来进行了说明，但是，在各个像素中存在R、G、B的颜色值的情况下，对于R、G、B的各个值也可以获得与亮度值相同的关系。
作为其它的外部模型限制有，与在时间和空间上相邻的像素之间的像素值的连续性或平滑度。在利用像素值的连续性的情况下，考虑如公式4的高速高分辨率运动图像的相邻的像素之间的亮度值的差的平方和Qs。
(公式4)
Qs = λs ( x , y , t ) · [ Σ x = 1 x max { HH ( x , y , t ) - HH ( x - 1 , y , t ) } 2
+ Σ y = 1 y max { HH ( x , y , t ) - HH ( x , y - 1 , t ) } 2
+ Σ t = 1 t max { HH ( x , y , t ) - HH ( x , y , t - 1 ) } 2 ]
在利用像素值的平滑度的情况下，考虑如公式5的高速高分辨率运动图像的相邻的像素之间的亮度值的二阶差分的平方和Qs。
(公式5)
Qs = λs ( x , y , t ) · [ Σ x = 1 x max - 1 { 2 · HH ( x , y , t ) - HH ( x + 1 , y , t ) - HH ( x - 1 , y , t ) } 2
+ Σ y = 1 y max - 1 { 2 · HH ( x , y , t ) - HH ( x , y + 1 , t ) - HH ( x , y - 1 , t ) } 2
+ Σ t = 1 t max - 1 { 2 · HH ( x , y , t ) - HH ( x , y , t + 1 ) - HH ( x , y , t - 1 ) } 2 ]
在此，在公式4、公式5中，Xmax、Ymax、tmax分别示出x方向像素编号、y方向像素编号、帧编号的最大值。并且，λs(x，y，t)是指定限制条件在时间上和空间上的分布的系数，在后述的步骤604利用运动的可靠度来决定。
如此，外部模型限制条件，可以表示为对所生成的高速高分辨率运动图像的评价函数。降低该评价函数的值(评价值)之事宜，对应于向所生成的高速高分辨率运动图像附加所述外部模型限制之事宜。
作为其它的外部模型限制，也可以利用边缘在时间上和空间上的连续性。在此情况下例如可以是：公式6所示，在时间上相邻的帧之间相对应的位置的边缘的朝向变化少的限制；或公式7所示，朝向方向相同的边缘，在该边缘的方向上连续存在的限制。
(公式6)
Qte = λte ( x , y , t ) .
Σ x = 0 x max Σ y = 0 y max Σ t = 0 t max Σ i = 0 i max { edge ( x + u ( x , y , t ) , y + v ( x , y , t ) , t + 1 , i ) - edge ( x , y , t , i ) } 2
(公式7)
Qse = λse ( x , y , t ) .
Σ x = 0 x max Σ y = 0 y max Σ t = 0 t max Σ i = 0 i max { edge ( x + i x , y + i y , t , i ) - edge ( x , y , t , i ) } 2
在此，公式6、公式7的edge(x，y，t，i)示出，存在于运动图像中的(x，y，t)的位置的第i个朝向的边缘的强度。假设，i示出边缘的方向的种类，i取从0到imax为止的整数值。并且，公式7的(ix，iy)是一种矢量，表示第i个边缘的朝向方向。
并且，u(x，y，t)、v(x，y，t)示出在图像中的(x，y，t)的位置上的运动矢量的x方向成分和y方向成分。利用具有方位依赖性的Gabor滤波器等边缘检测滤波器的输出，或如公式8以微分运算来获得边缘的方向和强度后，根据需要将边缘的方向离散化来利用，从而可以实现边缘的检测。
(公式8)
( ∂ HH ( x , y , t ) ∂ x , ∂ HH ( x , y , t ) ∂ y )
公式8将高速高分辨率运动图像HH的坐标(x，y，t)中的边缘的朝向和强度表示为二维矢量，矢量的朝向对应于边缘的朝向，矢量的大小对应于边缘的强度。
在此，λte(x，y，t)或λse(x，y，t)是与λs(x，y，t)相同指定限制条件在时间上和空间上的分布的系数，在后述的步骤604利用运动的可靠度来决定。
并且，作为其它的限制条件，也可以限定为预先设定所生成的运动图像可以表示的自由度的、运动图像群的主成分。例如是，将构成运动图像的各个帧的各个像素的亮度值HH(x，y，t)作为独立的要素，将运动图像作为一个数据点，对预定的帧数、像素数相同的运动图像群进行主成分分析，从而以主成分为优先来生成运动图像。在此情况下，将非主成分的矢量作为NPC(x，y，t)，对于所生成的运动图像HH(x，y，t)，将非主成分NPC和所生成的运动图像HH的内积作为限制条件。
在此情况下，限制条件为如公式9的Qpc。
(公式9)
Qpc = λpc ( x , y , t ) · Σ x = 0 x max Σ y = 0 y max Σ t = 0 t max NPC ( x , y , t ) · HH ( x , y , t )
可以不具备一种NPC而具备多个NPC，也可以根据输入图像切换NPC的种类。在此情况下，预先学习输入图像和高分辨率时的主成分之间的关系，利用该结果进行NPC的选择即可。
例如，具备不同的三种高速高分辨率的运动图像群1·2·3，以作为用于学习的运动图像。依据各个该运动图像群来求出非主成分的矢量NPC1·NPC2·NPC3。另外，依据各个所述运动图像群1·2·3，并利用公式1或公式2的关系式，来求出高速低分辨率运动图像群HL1·HL2·HL3和高速高分辨率运动图像群HH1、HH2、HH3。
在此，应该学***均图像的组，保持(学***均图像的组和非主成分的种类之间的对应关系。
对新的输入图像HL·HH的组求出与平均图像的组之间的差，而在输入图像的复原处理上利用与差最小的平均图像的组相对应的非主成分。
为取代保持平均图像和非主成分的种类之间的关系，而可以预先利用神经网络(Newral Network)等学习方法来求出输出入关系，以高速低分辨率运动图像HL和高速高分辨率运动图像HH为输入、并以与这些HL和HH相对应的非主成分的种类为输出，在学习后将输入图像HL·HH的组输入到神经网络，利用作为输出被获得的种类的非主成分，以作为限制条件。
在此，λpc(x，y，t)与所述λs(x，y，t)相同，也是指定限制条件在时间上和空间上的分布的系数，在后述的步骤604利用运动的可靠度来决定。
其次，在步骤602，运动检测部103，依据高速低分辨率运动图像来计算图像中的运动和其运动的可靠度。在此，在从高速图像输入部101a获得的运动图像的各个帧图像的各个位置，运动分布计算部103a求出被摄物体的运动的朝向和大小(运动检测)，并求出运动的朝向和大小在时间上和空间上的分布。
并且，此时，运动可靠度分布计算部103b，求出运动检测的可靠度在时间上和空间上的分布conf(x，y，t)。在此情况下，运动检测的可靠度意味着，可靠度越高，运动检测的结果就越正确，在可靠度低的情况下运动检测的结果有错误。
对于在相邻的二个帧图像间的图像上的各个位置的运动的求出方法，例如可以利用以下的方法：P.ANANDAN，＂Computational Frameworkand an Algorithm for the Measurement of Visual Motion＂A，IJCV，2，283-310(1989)(非专利文献1)中所利用的方法；对运动图像编码一般所利用的运动检测方法；或对利用图像的移动物体追踪等所利用的特征点追踪方法等。
并且，可以利用检测图像整体的全局运动(仿射运动等)的普通方法，或可以利用Lihi Zelkik-Manor，＂Multi-body Segmentation：RevisitingMotion Consistency＂，ECCV(2002)(非专利文献2)等方法，按多个区域进行运动检测，将其作为在各个图像位置的运动。
对于可靠度的求出方法，可以利用所述(非专利文献1)中记载的方法，在利用块匹配检测运动的情况下，如公式10，也可以利用将与运动相对应的块之间的像素值的差的平方和从差的平方和的取值的最大值SSDmax中减去的值、即利用使块之间的像素值的差的平方和的符号反转的值conf(x，y，t)，以作为可靠度。
并且，在利用图像的全局运动检测或按每个区域的运动检测的情况下，也可以利用将各个像素位置的运动的起点邻近区域和终点邻近区域之间的像素值的差的平方和从平方和的取值的最大值SSDmax中减去的值conf(x，y，t)，以作为可靠度。
(公式10)
Figure A200780024971D00221
在公式10中，位置(x′，y′，t+1)是一种像素位置，相当于作为运动检测的结果获得的像素位置(x，y，t)的移动目标。并且，公式10的∑表示用于块匹配的块区域内的加法运算。
而且，在所述说明中，利用从高速图像输入部101a获得的图像进行运动检测和可靠度的计算，但是，也可以对从低速图像输入部101b获得的图像进行运动检测和可靠度的计算，从而进行同样的运动检测处理。
并且，也可以利用检测摄像设备的姿态的变化的传感器的信息(被输入到传感器输入部103c的信号)，以作为输入。在此情况下，摄像装置10包括加速度传感器或角加速度传感器，通过传感器输入部103c获得速度或角速度以作为加速度的积分值，从而运动分布计算部103a，可以依据传感器输入部103c所输入的信息，来获得因如手抖动之类的摄像机的姿态变化而引起的图像整体的运动的信息。
例如，在作为图像输入部101利用摄像机的情况下，通过使该摄像机包括水平方向和垂直方向的角加速度传感器，从而可以依据该传感器的输出来获得水平方向和垂直方向的角加速度，以作为在各个时刻的姿态测量值。若以时间来积分加速度值，则可以计算各个时刻的角速度。
在摄像机在时刻t以水平方向带有ωh的角速度、且以垂直方向带有ωv的角速度的情况下，可以使摄像机的角速度与因摄像机的朝向而引起的摄像元件上(拍摄图像上)的位置(x，y)的、在时刻t的图像的二维运动(u，v)唯一地对应。一般而言，可以依据摄像机的光学***(透镜等)的特性(焦点距离或透镜失真等)、光学***与摄像元件的配置、或摄像元件的像素间隔，来决定摄像机的角速度和摄像元件上的图像的运动之间的对应关系。
为了实际进行计算，可以依据光学***的特性、光学***与摄像元件的配置、或像素间隔来进行几何学计算和光学计算后获得对应关系，或者，预先保持对应关系以作为表，从而依据摄像机的角速度ωh·ωv来参考摄像元件上(x，y)的图像的速度(u，v)。
利用了这些传感器的运动信息，也可以与从图像获得的运动检测的结果一起被利用。在此情况下，运动分布计算部103a，对图像整体的运动检测主要利用传感器的信息，对图像内的对象的运动利用从图像获得的运动检测的结果即可。
其次，在步骤603，运动限制指定部104c指定运动检测部103求出的运动检测结果和目标高速高分辨率运动图像之间的关系。利用图10(a)以及图10(b)说明以低分辨率图像来求出的运动检测结果和高速高分辨率运动图像之间的关系。
图10(a)和图10(b)，分别表示高速图像的相邻的帧图像(帧编号t和t+1)。为了便于说明，以低分辨率图像中的三个像素×三个像素的区域来进行说明。在此，进一步将低分辨率图像的一个像素分割为三个像素×三个像素的区域表示高分辨率图像的像素。而且，在图10(a)和图10(b)中，只示出为了说明需要的高分辨率像素。
在此设想，运动检测部103进行的运动检测的结果为，图10(a)的粗线501的低分辨率像素位置与图10(b)的像素位置502相对应(框501的图像移动到框502)。在此，在一般的情况下，在如上所述的运动检测方法中，可以以比像素大小小的单位来计算运动的朝向或大小。
因此，利用低分辨率图像的运动检测的结果，来计算如图10(b)与低分辨率像素位置不一致的高分辨率图像的像素单位的运动，从而可以获得对高速高分辨率的像素的公式11的关系。
设想，利用该运动检测的结果，对于粗线的框内(501，502)的高速高分辨率运动图像的各个像素值成立公式11的关系。
(公式11)
HH(x，y，t)＝HH(x+u(x，y，t)，y+v(x，y，t)，t+1)
在此，u(x，y，t)和v(x，y，t)表示检测结果，并且，在图10(a)的粗线的黑框(501)内的位置(x，y，t)移动到图10(b)的粗线的黑框(502)内的位置的运动中，将x方向的移动量表示为u(x，y，t)，将y方向的移动量表示为v(x，y，t)。在所述的例子中，以高速低分辨率运动图像来进行运动检测，但是，也可以同样利用以低速高分辨率运动图像来进行运动检测的结果。在利用高分辨率图像的情况下，虽然求出运动检测的帧的时间间隔增加，但是帧内建立对应的位置精确度提高。
其次，在步骤604，限制控制部104b决定限制条件的强度在时间上和空间上的分布，限制指定部104e指定对所生成的高速高分辨率运动图像的综合性的限制条件。以下，进行详细说明。
限制指定部104e，利用所述公式1、公式2示出的高速高分辨率运动图像和高速图像、低速图像的像素值的关系；所述公式11示出的运动检测结果和高速高分辨率运动图像的关系；以及所述公式4、公式5、公式6、公式7、公式9等示出的外部模型限制，来指定对目标高速高分辨率运动图像的综合性的限制条件J(HH)。公式12示出综合性的限制条件J的例子。
(公式12)
J＝|HL-HL′|2+|LH-LH′|2+Qs+Qm+Qse+Qte+Qpc
在公式12，右边的第一项是一种限制：表示依据高速高分辨率运动图像利用公式1的关系式来制作出的高速低分辨率运动图像HL′、和实际上被输入到高速图像输入部101a的高速低分辨率运动图像HL之间的差(对应的像素值之间的差的平方和)，第二项是一种限制：表示依据高速高分辨率运动图像并利用公式2的关系式来制作出的低速高分辨率运动图像LH′、和实际上被输入到低速图像输入部101b的低速高分辨率运动图像LH之间的差(对应的像素值之间的差的平方和)的限制。第一项的限制和第二项的限制是一种条件，用于使生成的图像和拍摄的图像之间的亮度值的关系尽量满足所述公式1和公式2的关系，也用于使拍摄图像和生成图像之间的亮度值的矛盾难以产生。
公式12的右边的第三项是外部模型限制条件Qs，也是在利用公式4或公式5的条件的情况下，使生成的图像中在时间上和空间上相邻的像素的亮度值易于具有较近的值的限制。因此，抑制一种图像的生成，该图像的亮度值如噪声那样在时间上和空间上一点一点地变化。公式12的右边的第四项是基于运动检测结果的限制条件Qm，以公式13来举例示出，利用检测结果使运动检测的结果和生成图像之间的矛盾难以产生的限制。
(公式13)
Q m = Σ x = 0 x max - 1 Σ y = 0 y max - 1 Σ t = 0 t max - 1 λ m ( x , y , t ) · { HH ( x + u ( x , y , t ) , y + v ( x , y , t ) , t + 1 ) - HH ( x , y , t ) } 2
在公式13中利用高速高分辨率运动图像中相邻的帧间(t和t+1)的运动u、v来构成限制，但是，也可以利用分离一个帧以上的帧间的检测结果u′、v′来检测如公式14那样分离的帧间的运动，从而设定限制条件。并且，也可以并用如公式13和公式14那样的限制。
(公式14)
Q m = Σ x = 0 x max - 2 Σ y = 0 y max - 2 Σ t = 0 t max - 2 λ m ( x , y , t ) · { HH ( x + u ′ ( x , y , t ) , y + v ′ ( x , y , t ) , t + 2 ) - HH ( x , y , t ) } 2
通过利用以不同帧间隔的运动检测，从而可以检测如慢运动那样的、以少的帧间隔难以检测的运动，并将其反映到图像的生成。
公式12的右边的第五项是示出边缘在时间上的连续性的限制条件，公式12的右边的第六项是示出边缘在空间上的连续性的限制条件，公式12的右边的第七项是抑制生成图像的非主成分的限制条件。
在此，λs、λm、λse、λte、λpc是决定限制条件的强度在时间上和空间上的分布的系数，由限制控制部104b决定。假设，将在步骤602中运动可靠度分布计算部103b求出的运动检测的可靠度为conf(x，y，t)(>0)，若值大，则运动检测的可靠度也高。
对于λs、λm、λse、λte、λpc的决定方法的例子，以α为预定的常数，在满足conf(x，y，t)>α的情况下，如λm(x，y，t)＝1.0那样使运动限制为有效，将其它限制条件设定为在坐标(x，y，t)预先设定的小的值ε(<1.0)，在conf(x，y，t)≦α的情况下，λm(x，y，t)＝0.0，其他的λ为1.0。即，在运动检测部103中，在以将构成运动图像的各个图像分割的块为单位检测运动时，计算将块之间的像素值的差的平方和从所述平方和的取值的值的最大值中减去的值，以作为运动检测的可靠度conf(x，y，t)，并且，在图像合并部104中，将其差比预定的值α大的块作为可靠度高的图像区域，将其差为预定的值α以下的块作为可靠度低的图像区域，对于可靠度高的图像区域利用运动检测的结果生成新的图像，对于可靠度低的图像区域利用外部模型限制条件生成新的图像。
对于λ的其他的决定方法，可以利用某种单调增加函数连续定义，以成为λm(x，y，t)＝g(conf(x，y，t))，其他的λ的(x，y，t)中的值为g(conf_max)—g(conf(x，y，t))。在此，conf_max是可靠度的取值的最大值。如此，在运动检测的可靠度高时注重运动限制，在可靠度低时使外部模式限制的比率增加，从而在不能进行准确的运动检测的位置，也可以抑制图像的劣化、提高时间和空间分辨率。并且，在所述说明中，作为外部模式限制同时利用多个限制，但是，还增加并利用其它的限制，或只利用一部分的限制，也可以获得同样的本发明的效果。
其次，在步骤605，合并处理部104a求出使限制条件J为最小的高速高分辨率运动图像。对于使限制条件J为最小的高速高分辨率运动图像的求出方法，例如，可以解开公式15的方程式来求出，或可以进行利用最速下降法等的迭代法来求出，在所述公式15中以高速高分辨率运动图像的各个像素值来微分限制条件J的算式为0。最后，在步骤606，合并处理部104a输出生成的高速高分辨率图像。
(公式15)
&PartialD; J &PartialD; HH ( x , y , t ) = 0
利用图11到图16进一步说明输入图像的组和输出图像的具体例子。
在此，为了易于说明，利用六个像素×六个像素×四个帧的运动图像进行说明。可以设想该运动图像是大的图像或帧数大的运动图像的一部分。
在此，图11(a)～(d)示出，在假设以高信噪比且高速高分辨率来能够拍摄暗淡且运动的对象时的图像。图11(a)～(d)的影像是本来通过拍摄也不能获得的影像，但是为了说明而示出的。在图11(a)～(d)中，按时间顺序排列四个帧，存在静止状态的被摄物体1401和移动状态的被摄物体1402。
图12(a)～(d)示出，在以高速高分辨率来拍摄这些被摄物体的情况下的图像。由于被摄物体暗淡，因此成为噪声(图中的斜线的方格)相对多的图像。噪声的发生位置是随机且按每个帧而变化的。
对于这些被摄物体，依据来自被摄物体的光量和摄像元件的温度来决定需要的受光量，决定高速低分辨率运动图像和低速高分辨率运动图像的拍摄条件和限制条件(步骤600)。其次，获得高速低分辨率运动图像和低速高分辨率运动图像(步骤601)。
在图13(a)～(d)中举例示出这些被摄物体的高速低分辨率运动图像(纵横的各个像素数为三分之一的情况)。图13(a)～(d)是与图11(a)～(d)的拍摄时间相对应的帧。在此，以向左斜线来示出黑像素和白像素中间的像素值的像素。帧数与图11(a)～(d)相同，但是，空间分辨率比图11(a)～(d)低。并且，由于图像大小大且受光量增加，因此与图12(a)～(d)相比噪声被抑制。
同样，在图14中举例示出这些被摄物体的低速高分辨率运动图像(帧数为1的情况)。空间分辨率与图11(a)～(d)相同，但是，由于在图11(a)～(d)的帧间曝光，因此被摄物体1402被拍摄为移动轨迹。低速高分辨率运动图像，由于曝光时间长且光量增加，因此与图12(a)～(d)相比噪声被抑制。
其次，运动检测部103依据高速低分辨率运动图像来求出图像中的被摄物体的运动和运动的可靠度(步骤602)。由于图11(a)～(d)的图像示出更大的图像的一部分，因此可以获得对大的图像整体进行的结果中的、与图11(a)～(d)的图像区域有关的结果，以作为运动检测本身。
图15示出可靠度的分布的例子。图15(a)～(d)与图11(a)～(d)的拍摄时间相对应。在图15(b)以及(d)中，向右斜线部分示出运动检测的可靠度低的部分，其它的区域(白以及黑像素)示出运动检测的可靠度高的部分。在此，白和黑的像素表示与被摄物体之间的关系，并没有依据可靠度的区别。并且，对静止状态的被摄物体或背景进行的运动检测的结果是，运动量为0。
在如图11(a)～(d)的被摄物体的情况下，在被摄物体1401与1402的二个被摄物体相接近的部分难以进行准确的运动检测。限制控制部104b，依据利用运动检测结果的限制的设定(步骤603)和对运动的可靠度低的位置的外部限制条件来设定综合性的限制条件(步骤604)，合并处理部104a，利用该限制条件生成并输出高速高分辨率运动图像(步骤605，606)。
图16示出生成的图像的例子。图16(a)～(d)与图11(a)～(d)的拍摄时间相对应。利用使受光量增加而相对抑制了噪声成分的输入图像(图13(a)～(d)，图14)，从而可以获得与图12(a)～(d)不同的、噪声和运动模糊被抑制的高速高分辨率图像。
虽然在二个被摄物体相接近的帧图16(b)、(c)中像素值为中间值，但是可以获得接近图11(b)、(c)的影像的影像，该图11(b)、(c)的影像是本来通过拍摄也不能获得的。
为了进行对比，在图17(a)～(d)中举例示出在只利用运动检测的结果、而不利用运动的可靠度或外部限制条件的情况下的生成图像。在图17(b)、(c)的帧的图像的右上方，由于不能进行准确的运动检测，因此不能生成正确的图像。
与图17(b)、(c)的结果不同，在图16(b)、(c)的结果中，由于在图15(b)、(c)的右上方的区域不能进行准确的运动检测，因此，合并处理部104a，依据外部限制条件，并利用与图像的其它的位置、其他的帧之间的像素值的连续性(公式4，公式5等)、边缘的连续性(公式6，公式7等)或运动图像的主成分的倾向(公式9等)，从而可以生成高速高分辨率运动图像，以作为理想的图像。
如本发明，对于低速高分辨率图像，若进行长时间曝光，则在高分辨率图像的摄像元件的受光部可以蓄积充分的光量，也可以获得摄像元件本身发生的热噪声的影响相对小的图像。通过利用依据该图像以及由高速低分辨率图像(由于可以使受光部的面积比高分辨率图像相对大，因此不易接受热噪声的影响)来获得的亮度或运动的信息来生成高速高分辨率图像，从而可以获得独特效果，即在被摄物体暗淡且移动的情况下也可以容易获得噪声少的图像。
在所述例子中，图像合并部104只输出生成图像，但是，也可以将图像生成的可靠度与生成图像一起输出。图像生成的可靠度γ是预测生成的图像准确地被高速高分辨率化的程度的值。对于γ的决定方法，可以利用以下的公式16所示的运动的可靠度的总和、或有效的限制条件数N和应该求出的运动图像的总像素数M(等于帧数×一个帧图像的像素数)之间的比率N/M等。
(公式16)
&gamma; = &Sigma; x = 0 X max &Sigma; y = 0 Y max &Sigma; t = 0 T max conf ( x , y , t )
在此，成为N＝Nh+Nl+Nλ×C，Nh是高速图像的总像素数(帧数×一个帧图像的像素数)，Nl是低速图像的总像素数，Nλ是使外部限制条件为有效的时间和空间位置(x，y，t)的总数，C是外部限制的种类数。而且，在以联立一次方程式来解开公式15等方程式的情况下，可以利用Cline，A.K.，Moler，C.B.，Stewart，G.W.and Wilkinson，J.H.，＂An Estimatefor the Condition Number of a Matrix＂，SIAM J.Num.Anal.16(1979)，368-375.(非专利文献3)等中记载的示出解的计算的稳定性的条件数，以作为可靠度。在运动的可靠度高的情况下，可以期待利用运动限制的生成图像的可靠度也高。并且，在针对所生成的运动图像的总像素数而有效的限制条件多的情况下，可以稳定地获得作为解的生成图像，也可以期待生成图像的可靠度高。同样，在所述条件数小的情况下，由于可以期待解的误差小，因此也可以期待生成图像的可靠度高。
如此，通过输出生成图像的可靠度，在对输出的运动图像进行MPEG等的压缩编码时，在可靠度低的情况下可以将压缩率设定为高，反而在可靠度高的情况下可以将压缩率设定为低，从而可以设定适当的压缩率。例如，将生成图像的可靠度γ和编码的压缩率δ之间的关系设定为如图18的单调增加的关系，以与生成的运动图像的可靠度γ的值相对应的压缩率δ来进行编码。在生成图像的可靠度γ低的情况下，由于生成图像有可能包含误差，因此即使提高压缩率也可以期待实际上很小产生信息的欠缺，且可以高效率地减少数据量。在此，压缩率是指，对原来的图像的数据量的、编码后的数据量的比率，压缩率越高(大的值)，就编码后的数据量越小、解码后的画质越降低。
同样，在MPEG等情况下，通过将所述可靠度高的帧优先地作为I帧等帧内编码的对象、将其它的帧作为帧间编码的对象，从而可以使运动图像的再生时的快进或暂停时等的画质提高。例如，预先按每个帧求出所述生成图像的可靠度，并将其设定为γ(t)。t是帧时刻。在连续的多个帧中选择进行帧内编码的帧时，从γ(t)比预定的阈值γth大的帧中选择，或选择预定的连续帧区间中γ(t)最大的帧。
而且，与对输出运动图像进行的编码处理的有无无关，可以获得本发明的效果。
并且，在所述的例子中，作为像素值只以单一亮度为前提进行了说明，但是，通过对以RGB颜色来表示的R、G、B的各个成分分别进行与对亮度的所述的处理相同的处理，来获得高速高分辨率运动图像，从而对于彩色图像也可以生成高速高分辨率运动图像。并且，对于更简单地处理颜色信息的方法，将低速图像分解为亮度和色差，以所述的处理来只将亮度图像变为高速高分辨率化，而将色差信息内插并扩大后附加给所述高速高分辨率的亮度图像，从而也可以获得效果。在此情况下，由于在亮度中包含图像的信息的主成分，在其它的色差的信息被内插并扩大的情况下，通过将两者合在一起，从而可以获得与输入了的图像相比高速高分辨率化了的运动图像，与对R、G、B分别进行处理的情况相比可以减少处理量。
图19示出对这些彩色图像的处理的顺序。在步骤2101，将高速低分辨率运动图像分离为亮度图像和色差图像，接着，在步骤2102，利用所述亮度图像和低速高分辨率运动图像的亮度图像，并根据图4的顺序，从而生成高速高分辨率运动图像。在步骤2103，将所述色差图像内插并扩大为与高分辨率图像相同的像素数。在步骤2104，合成所述生成亮度图像和所述内插并扩大的色差图像，从而生成高速高分辨率的彩色图像。如此，图像合并部104，从高速低分辨率运动图像中抽出色差信息，依据高速低分辨率运动图像的亮度信息和低速高分辨率运动图像来生成中间的新的运动图像，向生成的中间运动图像附加色差信息来生成最后的新的运动图像，从而可以以少的处理量来合并彩色运动图像。
如上所述，根据本实施例的图像生成***100，按照运动检测部103求出了的运动的可靠度，限制控制部104b决定使外部模型限制条件和运动限制条件为有效的程度，利用所述限制条件来合并高速图像和低速图像，从而在不能进行运动检测的情况、或在运动检测的精确度低的图像区域，也可以获得高速高分辨率的运动图像。
而且，在本实施例中，说明了总括处理运动图像整体的例子，但是，将运动图像在时间上和空间上分割为多个区域，在所述各个区域进行与所述的处理相同的处理来生成高速高分辨率的部分运动图像后，将生成的所述各个部分运动图像在时间上和空间上接合，从而也可以获得运动图像整体的高速高分辨率的运动图像。如此，通过在时间上和空间上进行分割处理，从而可以抑制对像素数多的图像或帧数多的运动图像进行处理时需要的计算处理量或存储量。特别是，通过在时间方向分割运动图像，从而也可以缩短因总括处理已经输入过的多个帧而导致的图像生成的时间延迟。
并且，在进行如上所述的分割处理时，可以设定各个区域，以使相邻的时间和空间区域在分割边界附近重叠。
在图20中示出进行区域分割，并使区域在空间上重叠的例子。在图20中将图像分割为区域701～704的四个区域，并使其在空间上重叠。在生成相当于各个区域的运动图像后，对重叠部分的像素值以重叠的各个区域的像素值来进行加权加法平均，从而可以进行平滑的接合。并且，可以进行与图20相同的区域分割，并使其在时间方向重叠。
如此，通过使区域重叠，从而可以抑制在区域分割处理中相邻的区域间的处理结果的不连续性。
而且，在允许这些重叠的分割处理中，预先决定重叠区域的大小。通过使重叠区域的大小变大，从而使在处理区域间的处理结果的不连续性降低的效果增大。若使重叠区域的大小变小，则可以抑制因重叠而增加的计算量。
并且，对于进行如上所述的区域分割时的时间方向的区域边界，也可以预先计算运动图像的帧间的图像的变化，而在帧间的图像的变化比预定的基准大的帧间设定在时间上的区域边界。例如，定义如公式17的值SSD(t)，以作为相邻的帧图像的差，在满足SSD(t)>th的情况下，将时刻t的帧和时刻t+1的帧之间作为处理的边界，来分别进行时刻t以前的序列和时刻t+1以后的序列的处理。
(公式17)
SSD ( t ) = &Sigma; x = 0 X max &Sigma; y = 0 Y max { I ( x , y , t ) - I ( x , y , t + 1 ) } 2
在此，I(x，y，t)示出在时刻t的帧图像中的位置(x，y)的亮度，th是预定的阈值。并且，也可以不是以阈值th为基准来决定处理的划分，而是将在希望设定处理的划分的、时间区域的序列中所述SSD(t)为最大的时刻t作为处理的划分。据此，可以期待以下的效果：在时间上相邻的区域间的处理结果的不连续性对帧间的图像的变化相对变小，从而难以察觉不连续性。
而且，在所述的例子中，示出了生成与高速低分辨率图像的帧率相同的帧率的、且与低速高分辨率图像相同的像素数的图像的例子，但是，利用同样处理，也可以生成比高速低分辨率图像的帧率更高的帧率的图像，或可以生成比低速高分辨率图像更多的像素数的图像。
例如，在生成高速低分辨率图像的帧率的n倍(例如，2倍)的帧率的图像的情况下，不利用公式1和公式2，而利用公式18和公式19进行同样的处理即可。
(公式18)
HL ( x L , y L , t HL ) = &Sigma; t = 0 1 &Sigma; x = 0 2 &Sigma; y = 0 2 HH ( x , y , t )
(公式19)
LH ( x , y , t L ) = &Sigma; t = 0 7 G ( t ) &CenterDot; HH ( x , y , t )
在此，x，y，t表示所生成的图像的xy坐标和帧编号，tL表示低速高分辨率图像的帧编号，xL，yL，tHL表示高速低分辨率图像的xy坐标和帧编号。
公式18示出，与公式1相同将HH图像在空间方向(xy方向)加上，还在时间方向加上二个帧，从而可以获得高速低分辨率图像的像素值。在公式19中要加上的帧数为公式2的2倍。
对于运动检测，利用以高速低分辨率图像进行运动检测后获得的运动的xy方向的大小和运动检测的可靠度u(xL，yL，tHL)、v(xL，yL，tHL)以及conf(xL，yL，tHL)，生成u(x，y，t)、v(x，y，t)以及conf(x，y，t)。
在此，u(x，y，t)、v(x，y，t)以及conf(x，y，t)是通过时间和空间内插并扩大的方法来分别计算的，该方法中将u(xL，yL，tHL)、v(xL，yL，tHL)以及conf(xL，yL，tHL)在时间方向扩大n倍(例如，2倍)、在空间方向扩大m倍(例如，3倍)。
特别是，在以像素数来表示u(x，y，t)、v(x，y，t)的值的情况下，利用通过时间和空间内插并扩大u(xL，yL，tHL)、v(xL，yL，tHL)来获得的值的m/n倍的值即可。这是因为，由于帧间隔为l/n倍，因此，若对于被摄物体的运动假定为等速运动，则运动的大小也为l/n倍，并且，由于一个帧的像素数在xy方向分别为m倍，因此用于表示相同大小的运动的值为m倍的缘故。
并且，在生成低速高分辨率图像的纵横的像素数都为n′倍(例如，2倍)的像素数的图像的情况下，不利用公式1和公式2，而利用公式20和公式21进行同样的处理即可。
(公式20)
HL ( x L , y L , t ) = &Sigma; x = 0 5 &Sigma; y = 0 5 HH ( x , y , t )
(公式21)
HL ( x LH , y LH , t L ) = &Sigma; t = 0 3 { G ( t ) &CenterDot; &Sigma; x = 0 1 &Sigma; y = 0 1 HH ( x , y , t ) }
在此，x和y示出所生成的图像的像素的xy坐标，xLH和yLH示出低速高分辨率图像的像素的xy坐标，xL和yL示出高速低分辨率图像的xy坐标。与公式1相比，在公式20中要加上的xy方向的像素数分别为2倍。公式21示出，除了进行与公式2相同的时间方向的加法运算以外，还进行xy方向的加法运算，从而可以获得低速高分辨率的像素值。
对于运动检测，利用以高速低分辨率图像进行运动检测后获得的运动的xy方向的大小和运动检测的可靠度u(xL，yL，t)、v(xL，yL，t)、conf(xL，yL，t)，生成u(x，y，t)、v(x，y，t)、conf(x，y，t)。
在此，conf(x，y，t)、u(x，y，t)以及v(x，y，t)是通过空间内插并扩大的方法来分别计算的，该方法中将conf(xL，yL，t)、u(xL，yL，t)以及v(xL，yL，t)在空间方向扩大n′×m倍。
特别是，在以像素数来表示u(x，y，t)、v(x，y，t)的值的情况下，利用通过空间内插并扩大u(xL，yL，t)、v(xL，yL，t)来获得的值的n′×m倍的值即可。这是因为，一个帧的像素数在xy方向分别为n′×m倍，而用于表示大小相同的运动的值为n′×m倍的缘故。
并且，通过组合利用所述的公式18、公式19的处理、和利用公式20，公式21的处理，从而也可以容易生成一种图像，该图像的帧率比高速低分辨率图像的帧率高，并且该图像的像素数比低速高分辨率图像大。
以上，根据实施例说明了本发明涉及的图像生成装置，但是，本发明不仅限于此实施例。对实施例进行本领域的技术人员可以想到的变形而获得的方式，也包含在本发明中。
例如，在图4的流程图的步骤600，由光量传感器105a获得的来自被摄物体的受光量超过以比运动图像所需要的帧间隔短的曝光时间来可以拍摄低速高分辨率运动图像的光量的情况下，可以在图5的流程图的步骤655使低速高分辨率图像的帧率提高，并只输入以短的曝光时间来拍摄的低速高分辨率运动图像，从而生成目标高速高分辨率运动图像。
在此情况下，将公式12的综合性的限制条件J中的第1项|HL—HL′|2设定为0来进行所述的处理，从而可以获得目标高速高分辨率运动图像。
同样，在由光量传感器105a获得的来自被摄物体的受光量超过以最小的像素大小来可以拍摄高速低分辨率运动图像的光量的情况下，可以只输入以最小的像素大小来拍摄的高速低分辨率运动图像，从而生成目标高速高分辨率运动图像。
在此情况下，将公式12的综合性的限制条件J中的第2项|LH—LH′|2设定为0来进行所述的处理，从而可以获得作为的高速高分辨率运动图像。在利用该限制条件J的情况下，通过使所述高速低分辨率运动图像的各个像素、和处于与所述各个像素相对应的位置的所述高速高分辨率运动图像的像素的合计之间的误差减少，从而生成所述高速高分辨率运动图像。
但是，在低光量时不言而喻，还在有来自被摄物体的充分的受光量、而以短的曝光时间可以拍摄低速高分辨率图像的情况下，或者，在以最小的像素大小可以拍摄高速低分辨率图像的情况下，也可以利用低速高分辨率图像以及高速低分辨率图像的两者，从而生成高速高分辨率图像。在此情况下，也可以生成一种高速高分辨率图像，该高速高分辨率图像具有的每个单位时间的总像素数超过每个单位时间的总输入像素数。
因此，尤其在摄像***中图像的输入以及记录工作的处理速度被限制的情况下，通过利用本发明的图像生成装置，从而可以获得一种效果，即，无论光量多还是少都可以获得高分辨率且高帧率的图像。
而且，在光量过多的情况下，或为了调整景深，可以与普通拍摄***相同进行利用机械性的光圈机构的光量调节后，进行图4、图5的流程图示出的工作。
并且，在实施例中说明了，合并处理部104a，根据限制指定部104e所指定的公式12的综合性的限制条件J，使输入的静止图像(低速高分辨率图像的帧之一)、和在该静止图像的曝光期间的目标高速高分辨率运动图像的多个帧的合计之间的误差(公式12的右边的第二项)减少，从而生成高速高分辨率运动图像。
在此，也可以不利用合计，而利用平均，该平均是对合计处于常数倍的关系的、实际上与合计等价的信息。即，使静止图像、和在该静止图像的曝光期间的目标高速高分辨率运动图像的多个帧的平均之间的误差减少，从而生成高速高分辨率运动图像，这些结构也包含在本发明中。
并且，可以使专用设备进行本发明的图像生成装置进行的图像生成处理的一部分或全部，也可以通过使计算机终端装置、被配置在基地电台等的通信设备或在独立的计算机内置的CPU执行图像生成处理程序，从而进行图像生成处理。
并且，利用图2所示的图像生成***100的结构中删除了显示装置40的结构，以作为如图21示出的摄像机300、即作为单体的装置，也可以实现本发明。
再者，向图21所示的摄像机300附加显示装置40，以作为具有运动图像录像、播放功能的摄像机，也可以实现本发明。
并且，利用图2所示的图像生成***100的结构中删除了摄像装置10的结构，以作为如图22示出的电视机等显示设备400，也可以实现本发明。在此情况下，可以使预先已录像的运动图像的时间和空间分辨率提高来进行显示。
而且，如下示出权利要求书和实施例的构成要素的对应关系。即，权利要求书中的“图像输入单元”、“运动检测单元”、“外部模型限制单元”、“图像合并单元”、“拍摄条件决定单元”的一个例子分别是，实施例中的图像输入部101、运动检测部103、外部模型限制部104d、图像合并部104、受光量决定部105。但是，权利要求书中的各个构成要素，不仅限于这些实施例中的对应的构成要素，而也包含其等价的物体。
本发明，可以利用于依据多个运动图像来生成新的运动图像的图像生成装置，尤其可以利用于依据高速低分辨率运动图像和低速高分辨率运动图像来生成高速高分辨率运动图像的图像生成装置、编入了这些装置的影像设备或***、影像合成装置、影像编辑装置、图像复原装置、图像复原程序等。

Claims (9)

1、一种图像生成装置，依据通过拍摄同一事物而获得的原运动图像和静止图像，来生成表示所述事物的新的运动图像，其特征在于，包括：
图像输入单元，接受所述原运动图像和所述静止图像；以及
图像合并单元，依据接受了的所述原运动图像和所述静止图像，来生成帧率在所述原运动图像的帧率以上、且各个帧的分辨率在所述静止图像的分辨率以上的新的运动图像，该新的运动图像是通过使所述静止图像和在所述静止图像的曝光期间的所述新的运动图像的多个帧的合计之间的误差减少来生成的；
所述原运动图像的分辨率比所述静止图像的分辨率低，并且，所述原运动图像的帧间隔比所述静止图像的曝光时间短。
2、如权利要求1所述的图像生成装置，其特征在于，
还包括拍摄条件决定单元，测量来自被摄物体的受光量，按照所测量的受光量来决定用于拍摄所述原运动图像的拍摄条件以及用于拍摄所述静止图像的拍摄条件中的至少一方，
所述图像输入单元，根据所述拍摄条件决定单元所决定的拍摄条件来拍摄所述被摄物体，从而接受所述原运动图像和所述静止图像，
所述拍摄条件决定单元，
将所测量的受光量越少则越变大的面积决定为用于拍摄所述原运动图像的一个像素的摄像元件的面积，或者，
将所测量的受光量越少则越变长的时间决定为用于拍摄所述静止图像的曝光时间。
3、如权利要求2所述的图像生成装置，其特征在于，
所述拍摄条件决定单元，进一步，测量温度，
将所测量的温度越高则越变大的面积决定为用于拍摄所述原运动图像的一个像素的摄像元件的面积，或者，
将所述测量的温度越高则越变长的时间决定为用于拍摄所述静止图像的曝光时间。
4、如权利要求2所述的图像生成装置，其特征在于，
还包括限制单元，指定所生成的新的运动图像的像素值依据在时间上和空间上相邻的像素的像素值的连续性来应该满足的限制条件，
所述图像合并单元，在维持所指定的所述限制条件的状态下，生成所述新的运动图像。
5、如权利要求2所述的图像生成装置，其特征在于，还包括：
运动检测单元，依据所述图像输入单元接受的所述原运动图像来检测对象物体的运动；以及
限制单元，指定所生成的新的运动图像的像素值根据所述运动检测结果来应该满足的限制条件，
所述图像合并单元，在维持所指定的所述限制条件的状态下，生成所述新的运动图像。
6、如权利要求2所述的图像生成装置，其特征在于，
所述静止图像是其它的运动图像之中的一个帧，所述其它的运动图像的帧率比所述原运动图像的帧率低、且分辨率比所述原运动图像的分辨率高。
7、如权利要求1所述的图像生成装置，其特征在于，
所述图像输入单元，在来自所述被摄物体的受光量超过规定的阈值的情况下，只接受所述原运动图像以及所述静止图像中的一方，
所述图像合并单元，在所述图像输入单元只接受所述原运动图像的情况下，通过使所述原运动图像的各个像素、和位于与所述各个像素相对应的位置的所述新的运动图像的像素的合计之间的误差减少，从而生成所述新的运动图像。
8、一种图像生成方法，依据原运动图像、和以比所述原运动图像的各个帧的分辨率高的分辨率来拍摄与所述原运动图像相同的被摄物体的静止图像，来生成表示所述被摄物体的新的运动图像，其特征在于，包括：
拍摄条件决定步骤，测量来自被摄物体的受光量，按照所测量的受光量来决定用于拍摄所述原运动图像的拍摄条件以及用于拍摄所述静止图像的拍摄条件中的至少一方；
图像输入步骤，根据在所述拍摄条件决定步骤决定的拍摄条件来拍摄所述被摄物体，从而接受所述原运动图像和所述静止图像；以及
图像合并步骤，依据接受了的所述原运动图像和所述静止图像，来生成帧率在所述原运动图像的帧率以上、且各个帧的分辨率在所述静止图像的分辨率以上的新的运动图像，该新的运动图像是通过使所述静止图像和在所述静止图像的曝光期间的所述新的运动图像的多个帧的合计之间的误差减少来生成的；
在所述拍摄条件决定步骤，
将所测量的受光量越少则越变大的面积决定为用于拍摄所述原运动图像的一个像素的摄像元件的面积，或者，
将比所述运动图像的帧间隔长的、且所测量的受光量越少则越变长的时间决定为用于拍摄所述静止图像的曝光时间。
9、一种程序，用于依据原运动图像、和以比所述原运动图像的各个帧的分辨率高的分辨率来拍摄与所述原运动图像相同的被摄物体的静止图像，来生成表示所述被摄物体的新的运动图像，其特征在于，
使计算机执行权利要求8所述的图像生成方法中包含的步骤。
CN2007800249718A 2006-10-19 2007-10-11 图像生成装置以及图像生成方法 Expired - Fee Related CN101485193B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006285481 2006-10-19
JP285481/2006 2006-10-19
PCT/JP2007/069821 WO2008047664A1 (fr) 2006-10-19 2007-10-11 Dispositif de création d'image et procédé de création d'image

Publications (2)

Publication Number Publication Date
CN101485193A true CN101485193A (zh) 2009-07-15
CN101485193B CN101485193B (zh) 2012-04-18

Family

ID=39313902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800249718A Expired - Fee Related CN101485193B (zh) 2006-10-19 2007-10-11 图像生成装置以及图像生成方法

Country Status (4)

Country Link
US (1) US8094717B2 (zh)
JP (1) JP4215267B2 (zh)
CN (1) CN101485193B (zh)
WO (1) WO2008047664A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102450019A (zh) * 2010-01-07 2012-05-09 松下电器产业株式会社 图像处理装置、图像生成***、方法及程序
CN102801919A (zh) * 2011-05-27 2012-11-28 佳能株式会社 摄像设备及其控制方法
CN103905708A (zh) * 2012-12-24 2014-07-02 联想(北京)有限公司 一种拍摄帧率调整方法及电子设备
CN105681645A (zh) * 2015-11-06 2016-06-15 乐视移动智能信息技术（北京）有限公司 防抖拍照方法、装置及移动终端
CN107888832A (zh) * 2017-11-27 2018-04-06 李金平 相机图像实时记录***
CN108784637A (zh) * 2018-06-22 2018-11-13 重庆金山医疗器械有限公司 医用胶囊内窥镜自适应图像帧率调整方法及帧率调整***
CN109842743A (zh) * 2017-11-27 2019-06-04 李金平 一种改善记录到的图像的成像效果的方法
CN109842762A (zh) * 2017-11-29 2019-06-04 李金平 照相机欠光程度分析平台
CN112565622A (zh) * 2016-07-01 2021-03-26 麦克赛尔株式会社 拍摄装置

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101485192B (zh) * 2006-10-30 2011-05-18 松下电器产业株式会社 图像生成装置以及图像生成方法
JP4356777B2 (ja) * 2007-06-18 2009-11-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
KR20100105576A (ko) * 2007-12-04 2010-09-29 지이 헬쓰케어 리미티드 영상 분석
JP2009290827A (ja) * 2008-06-02 2009-12-10 Sony Corp 画像処理装置および画像処理方法
EP2312858B1 (en) * 2008-06-18 2012-09-26 Panasonic Corporation Image processing apparatus, imaging apparatus, image processing method, and program
JP5451769B2 (ja) * 2008-11-21 2014-03-26 コーニンクレッカ フィリップス エヌ ヴェ 同じイベントの動画及び静止画をこのビデオのグローバル運動ベクトルに基づき合併すること
WO2010090025A1 (ja) * 2009-02-05 2010-08-12 パナソニック株式会社 撮像処理装置
WO2012004928A1 (ja) 2010-07-08 2012-01-12 パナソニック株式会社 撮像装置
US8374453B2 (en) * 2010-11-10 2013-02-12 Raytheon Company Integrating image frames
JP5938655B2 (ja) * 2012-01-11 2016-06-22 パナソニックＩｐマネジメント株式会社 再生装置、撮像装置およびプログラム
US9134114B2 (en) * 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
JP6444073B2 (ja) * 2014-06-25 2018-12-26 キヤノン株式会社 画像処理装置
US9973459B2 (en) 2014-08-18 2018-05-15 Nightlight Systems Llc Digital media message generation
US20160048313A1 (en) 2014-08-18 2016-02-18 KnowMe Systems, Inc. Scripted digital media message generation
US20160226806A1 (en) 2014-08-18 2016-08-04 KnowMe Systems, Inc. Digital media messages and files
US10037185B2 (en) 2014-08-18 2018-07-31 Nightlight Systems Llc Digital media message generation
US10038657B2 (en) 2014-08-18 2018-07-31 Nightlight Systems Llc Unscripted digital media message generation
US10362335B2 (en) * 2014-10-03 2019-07-23 José Damián RUIZ COLL Method for improving the quality of an image subjected to recoding
CN104270572A (zh) * 2014-10-21 2015-01-07 深圳市中兴移动通信有限公司 拍摄方法和装置
JP6644371B2 (ja) * 2014-12-17 2020-02-12 マクセル株式会社 映像表示装置
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
EP3286915B1 (en) 2015-04-23 2021-12-08 Apple Inc. Digital viewfinder user interface for multiple cameras
US9716825B1 (en) 2016-06-12 2017-07-25 Apple Inc. User interface for camera effects
US11037330B2 (en) 2017-04-08 2021-06-15 Intel Corporation Low rank matrix compression
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11080835B2 (en) * 2019-01-09 2021-08-03 Disney Enterprises, Inc. Pixel error detection system
JP2020136813A (ja) * 2019-02-15 2020-08-31 ソニーセミコンダクタソリューションズ株式会社 撮像装置
CN111901476B (zh) * 2019-05-06 2022-06-10 苹果公司 用于捕获和管理视觉媒体的用户界面
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
WO2021005608A1 (en) * 2019-07-09 2021-01-14 Voyage81 Real-time image generation in moving scenes
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4244394B2 (ja) 1998-02-17 2009-03-25 富士ゼロックス株式会社 多地点会議システム
WO2000019713A1 (de) * 1998-09-30 2000-04-06 Micronas Munich Gmbh Schaltung zur wandlung einer bildrate
JP2003259184A (ja) 2002-03-06 2003-09-12 Olympus Optical Co Ltd 撮像装置
JP3877651B2 (ja) 2002-07-02 2007-02-07 株式会社モノリス 画像処理方法と装置
CN1692631B (zh) * 2002-12-06 2010-04-28 卡西欧计算机株式会社 图像拾取设备
CN100351868C (zh) * 2003-04-17 2007-11-28 精工爱普生株式会社 利用多帧图像的静止图像的生成
KR100586883B1 (ko) * 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
JP4453976B2 (ja) 2004-03-30 2010-04-21 正彦 谷内田 画像生成装置、画像データ列生成システム、及び画像伝送システム
US20050219642A1 (en) * 2004-03-30 2005-10-06 Masahiko Yachida Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
US7777790B2 (en) * 2005-01-27 2010-08-17 Technion Research & Development Foundation Ltd. Acquisition of image sequences with enhanced resolution
WO2006137253A1 (ja) 2005-06-22 2006-12-28 Matsushita Electric Industrial Co., Ltd. 画像生成装置および画像生成方法
USD794004S1 (en) 2015-06-30 2017-08-08 Lg Display Co., Ltd. Mobile phone

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102450019A (zh) * 2010-01-07 2012-05-09 松下电器产业株式会社 图像处理装置、图像生成***、方法及程序
CN102450019B (zh) * 2010-01-07 2014-12-10 松下电器产业株式会社 图像处理装置、图像生成***、方法及程序
CN102801919B (zh) * 2011-05-27 2015-11-18 佳能株式会社 摄像设备及其控制方法
CN102801919A (zh) * 2011-05-27 2012-11-28 佳能株式会社 摄像设备及其控制方法
CN103905708B (zh) * 2012-12-24 2017-06-27 联想(北京)有限公司 一种拍摄帧率调整方法及电子设备
CN103905708A (zh) * 2012-12-24 2014-07-02 联想(北京)有限公司 一种拍摄帧率调整方法及电子设备
CN105681645A (zh) * 2015-11-06 2016-06-15 乐视移动智能信息技术（北京）有限公司 防抖拍照方法、装置及移动终端
CN112565622A (zh) * 2016-07-01 2021-03-26 麦克赛尔株式会社 拍摄装置
CN107888832A (zh) * 2017-11-27 2018-04-06 李金平 相机图像实时记录***
CN109842743A (zh) * 2017-11-27 2019-06-04 李金平 一种改善记录到的图像的成像效果的方法
CN109842762A (zh) * 2017-11-29 2019-06-04 李金平 照相机欠光程度分析平台
CN108784637A (zh) * 2018-06-22 2018-11-13 重庆金山医疗器械有限公司 医用胶囊内窥镜自适应图像帧率调整方法及帧率调整***
CN108784637B (zh) * 2018-06-22 2020-05-01 重庆金山科技（集团）有限公司 医用胶囊内窥镜自适应图像帧率调整方法及帧率调整***

Also Published As

Publication number Publication date
US8094717B2 (en) 2012-01-10
JP4215267B2 (ja) 2009-01-28
US20090263044A1 (en) 2009-10-22
JPWO2008047664A1 (ja) 2010-02-25
WO2008047664A1 (fr) 2008-04-24
CN101485193B (zh) 2012-04-18

Similar Documents

Publication Publication Date Title
CN101485193B (zh) 图像生成装置以及图像生成方法
CN101485192B (zh) 图像生成装置以及图像生成方法
US7596177B2 (en) Image generation apparatus and image generation method
CN102726037B (zh) 图像处理装置、摄像装置和图像处理方法
CN100481937C (zh) 一种高动态、超分辨率图像重建装置
US8315474B2 (en) Image processing device and method, and image sensing apparatus
CN102870403B (zh) 图像处理装置、摄像装置以及图像处理方法
CN103503432B (zh) 图像处理装置、图像处理方法
US20120147150A1 (en) Electronic equipment
CN101605209A (zh) 摄像装置及图像再生装置
JP2002112099A (ja) 画像修復装置および画像修復方法
CN101626459A (zh) 图像处理装置及程序
CN101753825A (zh) 摄像装置
CN101753779A (zh) 图像处理装置及摄像装置
CN105407271A (zh) 图像处理设备和方法、摄像设备以及图像生成设备
Chun et al. Suppressing rolling-shutter distortion of CMOS image sensors by motion vector detection
CN102450019A (zh) 图像处理装置、图像生成***、方法及程序
JP4228430B2 (ja) 焦点位置決定方法および装置
JP2007329596A (ja) 画像生成装置および画像生成方法
US20130155272A1 (en) Image processing device, imaging device, and image processing method
JP6827778B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2018050147A (ja) 撮像装置、撮像方法およびプログラム
JP2004056516A (ja) 画像検出方法および装置
JP2003234941A (ja) 撮像装置
JP2024060961A (ja) 画像処理装置、撮像装置、制御方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120418

Termination date: 20191011