CN102450019B - 图像处理装置、图像生成***、方法及程序 - Google Patents

图像处理装置、图像生成***、方法及程序 Download PDF

Info

Publication number
CN102450019B
CN102450019B CN201080023498.3A CN201080023498A CN102450019B CN 102450019 B CN102450019 B CN 102450019B CN 201080023498 A CN201080023498 A CN 201080023498A CN 102450019 B CN102450019 B CN 102450019B
Authority
CN
China
Prior art keywords
image
moving image
pixel
condition
saturated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080023498.3A
Other languages
English (en)
Other versions
CN102450019A (zh
Inventor
今川太郎
吾妻健夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102450019A publication Critical patent/CN102450019A/zh
Application granted granted Critical
Publication of CN102450019B publication Critical patent/CN102450019B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

确保曝光量拍摄的图像中即使产生饱和，也能得到更高分辨率高帧速的图像。图像生成装置根据作为被摄体的第一及第二颜色成分的运动图像的第一及第二运动图像，生成表示该被摄体的新的运动图像。图像生成装置具备：图像取得部，取得分辨率、帧速或曝光时间相互不同的第一及第二运动图像；光量判定部，基于第一及第二运动图像的各帧图像中的各像素的像素值，判定各像素是否产生饱和或曝光不足；和图像处理部，根据第一及第二运动图像，生成它们的帧速以上的帧速、且各帧图像的分辨率为它们的分辨率以上的新的图像。图像处理部对于未判定为产生饱和或曝光不足的像素，生成满足第一条件的新的运动图像，对于判定为产生饱和或曝光不足的像素，生成不满足第一条件的新的运动图像，第一条件表示取得的第一及第二运动图像的像素值与在时空上对应于该像素的新的运动图像的帧图像的像素值的合计的误差比指定值小。

Description

图像处理装置、图像生成***、方法及程序
技术领域
本发明涉及生成运动图像的图像处理，尤其涉及根据在不同拍摄条件下对相同对象进行拍摄得到的多个运动图像生成表示该对象的新的运动图像的图像处理。
背景技术
由于像素的细微化，拍摄元件的多像素化与小型化不断进步，使用小型且廉价的照相机进行高分辨率的拍摄成为可能。作为细微化的结果，各个像素的受光面积减少，因此相对噪声的增加(SN比的降低)成为问题。尤其是，在存在运动的被摄体的静止图像拍摄或运动图像拍摄中，由于无法使曝光时间变长，所以由光量不足造成的SN比降低(画质劣化)的问题变得较为显著。
作为上述问题的对策，考虑通过在受光后电气地进行信号放大，来使光量不足的拍摄图像变亮的方法。但是在该方法中噪声也同时放大，SN比没有得到改善。另一方面，考虑使曝光时间变长以增加受光量的方法。但是，在该方法中，由于被摄体运动而产生运动模糊，无法拍摄清晰的图像。另外，为了增加受光量，若使透镜等光学***变大，则产生成本增加和可携带性降低的问题。
作为在光量不足的条件下取得高分辨率的运动图像的现有装置，有使用对相同对象进行拍摄得到的曝光时间较长的静止图像与运动图像，生成新的运动图像的图像生成装置(例如参照专利文献1)。图26是表示专利文献1中记载的现有的图像生成装置的处理过程的流程图。在图26的步骤A1中，取得对相同情景进行拍摄得到的高速低分辨率运动图像与长时间曝光的低速高分辨率运动图像。在步骤A2中，使低速高分辨率运动图像的曝光期间中的新的运动图像的帧的合计与低速高分辨率运动图像的误差减少以生成图像。在步骤A3中输出生成图像。
现有技术文献
专利文献
专利文献1：JP特许第4215267号说明书
发明内容
发明要解决的问题
在上述图像生成装置的结构中，进行长时间曝光的拍摄，因此在对光量较多的被摄体进行拍摄的情况下，有时在该被摄体区域中产生像素饱和。在该饱和像素区域中，本来应得到的图像的帧合计值比饱和像素值大。因此，利用现有技术的方法，以所述帧合计值与输入图像的像素值(饱和像素值)的误差较小的方式生成图像，则有时会产生矛盾，生成图像的画质降低，产生亮度误差或伪色。
本发明为了解决现有问题而作，其目的在于在根据利用长时间曝光等确保曝光量并进行拍摄的图像得到高分辨率高帧速图像时，在产生了饱和的情况下也得到高画质的图像。
用于解决问题的手段
本发明的图像生成装置根据作为被摄体的第一颜色成分的运动图像的第一运动图像以及作为所述被摄体的第二颜色成分的运动图像的第二运动图像，生成表示所述被摄体的新的运动图像，该图像生成装置具备：图像取得部，取得分辨率、帧速或曝光时间相互不同的所述第一运动图像以及所述第二运动图像；光量判定部，基于所述第一运动图像以及所述第二运动图像的各帧图像中的各像素的像素值，判定各像素是否产生饱和或曝光不足；以及图像处理部，根据所述第一运动图像以及所述第二运动图像，生成所述第一运动图像以及所述第二运动图像的帧速以上的帧速，并且各帧图像的分辨率为所述第一运动图像以及所述第二运动图像的分辨率以上的新的图像，该图像处理部对于所述光量判定部未判定为产生饱和或曝光不足的像素，生成满足第一条件的新的运动图像，对于所述光量判定部判定为产生饱和或曝光不足的像素，生成不满足所述第一条件的新的运动图像，所述第一条件表示取得的所述第一运动图像以及所述第二运动图像的像素值与在时空上对应于所述像素的所述新的运动图像的帧图像的像素值的合计的误差小于指定值。
所述第一颜色成分可以是红色或蓝色中的至少一者，所述第二颜色成分可以是绿色。
所述光量判定部可以在各像素的光量为预先确定的饱和值以上的情况下判定为产生饱和。
所述光量判定部可以在各像素的光量为预先确定的曝光不足值以下的情况下判定为产生曝光不足。
所述饱和值可以针对所述第一颜色成分以及所述第二颜色成分的每个进行设定。
所述曝光不足值可以针对所述第一颜色成分以及所述第二颜色成分的每个进行设定。
在所述光量判定部判定为像素产生饱和时，所述图像处理部可以减少所述像素的像素值，在所述光量判定部判定为像素产生曝光不足时，所述图像处理部可以增加所述像素的像素值。
所述图像生成装置还可以具备第二条件设定部，设定表示生成的新的运动图像内的时空上相邻的像素的颜色应当连续的关于时空连续性的第二条件；所述图像处理部可以生成满足所述第二条件的新的运动图像。
所述第二条件设定部可以对于所述关于时空连续性的第二条件，针对像素的信号强度以及色彩分别设定所述第二条件。
所述第二条件设定部可以对于设定的所述第二条件，决定在所述新的运动图像的各像素的像素位置处适用的权重，所述第二条件设定部可以降低取得的所述第一运动图像以及所述第二运动图像的空间微分值较大的位置的权重，以设定所述第二条件。
所述第二条件设定部可以使所述像素的色彩的时空连续性与所述像素的信号强度的时空连续性相比权重较大，以设定所述第二条件。
所述第二条件设定部可以在根据取得的所述图像的颜色空间中像素值的离散大小选择的方向、以及垂直于所述方向的方向的每个上，设定所述关于时空连续性的第二条件。
所述第二条件设定部可以将所述光量判定部判定为产生饱和或曝光不足的像素的像素位置处的所述第二条件设定得与未判定为产生饱和或曝光不足的像素的像素位置处的所述第二条件相比较强。
所述图像生成装置还可以具备光量控制部，调整拍摄所述第一运动图像与所述第二运动图像的拍摄装置的曝光量；对所述第一运动图像以及所述第二运动图像的每个，在所述光量判定部判定为各帧图像的相同位置的全部颜色产生饱和时，所述光量控制部减少用于取得一部分颜色成分的运动图像的曝光量。
在光量判定部判定为各帧图像的相同位置的全部颜色产生饱和的情况下，光量控制部可以在至少一个颜色成分的运动图像的拍摄时减少所述拍摄装置的曝光量。
所述图像生成装置还可以具备运动检测部，检测取得的所述图像的运动；以及第三条件设定部，基于所述运动的检测结果，设定表示生成的新的运动图像内的沿着运动矢量的像素值应当一致的第三条件；所述图像处理部可以生成满足所述第三条件的新的运动图像。
所述第三条件设定部可以将对于所述光量判定部判定为饱和或曝光不足的像素位置的所述第三条件设定得与未判定为产生饱和或曝光不足的像素位置处的所述第三条件相比较强。
本发明的图像生成***具备：拍摄装置；存储装置，存储由所述拍摄装置拍摄的图像；以及权利要求1所述的图像生成装置，使用所述存储装置的图像生成所述新的运动图像。
本发明的其他图像生成***具备：上述图像生成装置；以及显示所述图像生成装置生成的所述新的运动图像的显示装置。
所述图像生成装置可以经由存储卡、天线、以及网络中的至少一个取得所述第一图像以及所述第二图像的各信号。
本发明的图像生成方法根据作为被摄体的第一颜色成分的运动图像的第一运动图像以及作为所述被摄体的第二颜色成分的运动图像的第二运动图像，生成表示所述被摄体的新的运动图像，该图像生成方法具备：取得分辨率、帧速或曝光时间相互不同的所述第一运动图像以及所述第二运动图像的步骤；基于所述第一运动图像以及所述第二运动图像的各帧图像中的各像素的像素值，判定各像素是否产生饱和或曝光不足的步骤；以及根据所述第一运动图像以及所述第二运动图像，生成所述第一运动图像以及所述第二运动图像的帧速以上的帧速，并且各帧图像的分辨率为所述第一运动图像以及所述第二运动图像的分辨率以上的新的图像的步骤，该步骤对于在进行判定的所述步骤中未判定为产生饱和或曝光不足的像素，生成满足第一条件的新的运动图像，对于在进行判定的所述步骤中判定为产生饱和或曝光不足的像素，生成不满足所述第一条件的新的运动图像，所述第一条件表示取得的所述第一运动图像以及所述第二运动图像的像素值与在时空上对应于所述像素的所述新的运动图像的帧图像的像素值的合计的误差小于指定值。
本发明的计算机程序由根据作为被摄体的第一颜色成分的运动图像的第一运动图像以及作为所述被摄体的第二颜色成分的运动图像的第二运动图像，生成表示所述被摄体的新的运动图像的图像生成装置的计算机执行，所述计算机程序使所述计算机执行如下步骤：取得分辨率、帧速或曝光时间相互不同的所述第一运动图像以及所述第二运动图像的步骤；基于所述第一运动图像以及所述第二运动图像的各帧图像中的各像素的像素值，判定各像素是否产生饱和或曝光不足的步骤；以及根据所述第一运动图像以及所述第二运动图像，生成所述第一运动图像以及所述第二运动图像的帧速以上的帧速，并且各帧图像的分辨率为所述第一运动图像以及所述第二运动图像的分辨率以上的新的图像的步骤，该步骤对于在进行判定的所述步骤中未判定为产生饱和或曝光不足的像素，生成满足第一条件的新的运动图像，对于在进行判定的所述步骤中判定为产生饱和或曝光不足的像素，生成不满足所述第一条件的新的运动图像，所述第一条件表示取得的所述第一运动图像以及所述第二运动图像的像素值与在时空上对应于所述像素的所述新的运动图像的帧图像的像素值的合计的误差小于指定值。
发明效果
根据本发明的图像生成装置，对由于长时间曝光等发生了饱和的图像区域，允许生成的运动图像的多帧的合计与静止图像的误差，以进行运动图像生成。据此，能够使与饱和区域对应而生成的运动图像高画质化。
附图说明
图1是表示实施方式1的图像生成***100的硬件结构的模块图。
图2是表示图1所示的图像生成装置30的内部结构的功能模块图。
图3是表示图像生成装置30执行的处理的过程的流程图。
图4A的(a)及(b)是表示由高速图像取得部101a取得的高速低分辨率运动图像与由低速图像取得部101b取得的低速高分辨率运动图像的关系的图。
图4B是表示低速高分辨率运动图像与高速低分辨率运动图像的曝光时机的关系的图。
图4C是表示具有描述拍摄条件的信息的识别标头210a与运动图像数据210b的影像信号210的格式的一例的图。
图5(a)～(c)是表示拍摄装置的结构例的图。
图6(a)～(c)是说明高速高分辨率运动图像的像素值、由高速图像取得部101a取得的高速低分辨率运动图像的像素值、以及由低速图像取得部101b取得的低速高分辨率运动图像的像素值的关系的图。
图7(a)及(b)是表示拍摄强度的时间变化的图。
图8(a)～(c)是说明像素值与拍摄时的入射光量的关系的图。
图9(a)及(b)分别是表示关于运动检测处理的、帧编号t与t+1的像素配置的图。
图10是表示RGB颜色空间与球面坐标系(θ，ψ，r)的对应例的图。
图11是表示RGB颜色空间中的固有矢量轴(C1，C2，C3)的例子的图。
图12(a)及(b)是表示未产生饱和时使用不同颜色拍摄相同被摄体而得到的图像的例子的图。
图13(a)～(f)与(g)～(l)是分别表示高速低分辨率的RG的连续的帧图像的图。
图14(a)～(r)是表示高速高分辨率的RGB图像的图。
图15(a)及(b)是表示在与图12相同的被摄体的配置中G图像中存在饱和区域121时的图像例的图。
图16(a)～(r)是表示组合图15与图13的图像，在不进行饱和像素的判定的情况下生成的图像的例子的图。
图17是表示R与G图像的像素群的例子的图。
图18(a)及(b)是表示R与G图像的像素位置与像素值的关系的图。
图19(a)是表示在不进行饱和判定的情况下生成的图像例的图，(b)是表示作为进行了基于实施方式1的处理的结果而得到的图像例的图。
图20是表示示出实施方式2的图像生成装置30的内部结构的功能模块图的图。
图21是表示光量控制处理的过程的流程图。
图22是表示示出实施方式3的图像生成装置30的内部结构的功能模块图的图。
图23是表示实施方式3的图像生成装置30的处理过程的流程图。
图24是表示不具有显示装置的图像生成***的具体例的图。
图25是表示不具有拍摄装置的图像生成***的具体例的图。
图26是表示专利文献1中记载的现有的图像生成装置的处理过程的流程图。
具体实施方式
以下，参照附图说明本发明的图像生成装置的实施方式。
(实施方式1)
图1是表示本实施方式的图像生成***100的硬件结构的模块图。图像生成***100根据以不同的曝光时间及不同的帧速对相同对象(被摄体)进行了拍摄的多个颜色成分的运动图像生成时空分辨率较高的新的彩色运动图像。在本实施方式中，说明根据高速低分辨率图像以及低速高分辨率图像生成高速高分辨率图像的例子。
图像生成***100包括拍摄装置10、图像存储装置20、图像生成装置30、以及显示装置40。
拍摄装置10例如是照相机，以不同的拍摄条件对被摄体进行拍摄，以不同的两种时空分辨率得到运动图像。该“运动图像”对于相同被摄体是高速低分辨率运动图像(时间分辨率(帧速)相对较高，并且空间分辨率相对较低的运动图像)以及低速高分辨率运动图像(时间分辨率相对较低，并且空间分辨率相对较高的运动图像)。
图像存储装置20例如是半导体存储器，暂时存储由拍摄装置10拍摄的运动图像。
图像生成装置30例如是以硬件形式安装的图像处理电路(图形控制器)。图像生成装置30能够以单体形式进行制造及/或销售。图像生成装置30作为图像生成***100的一部分进行组装，据此读出图像存储装置20中存储的运动图像，根据读出的多个运动图像，生成提高了时空分辨率的新的运动图像。此外，在上述例子中，图像生成装置30由专用电路等硬件实现，但也可以由通用处理器与图像处理程序等软件实现。
显示装置40例如是液晶显示装置，显示由图像生成装置30生成的新的运动图像。
此外，如图1中虚线所示，图像存储装置20及图像生成装置30例如可以是PC等硬件。
图2是表示图1所示的图像生成装置30的内部结构的功能模块图。图像生成装置30包括图像取得部101、运动检测部102、图像处理部103、光量判定部104、以及输出部106。
图像取得部101取得对相同被摄体拍摄得到的时空分辨率及颜色不同的运动图像。图像取得部101包含高速图像取得部101a与低速图像取得部101b。在本实施方式中，高速图像取得部101a取得以高速(高帧速)且低空间分辨率拍摄的、红色成分(R)及蓝色成分(B)的运动图像(在本实施方式中将关于上述各种颜色成分的运动图像称为“高速低分辨率运动图像”)。另外，低速图像取得部101b取得以低速(低帧速)且高空间分辨率对与高速图像取得部101a相同的被摄体进行了拍摄的、绿色成分(G)的运动图像(在本实施方式中将关于绿色成分(G)的运动图像称为“低速高分辨率运动图像”)。
这样，输入高速图像取得部101a的图像与输入低速图像取得部101b的图像是时空分辨率及颜色不同、但对相同被摄体进行了拍摄的图像。此外，拍摄高速且低空间分辨率的运动图像的对象色与拍摄低速且高空间分辨率的运动图像的对象色的组合为一个例子。如果针对光的每个波长频带，换言之针对每个颜色成分拍摄运动图像，则其组合是任意的。此外，在本说明书中，将绿色成分简单地记为“绿”或“G”。
运动检测部102具有运动分布计算部102a与可靠度分布计算部102b。运动检测部102进行输入图像中的图像的运动检测与运动检测的可靠度的计算，并输出其结果。更具体而言，运动分布计算部102a基于输入图像取得部101的图像，将取得的图像中的一部分图像(典型的是被摄体)作为对象，进行其运动检测。运动检测最终将各帧的图像整体作为对象来进行。可靠度分布计算部102b对各帧的图像整体计算运动分布计算部102a中的运动检测的可靠度。此外，可靠度分布计算部102b的具体说明在后面描述。
图像处理部103根据由图像取得部101取得的多个运动图像，生成颜色分辨率较高并且帧速较高的彩色运动图像。
更具体而言，图像处理部103具有第三条件设定部103a、第二条件设定部103b、第一条件设定部103c、以及彩色图像生成部103d。第一至第三条件设定部设定取得的运动图像与新生成的运动图像应满足的关系(条件)。
此外，在本说明书中，新生成的运动图像也称为“目的运动图像”。“目的运动图像”是彩色的运动图像。在下述上下文中，有时也指构成运动图像的一帧图像。
第三条件设定部103a使用从运动检测部102取得的运动检测与运动检测的可靠度的结果，设定对目的运动图像的约束条件。第二条件设定部103b设定对目的运动图像的空间约束条件。第一条件设定部103c设定目的运动图像与取得的图像的像素值的关系(从目的运动图像到取得的图像的图像劣化的条件)。彩色图像生成部103d使用所述约束条件根据颜色成分不同的多个运动图像生成一个彩色运动图像。
此外，在本说明书中，所谓“设定”第一条件、第二条件等，并不意味着独立设定各条件。如后所述，设定包含多个条件的评价函数J，将使该评价函数J最小的运动图像作为目的运动图像(新的运动图像)输出。这是因为，如果是使该评价函数J最小的运动图像，则推定为综合性地较好地满足使各约束条件的值较小这一条件。在本说明书中，基于该推定，判断为已使各条件尽可能地较小。以下也对各种条件进行说明，但请注意这些条件都不是分别设定要满足的值。
光量判定部104对于从图像取得部101取得的运动图像中的各帧的各个像素值，判定是否产生饱和或曝光不足(黒つぶれ，blocked-up shadow)。
输出部106是图像生成装置30的输出端子。例如，在图像生成装置30是图像处理电路(图形控制器)时，输出部106是与总线连接的连接器。输出部106将由图形处理部103生成的彩色图像的数据输出到外部。输出目标例如是显示装置40。
此外，本实施方式的“帧”中，不仅包含逐行扫描方式的帧，还包含隔行扫描方式的偶数场及奇数场。
接着，对以上述方式构成的图像生成装置30所执行的处理进行说明。图3是表示图像生成装置30执行的处理的过程的流程图。
在步骤301中，图像取得部101取得时空分辨率与颜色成分不同的多个运动图像。具体而言，高速图像取得部101a取得高速低分辨率的R与B的运动图像，低速图像取得部101b对相同被摄体取得低速高分辨率的G的运动图像。
图4A(a)及图4A(b)表示由高速图像取得部101a取得的高速低分辨率运动图像与由低速图像取得部101b取得的低速高分辨率运动图像的关系。图4A(a)及图4A(b)按照时间顺序并排示出上述两种运动图像的连续的帧图像。帧201及帧202表示低速高分辨率的运动图像，帧211至215表示高速低分辨率的运动图像。
在图4A(a)及图4A(b)中，空间分辨率的差异用图像的大小表现。帧211至215与帧201及帧202相比像素数较少，空间分辨率较低，像素大小较大。另一方面，关于帧速，高速图像取得部101a与低速图像取得部101b相比，拍摄的帧速较高。
此处，帧201及帧202的时间方向的宽度表示曝光时间。在低速图像取得部101b拍摄一个帧201的期间内高速图像取得部101a拍摄4帧。由低速图像取得部101b取得的图像的帧速较低，相应地与由高速图像取得部101a取得的图像相比能够进行长时间曝光。在图4A(a)中，低速高分辨率运动图像的帧201进行图4A(b)的高速低分辨率运动图像的4帧间隔时间的曝光。
此外，对于由高速图像取得部101a取得的帧与由低速图像取得部101b取得的帧的拍摄时机(timing)而言，时间的相对关系已知即可，无须一定同时拍摄。即，拍摄时机的时间相位可以不同。
具体而言，低速高分辨率运动图像的曝光时机与高速低分辨率运动图像的曝光时机的关系可以如图4B所示进行设定。在图4B中，横轴表示时间。另外，矩形表示各像素的帧，矩形的横向宽度表示曝光时间的长度。在图4B中，对于图4A(b)所示配置的输入像素，低速高分辨率运动图像的曝光时机与高速低分辨率运动图像的曝光时机不同步。各自的曝光时机任意。
通过曝光时机不同步，图2所示的图像取得部101的高速图像取得部101a及低速图像取得部101b取得各输入图像的信号的时机同样也可以有偏差。
在以图4B所示的曝光时机拍摄了两种运动图像的情况下，需要从拍摄装置10向图像生成装置30通知其曝光时机的机制。对此，考虑在发送的影像信号中附加拍摄条件。图4C表示具有描述拍摄条件的信息的识别标头(header)210a与运动图像数据210b的影像信号210的格式的一例。
拍摄装置10将表示拍摄条件的信息存储在识别标头210a中，输出在拍摄的运动图像数据210b中附加了识别标头210a的影像信号210。
图像生成装置30的图像取得部101接收影像信号210后先读取识别标头210a，取得拍摄条件的信息。接着基于该拍摄条件，取得运动图像数据210b。另外，图像处理部103基于识别标头210a的拍摄条件设定后述的条件。
存储在识别标头210a中的图像的拍摄条件的信息是每个颜色成分及每个像素位置的曝光时间、帧速、像素的曝光时机的相对时间差(时间相位差)和与它们对应的数值或符号。
在图像取得部101接收数字信号的情况下，识别标头210a为数字数据。由此，表示拍摄条件的曝光时间、帧速、曝光时机的相对时间差等的值可以用数字值直接表示。或者，也可以将对应的拍摄元件内的电压/电荷量/电流值(模拟值)舍入为指定的有效位数，将其值用数字值表示。
另一方面，在图像取得部101接收模拟影像信号的情况下，上述信息用拍摄元件内的电压/电荷量/电流值等的模拟值表示，或者用与它们对应的数值或符号表示。
如后所述，通过进行长时间曝光，在高分辨率的图像中也能如移动物体的移动轨迹那样取得运动信息。通过采用后述的图像处理生成与从高分辨率图像得到的运动信息不矛盾的运动图像，能够生成SN比较高、抑制了运动模糊的时空分辨率较高的运动图像。
此处，说明能够取得上述的时空分辨率与颜色不同的运动图像的拍摄装置10的具体例。图5(a)是使用了分色棱镜或分色镜的基于多元件方式的拍摄装置的结构的一例。图5(b)是基于多层单一元件方式的拍摄装置的结构的一例。图5(c)表示基于单层单一元件方式的拍摄装置的结构的一例。在各个结构中，示出蓝色图像用的拍摄元件B、绿色图像用的拍摄元件G、以及红色图像用的拍摄元件R。拍摄元件R(红)及B(蓝)拍摄红色及蓝色的高速低分辨率运动图像，拍摄元件G(绿)拍摄曝光时间较长的绿色的低速高分辨率运动图像。即，各拍摄元件针对每种颜色改变空间分辨率与帧速以及曝光时间拍摄相同被摄体。
接着，参照图6(a)～(c)，说明作为目的的高速高分辨率运动图像的像素值、由高速图像取得部101a取得的高速低分辨率运动图像的像素值、以及由低速图像取得部101b取得的低速高分辨率运动图像的像素值的关系。此处，像素值是关于R、G、B的每个确定的数值，说明相同颜色的像素值之间的相关性。该关系对应于第一条件设定部103c设定的第一条件。彩色图像生成部103d以生成的高速高分辨率运动图像的各像素满足该条件的方式生成图像。
在以下的说明中，假设各图像的像素值与拍摄时的入射光量成比例，比例常数也是共同的。图6(a)表示作为目的的高速高分辨率运动图像的各帧的像素配置。为了便于说明，取出高速高分辨率运动图像的一部分进行说明。在图6(a)中，表示纵(Y轴)向3个像素、横(X轴)向3个像素以及4帧的像素的配置。即，示出空间分辨率为3×3的像素，时间分辨率为4帧的像素。假设像素位置(x，y，t)的像素的值为HH(x，y，t)。此处，x与y为0、1、2的值的范围，t为0、1、2、3的值的范围。同样，图6(b)表示从相同视点以相同视野在相同时间对与图6(a)相同的被摄体进行了拍摄的高速低分辨率运动图像的像素配置。
此处，高速低分辨率运动图像的像素位置(xL，yL，t)的像素值表示为HL(xL，yL，t)。在低分辨率图像与高分辨率图像中，x、y方向的像素数不同，因此将低分辨率图像的x、y坐标值分别表示为xL、yL，以与高分辨率图像的坐标值相区别。此处，高分辨率图像的包括x、y方向各3个像素的9个像素的区域具有相当于低分辨率图像的一个像素的关系，像素值的关系如(数式1)所示。低分辨率图像是高分辨率图像的9个像素的和，一个像素接收的光量增加。在本实施方式中R与B的像素值满足数式1。此外，在(数式1)中，像素合计的范围采用3×3像素的范围，但合计范围不限于此，也可以在x、y方向上具有不同的大小。另外，R与B的合计范围也可以不同。
数式1
HL ( x L , y L , t ) = Σ x = 0 2 Σ y = 0 2 HH ( x , y , t )
同样，图6(c)表示从相同视点以相同视野在相同时间对与图6(a)相同的被摄体进行了拍摄的低速高分辨率运动图像的像素配置。此处，低速高分辨率运动图像的像素位置(x，y，tL)的像素值表示为LH(x，y，tL)。在高速图像与低速图像中，时间方向的帧数不同，因此将低速图像的帧编号表示为tL，以与高速图像的帧编号相区别。此处，具有高速图像的4帧的间隔相当于低速图像的一帧间隔的关系，像素值的关系如(数式2)所示。低分辨率图像是高分辨率图像的3帧合计，一个像素接收的光量增加。在本实施方式中G的像素值满足数式2。此外，在数式2中，帧合计的范围采用4帧的范围，但合计范围不限于此。
数式2
LH ( x , y , t L ) = Σ t = 0 3 G ( t ) * HH ( x , y , t )
此处，G(t)表示时刻t的拍摄强度，表示基于拍摄元件的灵敏度、拍摄时的光圈的时间变化的像素值的变化倍率。在拍摄元件的灵敏度、拍摄时的光圈不存在时间变化的情况下，G(t)＝1.0。在存在变化的情况下，例如可以如图7(a)及(b)所示包含时间变化。在如图7所示进行时间变化的情况下，曝光量减少，但能够取得时间上的高频成分。
此外，在上述例子中离散地表示时间t，但在与连续的时间变化对应的情况下，能够使用(数式3)的关系式。(数式1)、(数式2)的HH(x，y，t)通过(数式3)被置换为HHcont(x，y，tcont)。据此，能够表示对时间上连续的输入的劣化过程(从目的运动图像到取得的图像的图像变换)。
数式3
HH ( x , y , t ) = ∫ t t + Δt Exp ( t cont ) · HH cont ( x , y , t cont ) dt cont
在(数式3)中，Δt相当于生成的高速高分辨率图像的帧图像的假想的曝光时间。tcont表示连续的时间，HHcont(x，y，tcont)表示时间上连续的图像，Exp(tcont)表示高速高分辨率图像的帧图像的假想的曝光时间变化。
如图6(a)、(b)、及(c)所示，通过使低速图像的曝光时间相对于高速图像的曝光时间而言较长，能够增加受光量，相对地抑制噪声，拍摄SN比较高的图像。其结果是，能够生成抑制了运动模糊的高速高分辨率运动图像。另外，作为像素大小较大的低分辨率图像的情况下，也能增加受光量，能够生成SN比高、抑制了运动模糊的高速高分辨率运动图像。
以上说明了图8(a)所示的、像素值与拍摄时的入射光量成比例的例子。在由于γ修正等不成比例的情况(图8(b))或比例常数因像素而异的情况下，可以另行逆向对应地利用拍摄图像时的拍摄元件的输入输出特性(输入输出关系)。据此，能够将像素值修正为相对于入射光具有相同比例关系的值，满足(数式1)、(数式2)的关系。例如，通过使用图8(c)的像素值与修正值的对应关系，修正如图8(b)所示得到的像素值，能够与如图8(a)所示得到的像素值进行相同的处理。
再次参照图3。在步骤302中，运动检测部102检测构成高速低分辨率运动图像的各图像的每个像素的运动，并计算该运动检测的可靠度。作为运动检测处理，在本实施方式中，在从高速图像取得部101a得到的运动图像的各帧图像的各个位置处，运动检测部102求出被摄体的运动的方向与大小，并且一起求出所求出的运动检测的可靠度的时空分布conf(x，y，t)。此处，所谓运动检测的可靠度，意味着可靠度较高，则运动检测的结果越为合理，在可靠度较低的情况下运动检测的结果中存在误差。
在本实施方式中，取得R与B的高速低分辨率图像，将合计了R与B的图像用于运动检测。根据R或B中仅一者的图像也能进行运动检测，但为了有效利用这两者的图像的信息，使用R与B的合计图像。
相邻的两帧图像间的图像上的各位置处的运动的计算方法例如能够使用在P.ANANDAN，“A Computational Framework and an Algorithm forthe Measurement of Visual Motion”，IJCV，2，283-310(1989)中使用的方法、在运动图像编码中通常使用的运动检测方法、使用图像的移动体追踪等中使用的特征点追踪方法等。
另外，也可以使用图像整体的全局运动(仿射(affine)运动等)检测的通常方法、Lihi Zelkik-Manor，“Multi-body Segmentation：RevisintingMotion Consistency”，ECCV(2002)等方法，进行多个区域的运动检测，用作各像素位置处的运动。
说明基于块匹配的两帧图像间的运动检测方法。图9(a)及(b)分别表示关于运动检测处理的、帧编号t与t+1的像素配置。此处，图9(a)的黑像素2401为关注像素，用如下过程决定该像素对应于(移动至)下一帧图像的哪个像素。
最初，设定以关注像素2401为中心的块区域2402(3×3像素的斜线区域)。预先确定该块大小。接着，在下一帧图像(图9(b))中设定与所述块区域具有相同大小(3×3像素)的区域2403，求出区域2402与区域2403的像素值的SSD(Sum of Squared Differences，差方和)或SAD(Sum of Absolute Differences，绝对差和)。随后，在图9(b)的图像内逐像素地改变区域2403的位置，将SSD或SAD达到最小时的区域2403的中心像素位置作为与像素2401对应的像素位置(运动矢量的目的位置)。
以上是对像素2401的运动检测结果。改变关注像素，对图9(a)的全部像素反复相同的过程。据此，对图9(a)的帧图像的运动检测结束。对连续帧图像的相邻帧图像，依次进行运动检测，由此结束运动图像整体的运动检测。
可靠度可以使用上述P.ANANDAN的文献中记载的方法求出，在使用块匹配的运动检测的情况下，如(数式4)所示，将与运动对应的块间的像素值的差的平方和从所述差的平方和能取的最大值SSDmax中减去而得到的值，即逆转了块间的像素值的差的平方和的符号的值conf(x，y，t)，可以用作可靠度。另外，在使用图像的全局运动检测或每个区域的运动检测的情况下，将各像素位置的运动的始点附近位置与终点附近位置的像素值的差的平方和从平方和能取的最大值SSDmax中减去而得到的值conf(x，y，t)，可以用作可靠度。
数式4
在(数式4)中，位置(x’，y’，t+1)是作为运动检测的结果得到的相当于像素位置(x，y，t)的移动目的地的像素位置，I(x，y，t)是(x，y，t)的像素值。另外，(数式4)的∑表示块匹配中使用的块区域内的合计。
接着，在图3的步骤303中，由第三条件设定部103a设定作为目的运动图像的生成彩色运动图像应满足的运动约束条件Qm。第三条件设定部103a使用由运动检测部102求出的运动分布与可靠度分布，按照(数式5)设定运动约束条件Qm。在下面的(数式5)中，RH、GH、BH分别表示要生成的目的彩色图像的RGB成分，vx、vy表示检测出的运动的x方向的成分与y方向的成分。
数式5
Q m = Σ x Σ y Σ t conf ( x , y , t ) · [
{ R H ( x + v x ( x , y , t ) , y + v y ( x , y , t ) , t + 1 ) - R H ( x , y , t ) } 2
+ { G H ( x + v x ( x , y , t ) , y + v y ( x , y , t ) , t + 1 ) - G H ( x , y , t ) } 2
+ { B H ( x + v x ( x , y , t ) , y + v y ( x , y , t ) , t + 1 ) - B H ( x , y , t ) } 2 ]
在(数式5)中，各∑表示关于x、y、t的每个的合计，作为结果，运动约束条件Qm对目的运动图像进行定义。(数式5)沿着在取得的运动图像上检测出的运动，定义对应的目的运动图像的像素的各个颜色的像素值越均匀(即像素值连续)，则值越小的运动约束条件Qm。在(数式5)中，通过运动检测的可靠度对像素值的变化量进行加权并使用。
在使用低分辨率的图像进行运动检测的情况下，对于高分辨率图像的全部像素位置无法得到运动矢量。在这种情况下，可以根据空间上的附近处定义的运动矢量进行插值以求出运动矢量。插值方法可以使用双线性(bilinear)或双三次(bicubic)等常用方法。
运动约束条件Qm的值应当较小时，表示沿着在取得的运动图像上检测出的运动，目的运动图像的像素的像素值应当连续。
接着，在步骤304中，光量判定部104对于由图像取得部101取得的RGB图像，对于各帧的各像素，判定是否产生像素值的饱和，是否产生曝光不足。
关于像素值是否饱和，可以预先针对RGB中的每个分别确定饱和值SR、SG、SB，判定各个RGB的值是否在各个颜色的饱和值以上。关于曝光不足，可以预先针对RGB中的每个分别确定曝光不足值DR、DG、DB，判定各个RGB的值是否在各个颜色的曝光不足值以下。例如，饱和值采用像素值的最大值或拍摄元件的输出的上限值，曝光不足值采用0或拍摄元件的输出的下限等。另外，上述基准值可以根据像素而异。
接着，在步骤305中，第一条件设定部103c使用由(数式1)～(数式3)所示的取得的图像与目的运动图像的关系设定劣化约束条件。(数式6)～(数式8)表示约束条件的例子。在(数式6)～(数式8)中，RH、GH、BH分别表示要生成的目的彩色图像的RGB成分。HR、HG、HB表示对于RGB的每个颜色从高速高分辨率运动图像到取得的图像的变换。在本实施例中，HR、HB是与(数式1)对应的低空间分辨率化的变换，HG是与(数式2)(数式3)对应的长时间曝光低帧速化的变换。RLH、GHL、BLH分别表示取得的R图像、G图像、以及B图像。通过与拍摄过程相配合的低分辨率化或低帧速化对生成的目的运动图像进行了劣化变换的图像与取得的图像越一致，则(数式6)～(数式8)的值越小。
数式6
|HRRH-RLH|2
数式7
|HGGH-GHL|2
数式8
|HBBH-BLH|2
此处，对于在所述步骤304中判断为饱和像素或曝光不足像素的像素，不进行(数式6)～(数式8)的评价，或者降低评价值。值的降低方法例如是以预先确定的比例降低的方法，或者设定为预先确定的值。所述降低的比例或预先确定的值可以在饱和的情况与曝光不足的情况下分别设定。据此，即使取得的图像产生饱和或曝光不足，也能抑制其影响，生成目的运动图像。另外，对于饱和像素，可以置换为(数式9)～(数式11)的条件。
数式9
HRRH＞RLH
数式10
HGGH＞GHL
数式11
HBBH＞BLH
接着，在步骤306中，第二条件设定部103b设定对生成的目的运动图像的空间约束条件。(数式12)及(数式13)表示空间约束条件的例子QS1及QS2。
数式12
Q s 1 = Σ x Σ y Σ t [
λ θ ( x , y , t ) · { 4 · θ H ( x , y , t ) - θ H ( x , y - 1 , t ) - θ H ( x , y + 1 , t ) - θ H ( x - 1 , y , t ) - θ H ( x + 1 , y , t ) } 2
+ λ r ( x , y , t ) · { 4 · r H ( x , y , t ) - r H ( x , y - 1 , t ) - r H ( x , y + 1 , t ) - r H ( x - 1 , y , t ) - r H ( x + 1 , y , t ) } 2 ]
在(数式12)中，θH(x，y)、ψH(x，y)、rH(x，y)是将由目的运动图像的像素位置(x，y)处的R、G、B的各个像素值表示的三维正交颜色空间(所谓的RGB颜色空间)内的位置用与RGB颜色空间对应的球面坐标系(θ，ψ，r)表现时的坐标值，θH(x，y)与ψH(x，y)表示两种偏角，rH(x，y)表示向量径。
图10表示RGB颜色空间与球面坐标系(θ，ψ，r)的对应例。在图10中，作为一例，将θ＝0的方向作为RGB颜色空间的R轴的正向，将ψ＝0的方向作为RGB颜色空间的G轴的正向，但偏角的基准方向不限于图10所示的方向，也可以是其他方向。按照这种对应，对每个像素，将作为RGB颜色空间的坐标值的红、绿、蓝的各个像素值变换为球面坐标系(θ，ψ，r)的坐标值。
在将目的运动图像的各像素的像素值考虑为RGB颜色空间内的三维矢量的情况下，通过用与RGB颜色空间对应的球面坐标系(θ，ψ，r)表现三维矢量，能够独立地处理作为像素的明亮度(信号强度、亮度也意义相同)的表示矢量大小的r轴的坐标值、以及作为像素的色彩(包含色相、色差、色彩饱和度等)的表示矢量方向的θ轴及ψ轴的坐标值。在自然图像中，明亮度与色彩的时空变化量有较大不同，因此通过选择能够独立地评价/调整它们的值的坐标，能够提高目的运动图像的画质。
(数式12)定义目的运动图像的用球面坐标系表示的像素值的、xy空间方向的二阶差分值的平方和。(数式12)定义的条件QS1在目的运动图像内空间上相邻的像素的用球面坐标系表示的像素值的变化越均匀(即像素的颜色连续)时，值越小。
条件QS1的值应当较小，表示目的运动图像内的空间上相邻的像素的颜色应当连续。
在图像中，像素明亮度的变化与像素色彩的变化可由物理上不同的情景产生，因此如(数式12)所示，通过分别设定与像素明亮度的连续性(r轴的坐标值的变化的均匀性)有关的条件((数式12)的大括号内的第三项)、以及与像素色彩的连续性(θ轴及ψ轴的坐标值的变化的均匀性)有关的条件((数式12)的大括号内的第一项及第二项)，容易得到期望的画质。
λθ(x，y)、λψ(x，y)、λr(x，y)分别是对于使用θ轴、ψ轴、r轴的坐标值设定的条件，在目的运动图像的像素位置(x，y)处适用的权重，预先确定。简单而言，可以如λθ(x，y)＝λψ、(x，y)＝1.0、λr(x，y)＝0.01那样不依赖于像素位置或帧地进行设定。
另外，较为理想的是，在能够预测图像中的像素值的不连续性等的位置处，可以将该权重设定得较小。例如，使取得的图像的空间微分值较大的位置的权重较小。
像素值不连续这一情况可以通过取得的图像的帧图像内的相邻像素的像素值的差分值或二阶差分值的绝对值为固定值以上来进行判断。
另外，较为理想的是，使适用于与像素色彩的连续性有关的条件的权重比适用于与像素明亮度的连续性有关的条件的权重大。这是因为，由于由被摄体表面的凹凸或运动造成的被摄体表面的朝向(法线的朝向)的变化，图像中的像素的明亮度与色彩相比容易发生变化(缺乏变化的均匀性)。
此外，在(数式12)中，将目的运动图像的用球面坐标系表示的像素值的、xy空间方向的二阶差分值的平方和设定为条件QS1，但也可以将二阶差分值的绝对值和、或者一阶差分值的平方和或绝对值和设定为条件。
在上述说明中，使用与RGB颜色空间对应的球面坐标系(θ，ψ，r)设定了颜色空间条件，但使用的坐标系不限于球面坐标系，通过在具有易于分离像素的明亮度与色彩的坐标轴的新的正交坐标系中设定条件，可取得与上述相同的效果。
新的正交坐标系的坐标轴例如可以通过对取得的运动图像或作为基准的其他运动图像中包含的像素值的RGB颜色空间内的频率分布进行主成分分析(基于离散(dispersion)的分析)，求出固有矢量(根据离散的大小选择的相互垂直的矢量)的方向，并设置在求出的固有矢量的方向上(采用固有矢量轴)。图11中示出RGB颜色空间中的固有矢量轴(C1，C2，C3)的例子。
数式13
Q s 2 = Σ x Σ y Σ t [
λ C 1 ( x , y , t ) · { 4 · C 1 ( x , y , t ) - C 1 ( x , y - 1 , t ) - C 1 ( x , y + 1 , t ) - C 1 ( x - 1 , y , t ) - C 1 ( x + 1 , y , t ) } 2
+ λ C 2 ( x , y , t ) · { 4 · C 2 ( x , y , t ) - C 2 ( x , y - 1 , t ) - C 2 ( x , y + 1 , t ) - C 2 ( x - 1 , y , t ) - C 2 ( x + 1 , y , t ) } 2
+ λ C 3 ( x , y , t ) · { 4 · C 3 ( x , y , t ) - C 3 ( x , y - 1 , t ) - C 3 ( x , y + 1 , t ) - C 3 ( x - 1 , y , t ) - C 3 ( x + 1 , y , t ) } 2 ]
在(数式13)中，C1(x，y)、C2(x，y)、C3(x，y)是将作为目的运动图像的像素位置(x，y)处的红、绿、蓝的各个像素值的RGB颜色空间的坐标值变换为新的正交坐标系的坐标轴C1、C2、C3的坐标值的旋转变换。
(数式13)定义目的运动图像的用新的正交坐标系表示的像素值的、xy空间方向的二阶差分值的平方和。(数式13)定义的条件QS2在目的运动图像的各帧图像内空间上相邻的像素的用新的正交坐标系表示的像素值的变化越均匀(即像素值连续)时，值越小。
条件QS2的值应当较小，表示目的运动图像内的空间上相邻的像素的颜色应当连续。
λC1(x，y)、λC2(x，y)、λC3(x，y)分别是对于使用C1轴、C2轴、C3轴的坐标值设定的条件，在目的运动图像的像素位置(x，y)处适用的权重，预先确定。
在C1轴、C2轴、C3轴是固有矢量轴的情况下，具有如下优点，即通过沿着各固有矢量轴分别设定λC1(x，y)、λC2(x，y)、λC3(x，y)的值，能够根据因固有矢量轴而异的离散的值设定适宜的λ的值。即，在非主成分的方向上离散较小，可以期望二阶差分的平方和较小，因此使λ的值较大。相反，在主成分的方向上使λ的值相对较小。
以上说明了两种条件QS1、QS2的例子。作为条件QS，可以使用QS1、QS2中的任一种。
例如，在使用(数式12)所示的条件QS1的情况下，通过导入球面坐标系(θ，ψ，r)，分别使用表示颜色信息的θ轴及ψ轴的坐标值、以及表示信号强度的r轴的坐标值的各个坐标值设定条件，并且在条件设定时能够对颜色信息与信号强度分别赋予适宜的权重参数λ，因而具有高画质的图像生成变得容易的优点。
在使用(数式13)所示的条件QS2的情况下，使用从RGB颜色空间的坐标值通过线性(旋转)变换得到的新的正交坐标系的坐标值设定条件，因此具有能够简化运算的优点。
另外，通过使固有矢量轴为新的正交坐标系的坐标轴C1、C2、C3，能够使用反映了更多像素受到影响的颜色的变化的固有矢量轴的坐标值设定条件，因而与单纯地使用红、绿、蓝的各色成分的像素值设定条件的情况相比，能够期待得到的目的运动图像的画质提高。
接着，在步骤307中，生成满足第三条件设定部103a、第二条件设定部103b、第一条件设定部103c设定的约束条件的目的运动图像。为此，设定由所述约束条件构成的评价函数J。(数式14)中示出J的一例。
数式14
J＝|HRRH-RL|2+|HGGH-GL|2+|HBBH-BL|2+Qs+Qm
J定义为构成要生成的高分辨率彩色图像g的R、G及B的各种颜色的图像(作为图像矢量记为RH、GH、BH)的函数。HR、HG、HB分别表示从目的运动图像g的各种颜色图像RH、GH、BH到各种颜色的取得的图像RL、GL、BL(记为矢量)的低分辨率化变换。HR、HB是(数式1)那样的低分辨率化的变换，HG是(数式2)那样的低帧速化的变换。此外，评价函数J不限于上述内容，也可以将(数式14)的项置换为由类似式构成的项，或者追加表示不同条件的新的项。
接着，在彩色图像生成部103d中，求出使(数式14)的J的值尽可能小(最好为最小)的目的运动图像的各像素值，由此生成目的运动图像的各种颜色图像RH、GH、BH。关于使评价函数J最小的目的运动图像g，例如，可以解出使使用目的运动图像的各种颜色图像RH、GH、BH的各像素值成分对J进行微分的式子全部为0而得到的(数式15)的方程式并求出，也可以使用最急梯度法等反复运算型的最优化方法求出。
数式15
∂ J ∂ R H ( x , y , t ) = ∂ J ∂ G H ( x , y , t ) = ∂ J ∂ B H ( x , y , t ) = 0
最后，在步骤308中输出生成的目的运动图像。
下面示出基于上述结构的输入输出图像的例子。图12及图13表示在未产生饱和时使用不同颜色对相同被摄体拍摄的图像的例子。图12(a)、(b)表示低速高分辨率的长时间曝光G图像的连续的帧图像。圆形的被摄体91向右下方移动，由于长时间曝光而产生运动模糊。图13的(a)～(f)与(g)～(l)分别表示高速低分辨率的RG的连续的帧图像。图13与图12的图像相比帧数较多，但分辨率较低。
在步骤304中，光量判定部104判定未产生饱和，在步骤305中，第一条件设定部103c基于判定结果对全部帧/像素设定第一条件。在步骤307中生成图像后，在RGB图像间图像的时空信息相互进行补充，如图14(a)～(r)所示得到高速高分辨率的RGB图像。各帧的时间上的时机与图13相同。
此处，参照图15说明在G图像中产生饱和的例子。图15表示在与图12相同的被摄体的配置中G图像中产生了饱和的图像例。图中示出饱和像素区域121。
图16表示组合图15与图13的图像，在不进行饱和像素的判定的情况下生成图像的例子。在图16中，在相当于G的饱和区域的帧与像素位置处，RGB图像的像素值产生误差(白色圆形131～133)。在G图像的饱和区域中，若按照第一条件，则得到比正确像素值(比饱和值大的值)暗的像素值。另一方面，G图像在饱和区域中变暗后，与周边区域的颜色变得不连续，变得难以满足像素值的连续性的约束(第二条件)。这是因为，不同的彩色图像(RB图像与G图像)一般而言具有空间上相似的变化，但由于仅G图像发生饱和，G的像素值变得无法与RB图像相同地在空间上发生变化。使用这种包含矛盾的条件生成图像后，饱和区域的RGB值产生误差，产生伪色等(图16的白色圆形131～133)。此处，以G的饱和的例子进行了说明，但在R/B等其他颜色中产生了饱和的情况下也同样产生伪色。另外，在使用了RGB以外的彩色滤波器的情况下由于饱和也产生同样的伪色。
接着，在进行本实施方式所示的饱和区域的判定(步骤304)，并在饱和区域中抑制基于第一条件的约束(步骤305)后，在图15那样的取得的图像的情况下，也能生成图14那样抑制了饱和的影响(由RGB值的误差造成的伪色的产生等)的图像。这是因为，在饱和区域中，抑制了基于与像素值连续性的约束产生矛盾的第一条件的约束，通过基于第一条件的约束以外的相互不矛盾的约束条件生成图像，由此能够抑制伪色的产生。
此处，参照图17及图18，说明基于本实施方式的处理的结果。
图17表示R与G图像的像素群的例子。以下，以用斜线表示的像素群的行方向的像素值为例进行说明。行方向的像素位置用1～9表示。
图18(a)及(b)表示R与G图像的像素位置与像素值的关系。图18(a)表示像素值中产生曝光不足及饱和的例子，图18(b)是示意性地表示基于上述的本实施方式的处理的效果的图。以下使用R与G的图像进行说明，但对于其他颜色组合，使用相同过程也可得到相同的效果。
在图18(a)中，像素位置4～6的G像素在箭头的像素值处饱和。对于这种取得的图像，进行上述图像处理后，能够得到图18(b)的图像。在图18(b)中，像素位置4～6的G的饱和区域与取得的图像的值有较大背离，虽然偏离了基于第一条件的约束，但按照像素值连续性的约束(第二条件或运动约束)，以G的像素值(实线)与R的像素值变化(虚线)相符合地变化的方式生成图像，由此得到抑制了伪色的彩色图像。
进而，在像素位置1～3和7～9中，在图18(a)中R的像素值为0，曝光不足。在步骤304中光量判定部104判定曝光不足，在判定为曝光不足的区域中抑制R图像的基于第一条件的约束并生成图像。其结果是，在图18(b)的像素位置1～3和7～9中，按照像素值连续性的约束，以R的像素值(虚线)与G的像素值变化(实线)相符合地变化的方式生成图像。据此，得到在发生了曝光不足的区域中也能避免曝光不足的彩色图像。在曝光不足的情况下，由于较暗，所以如像素饱和时那样伪色的产生较为明显的情况较少，而根据本发明的效果，具有能够再现无曝光不足的颜色的效果。
此外，根据拍摄元件的特性，产生饱和或曝光不足的像素值会因颜色而异。例如在图18(a)中说明了像素位置4～6的绿色(G)的像素值饱和的情况，但比它大的红色(R)的像素位置4～6的像素值尚未产生饱和。
在上述例子中，根据饱和或曝光不足的产生仅变更了基于第一条件的约束，但也可以同时变更第二条件设定部103b设定的其他约束。在此情况下，增强对于抑制了基于第一条件的约束的帧/像素位置的第二条件或运动约束条件。
此外，所谓增强第二条件，是指使产生了饱和或曝光不足的像素的二阶微分值较小。另外，所谓增强运动约束条件，是指对于产生了饱和或曝光不足的像素，过大地评价评价式中的运动约束条件(数式5)的值。具体而言，使产生了饱和或曝光不足的像素的conf(x，y，t)的值比已经设定的值大。例如，采用预先确定的常数倍的值。
据此，具有如下效果，即在抑制了基于第一条件的约束的图像区域中，补充图像生成所使用的约束条件，能够促进基于其他约束条件抑制了伪色产生的图像生成。关于约束的增强方法，根据基于第一条件的约束的抑制程度预先确定适当的增强方法并使用。
另外，对于步骤304中光量判定部104判定为产生了饱和或曝光不足的像素位置，可以降低运动检测的可靠度。
这是因为，由于饱和或曝光不足，块匹配等运动检测中容易产生误差。通过在运动检测的可靠度中反映由饱和或曝光不足产生的运动检测误差，能够避免由错误的运动约束造成的画质降低。运动检测的可靠度的降低方法预先确定。例如使可靠度为0。
另外，可以从运动检测使用的彩色图像中除去步骤304中判定为发生了饱和或曝光不足的彩色图像。由此，也能减少由饱和或曝光不足产生的运动检测误差。
接着，示出对自然图像的处理结果。图19是拍摄了玩具娃娃的头部的图像(将RGB彩色图像变换为亮度图像并示出)，在头部的发带的虚线矩形区域(箭头的位置，右侧为放大图)中，拍摄时G发生饱和。在不进行饱和判定的情况下生成图像的结果是图19(a)的图像。在虚线的矩形区域中，产生与周围的发带(白色)不同的颜色，成为较暗的图像(放大图的斜线区域)。图19(b)是进行了基于本实施方式的处理的结果。
作为基于饱和判定抑制基于第一条件的约束并生成图像的结果，伪色得到抑制，与图19(a)相比图像变亮，成为与周边的发带同样明亮的图像(放大图的点区域)。
如上所述，根据本实施方式的处理，在组合时空分辨率与颜色不同的运动图像生成高时空分辨率的运动图像的情况下，根据包含饱和或曝光不足的取得图像也能生成抑制了画质劣化的图像。作为其结果，能够生成在饱和区域中向较亮方向、在曝光不足区域中向较暗方向超出了取得图像中能够表现的灰度范围(动态范围)的图像。这样，本实施方式具有通过组合动态范围不同的彩色图像，扩大生成彩色图像的动态范围的效果。
(实施方式2)
说明本发明的实施方式2。图20表示示出实施方式2的图像生成装置30的内部结构的功能模块图。功能模块的结构及动作与实施方式1大致相同，但新设置了光量控制部105。光量控制部105控制拍摄装置10拍摄运动图像时的曝光量。曝光量的控制基于光量判定部104的判定进行。具体而言，能够通过改变每种彩色图像的曝光时间来实现。
参照图21的流程图，说明曝光量控制的动作。图21是表示光量控制处理的过程的流程图。最初，在步骤1701中，光量判定部104对每个帧/像素进行饱和/曝光不足的判定。接着，在步骤1702中，作为光量判定部104的判定结果，在各帧的相同像素位置处全部颜色饱和的情况下，光量控制部105降低任一种颜色(例如G)的曝光量。接着，在步骤1703中，作为光量判定部104的判定结果，在各帧的相同像素位置处全部颜色曝光不足的情况下，光量控制部105增加任一种颜色(例如G)的曝光量。
如上所述，通过控制对图像的亮度成分贡献较大的G的曝光量，能够抑制一般而言信息量较多的亮度成分的饱和，以得到信息。
此外，曝光量的控制可以以像素单位进行，也可以以RGB的彩色图像的单位进行。这样，在全部颜色饱和的情况下，通过降低任一种颜色的曝光量，可得到至少一种颜色以上抑制了饱和的图像，因此容易得到前面说明的实施方式1的结构的效果。即，在全部颜色饱和且抑制了基于第一条件的约束的区域中，通过产生不饱和的颜色图像，能够基于非饱和色的图像信息设定其他约束条件(时空连续性的约束等)，与全部颜色饱和的情况相比能够期待画质的提高。此时，虽然也能够对全部颜色减少曝光量以使全部颜色变为非饱和，但容易产生曝光不足。如本实施方式这样，减少任一种颜色的曝光量，则利用实施方式1的效果，抑制目的运动图像中的曝光不足，能够生成扩大了动态范围的图像。
同样，在全部颜色曝光不足的情况下，通过增加任一种颜色的曝光量，可得到至少一种颜色以上抑制了曝光不足的图像。因此容易得到前面说明的实施方式1的结构的效果。即，在全部颜色曝光不足因而抑制了基于第一条件的约束的区域中，通过产生未产生曝光不足的颜色图像，能够基于未产生曝光不足的颜色的图像信息设定其他约束条件(时空连续性的约束等)，与全部颜色曝光不足的情况相比能够期待画质的提高。此时，虽然也能够对全部颜色增加曝光量以使全部颜色变为不产生曝光不足，但容易产生饱和。如本实施方式这样，增加任一种颜色的曝光量，则利用实施方式1的效果，在目的运动图像中抑制饱和，能够生成扩大了动态范围的图像。
(实施方式3)
图22表示示出本实施方式的图像生成装置30的内部结构的功能模块图。另外，图23是表示本实施方式的图像生成装置30的处理过程的流程图。图像生成装置30的结构及动作与实施方式1大致相同，但不同点在于本实施方式的图像生成装置30不具有运动检测部。因此，在图23所示的流程图中，不包含与图像运动有关的处理(图3的步骤302及303)。
使用第一条件设定部103c设定的条件与第二条件设定部103b设定的条件，彩色图像生成部103d生成新的运动图像。在不使用运动约束的情况下，光量判定部判定饱和或曝光不足，基于所述判定结果进行第一条件的设定，由此能够使与饱和区域对应的目的运动图像高画质化。
此外，到此为止说明了具有显示装置40的图像生成***100。但是，如图24所示的摄像机300那样，可以从图1所示的图像生成***100中除去显示装置40。此外，在图24所示的摄像机300中附加显示装置40构成的具有运动图像录像再生功能的照相机在图1等所示结构的范畴中。
另外，也可以如图25所示的显示设备400(例如电视机)那样，从图1所示的图像生成***100中除去拍摄装置10。在这种显示设备400中，能够接收多种颜色成分的运动图像，生成并显示提高了帧速的目的运动图像。此外，在不包含拍摄装置10的情况下，这种显示设备也在图像生成***100的范畴中。
显示设备400能够用各种方法接收“多种颜色成分的运动图像”。例如，可以从半导体存储卡(例如SD卡)250中预先录像的运动图像数据中提取多种颜色成分的运动图像，也可以利用天线251从广播波中提取。或者，可以经由因特网等网络252取得该运动图像。在显示设备400中，可以能够利用半导体存储卡250、天线251、以及网络252中的两种或全部。
在图25所示的显示设备400中，例如为了进行实施方式1的生成新的运动图像的处理，图像生成装置30需要各种颜色成分的运动图像的曝光时机(图7)等与拍摄条件有关的信息。对此，图像取得部101可以接收图4C所示格式的影像信号210，从识别标头210a中取得拍摄条件的信息，并取得运动图像数据210b。
只要图像生成装置30能够接收图4C所示的影像信号210，影像信号210的发送方法任意。例如，可以对图4C所示的影像信号210进行分组化并通过广播波发送，进行网络通信。
以上说明了本发明的图像处理装置的实施方式。上述实施方式为一例，本发明不限于此。对实施方式实施本领域技术人员能想到的变形而得到的方式也包含在本发明中。
可以用专用的硬件设备执行本发明的图像处理装置进行的图像生成处理的一部分或全部，也可以由计算机终端装置、配置在无线基站等中的通信设备、以及独立的通用计算机等内置的CPU执行指定的计算机程序，由此进行本发明的图像生成处理。在这种计算机程序中规定图示的流程图的处理过程。执行计算机程序的CPU按照该处理过程自身进行动作，或者指示图示的其他结构要素使其动作，据此使图像处理这种按照该处理过程动作。
产业上的利用可能性
本发明是根据多个运动图像生成新的运动图像的图像生成技术。尤其是，能够作为根据高速低分辨率运动图像与低速高分辨率运动图像(或静止图像)生成高速高分辨率运动图像的图像生成装置、组装了这种装置的影像设备或***、影像合成装置、影像编辑装置、图像复原装置、以及图像复原程序等进行利用。
符号说明
10拍摄装置
20图像存储装置
30图像生成装置
40显示装置
100图像生成***
101图像取得部
101a高速图像取得部
101b低速图像取得部
102运动检测部
102a运动分布计算部
102b可靠度分布计算部
103图像处理部
103a第三条件设定部
103b第二条件设定部
103c第一条件设定部
103d彩色图像生成部
104光量判定部
105光量控制部
106输出部
300照相机
400显示设备

Claims (20)

1.一种图像生成装置，根据作为被摄体的第一颜色成分的运动图像的第一运动图像以及作为所述被摄体的第二颜色成分的运动图像的第二运动图像，生成表示所述被摄体的新的运动图像，该图像生成装置具备：
图像取得部，取得分辨率、帧速或曝光时间相互不同的所述第一运动图像以及所述第二运动图像；
光量判定部，基于所述第一运动图像以及所述第二运动图像的各帧图像中的各像素的像素值，判定各像素是否产生饱和或曝光不足；
图像处理部，根据所述第一运动图像以及所述第二运动图像，生成帧速为所述第一运动图像以及所述第二运动图像的帧速以上、并且各帧图像的分辨率为所述第一运动图像以及所述第二运动图像的分辨率以上的新的图像，该图像处理部对于所述光量判定部未判定为产生饱和或曝光不足的像素，生成满足第一条件的新的运动图像，对于所述光量判定部判定为产生饱和或曝光不足的像素，生成不满足所述第一条件的新的运动图像，所述第一条件表示所取得的所述第一运动图像以及所述第二运动图像的像素值与在时空上对应于所述像素的所述新的运动图像的帧图像的像素值的合计的误差比指定值小；以及
第二条件设定部，设定表示生成的新的运动图像内的时空上相邻的像素的颜色应当连续的关于时空连续性的第二条件，
所述图像处理部生成满足所述第二条件的新的运动图像。
2.根据权利要求1所述的图像生成装置，其特征在于：
所述第一颜色成分是红色或蓝色中的至少一者，所述第二颜色成分是绿色。
3.根据权利要求1所述的图像生成装置，其特征在于：
所述光量判定部在各像素的光量为预先确定的饱和值以上的情况下判定为产生饱和。
4.根据权利要求1所述的图像生成装置，其特征在于：
所述光量判定部在各像素的光量为预先确定的曝光不足值以下的情况下判定为产生曝光不足。
5.根据权利要求3所述的图像生成装置，其特征在于：
所述饱和值分别针对所述第一颜色成分以及所述第二颜色成分进行设定。
6.根据权利要求4所述的图像生成装置，其特征在于：
所述曝光不足值分别针对所述第一颜色成分以及所述第二颜色成分进行设定。
7.根据权利要求1所述的图像生成装置，其特征在于：
在所述光量判定部判定为像素产生饱和时，所述图像处理部减少所述像素的像素值，在所述光量判定部判定为像素产生曝光不足时，所述图像处理部增加所述像素的像素值。
8.根据权利要求1所述的图像生成装置，其特征在于：
所述第二条件设定部对于所述关于时空连续性的第二条件，针对像素的信号强度以及色彩分别设定所述第二条件。
9.根据权利要求8所述的图像生成装置，其特征在于：
所述第二条件设定部对于所设定的所述第二条件，决定在所述新的运动图像的各像素的像素位置处适用的权重，降低所取得的所述第一运动图像以及所述第二运动图像的空间微分值较大的位置的权重，来设定所述第二条件。
10.根据权利要求8所述的图像生成装置，其特征在于：
所述第二条件设定部使所述像素的色彩的时空连续性与所述像素的信号强度的时空连续性相比权重较大，来设定所述第二条件。
11.根据权利要求1所述的图像生成装置，其特征在于：
所述第二条件设定部在根据所取得的所述图像的颜色空间中像素值的离散大小而选择的方向、以及垂直于所述方向的方向的每个上，设定所述关于时空连续性的第二条件。
12.根据权利要求1所述的图像生成装置，其特征在于：
所述第二条件设定部将所述光量判定部判定为产生饱和或曝光不足的像素的像素位置处的所述第二条件设定得与未判定为产生饱和或曝光不足的像素的像素位置处的所述第二条件相比较强。
13.根据权利要求1所述的图像生成装置，其特征在于：
还具备光量控制部，该光量控制部调整拍摄所述第一运动图像与所述第二运动图像的拍摄装置的曝光量；
对所述第一运动图像以及所述第二运动图像的每个，在所述光量判定部判定为各帧图像的相同位置的全部颜色产生饱和时，所述光量控制部减少用于取得一部分颜色成分的运动图像的曝光量。
14.根据权利要求13所述的图像生成装置，其特征在于：
在光量判定部判定为各帧图像的相同位置的全部颜色产生饱和的情况下，光量控制部在至少一个颜色成分的运动图像的拍摄时减少所述拍摄装置的曝光量。
15.根据权利要求1所述的图像生成装置，其特征在于：
还具备：运动检测部，检测所取得的所述图像的运动；以及
第三条件设定部，基于所述运动的检测结果，设定表示要生成的新的运动图像内的沿着运动矢量的像素值应当一致的第三条件；
所述图像处理部生成满足所述第三条件的新的运动图像。
16.根据权利要求15所述的图像生成装置，其特征在于：
所述第三条件设定部将对于所述光量判定部判定为饱和或曝光不足的像素位置的所述第三条件设定得与未判定为产生饱和或曝光不足的像素位置处的所述第三条件相比较强。
17.一种图像生成***，具备：
拍摄装置；
存储装置，存储由所述拍摄装置拍摄的图像；以及
权利要求1所述的图像生成装置，使用所述存储装置的图像生成所述新的运动图像。
18.一种图像生成***，具备：
权利要求1所述的图像生成装置；以及
显示所述图像生成装置生成的所述新的运动图像的显示装置。
19.根据权利要求18所述的图像生成***，其特征在于：
所述图像生成装置经由存储卡、天线、以及网络中的至少一个来取得所述第一图像以及所述第二图像的各信号。
20.一种图像生成方法，根据作为被摄体的第一颜色成分的运动图像的第一运动图像以及作为所述被摄体的第二颜色成分的运动图像的第二运动图像，生成表示所述被摄体的新的运动图像，该图像生成方法具备：
取得分辨率、帧速或曝光时间相互不同的所述第一运动图像以及所述第二运动图像的步骤；
基于所述第一运动图像以及所述第二运动图像的各帧图像中的各像素的像素值，判定各像素是否产生饱和或曝光不足的步骤；以及
根据所述第一运动图像以及所述第二运动图像，生成帧速为所述第一运动图像以及所述第二运动图像的帧速以上、并且各帧图像的分辨率为所述第一运动图像以及所述第二运动图像的分辨率以上的新的图像的步骤，该步骤对于在进行判定的所述步骤中未判定为产生饱和或曝光不足的像素，生成满足第一条件的新的运动图像，对于在进行判定的所述步骤中判定为产生饱和或曝光不足的像素，生成不满足所述第一条件的新的运动图像，所述第一条件表示所取得的所述第一运动图像以及所述第二运动图像的像素值与在时空上对应于所述像素的所述新的运动图像的帧图像的像素值的合计的误差比指定值小。
CN201080023498.3A 2010-01-07 2010-12-27 图像处理装置、图像生成***、方法及程序 Expired - Fee Related CN102450019B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-001906 2010-01-07
JP2010001906 2010-01-07
PCT/JP2010/007578 WO2011083555A1 (ja) 2010-01-07 2010-12-27 画像処理装置、画像生成システム、方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN102450019A CN102450019A (zh) 2012-05-09
CN102450019B true CN102450019B (zh) 2014-12-10

Family

ID=44305301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080023498.3A Expired - Fee Related CN102450019B (zh) 2010-01-07 2010-12-27 图像处理装置、图像生成***、方法及程序

Country Status (5)

Country Link
US (1) US8471927B2 (zh)
EP (1) EP2523459B1 (zh)
JP (1) JP4806476B2 (zh)
CN (1) CN102450019B (zh)
WO (1) WO2011083555A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761506B1 (en) 2011-04-22 2014-06-24 DigitalGlobe, Incorporated Pan sharpening digital imagery
US8737733B1 (en) * 2011-04-22 2014-05-27 Digitalglobe, Inc. Hyperspherical pan sharpening
JP2013192154A (ja) * 2012-03-15 2013-09-26 Omron Corp 監視装置、信頼度算出プログラム、および信頼度算出方法
JP5863554B2 (ja) * 2012-05-01 2016-02-16 国立大学法人旭川医科大学 画像処理装置、画像処理方法、およびプログラム
TWI602155B (zh) * 2013-02-08 2017-10-11 威聯通科技股份有限公司 利用影像內容不連續性增強物件偵測之方法
JP6173198B2 (ja) * 2013-12-09 2017-08-02 オリンパス株式会社 画像処理装置、画像処理方法、および撮像装置
JP6173199B2 (ja) * 2013-12-09 2017-08-02 オリンパス株式会社 画像処理装置、画像処理方法、および撮像装置
US9659350B2 (en) * 2014-01-31 2017-05-23 Morpho, Inc. Image processing device and image processing method for image correction, and non-transitory computer readable recording medium thereof
TWI536319B (zh) * 2014-06-24 2016-06-01 瑞昱半導體股份有限公司 去雜訊方法以及影像系統
US10572976B2 (en) * 2017-10-18 2020-02-25 International Business Machines Corporation Enhancing observation resolution using continuous learning
US11017540B2 (en) 2018-04-23 2021-05-25 Cognex Corporation Systems and methods for improved 3-d data reconstruction from stereo-temporal image sequences
WO2021019898A1 (ja) * 2019-07-26 2021-02-04 富士フイルム株式会社 制御装置、投影装置、制御方法、及び制御プログラム
KR20220131054A (ko) * 2021-03-19 2022-09-27 에스케이하이닉스 주식회사 이미지 처리 장치 및 그 동작 방법
CN114189605B (zh) * 2021-11-02 2023-10-27 联想(北京)有限公司 一种处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1224973A (zh) * 1997-11-21 1999-08-04 松下电器产业株式会社 动态范围扩展的成像装置、摄像机及其方法
CN1672403A (zh) * 2002-06-10 2005-09-21 索尼株式会社 数字静态照相装置、摄像装置和信息终端装置
CN101312504A (zh) * 2007-05-24 2008-11-26 索尼株式会社 固态成像装置、信号处理装置和信号处理方法和成像设备
WO2009011082A1 (ja) * 2007-07-17 2009-01-22 Panasonic Corporation 画像処理装置、画像処理方法、コンピュータプログラムおよび当該コンピュータプログラムを記録した記録媒体、フレーム間動き算出方法および画像処理方法
CN101485193A (zh) * 2006-10-19 2009-07-15 松下电器产业株式会社 图像生成装置以及图像生成方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3363477B2 (ja) 1992-06-12 2003-01-08 富士写真フイルム株式会社 撮像装置
WO2006137253A1 (ja) 2005-06-22 2006-12-28 Matsushita Electric Industrial Co., Ltd. 画像生成装置および画像生成方法
JP4916187B2 (ja) 2006-02-24 2012-04-11 オリンパス株式会社 レンズ系
JP4732264B2 (ja) 2006-07-28 2011-07-27 キヤノン株式会社 撮像装置
EP2063390B1 (en) * 2006-09-14 2016-08-03 Fujitsu Limited Image processing device and its program
US7907183B2 (en) 2006-10-30 2011-03-15 Panasonic Corporation Image generation apparatus and image generation method for generating a new video sequence from a plurality of video sequences
WO2008090730A1 (ja) * 2007-01-23 2008-07-31 Nikon Corporation 画像処理装置、電子カメラ、画像処理方法および画像処理プログラム
US7973827B2 (en) 2007-08-03 2011-07-05 Panasonic Corporation Image data generating apparatus, method and program for generating an image having high spatial and high temporal resolution
CN101889452B (zh) * 2007-12-04 2012-08-22 松下电器产业株式会社 图像生成装置及图像生成方法
CN101889453B (zh) * 2008-06-18 2013-11-13 松下电器产业株式会社 图像处理装置、摄像装置、方法及程序

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1224973A (zh) * 1997-11-21 1999-08-04 松下电器产业株式会社 动态范围扩展的成像装置、摄像机及其方法
CN1672403A (zh) * 2002-06-10 2005-09-21 索尼株式会社 数字静态照相装置、摄像装置和信息终端装置
CN101485193A (zh) * 2006-10-19 2009-07-15 松下电器产业株式会社 图像生成装置以及图像生成方法
CN101312504A (zh) * 2007-05-24 2008-11-26 索尼株式会社 固态成像装置、信号处理装置和信号处理方法和成像设备
WO2009011082A1 (ja) * 2007-07-17 2009-01-22 Panasonic Corporation 画像処理装置、画像処理方法、コンピュータプログラムおよび当該コンピュータプログラムを記録した記録媒体、フレーム間動き算出方法および画像処理方法

Also Published As

Publication number Publication date
JP4806476B2 (ja) 2011-11-02
US8471927B2 (en) 2013-06-25
US20120057049A1 (en) 2012-03-08
EP2523459A4 (en) 2014-12-24
CN102450019A (zh) 2012-05-09
WO2011083555A1 (ja) 2011-07-14
EP2523459A1 (en) 2012-11-14
EP2523459B1 (en) 2017-02-08
JPWO2011083555A1 (ja) 2013-05-13

Similar Documents

Publication Publication Date Title
CN102450019B (zh) 图像处理装置、图像生成***、方法及程序
US8441538B2 (en) Image generation apparatus and image generation method
JP5096645B1 (ja) 画像生成装置、画像生成システム、方法、およびプログラム
US8730357B2 (en) Image processing device, image processing method, and program
US8891866B2 (en) Image processing apparatus, image processing method, and program
EP2082569B1 (en) Digital imager with reduced object motion blur
RU2537038C2 (ru) Автоматическая обработка баланса белого с гибким выбором цветового пространства
JP7077395B2 (ja) 多重化高ダイナミックレンジ画像
US8823808B2 (en) Method for improved digital video image quality
CN102801918B (zh) 摄像设备和用于控制该摄像设备的方法
US20100201809A1 (en) Calibration method, calibration device, and calibration system including the device
US20090160992A1 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
JP5002738B2 (ja) 画像生成装置
US8982248B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP7285791B2 (ja) 画像処理装置、および出力情報制御方法、並びにプログラム
US20110279712A1 (en) Imaging apparatus, integrated circuit, and image processing method
JP2001197512A (ja) 色成分生成装置およびこれを用いた多色画像撮像装置、並びに色成分生成方法
JP2002112276A (ja) カラー固体撮像装置
US10863148B2 (en) Tile-selection based deep demosaicing acceleration
CN114422656A (zh) 图像处理方法和装置
US20210366084A1 (en) Deblurring process for digital image processing
KR20010058767A (ko) 칼라 영상 보간 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141210

CF01 Termination of patent right due to non-payment of annual fee