CN104144284B - 成像设备和成像方法 - Google Patents

成像设备和成像方法 Download PDF

Info

Publication number
CN104144284B
CN104144284B CN201410179147.1A CN201410179147A CN104144284B CN 104144284 B CN104144284 B CN 104144284B CN 201410179147 A CN201410179147 A CN 201410179147A CN 104144284 B CN104144284 B CN 104144284B
Authority
CN
China
Prior art keywords
image
focus
focus image
images
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410179147.1A
Other languages
English (en)
Other versions
CN104144284A (zh
Inventor
新井洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201910763080.9A priority Critical patent/CN110519493B/zh
Publication of CN104144284A publication Critical patent/CN104144284A/zh
Application granted granted Critical
Publication of CN104144284B publication Critical patent/CN104144284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种成像设备包括成像单元和发送单元。所述成像单元被配置来捕获彼此不同在物镜和具有第一分辨率的成像装置之间的预定数量的光学距离(焦距)的两个图像。所述发送单元被配置来发送所述捕获的图像。

Description

成像设备和成像方法
对于相关申请的交叉引用
本申请要求在2013年5月8日提交的日本优先权专利申请JP2013-098446的权益，其整体公开通过引用被包含在此。
技术领域
本公开涉及成像设备和成像方法，它们实现高分辨率图像、高光谱图像、立体图像和基于具有不同焦点的两个图像的重新聚焦的图像。
背景技术
为了在现有技术中实现高分辨率图像，存在放大技术，其中，对于原始图像执行上采样以进行放大，并且使用适当的滤光器来平滑因为该放大导致的在图像上产生的锯齿。
另外，存在下述超分辨率技术：在视频的帧之间内插缺少信息；使用启发式数据库来内插伪像素；或者，通过使用智能方法来增多图像信息来以符合人体工程学的美丽的方式示出图像(例如，参见日本公开专利申请No.2009-181508)。
而且，将像素移位的技术例示为高分辨率技术，其中，具有某个分辨率的成像装置用于以超过成像装置的分辨率的分辨率来捕获图像(参见例如日本公开专利申请No.2013-12112)。
而且，高光谱相机可以捕获图像，该图像包括在从可见光到近红外线的范围中的许多频带的光谱(参见例如日本公开专利申请No.2001-521772)。
而且，作为立体3D相机的随后步骤建立通过能够垂直和水平地移动视角的全景成像方法的相机(参见例如日本公开专利申请No.2008-219788)。
而且，建立光场相机，该光场相机能够在捕获图像后产生其焦点位置被自由改变(重新聚焦)的图像(参见例如，日本公开专利申请No.2009-224982)。以下，其焦点位置被自由改变的图像被称为“重新聚焦图像”。
发明内容
相机具有基于光的三基色的三色单色拍摄的基本功能。例如，在红光的频带中，相机具有确定在不同光谱之间的大约10nm的差的困难。这是因为，当R通道的亮度值的和落在单个亮度级中时，在同一R通道中舍入亮度值。
因为该舍入，已经难以使用通常的相机来用于诸如在医疗用途中的、在需要略微色差的分析的情况下的图像分析。
另外，作为用于观察这样的信息的相机，实际使用高光谱相机和多光谱相机。然而，那些相机难以使用，因为一次仅执行一维成像，并且唯一地在特定光谱中执行成像。
在全景成像方法中，使用透镜阵列，并且因此，存在下述问题：所表示的图像的分辨率不良，并且所捕获的图像的数据量变大。
如上所述，在现有技术的方法中，已经难以容易地获取高分辨率图像、高光谱图像、立体图像和重新聚焦图像。
鉴于如上所述的情况，期望提供一种成像设备和一种成像方法，它们能够容易地获取高分辨率图像、高光谱图像、立体图像和重新聚焦图像。
根据本公开的一个实施例，提供了一种成像设备，包括成像单元和发送单元。所述成像单元被配置来捕获彼此不同在物镜和具有第一分辨率的成像装置之间的预定数量的光学距离(焦距)的两个图像。所述发送单元被配置来发送所述捕获的图像。
在本公开的所述实施例中，在所述成像设备中，彼此不同预定聚焦数量并且具有第一分辨率的两个图像被获取，并且被发送到显影设备。
在用于高分辨率显影的显影设备中，将所述两个图像的视角均等，所述两个图像之一是第一焦点图像，并且另一个图像是第二焦点图像。通过漫射和放大所述第一焦点图像以具有比所述第一分辨率的第二分辨率而获得的图像被产生为数字散焦图像。而且，通过上采样在所述第二分辨率的所述第二焦点图像而获得的图像被产生为放大的散焦图像。而且，在所述数字散焦图像和所述放大的散焦图像之间的每一个像素的差被产生为干涉图像。通过学习型模式转换电路，从所述干涉图像产生所述第二分辨率的高频分量，并且，将所述第一焦点图像看作低频分量来执行分量合成处理，以显影具有所述第二分辨率的图像。
在用于高光谱显影的显影设备中，所述两个图像的视角被均等化，所述两个图像之一是第一焦点图像，并且另一个图像是第二焦点图像。通过漫射所述第一焦点图像而获得的图像被产生为数字散焦图像。在所述数字散焦图像和所述第二焦点图像之间的每一个像素的差被产生为干涉图像。通过经由学习型模式转换电路来加重放大色像差的处理，从所述干涉图像产生包含光谱信息的高频分量，并且，执行所述第一焦点图像和所述高频分量的分量合成处理，以显影高光谱图像。
在用于立体观看的图像的显影设备中，所述两个图像的视角被均等化，所述两个图像之一是第一焦点图像，并且另一个图像是第二焦点图像。通过经由第一函数来漫射所述第一焦点图像而获得的图像被产生为第一数字散焦图像，并且通过经由第二函数而漫射所述第一焦点图像而获得的图像被产生为第二数字散焦图像，所述第一函数和所述第二函数相对于彼此线性对称。在所述第一数字散焦图像和所述第二焦点图像之间的每一个像素的差被产生为第一掩蔽信息，并且在所述第二数字散焦图像和所述第二焦点图像之间的每一个像素的差被产生为第二掩蔽信息。从所述第一焦点图像和所述第一掩蔽信息显影用于立体观看的第一图像，并且，从所述第一焦点图像和所述第二掩蔽信息来显影用于立体观看的第二图像。
在用于重新聚焦图像显影的显影设备中，获取所述第一焦点图像和所述第二焦点图像，并且在所述两个图像之间的每个像素的差被产生为干涉图像。通过学习型模式转换电路，从干涉图像的亮度信息和光谱信息产生高频分量，并且，执行所述第一焦点图像和所述高频分量的分量合成处理，以显影重新聚焦图像。
通过如上所述的处理，在本公开中，有可能容易地获取高分辨率图像、高光谱图像、立体图像和重新聚焦图像。
根据本公开的所述实施例，在所述成像设备中，所述成像单元可以包括：形成图像捕获装置，其被配置来捕获其上聚焦通过所述物镜的光的形成图像；以及，散焦图像捕获装置，其被配置来捕获其上基于所述预定数量来散焦光的散焦图像。
根据本公开的所述实施例，所述成像设备可以进一步包括：视角调整单元，其被配置来均等所述两个图像的视角，所述两个图像之一是第一焦点图像，并且另一个图像是第二焦点图像；漫射单元，其被配置来产生作为数字散焦图像的、通过漫射和放大所述第一焦点图像以具有大于所述第一分辨率的第二分辨率而获得的图像；上采样单元，其被配置来产生作为放大散焦图像的、通过上采样所述第二焦点图像以具有所述第二分辨率而获得的图像；以及，差计算单元，其被配置来产生作为干涉图像的、在所述数字散焦图像和所述放大散焦图像之间的每一个像素的差，其中，所述发送单元可以被配置来发送所述第一焦点图像和所述干涉图像。
根据本公开的实施例，在所述成像设备中，所述第一焦点图像可以是焦点对准的形成图像，并且，所述第二焦点图像可以是从所述焦点对准位置散焦预定数量的散焦图像。
根据本公开的所述实施例，在所述成像设备中，所述漫射单元可以被配置来通过点扩展函数来漫射所述形成图像。
根据本公开的所述实施例，所述成像设备可以进一步包括：视角调整单元，其被配置来均等所述两个图像的视角，所述两个图像之一是第一焦点图像，并且另一个图像是第二焦点图像；漫射单元，其被配置来产生作为数字散焦图像的、通过漫射所述第一焦点图像而获得的图像；以及，差计算单元，其被配置来产生作为干涉图像的、在所述数字散焦图像和所述第二数字散焦图像之间的每一个像素的差，其中，所述发送单元可以被配置来发送所述第一焦点图像和所述干涉图像。
根据本公开的所述实施例，所述成像设备可以进一步包括：视角调整单元，其被配置来均等所述两个图像的视角，所述两个图像之一是第一焦点图像，并且另一个图像是第二焦点图像；漫射单元，其被配置来产生作为第一数字散焦图像的、通过经由第一函数漫射所述第一焦点图像而获得的图像，并且产生作为第二数字散焦图像的、通过经由第二函数漫射所述第一焦点图像而获得的图像，所述第一函数和所述第二函数相对于彼此线性对称；以及，差计算单元，其被配置来产生作为第一掩蔽信息的、在所述第一数字散焦图像和所述第二焦点图像之间的每一个像素的差，并且产生作为第二掩蔽信息的、在所述第二数字散焦图像和所述第二焦点图像之间的每一个像素的差，其中，所述发送单元可以被配置来发送所述第一焦点图像、所述第一掩蔽信息和所述第二掩蔽信息。
根据本公开的所述实施例，所述成像设备可以进一步包括：视角调整单元，其被配置来均等所述两个图像的视角，所述两个图像之一是第一焦点图像，并且另一个图像是第二焦点图像；以及，差计算单元，其被配置来产生作为干涉图像的、在所述第一焦点图像和所述第二焦点图像之间的每一个像素的差，其中，所述发送单元可以被配置来发送所述第一焦点图像、所述第二焦点图像和所述干涉图像。
根据本公开的一个实施例，提供了一种成像设备，包括：成像单元，其被配置来捕获图像；校正单元，其被配置来对于所述图像执行像差校正和数字光学校正的至少一种，以产生校正图像；差计算单元，其被配置来产生作为干涉图像的、在所述图像和所述校正图像之间的每一个像素的差；以及，发送单元，其被配置来发送在所述图像中包含的坐标信息、所述干涉图像和所述校正图像。
根据本公开的一个实施例，提供了一种成像方法，包括：捕获彼此不同在物镜和成像装置之间的预定数量的光学距离(焦距)的两个图像；并且，发送所述捕获图像。
如上所述，根据本公开，有可能容易地获取高分辨率图像、高光谱图像、立体图像和重新聚焦图像。
本公开的这些和其他目的、特征和优点将基于如附图中所示的、其最佳模式实施例的下面的详细说明而变得更清楚。
附图说明
图1是示出根据本公开的一个实施例的成像设备和显影设备的整体配置的配置图；
图2是示出根据本公开的实施例的另一种成像设备和另一种显影设备的整体配置的配置图；
图3是用于描述高分辨率显影的概念的图；
图4是示出根据本公开的实施例的高分辨率显影提供什么效果的图；
图5是用于描述通过使用散焦图像的逆操作来产生高分辨率图像的概念的图；
图6是示出散焦量的图；
图7是用于描述散焦方法的具体实例化的图；
图8是示出分量分离处理和分量合成处理的图；
图9是示出成像设备的实现示例的图；
图10是示出下述部分的图：作为参考的4K图像用于产生第一焦点图像和第二焦点图像，并且对于第一焦点图像和第二焦点图像执行高分辨率显影以通过干涉图像和高频分量来产生显影图像；
图11是示出通过放大在图10中所示的图像的黑眼部分而获得的图像的图；
图12是示出下述部分的图：作为参考的8K图像用于产生第一焦点图像和第二焦点图像，并且对于第一焦点图像和第二焦点图像执行高分辨率显影以通过干涉图像和高频分量爱产生显影图像；
图13是示出下述状态的图：其中，通过用于通过经由ΔY显影高分辨率图像、通过Δω显影高光谱图像和通过来显影立体图像的算法来从干涉图像分离关于Δ量的信息；
图14是示出根据本公开的另一个实施例的成像设备和另一种显影设备的整体配置的配置图；
图15是示出根据本公开的实施例的另一种成像设备和另一种显影设备的整体配置的配置图；
图16是用于描述高光谱显影的图；
图17是示出高光谱显影的具体示例的图；
图18是示出根据本公开的另一个实施例的成像设备和另一种显影设备的整体配置的配置图；
图19是示出根据本公开的实施例的另一种成像设备和另一种显影设备的整体配置的配置图；
图20是示出立体显影的处理流的图；
图21是用于描述立体显影的图；
图22是示出根据本公开的另一个实施例的成像设备和另一种显影设备的整体配置的配置图；
图23是示出根据本公开的实施例的另一种成像设备和另一种显影设备的整体配置的配置图；
图24是用于描述重新聚焦显影的原理的图；
图25是示出不通过仅使用亮度信息来估计光学路径的状态的图；
图26是示出其中可以通过使用亮度信息和光谱信息来估计光学路径的状态的图；
图27是示出其中放大色像差的情况因为向后和向前移动的焦点对准位置而不同的状态的图；
图28是示出在干涉图像中的光谱信息的示例并且示出对于每一个示例如何使得点扩展函数在漫射或会聚方向上作为的图；
图29是示出其中不是洋娃娃而是背景焦点对准的图像的示例的图；
图30是示出其中不是洋娃娃而是前侧焦点对准的图像的示例的图；
图31是示出通过对于在图29和30中所示的图像执行重新聚焦显影以显影洋娃娃焦点对准的图像而获得的重新聚焦图像的示例的图；
图32是示出通过对于在图29和30中所示的图像执行重新聚焦显影以显影洋娃娃和背景焦点对准的图像而获得的深焦点图像的示例的图；
图33是示出根据本公开的另一个实施例的另一个成像设备和另一个显影设备的整体配置的配置图；
图34是示出下述部分的图：作为参考的4K图像用于产生第一焦点图像，并且对于第一焦点图像执行高分辨率显影以产生显影图像；
图35是示出在1/60秒的正常快门速度、以正常快门速度的1/N捕获的图像和以通过从1/60秒减去1/60N而获得的(N-1)/60N秒的快门速度捕获的图像之间的关系的图；
图36是用于描述高帧速率显影的原理的图；以及
图37是示出另一种成像设备的配置的功能框图。
具体实施方式
以下，将参考附图来描述本公开的实施例。
第一实施例
首先，将描述整体配置。随后，将描述根据本公开的一个实施例的实现图像的高分辨率的技术的总体概述(以下称为高分辨率显影)。最后，将描述具体示例。
应当注意，根据本公开的实施例的高分辨率显影用于从其焦点在同一光轴上移位的两个图像收集光的干涉信息，并且基于干涉信息来以大于成像装置的分辨率的分辨率来显影图像。
[整体配置]
首先，将描述根据本公开的实施例的成像设备和显影设备的整体配置。图1是示出根据本公开的实施例的成像设备100和显影设备200的整体配置的配置图。应当注意，下面使用的术语，即，“第一焦点”和“第二焦点”通常指的是在焦点对准状态中的焦点和相对于在焦点对阵状态中的焦点散焦预定数量的焦点。在该情况下，“第一焦点图像”可以被读取为“形成图像”，并且“第二焦点图像”可以被读取为“散焦图像”。
然而，由“第一焦点”和“第二焦点”表示的焦点不限于上面的内容。相对于在焦点对准状态中的焦点向被摄体侧散焦预定数量的焦点可以被称为“第一焦点”，并且，相对于在焦点对准状态中的焦点向成像平面侧散焦预定数量的焦点可以被称为“第二焦点”。
成像设备100包括物镜1、半反射镜2、成像装置(第一焦点成像装置、形成图像捕获装置)3、第一焦点图像捕获控制器(成像单元)4、光学路径长度改变滤光器5、成像装置(第二焦点成像装置、散焦图像捕获装置)6、第二焦点图像捕获控制器(成像单元)7和发送单元8。
物镜1是象在一般数字相机的情况下那样用于在成像装置上形成被摄体的图像以便捕获被摄体的图像的光学***。
半反射镜2将已经通过物镜1的光分离，以便成像装置3和成像装置6接收光。
成像装置3捕获在物镜1的第一焦点上在成像平面上形成的图像。
第一焦点图像捕获控制器4获取由成像装置3捕获的图像。应当注意，以下将由成像装置3和第一焦点图像捕获控制器4获得的图像称为第一焦点图像。在第一焦点图像中，在一个像素中舍入未通过成像装置3的一个像素捕获的被摄体的高频分量。
光学路径长度改变滤光器5是用于精确地调整从物镜1到成像装置6的光学路径长度的滤光器。应当注意，在这个实施例中，光学路径长度改变滤光器5用于调整光学路径长度，但是，取代这一点，例如，可以提供通过调整成像装置6的位置而调整光学路径长度的配置。
成像装置6捕获通过光学路径长度改变滤光器5在第二焦点散焦(模糊)的图像。
第二焦点图像捕获控制器7获取由成像装置6捕获的图像。应当注意，以下将由成像装置6和第二焦点图像捕获控制器7获取的图像称为第二焦点图像。在第二焦点图像中，未被成像装置6的一个像素捕获的被摄体的高频分量在多个像素上被漫射，被以模糊形式出来。
应当注意，第一焦点图像捕获控制器4和第二焦点图像捕获控制器7可以被集成为一个成像控制器。
发送单元8向显影设备200发送从第一焦点图像捕获控制器4供应的第一焦点图像和从第二焦点图像捕获控制器7供应的第二焦点图像。
在上面的配置中，半反射镜2和两个成像装置3与6用于同时获取第一焦点图像和第二焦点图像。然而，在不必同时获取该两个图像的情况下，可以提供用于向光学路径加上光学路径长度改变滤光器5并且从光学路径去除光学路径长度改变滤光器5的机制，使得可以去除半反射镜2，并且可以通过一个成像装置来获取第一焦点图像和第二焦点图像。
随后，将描述显影设备200的配置。
显影设备200包括接收单元9、视角调整单元10、漫射处理单元(漫射单元)11、上采样处理单元(上采样单元)12、差计算单元13、去模糊处理单元14和分量合成处理单元15。
接收单元9接收从成像设备100的发送单元8发送的第一焦点图像和第二焦点图像。所接收的图像两者被供应到视角调整单元10。
视角调整单元10调整因为不同的焦点而具有略微不同的视角的第一焦点图像和第二焦点图像的每一个的视角，以对于每一个像素适当地执行下面的处理。可以对于第一焦点图像和第二焦点图像的仅一个执行视角的调整。
漫射处理单元11使用点扩展函数来将第一焦点图像改变为通过计算在散焦状态中的图像。以下将这个图像称为数字散焦图像。通过这个处理，将第一焦点图像改变为数字模糊化的图像。在原始第一焦点图像是具有HD(高分辨率)大小的图像的情况下，并且如果要显影的图像是例如4K分辨率图像，则将数字散焦图像放大为具有4K大小的图像。在要显影的图像是具有8K大小的图像的情况下，漫射处理单元11执行散焦以获取8K大小图像。
上采样处理单元12对于第二焦点图像执行上采样。例如，在第二焦点图像是HD大小图像并且要显影的图像是4K分辨率图像的情况下，上采样处理单元12将垂直和水平地布置来获得4K大小图像的像素的数量加倍。以下将通过上采样获得的图像称为放大散焦图像。在要显影的图像是8K大小图像的情况下，上采样处理单元12执行上采样以获得8K大小图像。
差计算单元13计算在由漫射处理单元11产生的数字散焦图像和由上采样处理单元12产生的放大散焦图像之间的每一个像素的差值。以下将计算结果称为干涉图像。
去模糊处理单元14由学习型模式转换电路构成，并且对于从差计算单元13供应的干涉图像执行去模糊处理，以产生高频分量。去模糊处理单元14将这个干涉图像看作散焦图像，并且通过用于在散焦之前的原始图像的逆操作方法来以大于第一焦点图像的分辨率的分辨率来产生图像的高频分量。
分量合成处理单元15通过分量合成处理将由去模糊处理单元14产生的高频分量和从接收单元9供应的低频分量(第一焦点图像)合成为一个图像。以下将合成图像称为显影图像。
以下，已经描述了整体配置。
[整体配置的修改示例]
接下来，将描述具有与上面的配置不同的配置的成像设备101和显影设备201。图2是根据本公开的实施例的成像设备101和显影设备201的整体配置的配置图。
与如上所述的配置的主要差别是显影设备200的视角调整单元10、漫射处理单元11、上采样处理单元12和差计算单元13被移动到成像设备101侧。应当注意，通过相同的附图标记来表示具有与上面的构成元件的功能相同的功能的构成元件，并且将省略其说明。
成像设备101包括物镜1、半反射镜2、成像装置3、第一焦点图像捕获控制器4、光学路径长度改变滤光器5、成像装置6、第二焦点图像捕获控制器7、视角调整单元10、漫射处理单元11、上采样处理单元、差计算单元13和发送单元8B。
发送单元8B向显影设备201发送由差计算单元13产生的干涉图像和从第一焦点图像捕获控制器4供应的低频分量(第一焦点图像)。
显影设备201包括接收单元9B、去模糊处理单元14和分量合成处理单元15。
接收单元9B接收从成像设备101的发送单元8B发送的干涉图像和低频分量。所接收的干涉图像被供应到去模糊处理单元14，并且所接收的低频分量被供应到分量合成处理单元15。
以上，已经描述了整体配置的修改示例。
[高分辨率显影的概念]
随后，将描述高分辨率显影的概念。图3是用于描述高分辨率显影的概念的图。
成像装置的一个像素被看作黑箱，并且从具有闪光灯的侧向黑箱施加光，以产生在一个像素之外的阴影。该阴影要作为比所述一个像素更细的信号，并且泄漏出到下一个像素。
通常观察不到比所述一个像素更细的信号。然而，当从具有闪光灯的侧施加光时，那个更细信号的阴影在相邻像素上出现。根据本公开的实施例的高分辨率显影使用下述情况：象这个阴影那样，比所述一个像素更细的信号的轨迹当焦点移位时泄漏出到相邻的像素，以基于该轨迹来显影比所述一个像素更细的信息。
随后，将从不同的视点描述根据本公开的实施例的高分辨率显影。图4是示出根据本公开的实施例的、通过高分辨率显影提供什么效果的图。
图4是在其左部示出了被摄体的大小，即，与4K分辨率的一个像素对应的被摄体A和与4K分辨率的四个像素对应的被摄体B。图4在其中心部分示出成像的被摄体A和B的大小。当使用HD相机来成像那些被摄体A和B时，以与HD分辨率的一个像素对应的大小来表达图像A和图像B两者。图4在其右部示出通过高分辨率显影基于光的轨迹(阴影)来执行在4K大小中的显影，并且因此，将被摄体A的图像恢复为与4K分辨率的一个像素对应的图像。
随后，将描述通过使用散焦图像的逆操作来产生高分辨率图像的概念。图5是用于描述通过使用散焦图像的逆操作来产生高分辨率图像的概念的图。
参考图5的左部，当在图像形成平面A上形成被摄体的图像时，图像占据与一个像素对应、但是在通过移位图像形成平面A而散焦的模糊平面B上的区域，模糊图像形成在下一个像素上，并且以对应于三个像素的大小被捕获。这意味着，比要在一个像素中观察的成像装置的所述一个像素细得多的高频分量被观察为模糊信息。图5在其右部示出通过使用干涉图像的逆操作来在虚拟图像形成平面C上显影具有比成像装置的原始分辨率高的分辨率的图像。
以上，描述了高分辨率显影的概念。
[高分辨率显影的***]
通常，成像装置难以成像比成像像素小的信息，并且如果被摄体具有复杂信息，则将比成像像素小的信息舍入为关于成像装置的一个像素的信息。同时，当移动焦点时，被摄体的图像被漫射以在相邻的成像像素上扩展，并且因此，未被成像像素的所述一个像素捕获的信息也在相邻的成像像素上出现。
在本公开的实施例中，获得在数字散焦图像和实际散焦图像之间的差。通过经由点扩散函数漫射形成图像以便获得预定模糊量来获得数字散焦图像。结果，关于未通过所述一个成像像素捕获的高频分量的信息以其中漫射图像的形式保留在从该差获得的干涉图像中。这个信息进行虚拟图像形成平面的逆操作，使得计算未被所述一个成像像素捕获的更细高频分量，并且显影比成像装置的分辨率更细的图像信息。
[用于虚拟图像形成平面的逆操作方法]
所获得的干涉图像和实际高频分量具有几何相关性，并且期望最后获取的指令信号被提供到学习型模式转换电路，以执行加强学习，因此建立逆操作模块(去模糊处理单元14)。使用该逆操作模块，已经发现，可以获得具有比成像装置的分辨率高的分辨率的图像。
[散焦量]
随后，将描述当标识散焦图像时的散焦量。图6是示出散焦量的图。
在图6中所示的矩形的每一个表达成像装置的一个像素。最内的圆圈是在成像装置100或101中的光学***的最小模糊圈。
例如，在成像装置具有HD分辨率并且要显示的图像是4K分辨率图像的情况下，执行散焦，直到模糊圈的大小改变为由在图6中的“2K-6K”指示的圆圈的大小。
此外，例如，在成像装置具有HD分辨率并且要显示的图像是8K分辨率图像的情况下，执行散焦，直到模糊圈的大小改变为由在图6中的“6K-10K”指示的圆圈的大小。
在上面的示例中，例示了HD的分辨率4K和8K。在其他分辨率的情况下，可以以与在HD的分辨率4K和8K的情况下相同的比率来执行散焦。
以上，已经描述了散焦量。
[散焦方法]
随后，将描述散焦方法的具体示例。图7是用于描述散焦方法的具体示例的图。
虽然已经在整体配置的部分中描述了光学路径长度改变滤光器5，但是入关于散焦量所述，必须根据要显影的图像的分辨率来调整散焦量。将滤光盘例示为散焦量的调整的具体示例。
如图7中所示，例如，用于显影具有分辨率3.2K、4K和8K的图像的光学路径长度改变滤光器5被适配到滤光盘内。成像设备100或101根据要显影的图像的分辨率来旋转滤光盘，并且使用光学路径长度改变滤光器5来执行与目标分辨率对应的高分辨率显影。
以上，已经描述了散焦方法的具体示例。
[分量合成处理]
随后，将与分量分离处理一起描述分量合成处理。图8是示出分量分离处理和分量合成处理的图。
首先，将描述分量分离处理。假定，高分辨率图像A包括四个像素D1、D2、D3和D4。在分量分离处理中，通过下面的表达式来产生低频分量C和高频分量B，其中，高频分量B由像素值D1’、D2’、D3’和D4’构成：
低频分量C＝像素平均值Dm＝(D1+D2+D3+D4)/4；
D1’＝D1-Dm；
D2’＝D2-Dm；
D3’＝D3-Dm；以及
D4’＝D4-Dm。
分量合成处理是分量分离处理的逆操作。可以通过下面的表达式来获得要获得的高分辨率图像D的像素值D1至D4：
D1＝D1’+Dm；
D2＝D2’+Dm；
D3＝D3’+Dm；以及
D4＝D4’+Dm。
在此，执行分量合成处理，假定(HD大小的)第一焦点图像是低频分量，并且去模糊处理单元14的处理结果是高频分量，并且因此，可以获得(4K大小的)高分辨率图像作为显影图像。
以上，已经描述了分量合成处理。
[成像设备的实现示例]
接下来，将描述尝尝鲜设备的实现示例。图9是示出成像设备的实现示例的图。
在图9的左上部的“内置型大双传感器相机”具有与在图1和图2中所示的整体配置最类似的配置。
在图9的右上部上的“半反射镜装配***立体相机”具有下述配置：其中，物镜1和相机300被布置在分光器301内的半反射镜2的后侧上，并且被工具302固定。
在图9的右下部上的“大透镜光谱型立体相机”具有其中在大透镜303内布置半反射镜2的配置。
在图9的左下部上的“平行***立体相机”用于散焦使用左和右物镜1捕获的图像之一。视点在左和右图像之间移位，并且这限制了分辨率的增强，但是该相机产生特定的效果。
应当注意，除了第一实施例之外，那些实现示例也被应用到下面描述的实施例。
以上，已经描述了成像设备的实现示例。
[具体示例]
接下来，将描述根据本公开的实施例的、使用高分辨率显影技术来执行高分辨率显影的示例。
图10是示出下述部分的图，作为参考的4K图像A用于产生第一焦点图像B和第二焦点图像C，并且对于第一焦点图像B和第二焦点图像C执行高分辨率显影，以通过干涉图像D和高频分量E来产生显影图像F。将参考4K图像A与显影图像F作比较，发现在其间没有大的差别。然而，在在此执行的第一焦点图像和第二焦点图像中，在学习型模式转换电路中集中地学习具体模式。
图11是示出通过放大在图10中所示的图像的黑眼部分而获得的图像的图。将参考图像A与显影图像C作比较，发现显影图像C的显影精度是参考图像A的显影精度的大约9/10。
图12是示出下述部分的图：作为参考的8K图像A用于产生第一焦点图像B和第二焦点图像C，并且对于第一焦点图像B和第二焦点图像C执行第一焦点图像和第二焦点图像，以通过干涉图像D和高频分量E来产生显影图像F。将参考8K图像A与显影图像F作比较，发现在其间没有大的差别。然而，在在此执行的高分辨率显影中，在学习型模式转换电路中集中地学习具体模式。
以上，已经描述了第一实施例。
第二实施例
第一实施例通过从干涉图像获取高频分量而实现了图像的高分辨率。现在，汇总从干涉图像获取的信息。
通常，通过数学表达式来表达波动，并且，当将波动看作图像信息时，将Y解释为亮度，将ω解释为RGB的光谱信息，并且将解释为立体信息。
使用在现有技术中的一般相机，仅显影被解析为关于光的RGB的符合人体工程学的三基色的信息的亮度信息。
从两个图像、即第一焦点图像(形成图像)和第二焦点图像(散焦图像)获得的干涉图像包含关于作为参考图像的第一焦点图像的Y、ω和的改变量的信息。本公开的发明者发现可以通过通过用于通过经由ΔY显影高分辨率图像、通过Δω显影高光谱图像和通过来显影立体图像的算法来从干涉图像分离关于那些改变量的信息(参见图13)。
在第一实施例中描述的高分辨率显影技术通过向参考图像加上ΔY的信息来获得超过成像装置的分辨率的分辨率。
将给出关于下述部分的说明：在第二实施例中的使用Δω的高光谱显影，在第三实施例中的使用的立体显影和在第四实施例中的使用的重新聚焦显影。在此，那些显影技术被统称为全息显影。
[整体配置]
首先，将描述根据本公开的实施例的成像设备和显影设备的整体配置。图14是示出根据本公开的实施例的成像设备100和显影设备202的整体配置的配置图。
要在第二实施例中使用的成像设备100的配置与第一实施例的相同，并且因此将省略其说明。
与第一实施例在显影设备上的主要差别是使用显影设备202来更换显影设备200，其中，去除了上采样处理单元12，并且向漫射处理单元11、差计算单元13和去模糊处理单元14提供不同的功能，以分别改变为漫射处理单元11B、差计算单元13B和去模糊处理单元14B。在下面的说明中，通过相同的附图标记来表示具有与第一实施例的构成元件相同的功能的那些，并且将省略其说明。
显影设备202包括接收单元9、视角调整单元10、漫射处理单元11B、差计算单元13B、去模糊处理单元14B和分量合成处理单元15。
漫射处理单元11B使用点扩展函数来将第一焦点图像改变为在通过计算散焦的状态中的数字散焦图像。通过该处理，将第一焦点图像改变为数字模糊图像。然而，不像第一实施例的漫射处理单元11那样，漫射处理单元11B不放大原始的第一焦点图像，例如，将HD分辨率改变为4K或8K分辨率。
差计算单元13B计算在由漫射处理单元11B产生的数字散焦图像和从视角调整单元10供应的第二焦点图像之间的每一个像素的差值，以产生干涉图像。
去模糊处理单元14B由学习型模式转换电路构成，并且对于从差计算单元13B供应的干涉图像执行去模糊处理，以产生高频分量。去模糊处理单元14将该干涉图像看作散焦图像，并且通过对于在散焦之前的原始图像的逆操作方法来产生具有比形成图像的分辨率高的分辨率的图像的高频分量。然而，在去模糊处理单元14B中，执行通过学习型模式转换电路的学习，以便与由第一实施例的去模糊处理单元14执行的去模糊处理作比较进一步加强对比度。
以上，已经描述了整体配置。
[整体配置的修改示例]
接下来，将描述具有与上面的配置不同的配置的成像设备102和显影设备203。图15是示出根据本公开的实施例的参讯擦设备102和显影设备203的整体配置的配置图。
与如上所述的配置的主要差别是将显影设备202的视角调整单元10、漫射处理单元11B和差计算单元13B移动到成像设备102侧。应当注意，通过相同的附图标记来表示具有与上面的构成元件的功能相同的功能的构成元件，并且将省略其说明。
成像设备102包括物镜1、半反射镜2、成像装置3、第一焦点图像捕获控制器4、光学路径长度改变滤光器5、成像装置6、第二焦点图像捕获控制器7、视角调整单元10、漫射处理单元11B、差计算单元13B和发送单元8B。
显影设备203包括接收单元9B、去模糊处理单元14B和分量合成处理单元15。
以下，已经描述了整体配置的修改示例。
[高光谱显影]
在现有技术中的彩色相机将入射光解析为光的三基色RGB的通道，并且通过对于显影的颜色执行单色拍摄来捕获全色图像。在该方法中，不分析同一通道的不同颜色。同时，在高光谱显影中，将焦点移位以产生从放大色像差得出的棱镜光谱，并且以莫尔图案来布置光谱信息。
当使用正常相机来捕获白色单色调被摄体的图像时，所捕获的图像是白色的。如果放大色像差出现，则将白色与相邻像素的放大色像差混和，并且，图像的颜色保持为白色。因为这个原因，从白色图像未观察到任何事物。
同时，在观察到在两个图像之间、即在第一焦点图像和第二焦点图像之间或在形成图像和散焦图像之间的差的情况下，可以因为在被摄体的光反射表面上的光谱特性上的细微改变来在干涉图像的莫尔图案上作为像差信息略微观察到放大色像差的轨迹。这时因为当焦点移动时，放大色像差的程度改变。学习型模式转换电路加重了该像差信息，该学习型模式转换电路执行学习以便加重对比度，使得可以捕获在已经难以在现有技术中使用相机捕获的、在被摄体的表面上的细微改变(参见图16)。
[高光谱显影的具体示例]
接下来，将描述高光谱显影的具体示例。图17是示出高光谱显影的具体示例的图。
图像A是在高光谱显影之前的第一焦点图像。图像B是干涉图像。在这个干涉图像中，可以因为当移位焦点时在光谱特性上的略微差别而观察到莫尔图案。图像C是已经进行了二维高光谱显影的显影图像。在该显影图像中，加重莫尔图案的轻微的对比度，并且可以详细观察到在图像中出现的裂缝周围出现的随着时间的改变的状态。这个改变状态难以在使用通常的相机捕获的图像中观察到。
以上，已经描述了第二实施例
第三实施例
在第三实施例中，如上所述，将描述使用的立体显影技术。
[整体配置]
首先，将描述根据本公开的一个实施例的成像设备和显影设备的整体配置。图18是示出根据本公开的实施例的成像设备100和显影设备204的整体配置的配置图。
要在第三实施例中使用的成像设备100的配置与第一或第二实施例的相同，并且因此将省略其说明。
与第二实施例的、在显影设备上的主要差别是将显影设备202替换为显影设备204，其中，去除了去模糊处理单元14B，并且分别向漫射处理单元11B、差计算单元13B和分量合成处理单元15提供了不同的功能以改变的漫射处理单元11C、差计算单元13C和分量合成处理单元15B。在下面的说明中，通过相同的附图标记来表示具有与如上所述的实施例的功能相同的功能的构成元件，并且将省略其说明。
显影设备204包括接收单元9、视角调整单元10、漫射处理单元11C、差计算单元13C和分量合成处理单元15B。
漫射处理单元11C使用点扩展函数来将第一焦点图像改变为在通过计算散焦的状态中的数字散焦图像。然而，不像如上所述的实施例，漫射处理单元11C使用在右方向和左方向上偏离以彼此线对称的两个点扩展函数来对于第一焦点图像执行漫射。因此，产生用于右图像和左图像的两个数字散焦图像。
在上面的说明中，漫射处理单元11C产生用于右图像和左图像的两个数字散焦图像，但是要产生的图像不限于右图像和左图像，并且可以是上图像和下图像。当产生用于上图像和下图像的数字散焦图像时，可以在被旋转90度的状态中立体地观看到最后显影的立体图像。
差计算单元13C计算在通过漫射处理单元11C产生的用于右图像和左图像的两个数字散焦图像的每一个和从视角调整单元10供应的第二焦点图像之间的每一个像素的差值，以产生用于右图像和左图像的两个掩蔽信息。
基于由差计算单元13C产生的用于右图像和左图像的两个掩蔽信息和从接收单元9供应的形成图像，分量合成处理单元15B合成右和左图像的两个显影的图像以用于立体观看。
以上，已经描述了整体配置。
[整体配置的修改示例]
接下来，将描述具有与上面的配置不同的配置的成像设备103和显影设备205。图19是示出根据本公开的实施例的正透镜103和显影设备205的整体配置的配置图。
与如上所述的配置的主要差别是将显影设备204的视角调整单元10、漫射处理单元11C和差计算单元13C移动到成像设备103侧。应当注意，将省略关于具有与上面的构成元件的功能相同的功能的构成元件的说明。
成像设备103包括物镜1、半反射镜2、成像装置3、第一焦点图像捕获控制器4、光学路径长度改变滤光器5、成像装置6、第二焦点图像捕获控制器7、视角调整单元10、漫射处理单元11C、差计算单元13C和发送单元8C。
发送单元8C向显影设备205发送由差计算单元13C产生的用于右图像和左图像的两个掩蔽信息和从第一焦点图像捕获控制器4供应的第一焦点图像。
显影设备205包括接收单元9C和分量合成处理单元15B。
接收单元9C接收从成像设备103的发送单元8C发送的用于右图像和左图像的两个掩蔽信息。所接收的掩蔽信息和第一焦点图像被供应到分量合成处理单元15B。
以上，已经描述了整体配置的修改示例。
[处理流]
随后，将描述立体显影的处理流。图20是示出立体显影的处理流的图。
在此，将描述在结束视角调整单元10的处理的时间点后的处理流。而且，在产生立体图像的处理中，左眼图像的产生处理和右眼图像的产生处理彼此不是不同，除了逆反了用于左和右的处理。因此，仅将在下面描述左眼图像的处理。应当注意，左点扩展函数和右点扩展函数相对于彼此线对称。
首先，漫射处理单元11C使用其分布偏向左侧的左点扩展函数来用于第一焦点图像，以产生左数字散焦图像。
随后，差计算单元13C获取在左数字散焦图像和第二焦点图像之间的每一个像素的差值，以产生右信号掩蔽信息。
接下来，分量合成处理单元15B合成第一焦点图像和右信号掩蔽信息以将左眼图像显影。
这是立体显影的处理流。
[立体显影]
散焦图像包含作为相位信息的、关于来自多个方向的光的信息。通过使用形成图像来掩蔽来自立体观看不需要的方向的光，可以分离用于立体观看的光。该分离可以提供立体图像，该立体图像垂直和地水平地具有选用会聚角(立体效果)(参见图21)。
然而，实际上获得的会聚角取决于物镜1的焦距或孔径，并且通过根据本公开的实施例的立体显影技术获得的立体效果与通过单透镜分光器立体相机获得者几乎相同。
以上，已经描述了第三实施例。
第四实施例
在第四实施例中，如上所述，将描述使用的重新聚焦显影技术。
[整体配置]
首先，将描述根据本公开的一个实施例的成像设备和显影设备的整体配置。图22是示出根据本公开的实施例的成像设备100和显影设备206的整体配置的配置图。
要在第四实施例中使用的成像设备100的配置与如上所述的每一个实施例的配置相同，并且因此将省略其说明。
在显影设备206上的、与如上所述的实施例的主要差别是去除了散焦图像漫射处理单元11和上采样处理单元12，向模糊和去模糊处理单元14C和分量合成处理单元15C提供了下述的功能，并且另外提供了输入单元18。在下面的说明中，通过相同的附图标记来表示具有与如上所述的实施例的功能相同的功能的构成元件，并且将省略其说明。
显影设备206包括接收单元9、视角调整单元10、差计算单元13、模糊和去模糊处理单元14C、分量合成处理单元15C和输入单元18。
输入单元18接收由用户指定的焦点对准位置的输入。例如，当用户要行为其中图像的背景焦点对准的图像时，输入“向后”，并且当用户要显影其中位于图像中间的物体焦点对准的图像时，输入“中心”。当用户要显影其中图像的前景焦点对准的图像时，输入“向前”，并且当用户要显影其中所有区域焦点对准的图像时，输入“深焦点”。
模糊和去模糊处理单元14C通过使用经由学***面上形成图像。随后，基于光谱信息，更具体地，基于放大色像差，使得点扩展函数在图像漫射方向上或图像会聚方向上作为。因此，产生在低频分量的图像和重新聚焦的图像之间的差信息。差信息是重新聚焦显影所需的。下面将描述用于通过模糊和去模糊处理单元14C的重新聚焦蓄意些的处理。
分量合成处理单元15C使用从模糊和去模糊处理单元14C供应的差信息和从接收单元9供应的第一焦点图像(第一低频分量)和第二焦点图像(第二低频分量)的任何一个来合成重新聚焦的图像。下面将描述通过分量合成处理单元15C的重新聚焦显影的处理。
以上，已经描述了整体配置。
[整体配置的修改示例]
接下来，将描述具有与上面的配置不同的配置的成像设备104和显影设备207。图23是示出根据本公开的实施例的成像设备104和显影设备207的整体配置的配置图。
与如上所述的配置的主要差别是显影设备206的视角调整单元10和差计算单元13被移动到成像设备104侧。应当注意，将省略具有与上面的构成元件的功能相同的功能的构成元件的说明。
成像设备104包括物镜1、半反射镜2、成像装置3、第一焦点图像捕获控制器4、光学路径长度改变滤光器5、成像装置6、第二焦点图像捕获控制器7、视角调整单元10、差计算单元13和发送单元8D。
发送单元8D向显影设备207发送由差计算单元13产生的干涉图像、从第一焦点图像捕获控制器4供应的第一焦点图像和从第二焦点图像捕获控制器7供应的第二焦点图像。
显影设备207包括接收单元9D、模糊和去模糊处理单元14C、分量合成处理单元15C和输入单元18。
接收单元9D接收从成像设备104的发送单元8D发送的干涉图像、第一焦点图像和第二焦点图像。所接收的干涉图像被供应到模糊和去模糊处理单元14C，并且第一焦点图像和第二焦点图像被供应到分量合成处理单元15C。
以上，已经描述了整体配置的修改示例。
[重新聚焦显影的原理]
随后，将描述重新聚焦显影的原理。在重新聚焦显影中，基于从具有不同焦点的两个图像获得的干涉图像来逆计算所捕获的图像在透过物镜1后所沿着传播的光学路径。因此，可以在选用的焦点位置处显影图像。本发明人通过实验验证了可以通过下述方式来以准方式来显影与使用不同特性的透镜捕获的图像相同的图像：重新聚焦显影，例如，在捕获图像后执行重新聚焦，或者产生在整个图像上正焦点对断的深焦点图像。
图24是用于描述重新聚焦显影的原理的图。第一焦点图像A包括被摄体的图像IMG1A和图像IMG2A。而且，第二焦点图像B包括被摄体的图像IMG1B和图像IMG2B。
例如，因为通过以不同的焦点将同一被摄体成像来获得图像IMG1A和图像IMG2A，所以当连接它们的轮廓时，可以估计光学路径1。
随后，指定在其中意欲执行重新聚焦的焦点位置处的重新聚焦平面C，可以将在重新聚焦后的图像IMG1C计算为其上光学路径1和重新聚焦平面C相交的平面。以相同的方式，也可以从图像IMG2A和图像IMG2B估计光学路径2，并且因此，可以计算在重新聚焦平面C上的图像IMG2C。
以上，已经描述了重新聚焦显影的原理。
(使用干涉图像的光谱信息来估计光学路径的方法)
接下来，将描述在模糊和去模糊处理单元14C中基于干涉图像来估计光学路径的方法。在此，将描述下述情况：除了在干涉图像中包含的亮度信息之外，也必须使用也在干涉图像中包含的光谱信息来估计光学路径。
首先，将描述不仅仅通过在干涉图像中包含的亮度信息来估计光学路径的情况。图25是示出不仅仅使用亮度信息来估计光学路径的状态的图。
图25示出在第一焦点图像A中的图像IMG1A和在第二焦点图像B中的图像IMG1B，它们象在图24中那样用于描述“重新聚焦显影的原理”的部分。可以从干涉图像的亮度信息来计算图像IMG1A的大小和IMG1B的大小。然而，难以从那两个图像的大小确定光学路径是否如在图25的上部示出的具有在第一焦点和第二焦点之间的焦点对准平面的光学路径1X或如在图25的下部示出的没有在第一焦点和第二焦点之间的焦点对准平面的光学路径1Y。因为那个原因，所以如图25的上和下部所示，在光学路径1X和光学路径1Y中，不唯一地确定在重新聚焦平面C上获得的图像IMG1C的大小。
随后，将描述也可以通过使用在干涉图像中包含的光谱信息来估计光学路径的情况。图26是示出其中通过使用亮度信息和光谱信息来估计光学路径的状态的图。
图26示出也如图25中所示的在第一焦点图像A中的图像IMG1A、在第二焦点图像B中的图像IMG1B、光学路径1X和光学路径1Y。与图25的差别是光束通过的位置因为在图像IMG1A和IMG1B的轮廓附近的放大色像差而取决于波长而不同。为了容易明白，图26示出作为示例的红光、绿光和蓝光(在图26中分别被R、G和B表示)。
在图像IMG1A周围，以从内侧起R、G和B的顺序来布置在图像IMG1A的轮廓附近的颜色。与此相反，在图像IMG1B周围，如图26的上部所示，在在第一焦点和第二焦点之间具有焦点对准平面的光学路径1X中，以从内侧起B、G和R的顺序来布置在IMG1B的轮廓附近的颜色，但是相反，如在图26的下部所示，在光学路径1Y中以从内侧起的R、G和B的顺序来布置在IMG1B的轮廓附近的颜色。
当以这样的方式观察到通过放大色像差出现的在图像的轮廓中的颜色溢出时，有可能估计光学路径是光学路径1X或光学路径1Y。
以上，已经描述了使用干涉图像的光谱信息来估计光学路径的方法。
[焦点对准位置和放大色像差的实际示例]
接下来，将使用实际示例来描述等捕获图像时在焦点对准位置和要产生的放大色像差之间的关系。图27是示出因为焦点对准位置前后移动而导致放大色像差的情况不同的状态的图。
图像A是其中不是在中心出现的洋娃娃而是背景焦点对准的图像。图像B是其中在中心出现的洋娃娃焦点对准的图像。图像C是其中不是在中心出现的洋娃娃而是前侧焦点对准的图像。而且，通过分别放大图像A、B和C的每一个的在重新出现的洋娃娃的眼睛的部分来获得图像A1、B1、C1的每一个。
在图像B1中，洋娃娃焦点对准，并且在眼睛部分处未识别到因为放大色像差导致的颜色溢出。与此相反，在图像A1中，洋娃娃的后面焦点对准，并且在眼睛部分中，特别是在上眼睑的轮廓中，蓝色的颜色溢出出现。另外，在图像C1中，洋娃娃的前面焦点对准，并且在眼睛部分中，特别是在上眼睑的轮廓中，黄色的颜色溢出出现。
如上所述，图像A1和图像C1具有相对于图像B1的相同的散焦程度，但是因为放大色像差而具有不同的颜色溢出。因为那个原因，有可能基于不同的颜色溢出来确定焦点对准位置是否位于图像之前或之后，即使当图像A1和图像C1具有相同的模糊程度时。
以上，已经描述了当捕获图像时在焦点对准位置和要产生的放大色像差之间的关系的实际示例。
[在干涉图像中包含的光谱信息的示例和点扩展函数的使用]
接下来，示出在干涉图像中包含的光谱信息的示例，并且在每一个示例中示出如何使得点扩展函数作为(在图像漫射发送或图像会聚方向上)。图28是示出在干涉图像中的光谱信息的示例并且示出对于每一个示例如何使得点扩展函数在漫射或会聚方向上作为的图。
在图28中，因为在区域A1中出现的图像中的放大色像差而识别在蓝色的颜色溢出。对于其中观察到在蓝色中的颜色溢出的图像，使得点扩展函数在图像会聚方向上、即在焦点对准方向上作为。
此外，因为在区域A2中出现的图像中的放大色像差而识别在黄色的颜色溢出。对于其中观察到在黄色中的颜色溢出的图像，使得点扩展函数在图像会聚方向上、即在焦点对准方向上作为。
以这种方式，在干涉图像中，可以确定因为放大色像差导致的在颜色上的差别，并且当通过模糊和去模糊处理单元14C的学习型模式帧活动量学习到关于这样的差别的信息时，有可能确定是否在漫射方向或会聚方向上显影在干涉图像中的图像。
使用该确定，可以基于具有不同焦点的两个图像来显影被重新聚焦到选用的焦点位置的图像。
以上，已经描述了在干涉图像中包含的光谱信息的示例和点扩展函数的使用。
[重新聚焦显影的实际示例]
接下来，将描述重新聚焦显影的实际示例。图29是示出其中不是洋娃娃而是背景焦点对准的图像的示例的图。该图像是要在重新聚焦显影中使用的第一图像，并且对应于第一焦点图像。在这个图像中，不是在中心出现的洋娃娃而是背景焦点对准。
图30是示出其中不是洋娃娃而是前侧焦点对准的图像的示例的图。该图像是要在重新聚焦显影中使用的第二图像，并且对应于第二焦点图像。在这个图像中，不是在中心出现的洋娃娃而是前部焦点对准，并且整个图像被散焦。
图31是示出通过对于在图29和30中示出的图像执行重新聚焦显影以显影洋娃娃焦点对准的图像而获得的重新聚焦图像的示例的图。在这个示例中，可以显影在背景模糊并且在中心的洋娃娃焦点对准的图像。
图32是示出通过对于在图29和30中示出的图像执行重新聚焦显影以显影洋娃娃和背景焦点对准的图像而获得的重新聚焦图像的示例的图。使用以这样的方式的重新聚焦显影，也可以显影其中聚焦在多个不同距离处的被摄体的深焦点图像。
以上，已经描述了重新聚焦显影的实际示例。
第五实施例
接下来，将描述其中在没有散焦机制的情况下执行高分辨率显影的实施例。在这个实施例中，取代散焦处理来使用放大色像差校正处理。用于执行放大色像差校正处理的***已经被投入实际使用，并且被安装在产品中，所以，可以仅通过略微校正现有产品来实现高分辨率显影。
[整体配置]
首先，将描述根据本公开的一个实施例的成像设备和显影设备的整体配置。图33是示出根据本公开的实施例的成像设备105和显影设备208的整体配置的配置图。应当注意，通过相同的附图标记来表示具有与上面的构成元件的功能相同的功能的构成元件，并且将省略其说明。
成像设备105包括物镜1、成像装置3、第一焦点图像捕获控制器(成像单元)4、像差校正单元(校正单元)16、差计算单元13D、高频分量提取单元17和发送单元8E。
像差校正单元16获取关于物镜1的焦距和变焦等的透镜信息，并且通过公知的放大色像差校正方法基于所获取的透镜信息来校正形成图像的放大色像差。
具体地说，通过数字处理来校正在R通道和G通道之间的移位和在B通道和G通道之间的移位。该校正移位的步骤产生与散焦步骤实质上相同的效果，并且因此，放大色像差的校正允许执行高分辨率显影，而不执行散焦处理。应当注意，在此描述了放大色像差，但是本公开不限于此，并且可以校正球面像差和彗差等。而且，将图像进行数字光学校正，诸如数字去模糊处理。在此产生的图像是被执行像差校正和数字光学校正的至少一种的图像。
应当注意，以下将被执行放大色像差校正的图像称为校正图像。校正图像被输出到差计算单元13D以便产生干涉图像，被输出到高频分量提取单元17以便提取高频分量，并且被输出到发送单元8E以便在显影设备208中的分量合成处理中使用。
差计算单元13D计算在输入的第一焦点图像和校正图像之间的每一个像素的差，产生干涉图像，并且向发送单元8E输出该干涉图像。
高频分量提取单元17仅通过子波变换等来从校正图像提取高频分量。提取方法不限于子波变换，并且可以是任何方法，只要可以提取高频分量。所提取的校正图像的高频分量被发送到发送单元8E，以便在显影设备208的去模糊处理单元14D中使用。
发送单元8E向显影设备208发送在第一焦点图像中包括的坐标信息、干涉图像、校正图像的高频分量和校正图像。通过下述方式来获得在此所述的坐标信息：使用极坐标系(r-θ)将第一焦点图像的X-Y坐标信息替换为作为中心的第一焦点图像的中心图像。使用极坐标系，因为基于图像的中心来同中心地产生放大色像差。该信息用于会聚在去模糊处理单元14D的学习型模式转换电路中的学习。
显影设备208包括接收单元9E、去模糊处理单元14D和分量合成处理单元15。
接收单元9E从成像设备105的发送单元8E接收坐标信息、干涉图像、校正图像的高频分量和校正图像，并且向去模糊处理单元14D输出该坐标信息、干涉图像和校正图像的高频分量，并且向分量合成处理单元15输出校正图像。
去模糊处理单元14D接收坐标信息、干涉图像和校正图像的高频分量的输入，以在学习型模式转换电路中执行学习，以便逆计算要显影的图像的高频分量。例如，在第一焦点图像是HD大小图像的情况下，通过去模糊处理来产生4K大小图像的高频分量。在第一焦点图像是4K大小图像的情况下，产生8K大小图像的高频分量。所产生的显影图像的高频分量被输出到分量合成处理单元15。在干涉图像中包含的放大色像差的像差信息和校正图像的高频分量在逐个像素的基础上被输入到学习型模式转换电路，以执行处理。
以上，已经描述了整体配置。应当注意，在上面的配置中在成像设备105中包括像差校正单元16、差计算单元13D和高频分量提取单元17。然而，可以在显影设备208中包括所有那些组件，可以在成像设备105中包括像差校正单元16，并且，可以在成像设备105中包括像差校正单元16和差计算单元13D。
[具体示例]
接下来，将描述下述示例：其中，使用根据本公开的实施例的高分辨率显影技术来执行高分辨率显影。
图34是示出下述情况的图：作为参考的4K图像A用于产生第一焦点图像B，并且对于第一焦点图像B执行高分辨率显影，以产生显影图像C。将参考4K图像与显影图像C作比较，发现在其间没有大的差别。
第六实施例
在如上所述的第一实施例和第五实施例中，已经描述了通过使用从第一焦点图像(形成图像)产生的干涉图像和第二焦点图像(散焦图像)来在空间方向上获得高分辨率的全息显影。
与此相反，在这个实施例中，将描述高帧速显影技术，其中，在时间方向上加宽全息显影的理论以增大所捕获的移动图像的帧速。
在该高帧速显影中，如图35中所示，使用以1/60N秒的快门速度捕获的图像。该1/60N秒的快门速度基于1/60秒的通常的快门速度，并且是那个快门速度的1/N(N是正数)。该图像被称为1/N快门图像。
另外，也使用在(N-1)/60N的快门速度捕获的图像。(N-1)/60N的快门速度是通过从1/60秒减去1/60N秒而获得的剩余时间。该图像被称为(N-1)/N快门图像。那两个图像进行高帧速显影以显影与在Nx速度下、即在1/60N秒的高快门速度下捕获的视频等同的高帧速视频。
该技术具有下述优点：可以使用能够通过快门控制来在1/60秒中处理总共两个图像的图像数据相机而不使用专用于高帧速的相机来产生高帧速视频。该总共两个图像是在1/60N秒的快门速度下捕获的HD分辨率的图像和在(N-1)/60N秒的快门速度下捕获的HD分辨率的图像。
然而，在该技术中，极高的帧速引起在马赛克噪点上的大幅度增加，并且因此，限制了用于显影的帧速。而且，所产生的视频的分辨率也被成像装置的动态范围影响。
[高帧速显影的原理]
接下来，将描述高帧速显影的原理。在此，作为示例描述N＝3的情况。图36是用于描述高帧速显影的原理的图。在此，将在1/60秒中捕获的两种类型的图像称为1/3快门图像和2/3快门图像。
基于要显影的3x速度图像的帧号，以下将要捕获的图像的帧酌情称呼如下。首先，捕获1/3快门速度的第一帧(帧#1)，并且随后捕获2/3快门图像的第二至第三帧(与3x速度图像的第二和第三帧对应的帧#2至3)。接下来，捕获1/3快门图像的第四帧(帧#4)并且，以下述顺序来捕获2/3快门图像的第五至第六帧。
(伪内插帧的产生)
在从1/3快门图像和2/3快门图像显影3x速度图像的情况下，首先，分析在1/3快门图像的第一帧和第四帧之间的移动量。
随后，通过使用经由模式匹配的线性内插，基于在第一帧和第四帧之间的移动量来将第一帧和第四帧的一个图像简单地在其移动方向上移动。通过线性内插，产生与3x速度图像的第二帧(帧#2)和第三帧(帧#3)对应的伪内插帧。
(内插误差的计算)
因为通过在两个内插帧中的简单线性移动来执行内插，所以未精确地内插被摄体的旋转移动或加速移动和在屏幕的深度方向上的移动等。因为那个原因，在所内插的帧的图像中，许多内插误差在边缘部分出现。
如果可以理想地内插那两个伪内插帧，则那两个内插帧的组合值必须等于2/3快门图像的第二至第三帧。
然而，未理想地执行内插，并且因此，产生在那两个内插帧的组合值和2/3快门图像的第二至第三帧的图像之间的差别。在这一点上，该差别用于获取与两个伪内插帧对应的误差的累积总和值。该误差的累积总和值要作为干涉图像。
(在学习型模式转换电路中的学习)
通过线性内插通过基于在帧之间的移动量将第一和第四帧的一个图像在其移动方向上简单地移动，产生作为伪内插图像产生的第二帧和第三帧。
因为那个原因，那些准第二和第三帧与使用3x速度高帧速的相机实际上捕获的第二和第三帧在误差上具有相关性。
实际上，观察到下面的趋势：在对应的帧的相同坐标中，具有相同趋势的误差出现，并且大的移动量增大的误差。
在学习型模式转换电路中学习在伪内插帧中的误差产生的趋势和作为误差的累积总和值的干涉图像之间的关系，使得可以校正在每一个内插帧中的误差量。
(误差量校正的分配)
可以执行误差量校正向作为伪内插帧的第二帧和第三帧的分配，因为在那两个帧的误差的产生上存在特定的趋势。
误差量校正的分配是可行的，因为仅通过平行地移动一个1/3快门图像的帧(第一帧或第四帧)来产生伪内插帧。如果获得在第一帧和第四帧这两个帧之间的平均值并且执行内插，则在误差产生中的特定趋势不出现，并且误差量校正的适当分配变得难以执行。
(校正的注意事项)
在高帧速显影中的校正的注意事项在于，在产生伪内插帧的阶段中，不向获得高质量内插帧而是向执行内插提供优先级，以便获得相同趋势的误差。在高帧速显影的最后阶段，使用干涉图像来重新执行用于获得高质量内插帧的误差校正。
[成像设备的配置]
接下来，将描述用于执行高帧速显影的成像设备的配置。图37是示出成像设备500的配置的功能框图。
成像设备500包括成像单元501、成像控制器502、伪内插图像产生单元503、相加处理单元504、干涉图像产生单元505、模式转换单元506和误差校正单元507。
成像单元501每1/60秒以1/60N秒的快门速度捕获图像并且以(N-1)/60N秒的快门速度捕获图像。
成像控制器502控制成像单元501来以预定快门速度来捕获图像，并且向模式转换单元506通知所捕获的图像(帧)的帧号。这是因为模式转换单元506对于每一个帧分配不同的误差，并且因此需要帧号。
伪内插图像产生单元503接收在1/N快门速度下捕获的两个图像的输入，该两个图像即在时间t捕获的图像和在时间t-1/60捕获的图像(例如，当N＝3时的第一帧和第四帧)，并且伪内插图像产生单元503使用那两个图像来执行移动分析。应当注意，成像设备500包括帧存储器，用于存储在时间t捕获的图像和在时间t-1/60捕获的图像。
伪内插图像产生单元503执行线性内插以产生N-1个伪内插图像。伪内插图像产生单元503向相加处理单元504和误差校正单元507供应所产生的伪内插图像。
相加处理单元504相加从伪内插图像产生单元503供应的N-1个伪内插图像以整合为一个相加图像。随后，相加处理单元504向干涉图像产生单元505供应该整合的相加图像。
干涉图像产生单元505接收相加图像和(N-1)/N快门图像的输入，以计算在那两个图像之间的差。该差被作为干涉图像(误差累积值)供应到模式转换单元506。
模式转换单元506包括学习型模式转换电路。在学习型模式转换电路，如上所述，预先通过学习获得在伪内插帧中的误差产生的趋势和作为误差累积值的干涉图像之间的关系。模式转换单元506通过使用从干涉图像产生单元505供应的干涉图像和从成像控制器502供应的帧号来产生每一个帧的误差校正量。模式转换单元506向误差校正单元507供应所产生的误差校正量。
误差校正单元507向从伪内插图像产生单元503供应的伪内插图像应用从模式转换单元506供应的误差校正量，以校正误差，并且产生形成Nx速度图像的N-1个帧。误差校正单元507与从成像单元501获取的1/N快门图像一起形成良好的N个帧，并且输出图像。
以上，已经描述了成像设备500的配置。
[本公开的另一种配置]
应当注意，本发明可以具有下面的配置。
(1)一种成像设备，包括：
成像单元，其被配置来捕获彼此不同在物镜和具有第一分辨率的成像装置之间的预定数量的光学距离(焦距)的两个图像；
发送单元，其被配置来发送所述捕获的图像。
(2)根据(1)所述的成像设备，其中
所述成像单元包括：
形成图像捕获装置，其被配置来捕获其上聚焦通过所述物镜的光的形成图像；以及，
散焦图像捕获装置，其被配置来捕获其上基于所述预定数量来散焦光的散焦图像。
(3)根据(1)所述的成像设备，进一步包括：
视角调整单元，其被配置来均等所述两个图像的视角，所述两个图像之一是第一焦点图像，并且另一个图像是第二焦点图像；
漫射单元，其被配置来产生作为数字散焦图像的、通过漫射和放大所述第一焦点图像以具有大于所述第一分辨率的第二分辨率而获得的图像；
上采样单元，其被配置来产生作为放大散焦图像的、通过上采样所述第二焦点图像以具有所述第二分辨率而获得的图像；以及，
差计算单元，其被配置来产生作为干涉图像的、在所述数字散焦图像和所述放大散焦图像之间的每一个像素的差，其中，
所述发送单元被配置来发送所述第一焦点图像和所述干涉图像。
(4)根据(3)所述的成像设备，其中
所述第一焦点图像是焦点对准的形成图像，并且，
所述第二焦点图像是从所述焦点对准位置散焦预定数量的散焦图像。
(5)根据(4)所述的成像设备，其中
所述漫射单元被配置来通过点扩展函数来漫射所述形成图像。
(6)根据(1)所述的成像设备，进一步包括：
视角调整单元，其被配置来均等所述两个图像的视角，所述两个图像之一是第一焦点图像，并且另一个图像是第二焦点图像；
漫射单元，其被配置来产生作为数字散焦图像的、通过漫射所述第一焦点图像而获得的图像；以及，
差计算单元，其被配置来产生作为干涉图像的、在所述数字散焦图像和所述第二数字散焦图像之间的每一个像素的差，其中，
所述发送单元被配置来发送所述第一焦点图像和所述干涉图像。
(7)根据(1)所述的成像设备，进一步包括：
视角调整单元，其被配置来均等所述两个图像的视角，所述两个图像之一是第一焦点图像，并且另一个图像是第二焦点图像；
漫射单元，其被配置来产生作为第一数字散焦图像的、通过经由第一函数漫射所述第一焦点图像而获得的图像，并且产生作为第二数字散焦图像的、通过经由第二函数漫射所述第一焦点图像而获得的图像，所述第一函数和所述第二函数相对于彼此线性对称；以及，
差计算单元，其被配置来产生作为第一掩蔽信息的、在所述第一数字散焦图像和所述第二焦点图像之间的每一个像素的差，并且产生作为第二掩蔽信息的、在所述第二数字散焦图像和所述第二焦点图像之间的每一个像素的差，其中，
所述发送单元被配置来发送所述第一焦点图像、所述第一掩蔽信息和所述第二掩蔽信息。
(8)根据(1)所述的成像设备，进一步包括：
视角调整单元，其被配置来均等所述两个图像的视角，所述两个图像之一是第一焦点图像，并且另一个图像是第二焦点图像；以及，
差计算单元，其被配置来产生作为干涉图像的、在所述第一焦点图像和所述第二焦点图像之间的每一个像素的差，其中，
所述发送单元被配置来发送所述第一焦点图像、所述第二焦点图像和所述干涉图像。
(9)一种成像设备，包括：
成像单元，其被配置来捕获图像；
校正单元，其被配置来对于所述图像执行像差校正和数字光学校正的至少一种，以产生校正图像；
差计算单元，其被配置来产生作为干涉图像的、在所述图像和所述校正图像之间的每一个像素的差；以及，
发送单元，其被配置来发送在所述图像中包含的坐标信息、所述干涉图像和所述校正图像。
(10)一种成像方法，包括：
捕获彼此不同在物镜和成像装置之间的预定数量的光学距离(焦距)的两个图像；并且，
发送所述捕获图像。
[补充事项]
本领域内的技术人员应当明白，各种修改、组合、子组合和改变可以根据设计要求和其他因素而出现，只要它们在所附的权利要求或其等同内容的范围内。

Claims (13)

1.一种成像设备，包括：
成像单元，其被配置来捕获两个图像，所述两个图像彼此不同在物镜和具有第一分辨率的成像装置之间的预定数量的光学距离；
视角调整单元，其被配置来均等所述两个图像的视角，所述两个图像之一是第一焦点图像，并且另一个图像是第二焦点图像；
漫射单元，其被配置来产生数字散焦图像，所述数字散焦图像是通过漫射和放大所述第一焦点图像以具有大于所述第一分辨率的第二分辨率而获得的图像；
上采样单元，其被配置来产生放大散焦图像，所述放大散焦图像是通过上采样所述第二焦点图像以具有所述第二分辨率而获得的图像；
差计算单元，其被配置来产生干涉图像，所述干涉图像是在所述数字散焦图像和所述放大散焦图像之间的每一个像素的差；以及
发送单元，其被配置来发送所述第一焦点图像和所述干涉图像。
2.根据权利要求1所述的成像设备，其中
所述第一焦点图像是焦点对准的形成图像，并且，
所述第二焦点图像是从所述焦点对准位置散焦预定数量的散焦图像。
3.根据权利要求2所述的成像设备，其中
所述漫射单元被配置来通过点扩展函数来漫射所述形成图像。
4.一种成像设备，包括：
成像单元，其被配置来捕获两个图像，所述两个图像彼此不同在物镜和具有第一分辨率的成像装置之间的预定数量的光学距离；
视角调整单元，其被配置来均等所述两个图像的视角，所述两个图像之一是第一焦点图像，并且另一个图像是第二焦点图像；
漫射单元，其被配置来产生数字散焦图像，所述数字散焦图像是通过漫射所述第一焦点图像而获得的图像；
差计算单元，其被配置来产生干涉图像，所述干涉图像是在所述数字散焦图像和所述第二焦点图像之间的每一个像素的差；以及
发送单元，其被配置来发送所述第一焦点图像和所述干涉图像。
5.一种成像设备，包括：
成像单元，其被配置来捕获两个图像，所述两个图像彼此不同在物镜和具有第一分辨率的成像装置之间的预定数量的光学距离；
视角调整单元，其被配置来均等所述两个图像的视角，所述两个图像之一是第一焦点图像，并且另一个图像是第二焦点图像；
漫射单元，其被配置来产生第一数字散焦图像，所述第一数字散焦图像是通过经由第一函数漫射所述第一焦点图像而获得的图像，并且所述漫射单元产生第二数字散焦图像，所述第二数字散焦图像是通过经由第二函数漫射所述第一焦点图像而获得的图像，所述第一函数和所述第二函数相对于彼此线性对称；
差计算单元，其被配置来产生第一掩蔽信息，所述第一掩蔽信息是在所述第一数字散焦图像和所述第二焦点图像之间的每一个像素的差，并且所述差计算单元产生第二掩蔽信息，所述第二掩蔽信息是在所述第二数字散焦图像和所述第二焦点图像之间的每一个像素的差；以及
发送单元，其被配置来发送所述第一焦点图像、所述第一掩蔽信息和所述第二掩蔽信息。
6.一种成像设备，包括：
成像单元，其被配置来捕获两个图像，所述两个图像彼此不同在物镜和具有第一分辨率的成像装置之间的预定数量的光学距离；
视角调整单元，其被配置来均等所述两个图像的视角，所述两个图像之一是第一焦点图像，并且另一个图像是第二焦点图像；
差计算单元，其被配置来产生干涉图像，所述干涉图像是在所述第一焦点图像和所述第二焦点图像之间的每一个像素的差；以及
发送单元，其被配置来发送所述第一焦点图像、所述第二焦点图像和所述干涉图像。
7.根据权利要求1到6的任一项所述的成像设备，其中
所述成像单元包括：
形成图像捕获装置，其被配置来捕获其上聚焦通过所述物镜的光的形成图像；以及，
散焦图像捕获装置，其被配置来捕获其上基于所述预定数量来散焦光的散焦图像。
8.一种成像设备，包括：
成像单元，其被配置来捕获图像；
校正单元，其被配置来对于所述图像执行像差校正和数字光学校正的至少一种，以产生校正图像；
差计算单元，其被配置来产生干涉图像，所述干涉图像是在所述图像和所述校正图像之间的每一个像素的差；
高频分量提取单元，其被配置为提取所述校正图像的高频分量；以及
发送单元，其被配置来发送在所述图像中包含的坐标信息、所述干涉图像、所述校正图像的高频分量和所述校正图像。
9.一种成像方法，包括：
捕获彼此不同在物镜和具有第一分辨率的成像装置之间的预定数量的光学距离的两个图像；
均等所述两个图像的视角，所述两个图像之一是第一焦点图像，并且另一个图像是第二焦点图像；
产生数字散焦图像，所述数字散焦图像是通过漫射和放大所述第一焦点图像以具有大于第一分辨率的第二分辨率而获得的图像；
产生放大散焦图像，所述放大散焦图像是通过上采样所述第二焦点图像以具有所述第二分辨率而获得的图像；
产生干涉图像，所述干涉图像是在所述数字散焦图像和所述放大散焦图像之间的每一个像素的差；以及
发送所述第一焦点图像和所述干涉图像。
10.一种成像方法，包括：
捕获两个图像，所述两个图像彼此不同在物镜和具有第一分辨率的成像装置之间的预定数量的光学距离；
均等所述两个图像的视角，所述两个图像之一是第一焦点图像，并且另一个图像是第二焦点图像；
产生数字散焦图像，所述数字散焦图像是通过漫射所述第一焦点图像而获得的图像；
产生干涉图像，所述干涉图像是在所述数字散焦图像和所述第二焦点图像之间的每一个像素的差；以及
发送所述第一焦点图像和所述干涉图像。
11.一种成像方法，包括：
捕获两个图像，所述两个图像彼此不同在物镜和具有第一分辨率的成像装置之间的预定数量的光学距离；
均等所述两个图像的视角，所述两个图像之一是第一焦点图像，并且另一个图像是第二焦点图像；
产生第一数字散焦图像和第二数字散焦图像，所述第一数字散焦图像是通过经由第一函数漫射所述第一焦点图像而获得的图像，所述第二数字散焦图像是通过经由第二函数漫射所述第一焦点图像而获得的图像，所述第一函数和所述第二函数相对于彼此线性对称；
产生第一掩蔽信息和第二掩蔽信息，所述第一掩蔽信息是在所述第一数字散焦图像和所述第二焦点图像之间的每一个像素的差，并且所述第二掩蔽信息是在所述第二数字散焦图像和所述第二焦点图像之间的每一个像素的差；以及
发送所述第一焦点图像、所述第一掩蔽信息和所述第二掩蔽信息。
12.一种成像方法，包括：
捕获两个图像，所述两个图像彼此不同在物镜和具有第一分辨率的成像装置之间的预定数量的光学距离；
均等所述两个图像的视角，所述两个图像之一是第一焦点图像，并且另一个图像是第二焦点图像；
产生干涉图像，所述干涉图像是在所述第一焦点图像和所述第二焦点图像之间的每一个像素的差；以及
发送所述第一焦点图像、所述第二焦点图像和所述干涉图像。
13.一种成像方法，包括：
捕获图像；
对于所述图像执行像差校正和数字光学校正的至少一种，以产生校正图像；
产生干涉图像，所述干涉图像是在所述图像和所述校正图像之间的每一个像素的差；
提取所述校正图像的高频分量；以及
发送在所述图像中包含的坐标信息、所述干涉图像、所述校正图像的高频分量和所述校正图像。
CN201410179147.1A 2013-05-08 2014-04-30 成像设备和成像方法 Active CN104144284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910763080.9A CN110519493B (zh) 2013-05-08 2014-04-30 图像处理设备、图像处理方法和计算机可读记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013098446A JP2014220639A (ja) 2013-05-08 2013-05-08 撮像装置および撮像方法
JP2013-098446 2013-05-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910763080.9A Division CN110519493B (zh) 2013-05-08 2014-04-30 图像处理设备、图像处理方法和计算机可读记录介质

Publications (2)

Publication Number Publication Date
CN104144284A CN104144284A (zh) 2014-11-12
CN104144284B true CN104144284B (zh) 2019-09-13

Family

ID=51853347

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910763080.9A Active CN110519493B (zh) 2013-05-08 2014-04-30 图像处理设备、图像处理方法和计算机可读记录介质
CN201410179147.1A Active CN104144284B (zh) 2013-05-08 2014-04-30 成像设备和成像方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910763080.9A Active CN110519493B (zh) 2013-05-08 2014-04-30 图像处理设备、图像处理方法和计算机可读记录介质

Country Status (3)

Country Link
US (4) US9294663B2 (zh)
JP (1) JP2014220639A (zh)
CN (2) CN110519493B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101490909B1 (ko) * 2013-05-10 2015-02-06 현대자동차 주식회사 차량용 영상 처리 장치 및 방법
US10218883B2 (en) * 2015-07-07 2019-02-26 The Board Of Regents Of The University Of Texas System Digital imaging and analysis system
US10264196B2 (en) * 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
US11163169B2 (en) * 2016-06-07 2021-11-02 Karl Storz Se & Co. Kg Endoscope and imaging arrangement providing improved depth of field and resolution
CN106993121B (zh) * 2017-04-07 2019-10-18 杭州电子科技大学 一种基于压缩感知的高光谱图像采集成像***与控制方法
JP6896543B2 (ja) * 2017-07-19 2021-06-30 オリンパス株式会社 計測装置および計測装置の作動方法
JP7181759B2 (ja) * 2017-11-06 2022-12-01 キヤノン株式会社 画像処理装置および画像処理方法
CN109587392B (zh) * 2018-10-18 2020-12-22 蒋涛 监控设备的调整方法及装置、存储介质、电子装置
US20220026725A1 (en) * 2019-03-25 2022-01-27 Karl Storz Se & Co. Kg Imaging Apparatus and Video Endoscope Providing Improved Depth Of Field And Resolution
KR20210061044A (ko) 2019-11-19 2021-05-27 삼성전자주식회사 듀얼 카메라 모듈과 이를 포함하는 전자장치와 그 동작방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008035324A (ja) * 2006-07-31 2008-02-14 Matsushita Electric Ind Co Ltd 撮像装置
CN101893563A (zh) * 2010-04-19 2010-11-24 清华大学 变曝光时间成像相移测量相位的方法
CN102905067A (zh) * 2011-07-27 2013-01-30 索尼公司 信号处理设备、成像设备、信号处理方法和程序

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2651402B1 (fr) * 1989-08-22 1991-10-25 Europ Rech Electr Lab Dispositif de conversion de frequence trame et du nombre de lignes pour un recepteur de television haute definition.
US5739867A (en) * 1997-02-24 1998-04-14 Paradise Electronics, Inc. Method and apparatus for upscaling an image in both horizontal and vertical directions
WO1999022640A2 (en) 1997-10-30 1999-05-14 Hypermed Imaging, Inc. Multispectral/hyperspectral medical instrument
US20030007089A1 (en) * 2001-01-12 2003-01-09 Anteon Corporation Opto-electronic video compression system
JP2004032172A (ja) * 2002-06-24 2004-01-29 Canon Inc 複眼撮像装置およびこれを備えた機器
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
US20040099787A1 (en) * 2002-11-25 2004-05-27 The Boeing Company System and method for determining optical aberrations in scanning imaging systems by phase diversity
JP3925415B2 (ja) * 2003-01-22 2007-06-06 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4033198B2 (ja) * 2004-02-27 2008-01-16 カシオ計算機株式会社 画像処理装置、画像投影装置、画像処理方法及びプログラム
JP4448039B2 (ja) * 2005-01-26 2010-04-07 キヤノン株式会社 撮像装置及びその制御方法
CN100428783C (zh) * 2005-06-01 2008-10-22 索尼株式会社 图像处理装置、液晶显示装置和色彩校正方法
US7587099B2 (en) * 2006-01-27 2009-09-08 Microsoft Corporation Region-based image denoising
JP4732264B2 (ja) * 2006-07-28 2011-07-27 キヤノン株式会社 撮像装置
JP2008219788A (ja) 2007-03-07 2008-09-18 Toshiba Corp 立体画像表示装置、方法およびプログラム
WO2008127685A1 (en) * 2007-04-13 2008-10-23 John Kesterson Filter assembly and image enhancement system for a surveillance camera and method of using the same
JP2009181508A (ja) 2008-01-31 2009-08-13 Sharp Corp 画像処理装置、検査システム、画像処理方法、画像処理プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4900723B2 (ja) 2008-03-14 2012-03-21 ソニー株式会社 画像処理装置、画像処理プログラムおよび表示装置
US8548257B2 (en) * 2009-01-05 2013-10-01 Apple Inc. Distinguishing between faces and non-faces
JP4656238B2 (ja) * 2009-01-19 2011-03-23 株式会社ニコン 画像処理装置およびデジタルカメラ
EP2502115A4 (en) * 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
JP2012124832A (ja) * 2010-12-10 2012-06-28 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
KR20120071192A (ko) * 2010-12-22 2012-07-02 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
US8836672B2 (en) * 2011-02-09 2014-09-16 Dornerworks, Ltd. System and method for improving machine vision in the presence of ambient light
JP5673394B2 (ja) 2011-06-30 2015-02-18 富士通株式会社 データ抽出方法及びデータ抽出装置
US8917948B2 (en) * 2011-09-16 2014-12-23 Adobe Systems Incorporated High-quality denoising of an image sequence
US20130242138A1 (en) * 2012-03-15 2013-09-19 Canon Kabushiki Kaisha Enhanced resolution image capture
JP2014072840A (ja) * 2012-10-01 2014-04-21 Sony Corp 撮像装置および撮像制御装置
US9123138B2 (en) * 2013-06-18 2015-09-01 Adobe Systems Incorporated Adaptive patch-based image upscaling
US9984442B2 (en) * 2014-01-30 2018-05-29 Thomson Licensing Method and device for enhancing quality of an image
US9712720B2 (en) * 2014-06-02 2017-07-18 Intel Corporation Image refocusing for camera arrays

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008035324A (ja) * 2006-07-31 2008-02-14 Matsushita Electric Ind Co Ltd 撮像装置
CN101893563A (zh) * 2010-04-19 2010-11-24 清华大学 变曝光时间成像相移测量相位的方法
CN102905067A (zh) * 2011-07-27 2013-01-30 索尼公司 信号处理设备、成像设备、信号处理方法和程序

Also Published As

Publication number Publication date
US20160173772A1 (en) 2016-06-16
US10003739B2 (en) 2018-06-19
CN110519493B (zh) 2021-04-16
CN104144284A (zh) 2014-11-12
JP2014220639A (ja) 2014-11-20
US20190166308A1 (en) 2019-05-30
US20180262681A1 (en) 2018-09-13
US20140333802A1 (en) 2014-11-13
US10567646B2 (en) 2020-02-18
US9294663B2 (en) 2016-03-22
CN110519493A (zh) 2019-11-29
US10225466B2 (en) 2019-03-05

Similar Documents

Publication Publication Date Title
CN104144284B (zh) 成像设备和成像方法
CN104079839B (zh) 用于利用视差校正的多光谱成像的设备和方法
CN103826033B (zh) 图像处理方法、图像处理设备、图像拾取设备和存储介质
JP5968107B2 (ja) 画像処理方法、画像処理装置およびプログラム
WO2020129280A1 (ja) 画像処理装置、画像処理プログラム、画像処理方法および撮像装置
KR20100093134A (ko) 화상 처리 방법, 화상 처리 장치, 화상 처리 시스템 및 컴퓨터 판독 가능한 매체
JP5464279B2 (ja) 画像処理装置、そのプログラム、および画像処理方法
CN109310278A (zh) 图像处理装置、图像处理方法、程序和图像处理***
US11282176B2 (en) Image refocusing
JP6003578B2 (ja) 画像生成方法及び装置
JP2017184217A (ja) 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム
JP2013026844A (ja) 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ
CN111108742A (zh) 信息处理装置、信息处理方法、程序以及可互换透镜
CN104756493B (zh) 摄像装置、图像处理装置、摄像装置的控制程序及图像处理装置的控制程序
JP6168220B2 (ja) 画像生成装置、画像処理装置、画像生成方法及び画像処理プログラム
CN109923853B (zh) 图像处理装置、图像处理方法以及程序
CN109923854B (zh) 图像处理装置、图像处理方法以及记录介质
JP2017208642A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
JP6330955B2 (ja) 撮像装置及び撮像方法
JP2012182738A (ja) ステレオ画像撮像装置
Oliveira et al. Lenslet light field panorama creation: A sub-aperture image stitching approach
JP6569769B2 (ja) 任意視点画像合成方法及び画像処理装置
CN105939471B (zh) 图像处理装置、摄像装置以及图像处理方法
JP7080688B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
Mohanty Source Attribution of Modern Multi-camera Smartphones

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant