CN104584545A - 图像处理装置、图像处理方法、以及信息处理装置 - Google Patents

图像处理装置、图像处理方法、以及信息处理装置 Download PDF

Info

Publication number
CN104584545A
CN104584545A CN201380044211.9A CN201380044211A CN104584545A CN 104584545 A CN104584545 A CN 104584545A CN 201380044211 A CN201380044211 A CN 201380044211A CN 104584545 A CN104584545 A CN 104584545A
Authority
CN
China
Prior art keywords
resolution
image
visual point
point image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380044211.9A
Other languages
English (en)
Other versions
CN104584545B (zh
Inventor
早坂健吾
井藤功久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104584545A publication Critical patent/CN104584545A/zh
Application granted granted Critical
Publication of CN104584545B publication Critical patent/CN104584545B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本技术涉及借助于简单配置能够获取高分辨率视点图像和视差图的图像处理装置、图像处理方法、以及信息处理装置。分辨率转换单元将以第一分辨率成像的中心视点的视点图像的分辨率转换成以低于第一分辨率的第二分辨率成像的***视点的***图像的分辨率，并且以相同的分辨率生成中心视点的视点图像和***视点和视点图像。相关值计算单元基于具有相同的分辨率的以中心视点的视点图像和***视点的视点图像之间的相关值生成视差图。本技术可应用于信息处理装置。

Description

图像处理装置、图像处理方法、以及信息处理装置
技术领域
本技术涉及图像处理装置、图像处理方法、以及信息处理装置，并且具体地涉及能够用简单配置获得高分辨率视点图像和视差图的图像处理装置、图像处理方法、以及信息处理装置。
背景技术
已知存在通过具有不同视点的多个图像测量距测量目标(物体)的距离的技术。例如，在专利文献1中公开了使用称作立体匹配的技术的距离计算方法。
根据这样的立体匹配的技术，在基于沿着图像内的水平方向(H-方向)或垂直方向(V-方向)的多个视点图像计算距离的情况下，获得视点图像之间的相位差作为对应距离的值。通过依次移动局部区域(单位区域)以在水平方向上进行比较获得相位差，并且检测在比较范围内具有相关性最高的单位区域的视点图像之间的位置位移(像素位移、视差)。可根据沿着图像内的某个角度方向的多个视点图像计算位置位移。此外，可对每个像素测量视差，因此，可以获得与输入图像的分辨率相等的视差分布图(视差图)。
引用列表
专利文献
专利文献1：JP 2011-171858 A
发明内容
由本发明要要解决的问题
然而，视差并不会一直都是高度精确的，因为视差仅仅是距离信息。因此，通常用作照片的预定视点的视点图像必须为高分辨率，但仅用于生成视差的视点图像不必为高分辨率。
鉴于上述情况制作本技术并且本技术旨在用简单配置获得高分辨率视点图像和视差图。
解决问题的技术方案
根据本技术第一方面的图像处理装置是包括以下的图像处理装置：分辨率转换单元，被配置为将以第一分辨率成像的第一视点图像和以低于第一分辨率的第二分辨率成像的第二视点图中的一个视点图像的分辨率转换为另一视点图像的分辨率，并且生成具有相同分辨率的第一视点图像和第二视点图像；以及生成单元，被配置为基于具有相同分辨率并通过分辨率转换单元生成的第一视点图像与第二视点图像之间的相关值来生成视差图。
根据本技术第一方面的图像处理方法对应于根据本技术的第一方面的图像处理装置。
根据本技术第一方面，以第一分辨率成像的第一视点图像和以低于第一分辨率的第二分辨率成像的第二视点图像中的一个视点图像的分辨率被转换为另一视点图像的分辨率，并且生成具有相同分辨率的第一视点图像和第二视点图像，并且基于具有相同分辨率的第一视点图像和第二视点图像之间的相关值来生成另一视差图。
根据本技术第二方面的信息处理装置是包括以下的信息处理装置：成像单元，包括第一成像元件，被配置为成像具有第一分辨率的第一视点图像；以及第二成像元件，被配置为成像具有低于第一分辨率的第二分辨率的第二视点图像；分辨率转换单元，被配置为使通过第一成像元件成像的第一视点图像和通过第二成像元件成像的第二视点图像中的一个视点图像的分辨率转换为另一视点图像的分辨率，以及生成具有相同分辨率的第一视点图像和第二视点图像；以及生成单元，被配置为基于具有相同分辨率并通过分辨率转换单元生成的第一视点图像和第二视点图像之间的相关值来生成视差图。
根据本技术第二方面，提供了第一成像元件和第二成像元件，其中第一成像元件被配置为成像具有第一分辨率的第一视点图像；以及第二成像元件被配置为成像具有低于第一分辨率的第二分辨率的第二视点图像，通过第一成像元件成像的第一视点图像和通过第二成像元件成像的第二视点图像中一个视点图像的分辨率被转换为另一视点图像的分辨率，并且生成具有相同的分辨率的第一视点图像和第二视点图像，并且此外，基于具有相同分辨率的第一视点图像和第二视点图像之间的相关值来生成视差图。
根据本技术，能够用简单配置获得高分辨率视点图像和视差图。
附图说明
图1是示出根据应用本技术的信息处理装置的实施方式的示例性硬件配置的框图。
图2是示出组成成像单元的相机模块的示例性配置的示意性立体图。
图3是成像单元的示意性立体图。
图4是示出成像的视点图像的实例的示图。
图5是示出图像处理单元的第一示例性配置的框图。
图6是用于描述图5的图像处理单元中生成插补图像的处理流程的示图。
图7是示出在通过图5的分辨率转换单元转换分辨率之后的示例性视点图像的示图。
图8是用于描述图6中的立体匹配处理的示图。
图9是用于描述图6中的视差图的分辨率转换的示图。
图10是用于描述图6中的视差图的分辨率转换的示图。
图11是用于描述图6中的视点插补处理的示图。
图12是用于描述图6中的视点插补处理的示图。
图13是示出成像视点图像和插补图像的摄像机阵列的示图。
图14是成像单元的侧视图，示出了由成像单元接收的光束的光束矢量。
图15是成像单元的侧视图，示出视点图像和插补图像的光束矢量。
图16是用于描述显影处理的示图。
图17是用于描述显影处理的示图。
图18是用于描述图1中的信息处理装置中的图像处理的流程图。
图19是用于描述图18的分辨率增加处理的细节的流程图。
图20是示出图像处理单元的第二示例性配置的框图。
图21是用于描述图20的图像处理单元中生成插补图像的处理流程的示图。
图22是示出在通过图20的分辨率转换单元转换分辨率之后的示例性视点图像的示图。
图23是用于描述在CPU用作图20的图像处理单元的情况下的图像处理的流程图。
图24是示出根据应用本技术的实施方式的***的示例性配置的示图。
图25是示出图24中的服务器的示例性硬件配置的示图。
图26是用于描述在图25中的服务器中处理的流程图。
图27是示出图24中的网络终端的示例性硬件配置的框图。
图28是示出设置GUI的实例的示意图。
图29是示出***中基本操作的流程的顺序图。
图30是用于描述向服务器上传视点图像的流程图。
图31是用于描述显影目标图像的流程图。
图32是用于描述视差和深度的示图。
具体实施方式
在下文中，将参考附图描述根据本技术的实施方式。
<第一实施方式>
(根据一个实施方式的信息处理装置的示例性硬件配置)
图1是示出根据应用本技术的信息处理装置的实施方式的示例性硬件配置的框图。
信息处理装置10包括成像单元11、显示单元12、存储单元13、通信单元14、以及CPU 15。
成像单元11拍摄静止图像和移动图像。尤其是，根据实施方式，成像单元11由能够捕捉物体的多个视点图像的摄像机阵列形成。成像单元11以高分辨率在中心视点使多个视点图像中的图像成像，并且以低分辨率在***视点使视点图像成像，***视点是中心视点以外的视点。
显示单元12是例如使用LCD(液晶显示器)、OELD(有机电致发光显示器)、CRT(阴极射线管)等的显示装置。显示单元12被用于例如显示基于在成像单元11捕捉的多个视点图像生成的对象预览图像，设置显影处理所需的显影参数并且显示通过在CPU 15中算术运算处理生成的最终目标图像。
存储单元13是非易失性存储器，诸如HDD(硬盘驱动)、闪速存储器(SSD(固态驱动))、以及其他固态存储器。存储单元13存储由成像单元11捕捉的多个视点图像、多个显影参数、插补图像和通过CPU 15中的算术运算处理生成的最终图像、各种类型的程序等。可以通过通信单元14下载存储在存储单元13中的显影参数，并可从安装在未示出的槽中的存储卡中读取出显影参数。
通信单元14被配置为能够与网络(未示出)上的服务器装置和外部网络终端通信。
CPU 15执行存储在存储单元13中的程序，从而控制成像单元11、显示单元12、存储单元13、和通信单元14的操作。更具体地，CPU 15用作图像处理单元等，其被配置为基于多个视点图像生成用于插补多个视点图像的多个插补图像，并且根据通过用户使用插补图像和视点图像选择的显影参数显影目标图像。
(成像单元的示例性配置)
成像单元11由多个相机模块排列在相同平面上的矩阵中的摄像机阵列(多视点摄像机)形成。图2是示出组成成像单元11的相机模块21的示例性配置的示意性立体图，并且图3是成像单元11的示意性立体图。
相机模块21由固态图像感测装置形成，诸如CMOS(互补金属氧化物半导体)和CCD(电荷耦合器件)传感器。
在图3中，示出在相同平面上排列具有θ度的视场角的相机模块21的3(行)×3(列)的实例，但相机模块21的阵列和数目显然不限于此。例如，用于***视点的相机模块21可以排列在使中心视点的相机模块位于正中的八角形的角。
在以下描述中，从上面数排在第一行的九个相机模块21中的三个相机模块21按从物体左边开始称作相机模块C11、C12、C13。以同样方式，从上面数第二行中的三个相机模块从物体左边开始称作C21、C22、C23。从上面数第三排中的三个相机模块从物体左边开始称作C31、C32、C33。
成像单元11通过用每个相机模块21同时拍摄物体获取对应多个相机模块21的每个位置(视点)的物体的视点图像。所获得的视点图像用于图像处理单元30中或者存储在存储单元13中。
应注意，放置在中心处的相机模块C22由分辨率高于放置于其周围的相机模块C11至C13、C21、C23、以及C31至C33的相机模块形成。因此，如图4所示，相机模块C22捕捉的在中心视点的视点图像G22的分辨率与通过相机模块C11至C13、C21、C23、以及C31至C33成像的***视点的视点图像G11至G13、G21、G23、以及G31至G33的分辨率相比较高。
具有第一分辨率R1的相机模块C22主要用于捕获高分辨率视点图像的物体，并且具有第二分辨率R2的相机模块C11至C13、C21、C23、以及C31至C33仅被用以获得视差图。
在本说明书中，相机模块C22具有第一分辨率R1、另一***相机模块C11至C13、C21、C23、以及C31至C33分别具有低于第一分辨率的第二分辨率R2。第一分辨率R1和第二分辨率R2的值没有具体限制并可被设置为能够获得具有预期分辨率的视差图和最终图像的合适的值。
(图像处理单元的第一示例性配置)
图5是示出通过CPU 15实现的图像处理单元的第一示例性配置的框图。
图5的图像处理单元30包括分辨率转换单元31、相关值计算单元32、插补处理单元33、以及显影处理单元34。
信息处理装置10中的分辨率转换单元31将在通过图1中的成像单元11成像的多个视点图像中在中心视点具有第一分辨率R1的视点图像的分辨率转换成第二分辨率R2。分辨率转换单元31为相关值计算单元32提供因其获得的在中心视点具有第二分辨率R2的视点图像以及在***视点的视点图像。
相关值计算单元32用作生成单元，并且通过使用在中心视点具有第二分辨率R2的视点图像和在***视点由分辨率转换单元31提供的视点图像对具有第二分辨率R2的每个像素执行立体匹配处理。然后，当从立体匹配处理获得的相关值示出相关性最高时，相关值计算单元32对具有第二分辨率R2的每个像素检测在中心视点和***视点的视点图像内部的局部区域之间的距离。
相关值计算单元32通过将具有第二分辨率R2的每个像素的检测距离(相位差)设置为像素值生成具有第二分辨率R2的相位差图(视差图)。相关值计算单元32将具有第二分辨率R2的视差图的分辨率转换为第一分辨率R1并且将其提供至插补处理单元33。应注意，在下文中，视差图的像素值将被称为视差值以将视点图像的像素值区别开。
插补处理单元33在中心视点与***视点之间的视点插补具有第一分辨率R1的视点图像并且也通过使用相关值计算单元32的视差图与成像单元11的视点图像在***视点生成具有第一分辨率R1的视点图像。插补处理单元33为显影处理单元34提供在中央视点和***视点具有第一分辨率R1的视点图像和插补图像。
显影处理单元34执行显影处理以通过使用插补处理单元33的插补图像和视点图像以及用户从存储于存储单元13中的多个显影参数中选择的显影参数显影(重建)目标图像。显影处理单元34输出因其生成的具有第一分辨率R1的图像作为最终图像。最终图像可以存储在存储单元13中或经由通信单元14被传输到外部装置。
如上所述，图像处理单元30通过将在中心视点具有第一分辨率R1的视点图像的分辨率转换成与在***视点的视点图像的分辨率相同的第二分辨率R2来执行立体匹配处理。因此，甚至在与在中心视点的视点图像的分辨率相比在***视点成像的视点图像的分辨率较低的情况下，图像处理单元30在中心视点能够获得高分辨率视点图像和视差图。
因此，信息处理装置10通过使用具有简单配置的成像单元11能够获得高分辨率视点图像和视差图，在简单配置中在***视点的相机模块21的分辨率低于在中心视点的相机模块21的分辨率。因此，能够减小制造成本。
(用于生成插补图像的处理流程)
图6是用于描述图5的图像处理单元30中生成插补图像的处理流程的示图。图像处理单元30计算在中心视点的视点图像G22和在***视点的每个视点图像G11至G13、G21、G23、以及31至G33之间的相关值。这里，例如，将针对计算视点图像G22与仅在水平方向上具有视差的视点图像G23之间的相关值的情况进行说明。
分辨率转换单元31将通过成像单元11成像的具有第一分辨率R1的视点图像G22的分辨率转换(向下转换)成第二分辨率R2(步骤ST01)。这时，视点图像G22和视点图像G23的分辨率将变得与图7的相同，并且因此，能够执行适当的立体匹配处理。
转换分辨率之后，相关值计算单元32执行立体匹配处理以计算具有第二分辨率R2的视点图像G22与视点图像G23之间的相互关系并且生成具有第二分辨率R2的视差图(步骤ST02)。
此外，相关值计算单元32将生成视差图的分辨率(向上转换)成第一分辨率R1(步骤ST03)。在这一点上，在执行分辨率转换之前可以指具有第一分辨率R1的视点图像G22的边缘信息。
然后，插补处理单元33是指所获得的具有第一分辨率R1的视差图、成像的视点图像G22和视点图像G23，并且生成具有第一分辨率R1的视点图像G23，以及插补在视点图像G22和视点图像G23的视点之间的视点具有第一分辨率R1的视点图像(步骤ST04)。这时，能够获得具有第一分辨率R1的视点图像(摄像机图像)G23也能够获得具有第一分辨率R1的插补图像，也就是，由于插补结果能够获得视点图像G22与视点图像G23之间的视点图像(步骤ST05)。
在如上所述相同的流程中执行视点图像G22与视点图像G11至G13、G21、以及G31至G33之间的相关值。借此，在视点图像G21与***视点图像G11至G13、G21、以及G31至G33之间生成具有第一分辨率R1的插补图像。
(立体匹配处理的说明)
图8是用于描述在图6的步骤ST02中的立体匹配处理的示图。
在立体匹配中，在中心视点的视点图像相继与在相应***视点的图像通过局部区域进行比较，并获得视点图像之间的相位差(视差)。
例如，如图8所示，在水平方向(H)方向上排列视点并且在中心视点在水平方向上具有视差的视点图像G22与在***视点的视点图像G23之间执行立体匹配处理的情况下，以局部区域为单位比较视点图像G22和视点图像G23的相应像素并且能够获得表示局部区域之间的相似水平的相关值(像素相关值)。然后，当相关值示出了相关性最高时局部区域之间的相位差被设置为与局部区域的像素对应的视差值。
更具体地，首先选出视点图像G22内部的局部区域(局部图像C1：图8中的中心坐标(x1、y1))。接下来，选出要进行比较的视点图像G23内的局部区域(局部图像H1：图8中的中心坐标(x1、y1))，并且通过在比较范围H10内在水平方向上连续移动局部图像H1的位置来相继计算出相关值。然后，获得在相关值示出了比较范围H10内的相关性最高时局部图像C1和局部图像H1的位置位移(像素位移)作为在中心坐标(x1、y1)的像素的视差值。
相关值计算单元32对视点图像G22的边缘存在的边缘区域内部的像素的执行上述处理，从而生成包括相位差作为仅在视点图像G22的边缘区域中的视差值的视差图。除了视差图的边缘区域以外的区域的视差值被设置为表示未检测到相位差的非检测值。
并且，如图8所示，在沿垂直(V)方向排列视点的情况下，用和视点图像G22以及视点图像G23一样的立体匹配处理执行在中心视点在垂直方向上具有视差的视点图像G22和在***视点的视点图像G12之间的立体匹配处理。
更具体地，首先分别选出视点图像G22内的局部图像C1和视点图像G12内的局部图像V1，然后，通过在比较范围V10内在垂直方向上连续移动局部图像V1的位置相继计算出相关值。相关值计算单元32对视点图像G22的边缘区域内部的像素执行上述处理，从而生成仅包括视点图像G22的边缘区域中的相位差的视差图。除了视差图的边缘区域以外的区域中的视差值被设置为非检测值。
因此，通过使用多个视点图像执行立体匹配处理检测视点图像之间的相位差并且生成视差图。
同时，各个项可被用作立体匹配处理中的相关值；例如，SAD(绝对差值和)、SSD(平方差和)、或者NCC(归一化相关)可被用作相关值。在使用SAD或SSD的情况下，相关性越高，相关值越小(接近0)，相关性越低，相关值越大(接近∞)。另一方面，在使用NCC的情况下，相关性越高，相关值越接近1，相关性越低，相关值越接近0。
(分辨率转换视差图的说明)
图9和图10是用于描述在图6的步骤ST03中分辨率转换视差图的示图。
在图9和图10中，方块表示像素。此外，在图9和图10的实例中，第一分辨率R1比第二分辨率R2高出四倍。
如上所述，在中心视点视差图仅包括相位差作为视点图像G22的边缘区域内的视差值。因此，如图9所示，在视点图像71(具有第一分辨率R1的视点图像G22)的边缘区域71A不同于视点图像72(具有第二分辨率R2的视点图像G22)的边缘区域72A的情况下，有时视差图的分辨率不能通过简单像素插补被转换为第一分辨率R1。
换言之，不是视点图像72的边缘区域72A但却是视点图像71的边缘区域71的视点图像71的像素91和像素92之间的相位差不能通过简单像素插补来插补，因为视点图像72的相应像素90的视差值是非检测值。
因此，相关值计算单元32生成不是视点图像72的边缘区域72A而是视点图像71的边缘区域71A的像素91与像素92之间的相位差，描述如下。
首先，相关值计算单元32获得像素91与在纵横上邻近视点图像71中像素91(图10中A至D表示的方块中示出的像素)的像素之间的像素差。接下来，相关值计算单元32确定在像素差值的递增排列中是否存在具有对应相邻像素的第二分辨率R2的任何视差值，并且在存在视差值的情况下，将其视差值设置为像素91的相位差。
另一方面，在不存在具有对应所有相邻像素的第二分辨率R2的视差值的情况下，相关值计算单元32通过将纵横邻近位于紧挨着右侧的像素91的像素92重新设置为相邻像素执行相同的处理。因此，生成像素91的相位差。对于像素92的相差也执行同样的处理。
相关值计算单元32也通过仅相对于视点图像71的边缘区域71A内的像素91和像素92以外的像素执行具有第二分辨率R2的视差图的像素插补生成相位差。
如上所述，相关值计算单元32生成具有第一分辨率R1的视差图。生成视差图包括相位差作为边缘区域71A的视差值并且包括非检测值作为除了边缘区域71A以外的区域的视差值。此外，相关值计算单元32基于具有第一分辨率R1的视差图的边缘区域71A的视差值插补除了边缘区域71A以外的区域的视差值并且生成具有第一分辨率R1的最终视差图。
如上所述，相关值计算单元32能够在具有第一分辨率R1的视差图上将视点图像72中未检测出相位差的像素91和像素92的视差值设置为具有类似像素值的像素的相位差。因此，视差图的分辨率可被转换为具有高准确度的第一分辨率R1。
(视点插补处理的说明)
接下来，将参考图11和图12描述图6的步骤ST04中的视点插补处理。
插补处理单元33通过使用视差图和所有视点的视点图像首先生成在***视点具有第一分辨率R1的视点图像G11至G13、G21、G23、以及G31至G33。
更具体地，对于每个像素，插补处理单元33以与各个***视点和参考视点相关的视差图的视差值的量移动视点图像G22的像素值。然后，对于具有第一分辨率R1的每个像素，插补处理单元33将视点图像G22的移动像素值与在***视点具有第二分辨率R2的相应视点图像的像素值进行比较并且调整视点图像G23的像素值的移动量直至差变成最小为止。因而通过调整像素值，视点图像G23的分辨率变成第一分辨率R1。
接下来，通过使用与各个***视点和参考视点有关的视差图和两个相邻的视点图像，插补处理单元33在对应两个视点图像的视点之间的视点插补视点。在视差图中，调整之后的移动量被设置为视差值。
例如，如在图11中所示，对于每个像素，插补处理单元按与视点图像G21和视点图像G22有关的视差图的视差值的1/2倍移动具有第一分辨率R1的视点图像G21和视点图像G22。插补处理单元33在移动之后对视点图像G21和视点图像G22执行求平均值等，从而生成位于连接相机模块C21和相机模块C22的直线的中心的视点插补图像T35。
以同样方式，插补处理单元33通过使用视点图像G11、视点图像G12、以及视差图生成在位于连接相机模块C11和相机模块C12的直线中心的视点的视点图像作为插补图像T02。插补处理单元33通过使用视点图像G11、视点图像G22、以及视差图生成在位于连接相机模块C11和相机模块C22的直线中心的视点的视点图像作为插补图像T08。在生成位于与水平方向上的插补图像T27相同位置的插补图像T25和插补图像T29之后或者在生成位于垂直方向相同位置的插补图像T02和插补图像T35之后生成插补图像T27。
此外，如图12所示，插补处理单元33通过使用视点图像G21、视点图像G22、以及视差图生成位于连接插补图像T35的视点和相机模块C22的视点的直线的中心的视点的视点图像作为插补图像T36插补处理单元33通过使用视点图像G21、视点图像G22、以及视差图生成位于连接插补图像T35的视点和相机模块C21的视点的直线的中心的视点的视点图像作为插补图像T34。
对于所有视点的所有视点图像G11至G13、G21至G23、以及G31至G33的两个相邻视点图像进行相同的处理，从而实现生成相机模块C11至C13、C21至C23、以及C31至C33围绕的面积内的视点的插补图像。
在图12中的实例中，为视点图像G11至G13、G21至G23、以及G31至G33的两个相邻视点图像的视点之间的插补图像设置三个视点，并且因此生成72个插补图像T01至T72。当然，插补图像的数目不限于图12中的实例。考虑最终图像的图像质量以及视点插补处理的处理时间和成本等自由设置插补图像的数目。
当由如图13所示包括许多相机模块21的摄像机阵列110拍摄时，通过生成插补图像T01至T72，可以由仅包括九个相机模块21的成像单元11容易地获得图像附近的视点图像(光束矢量的信息)。这里，在第一分辨率R1为b(垂直)×a(水平)像素的情况下，以及具有借助于视点插补处理的m行和n列的视点图像，可按b×a×m×n的数量对不同角度和经过位置的光束信息进行采样。
对插补图像的生成方法没有特别的限制。
(显影处理的说明)
图14是成像单元11的侧视图，示出了由成像单元11接收的光束的光束矢量。
如图14所示，成像单元11的每个相机模块21接收θ度的视场角的范围内的同一物体的光束并且使视点图像成像。因此，通过每个相机模块21成像的视点图像是来自相机模块21的视点的物体的光束的光束矢量410的信息。
图15是成像单元11的侧视图，示出视点图像和插补图像的光束矢量。
插补图像是相邻相机模块21之间的视点的视点图像。更具体地，如图15所示，插补图像是来自相邻相机模块21之间的视点的物体的光束的光束矢量的信息(估计值)。因此，视点图像和插补图像的光束矢量420的信息大于光束矢量410的信息。
图16和17是用于描述基于光束矢量420和显影参数执行的显影处理的示图。
如图16和图17所示，在显影处理中，重建当通过对应显影参数的虚拟光学***430由虚拟图像传感器440成像对应光束矢量420的光束时的捕捉图像。
更具体地，规定多种光学***的参数被存储在存储单元13中作为多个显影参数。例如，显影参数可以包括透镜设计信息(透镜形状、布置、材料质量、涂覆等)、滤波器、聚焦位置、光圈值、光圈形状、白平衡、曝光补偿值等。能够采用不仅与当前可用的透镜有关的信息而且采用与不能以物理图等制造的非常罕见的不存在的透镜、虚拟透镜有关的设计信息作为显影参数的透镜设计信息。
用户从存储在存储单元13中的多个显影参数中选择期望显影参数。这时，由用户期望的光学***对目标图像进行成像。
基于用户选择的显影参数，显影处理单元34从光束矢量420中选择通过对应显影参数的光学***的光束的光束矢量421。例如，在用户选择的显影参数是涉及针对单镜头反光式照相机显影的可换镜头的设计信息的情况下，显影处理单元34从光束矢量420选择辐射可换精肉的孔径表面并进入其内部的光束的光束矢量。
然后，显影处理单元34通过进行光学模拟发现光束矢量421的光束到达虚拟图像传感器440哪个位置。显影处理单元34基于视点图像或插补图像对每个像素提取到达像素位置或其***位置的光束的光束矢量421的信息并且生成表示颜色和亮度的像素值。
如上所述，因为由视点图像和插补图像表示的光束矢量420是高密度的，显影处理单元34通过使用光束矢量420的信息可重建通过任选光学***成像的目标图像。因此，用户可在拍摄之后通过用任意镜头多次改变聚焦位置和孔径执行虚拟拍摄。
(在信息处理装置中处理的说明)
图18是用于描述图1中的信息处理装置10中的图像处理的流程图。
在图18的步骤S11中，信息处理装置10的成像单元11以第一分辨率R1使在中心视点的视点图像成像并且也以第二分辨率R2使在***视点的视点图像成像。
在步骤S12中，图像处理单元30的分辨率转换单元31将由成像单元11成像的中心视点的视点图像的分辨率转换成第二分辨率R2。分辨率转换单元31为相关值计算单元32提供在中心视点具有因其导致的第二分辨率R2的视点图像。
在步骤13中，相关值计算单元32通过使用在中心视点具有第二分辨率R2的视点图像和在***视点具有第二分辨率R2的视点图像执行立体匹配处理，从而生成具有第二分辨率R2的视差图。
在步骤S14中，相关值计算单元32执行分辨率增加处理，其中生成视差图的分辨率被转换为第一分辨率R1。随后将参考图19描述分辨率增加处理的细节。相关值计算单元32基于因分辨率增加处理获得的具有第一分辨率R1的视差图的边缘区域的视差值插补边缘区域外的视差值并且将其提供至插补处理单元33。
在步骤S15中，插补处理单元33通过使用具有相关值计算单元32提供的第一分辨率R1的视差图生成在***视点两者具有第一分辨率R1的插补图像和视点图像以及在所有视点成像的视点图像。插补处理单元33为显影处理单元34提供在中心视点、***视点的视点图像以及具有第一分辨率R1的插补图像。
在步骤S16中，通过使用视点图像和插补处理单元33提供的插补图像以及由用户从存储在存储单元13中多个显影参数中选择的显影参数显影(重建)目标图像。显影处理单元34输出因其获得的具有第一分辨率R1的图像作为最终图像。然后，处理结束。
图19是用于描述图18的步骤S14中的分辨率增加处理的流程图。针对在中心视点具有第一分辨率R1的图像的相应像素作为要处理的目标执行分辨率增加处理。
在图19的步骤S31中，相关值计算单元32确定要处理的像素中是否存在任何边缘。在步骤S31中确定要处理的像素中存在边缘的情况下，处理进行至步骤S32。
在步骤S32中，相关值计算单元32确定在具有第二分辨率R2的视差图上是否存在对应要处理的像素的像素的任何视差值。
在步骤S32中确定存在视差值的情况下，在步骤S33中，相关值计算单元32在具有第一分辨率R1的视差图上将该视差值确定为要处理的像素的视差值。然后，处理返回至图18中的步骤S14。
另一方面，在步骤S32中确定不存在视差值的情况下，在步骤S34中相关值计算单元32将纵横邻近于要处理的像素的像素设置为相邻像素。在步骤S35中，相关值计算单元32获取要处理的像素和在中心视点具有第一分辨率R1的视点图像中的每个相邻像素的像素值之间的差值。
在步骤S36中，相关值计算单元32将m设置为1。在步骤S37中，相关值计算单元32确定是否存在对应相邻像素中第m个最小差值的任何视差值。
在步骤S36中确定存在这种视差值的情况下，在步骤S38中相关值计算单元32为m增加1。在步骤S39中，相关值计算单元32确定m是否大于M，M是相邻像素的数量，更具体地，确定所有相邻像素中是否不存在任何视差值。
在步骤S39中确定m不大于相邻像素的数值M的情况下，处理返回至步骤S37并且重复后续处理。
另一方面，在步骤S39中确定m大于相邻像素的数值M的情况下，处理返回至步骤S34，并且相关值计算单元32将纵向且横向邻近于位于紧挨着右侧要处理的像素的像素设置为相邻像素。然后，重复后续处理。
此外，在步骤S36中确定存在视差值的情况下，处理进行至步骤S40。在步骤S40中，相关值计算单元32将对应于在具有第二分辨率R2的视差图中第m个最小差值的相邻象素的该视差值设置为要处理的像素的视差值。然后，处理返回至图18中的步骤S14。
另一方面，在步骤S31中确定不存在边缘的情况下，相关值计算单元32将要处理的像素的视差值设置为步骤S41中的非检测值，并且处理返回至图18中的步骤S14。
(图像处理单元的第二示例性配置)
图20是示出通过CPU 15实现的图像处理单元的第二示例性配置的框图。
在图20所示的部件中，由相同的参考标号表示与图5中相同的部件。将适当地省略相同说明的重复。
图20中的图像处理单元450的配置与图5中的图像处理单元30的配置不同之处在于设置分辨率转换单元451和相关值计算单元452代替分辨率转换单元31和相关值计算单元32。图像处理单元450将***视点的视点图像的分辨率转换成第一分辨率，并且以第一分辨率执行立体匹配处理。
更具体地，图像处理单元450的分辨率转换单元451将在由图1中的成像单元11成像的多个视点图像中在***视点具有第二分辨率R2的视点图像的分辨率转换为第一分辨率R1。分辨率转换单元451为相关值计算单元452提供因其获得的在***视点具有第一分辨率R1的视点图像以及在中心视点的视点图像。
相关值计算单元452用作生成单元并且通过使用在***视点具有第一分辨率R1的视点图像以及分辨率转换单元451提供的在中心视点的视点图像对具有第一分辨率R1的每个像素执行立体匹配处理。然后，当从立体匹配处理获得的相关值示出相关性最高时，相关值计算单元452对具有第一分辨率R1的每个像素检测在中心视点和***视点的视点图像内部的局部区域之间的距离。
相关值计算单元452通过将具有第一分辨率R1的每个像素检测到的距离设置为视差值生成具有第一分辨率R1的视差图并将视差图提供到插补处理单元33。
如上所述，图像处理单元450通过将在***视点具有第二分辨率R2的视点图像的分辨率转换成与在中心视点与视点图像的分辨率相同的第一分辨率R1执行立体匹配处理。因此，甚至在与在中心视点的视点图像的分辨率相比在***视点成像的视点图像的分辨率较低的情况下，图像处理单元450在中心视点能够获得高分辨率视点图像和与图像处理单元30相同的视差图。
(用于生成插补图像的其他处理流程)
图21是用于描述图20的图像处理单元450中生成插补图像的处理流程的示图。图像处理单元450计算在中心视点的视点图像G22和在***视点的每个视点图像G11至G13、G21、G23、以及31至G33之间的相关值。然而，这里，将描述计算仅包括在水平方向上的视差的视点图像G23和视点图像22之间的相关值的示例性情况。
分辨率转换单元451将由成像单元11成像的具有第二分辨率R2的视点图像G23的分辨率转换(向上转换)为第一分辨率R1(步骤ST11)这时，视点图像G22和视点图像G23的分辨率将变得与图22的相同，并且因此，能够执行适当的立体匹配处理。将视点图像G23的分辨率转换为第一分辨率R1的具体方法没有特别的限制，例如，可以应用超分辨率处理。
转换分辨率之后，相关值计算单元452执行立体匹配处理以计算具有第一分辨率R1的视点图像G23与视点图像G22之间的相关值并且生成具有第一分辨率R1的视差图(步骤ST12)。
然后，插补处理单元33是指从上述相同处理获得的具有第一分辨率R1的视差图、成像的视点图像G22和视点图像G23，并且生成具有第一分辨率R1的视点图像G23，以及插补在视点图像G22和视点图像G23的视点之间的视点具有第一分辨率R1的视点图像(步骤ST04)。这时，能够获得具有第一分辨率R1的视点图像G23也能够获得具有第一分辨率R1的插补图像，也就是，由于插补能够获得视点图像G22与视点图像G23之间的视点图像(步骤ST05)。
(图像处理的其他实例)
图23是描述在CPU 15用作图像处理单元450的情况下在信息处理装置10中的图像处理的流程图。
在图23的步骤S61中，信息处理装置10的成像单元11在中心视点以第一分辨率R1使视点图像成像并且在***视点以第二分辨率R2使视点图像成像。
在步骤S62中，图像处理单元450的分辨率转换单元451将由成像单元11成像的***视点的视点图像的分辨率转换成第一分辨率R1。分辨率转换单元451为相关值计算单元452提供因其获得的在***视点具有第一分辨率R1的视点图像。
在步骤S63中，相关值计算单元452通过使用在***视点具有第一分辨率R1的视点图像以及在中心视点具有第一分辨率R1的视点图像执行立体匹配处理而生成具有第一分辨率R1的视差图。相关值计算单元452为插补处理单元33提供具有第一分辨率R1的视差图。
在步骤S64和S65中的处理与在图18中的步骤S15和S16的处理相同，因此，将省略对其的描述。
如上所述，图像处理单元450通过使用在***视点具有第一分辨率R1的图像和在中心视点的图像对具有第一分辨率R1的每个像素获得相位差，并且生成具有第一分辨率R1的视差图。因此，与图像处理单元30相比，能够以较高的精确度生成具有第一分辨率R1的视差图。
相比之下，图像处理单元30通过使用在***视点具有第二分辨率R2的图像和在中心视点的图像对具有第二分辨率R2的每个像素获得相位差并且生成具有第一分辨率R1的视差图。因此，与图像处理单元450相比，能够在计算量少的情况下生成具有第一分辨率R1的视差图。
在第二分辨率R2为第一分辨率R1的轴中的一个轴的1/2时，考虑到视差的计算量和计算精度，分辨率转换单元451在中心视点将视点图像的垂直方向上的像素数设置为1/2并且在***视点将视点图像的水平方向上的像素数设置为两倍。在这种情况下，在图21的步骤ST12中处理之后执行与在图6的步骤ST03中的处理相同的处理，并且视差图的分辨率被转换为第一分辨率R1。
<第二实施方式>
(根据一个实施方式的***的示例性配置)
图24是示出根据应用本技术的***的实施方式的示例性配置的示图。
通过将能够与成像装置501通信的网络终端502经由网络503连接至云上的服务器504形成图24中的***500。***500借助于多个装置执行图1中的信息处理装置10的处理。
更具体地，成像装置501包括拍摄静止图像的数码相机以及拍摄移动图像的数码摄像机。成像装置501包括以上描述的成像单元11，并且使在中心视点具有第一分辨率R1的视点图像与在***视点具有第二分辨率R2的视点图像成像。成像的视点图像被传输至网络终端502。
网络终端502通常是信息处理装置，诸如，个人计算机(PC(个人计算机))、智能电话、移动式电话、平板电脑、以及PDA(个人数字助理)。
成像装置501和网络终端502能够通过有线或无线通信，并且网络终端502接收在成像装置501成像的视点图像。网络终端502也可经由网络503于服务器504通信。网络终端502经由网络503将视点图像传输至服务器504。
网络503包括无线LAN(IEEE802.11等)，诸如因特网、有线LAN(局域网)、以及WiFi(无线保真)、或者3G或4G方法的无线移动通信网络等等。
服务器504为网络终端502的用户提供显影处理***，该显影处理***配置为通过使用视点图像执行虚拟拍摄。更具体地，服务器504用作上述图像处理单元30(450)，并且基于显影参数显影目标图像以及从网络终端502传输的在N视点(这里，9个视点)的视点图像。此外，服务器504存储显影参数。此外，服务器504相关于显影处理执行充电过程，在该显影处理中使用所存储显影参数中的显影参数，诸如对用户有吸引力的特殊镜头。
这里，应注意，单独配置成像装置501和网络终端502，但也可被整体配置为移动终端505。在这种情况下，移动终端505既执行视点图像的成像也执行视点图像到服务器504的传输。
(服务器的示例性硬件配置)
图25是示出图24中的服务器504的示例性硬件配置的示图。
如在图25中所示，服务器504包括CPU(中央处理器)521、ROM(只读存储器)522、RAM(随机存取存储器)523、输入/输出接口525、以及用于相互连接的总线524。
CPU 521执行存储于ROM 522和RAM 523中的程序，从而整体控制在服务器504中的相应块。更具体地，CPU 521用作图像处理单元30(450)。而且，CPU 521接收视点图像等等并通过控制通信单元529进一步传输重建目标图像等。CPU 521可具有与网络服务器中的前端相同的功能，并可执行例如基本网络操作，诸如输出主页。
ROM 522是非易失性存储器，其中固定存储OS(操作***)和由CPU521执行的程序、各种类型的参数等。RAM 523被用作CPU 521的工作区域等，并暂时保持执行OS、各种类型的应用，处理各种类型的数据。
输入/输出接口525被连接至显示单元526、操作输入单元527、存储单元528、通信单元529等。
显示单元526是例如使用LCD、OELD、CRT等的显示装置。例如，操作输入单元527是指针设备，诸如，鼠标、键盘、触控面板、和其他输入装置。在操作输入单元527是触控面板的情况下，触控面板可与显示单元526形成为一体。
存储单元528是非易失性存储器，诸如，HDD、闪存、和其他固态存储器。存储单元528存储OS、各种类型的应用、以及各种类型的数据。尤其是，根据本实施方式，存储单元528存储从网络终端502接收的在N个视点的视点图像。此外，存储单元528存储多个显影参数。
通信单元529是优先连接到网络503的NIC(网络接口卡)或者是用于无线电通信的模块，并且与网络终端502一起执行通信处理。通信单元529从网络终端502接收在N个视点的视点图像并且将显影目标图像传输到网络终端502。
此外，通信单元529向网络终端502传输存储于存储单元528中的多个显影参数作为可供选择的显影参数。通信单元529从网络终端502接收用户选择的可供选择的显影参数。显影参数用于显影处理单元34中。
(在服务器中处理的说明)
图26是用于描述在图25中的服务器504中处理的流程图。
在图26的步骤ST21中，服务器504的通信单元529从网络终端502接收在N个视点的视点图像。在步骤ST22中，服务器504的图像处理单元30(450)从在N个视点的从通信单元529接收的视点图像中生成具有第一分辨率R1的视差图。
在步骤ST23中，图像处理单元30(450)生成通过使用具有第一分辨率R1的视差图和在N个视点的所接收的视点图像生成在***视点，视点图像和插补图像。
在步骤ST24中，图像处理单元30(450)基于插补图像显影目标图像，在中心视点的视点图像、在***视点的具有第一分辨率的视点图像、以及显影参数。通过网络终端502的用户选择显影参数。
在步骤ST25中，通信单元529将显影目标图像传输到网络终端502作为最终图像。
(网络终端的示例性硬件配置)
图27是示出图24中的网络终端502的示例性硬件配置的框图。
如图27所示，网络终端502包括CPU 541、RAM542、非易失性存储器543、显示单元544、以及通信单元545。
CPU 541执行存储于RAM 523和非易失性存储器543中的程序，从而整体控制网络终端502的相应块同时根据需要访问RAM 542等。RAM542被用作CPU 541的工作区域等，并暂时保持执行OS、各种类型的应用，处理各种类型的数据。
例如，非易失性存储器543是闪速存储器或ROM，并且存储OS程序(应用)以及CPU 541要执行的各种类型的参数。而且，非易失性存储器543存储在N个视点的静止图像的视点图像、由成像装置501成像的移动图像等。
例如，显示单元544是LCD和OELD，并且显示各种类型的菜单、用于应用的GUI(图形用户界面)等。通常，显示单元544与触控面板形成为一体，并且能够接收用户的触摸操作。例如，显示单元544显示用于选择经由通信单元545提供的可供选择的显影参数的设置GUI。显示单元544根据显示用户在设置GUI的触摸操作从可供选择中选择预定显影参数，并且将所选择的显影参数提供至通信单元545。
通信单元545经由网络503执行与服务器504通信、与成像装置501通信、与其他***移动终端通信等。例如，通信单元545接收从成像装置501传输的在N个视点的视点图像并且将所接收的视点图像存储于非易失性存储器543中。通信单元545向服务器504传输存储于非易失性存储器543中的在N个视点的视点图像。
而且，通信单元545接收从服务器504传输的可供选择的显影参数。通信单元545通知可供选择的显影参数中的所选择的显影参数的服务器504。
同时，虽然未示出，除了如图27所示新设置了成像单元11这一点以外，成像装置501和网络终端502形成为一体的移动终端505的硬件配置与网络终端502的配置相同。
(屏幕的实例)
图28是示出在显示单元544上显示的设置GUI的实例的示意图。
在图28的屏幕中，与预览图像Pv一起显示设置GUI。在图28的实例中，显影参数包括透镜设计信息、光圈值形状、以及聚焦位置。
在这种情况下，在预览图像Pv上以迭加方式显示镜头单元选区DL、光圈形状选区DA、以及聚焦位置选区DF作为显示单元544上的设置GUI。
在镜头单元选区DL中，基于显影参数中可供选择的透镜设计信息显示表示透镜单元的图形。在光圈形状选区DA中，显示表示可供选择的显影参数的光圈形状的图形。在聚焦位置选区DF中，显示通过位置表示可供选择的聚焦位置的设置杆Fb。
用户选择通过用手指U触摸表示在镜头单元选区DL显示的期望镜头单元的图形选择可供选择的对应于镜头单元的透镜设计信息。此外，用户通过用手指U触摸在光圈形状选区DA上显示的期望光圈形状的图形选择可供选择的光圈形状。
此外，用户通过用手指U触摸聚焦位置选区DF的设置杆Fb并垂直地移动手指U将设置杆Fb移动至与期望聚焦位置对应的位置。因此，用户可选择可供选择的期望聚焦位置。
同时，可将设置杆Fb配置成使得用户通过触摸聚焦位置选区DF上的期望位置移动位置而非用户用手指U触摸设置杆Fb并且然后移动手指U。此外，可以选择图像内部离手指U触摸的物体最近的可供选择的聚焦位置作为聚焦位置而不显示任何可供选择的聚焦位置。
此外，在图28的实例中，镜头单元选区DL位于预览图像Pv的左上角，光圈形状选区DA位于其左下角，并且聚焦位置选区DF位于正面；然而，定位位置不限于此。
虽然未示出，也可以用与镜头单元选区DL、光圈形状选区DA、以及聚焦位置选区DF一样的方法显示可供选择的其他显影参数，诸如，白平衡和曝光补偿值。
此外，根据第二实施方式，显示单元544与触控面板形成为一体，但在未与触控面板形成为一体的情况下，用户可以通过操作鼠标等(未示出)移动在屏幕上显示的指针以执行相当于触摸操作的选择操作。
(在***中处理的说明)
图29是示出在图24的***500中基本操作的流程的顺序图。图30是用于描述将视点图像上传到服务器504的流程图，以及图31是用于描述显影物体的流程图。根据第二实施方式，通过CPU结合在其控制下执行的各个软件模块进行在网络终端502和服务器504中的操作。
在ST301中，当成像装置501断电时，成像装置501确定是否按下快门按钮(未示出)。在步骤ST301中确定按下快门按钮的情况下，在步骤ST302中，成像装置501用成像单元11同时摄影在N个视点的视点图像。换言之，成像装置501捕捉在中心视点具有第一分辨率R1的视点图像以及在***视点具有第二分辨率R2的视点图像。
接下来，在步骤ST303中，成像装置501通过利用相邻视点图像之间的相互关系压缩在N个视点的捕捉视点图像。在步骤ST304中，成像装置501通过有线或无线将图像传送请求传输至网络终端502。
在步骤ST305中，成像装置501确定网络终端502是否接受图像传送请求。在在步骤ST305中确定未接受图像传送请求的情况下，处理返回至步骤ST304并且重复步骤ST304和ST305的处理直至接收为止。
另一方面，在步骤ST305中确定接受图像传送请求的情况下，在步骤ST306中成像装置501通过有线或无线向网络终端502传输在N个视点的视点图像的压缩图像。然后，处理进行至步骤ST307。
此外，在步骤ST301中确定未按下快门按钮的情况下，处理进行至步骤ST307。
在步骤ST307中，成像装置501确定是否关闭电源，换言之，用户是否执行关闭电源操作。
在步骤ST307中确定未关闭电源的情况下，处理返回至步骤ST301并且重复从步骤ST301至ST307的处理直至关闭电源为止。此外，在步骤ST307中确定关闭电源的情况下，成像装置501断电并且处理结束。
在用于视点图像的压缩处理中，例如，能够使用压缩移动图像的算法。成像装置501捕捉的在N个视点的视点图像也可在不压缩的情况下被传输到网络终端502。通过压缩视点图像，被传输到网络终端502的数据量可减小。此外，也可在网络终端502执行生成压缩图像。这可减小在成像装置501上的处理负荷。
在步骤ST401中网络终端502确定是否通过通信单元545接收来自成像装置501的图像传送请求。在步骤ST401中确定未接收图像传送请求的情况下，处理结束。
另一方面，在步骤ST401中确定接收图像传送请求的情况下，在步骤ST402中网络终端502通过通信单元545向成像装置501传输传送许可。当接受传送许可时，成像装置501确定接受图像传送请求。
在步骤ST403中，网络终端502通过通信单元545从成像装置501接收在N个视点的视点图像的压缩图像。网络终端502将所接收的压缩图像存储到非易失性存储器543中。
在步骤ST404中，网络终端502通过通信单元545和网络503将压缩图像上传(传输)到服务器504的存储单元528。此外，处理返回至步骤ST401，并且重复后续处理。
另一方面，在步骤ST501中服务器504确定是否存在通过通信单元529上传到存储单元528的任何压缩图像。在步骤ST501中确定不存在上传压缩图像的情况下，处理结束。
此外，在步骤ST501中确定存在上传压缩图像的情况下，在步骤ST502中，在确认之后服务器504对上传压缩图像进行解压，并且将在N个视点的视点图像恢复至初始状态以将他们存储在存储单元528中。
接下来，在步骤ST503中，服务器504生成要在网络终端502的显示单元544上显示的低分辨率预览图像。基于从网络终端502传输的在N个视点的视点图像生成预览图像。在步骤ST504中，服务器504通过通信单元545和网络503通知网络终端502预览图像准备待续并且传输预览图像。然后，处理返回至步骤ST501，并且重复后续处理。
在步骤ST404中将压缩图像上传到服务器504的存储单元528之后，在步骤ST405中网络终端502确定服务器504中是否存在任何新的预览图像。更具体地，网络终端502确定服务器504是否告知预览图像准备待续。
在服务器504告知网络终端502预览图像准备待续的情况下，在步骤ST405中确定不存在新的预览图像。
另一方面，在服务器504告知接收了准备待续的预览图像的情况下，在步骤ST405中确定存在新的预览图像，并且处理进行至步骤ST406。
在步骤ST406中，网络终端502从服务器504接收预览图像。在网络终端502的显示单元544上显示所接收的预览图像，并且由用户确定要显影的图像。
可通过网络终端502而非服务器504生成预览图像。此外，预览图像可以是N个视点中一个视点的低分辨率视点图像，或者可以是通过使用预定显影参数降低最终图像的分辨率而获得的样品图像。而且，预览图像的数量可以是一个或者可以是多个。在预览图像的数量是多个并且预览图像是样品图像的情况下，对应于相应预览图像的显影参数是不同的。
在传输预览图像时或传输预览图像之后，服务器504将可供选择的显影参数传输到网络终端502。在步骤ST407中，网络终端502接收可供选择的显影参数，并且与显示单元544上的预览图像一起显示设置GUI(诸如图28中的镜头单元选区DL)。因此，可向用户提供高便利的显影服务。
在步骤ST408中，网络终端502根据用户对设置GUI的触摸操作选择可供选择的用户优选的显影参数。
在步骤ST409中预览图像的数量是多个的情况下，网络终端502将要显示的预览图像改变成接近选择显影参数的预览图像。在步骤ST410中，网络终端502确定是否完成选择可供选择的显影参数。
例如，在用户未完成选择显影参数的情况下，在步骤ST410中确定未完成选择可供选择的显影参数，并且处理返回至步骤ST408。然后，重复从步骤ST408至ST410的处理直至完成选择可供选择的显影参数。
在步骤ST410中确定完成选择可供选择的显影参数的情况下，例如，在用户完成选择显影参数的情况下，处理进行至ST411。在步骤ST411中，网络终端502将所选择的可供选择的显影参数传输到服务器504。
在步骤ST412中，网络终端502通过使用不同于所选择的可供选择的显影参数的可供选择的显影参数确定是否显影要显影的当前图像。
例如，在用户改变显影参数的情况下，在步骤ST412中确定通过使用与所选择的可供选择的显影参数不同的可供选择的显影参数执行显影。然后，处理返回至步骤ST408。因此，将新选择的可供选择的显影参数传输到服务器504。
另一方面，在用户不改变显影参数的情况下，在步骤ST412中确定未通过使用与所选择的可供选择的显影参数不同的可供选择的显影参数执行显影。然后，处理返回至步骤ST405。
在步骤ST505中服务器504确定是否从网络终端502接收显影参数。在步骤ST505中确定未接收显影参数的情况下，处理结束。
另一方面，在步骤ST505中确定接收显影参数的情况下，在步骤ST506中服务器504根据显影参数生成具有第二分辨率R2的最终图像。更具体地，服务器504执行从步骤ST22至ST24的处理。换言之，服务器504执行插补处理并且将在N个视点的所上传视点图像转换成高密度光束矢量的信息，并且进一步使用显影参数执行光学模拟以生成最终图像。
在步骤ST507中，服务器504通知网络终端502生成最终图像(目标图像)，并且然后将最终图像传输到网络终端502。
在步骤ST414中，网络终端502确定是否存在任何完成显影的终端图像，换言之，服务器504是否告知生成最终图像。在步骤ST414中确定不存在完成显影的最终图像的情况下，处理结束。
在步骤ST414中确定存在完成显影的最终图像的情况下，在步骤ST415中网络终端502从服务器504下载显影的最终图像。
在步骤ST416中，网络终端502在显示单元544上显示下载的最终图像。因此，用户能够浏览最终图像。在这点上，例如，在显示单元544上显示用于选择是否保存最终图像的保留GUI。
在步骤ST417中，网络终端502根据用户对保留GUI的触摸操作确定是否保存最终图像。在步骤ST417中确定不保存最终图像的情况下，处理返回至步骤ST414，并且执行后续处理。
在步骤ST417中确定保存最终图像的情况下，在步骤ST418中网络终端502确定用户选择的可供选择的显影参数是否是收费的的显影参数。
在步骤ST418中确定显影参数是收费的的情况下，网络终端502显示要求同意对显示单元544收费的消息。然后，在步骤ST419中，网络终端502确定用户是否同意根据用户的触摸操作收费。
在步骤ST419中确定不同意收费的情况下，未保存最终图像并且处理返回至步骤ST414，并且重复后续处理。
另一方面，在步骤ST419中确定同意收费的情况下，在步骤ST420中网络终端502执行电子结算处理，并且处理进行至步骤ST421。
此外，在步骤ST418中确定显影参数不是收费的的情况下，处理进行至步骤ST421且不执行电子结算处理。
在步骤ST421中，网络终端502保存网络终端502的非易失性存储器543或服务器504的存储单元528中所下载的最终图像。
在服务器504再次接收不同种的显影参数的情况下，再次执行上述处理以生成最终图像(二次显影)。在这种情况下，网络终端502再次执行上述处理并保存最终图像并且必要时执行电子结算处理。
如上所述，根据第二实施方式，服务器504用作图像处理单元30(450)。因此，甚至在与在中心视点的视点图像的分辨率相比要在***视点成像的视点图像的分辨率较低的情况下，服务器504能够获得在中心视点的高分辨率视点图像和视差图。
因此，***500通过使用具有简单配置的成像装置501能够获得高分辨率视点图像和视差图，在简单配置中，与在中心视点的相机模块21的分辨率相比，在***视点的相机模块21的分辨率较低。因此，能够减小制造成本。
此外，由于服务器504执行插补处理，能够用少量的相机模块21生成在大数目的视点的视点图像，并且能够重建基于用户期望的显影参数显影的目标图像。
根据第二实施方式，利用在云上的服务器504显影(重建)由成像装置501成像的目标图像。由于这种情况，没必要在成像装置501中执行大量算术运算处理，诸如插补处理和显影处理，并且能够实现成像装置501的低成本和低电耗。此外，由于成像装置501与用作浏览器的网络终端502分开，可容易地携带成像装置501。由于这种情况，能够使用成像装置501进行灵活的拍摄。
<对本说明书中的视差图的说明>
图32是用于描述(视差)和深度的示图。
如图32所示，在由位于位置C1的相机c1和放置于位置C2的相机c2拍摄物体M的彩色图像的情况下，由如下表达式(a)定义物体M的深度Z，该深度是从相机c1(c2)在深度方向的距离。
Z＝(L/d)×f   ...(a)
应注意，L是位置C1和位置C2在水平方向上的距离(以下简称相机之间的距离)。此外，d是通过从距离u1中减去距离u2获得的值，也就是，视差。距离u1是在水平方向上从彩色图像的中心到由相机c1拍摄的彩色图像上的物体M的位置的距离，以及距离u2是在水平方向上从彩色图像的中心到由相机c2拍摄的彩色图像上的物体M的位置的距离。此外，应注意，f是相机c1的焦距，并且相机c1和相机c2的焦距与在表达式(a)中的相同。
如在表达式(a)中所示，唯一转换了视差d和深度Z。因此，表示深度Z的图像可以取代根据第一和第二实施方式的视差图。在下文中，表示深度Z的图像和视差图整体称作深度图像。
深度图像是表示视差d或深度Z的图像，并且对于深度图像的像素值，可以采用通过标准化视差d获得的值、通过标准化深度Z的倒数1/Z获得的值等而非直接采用视差d或深度Z。
通过如下示出的表达式(b)能够获取通过用8位(0至255)标准化视差d获得的值。应注意，标准化视差d的位的数目不限于8位，并可以是其他位数，诸如10位和12位。
[数学公式1]
I = 255 &times; ( d - D min ) D max - D min . . . ( b )
应注意，在表达式(b)中，Dmax是视差d的最大值，以及Dmin是视差d的最小值。可每屏幕设置或可每多个屏幕设置最大值Dmax和最小值Dmin。
此外，可从以下示出的表达式(c)获取通过用8位(0至255)标准化深度Z的倒数1/Z获得的值y。应注意，标准化深度Z的倒数1/Z的位数不限于8位，并可以是其他位数，诸如10位和12位。
[数学公式2]
y = 255 &times; 1 Z - 1 Z far 1 Z near - 1 Z far . . . ( c )
在表达式(c)中，Zfar是深度Z的最大值，以及Znear是深度Z的最小值。可每屏幕设置或者可每多个屏幕设置最大值Zfar和最小值Znear。
此外，可以采用YUV420、YUV400等作为深度图像的颜色格式。当然，也可采用其他种类的颜色格式。
根据本技术，在拍摄物体之后能够重置聚焦位置、光圈值等。因此，甚至在图像模糊、错误地设置了视场深度等的情况下能够获得具有高图像质量的目标图像。
此外，在不携带又重体积又大的可换镜头的情况下执行拍摄后能够获得与通过许多可换镜头拍摄的图像相同的图像。此外，甚至能够通过紧凑、轻型、薄型化成像装置执行与通过包括大镜头等的大规模成像装置执行的拍摄相同的高图像质量拍摄。
虽然已描述了根据本技术的实施方式，本技术不限于上述实施方式，并且显而易见的是在不偏离本技术主旨的情况下能够在范围内进行各种修改。
例如，根据以上实施方式，在插补处理单元33中转换在中心视点或***视点用于立体匹配的视点图像的整个区域的分辨率。然而，可以仅转换对应计算出相位差的边缘区域(窗口)的区域的分辨率。同样在这种情况下，能够获得相同的功能和影响。
根据以上实施方式，通过使用插补图像重建目标图像，但是通过使用插补图像可生成三维(3D)图像。
此外，根据以上实施方式，在服务器504中执行视点插补处理和显影处理，但可在网络终端502执行视点插补处理和显影处理。
此外，根据以上实施方式，具有第一分辨率的视差图被用于生成插补图像，但是具有第二分辨率的视差可被用以生成插补图像。
此外，在***视点的相机模块21可以是配置为执行单色拍摄的相机模块，从而改善在***视点的视点图像的分辨率。在这种情况下，当在中心视点的相机模块21是拜耳阵列的相机模块并且第一分辨率是第二分辨率的高度和宽度的两倍时，在中心视点的视点图像的分辨率和在***视点的视点图像的分辨率变得相同。因此，可高准确度地生成视差图。
而且，可将第一分辨率和第二分辨率设置成使得在中心视点的视点图像的采样频率与在***视点的视点图像的不同。在这种情况下，可以防止在中心视点的视点图像和在***视点的视点图像中同时生成波纹。
此外，根据以上实施方式，视差图用于插补处理，但可用于物体修整处理。在这种情况下，通过高准确度地生成视差图可以精确地修整视点图像的期望物体。
应注意，在本说明书中，无论所有的组成元件是否位于相同的壳体内，***代表包括多个组成元件(装置、模块(部件)等)的组。因此，经由网络连接并收容在不同壳体内的多个装置和包括位于壳体中的多个模块的装置中的任一个是所述***。
此外，本技术可以采用以下配置。
(1)
一种图像处理装置，包括：
分辨率转换单元，被配置为将以第一分辨率成像的第一视点图像和以低于第一分辨率的第二分辨率成像的第二视点图像中的一个视点图像的分辨率转换为另一视点图像的分辨率，并且生成具有相同分辨率的第一视点图像和第二视点图像；以及
生成单元，被配置为基于具有相同分辨率并通过分辨率转换单元生成的第一视点图像与第二视点图像之间的相关值来生成视差图。
(2)
根据以上(1)所述的图像处理装置，其中，
分辨率转换单元将第一视点图像的分辨率转换为第二分辨率，并且
生成单元基于具有第二分辨率并通过分辨率转换单元生成的第一视点图像与第二视点图像之间的相关值来生成具有第二分辨率的视差图。
(3)
根据以上(2)所述的图像处理装置，其中，生成单元将视差图的分辨率转换为第一分辨率。
(4)
根据以上(3)所述的图像处理装置，其中，生成单元基于具有第一分辨率的第一视点图像将视差图的分辨率转换为第一分辨率。
(5)
根据以上(4)所述的图像处理装置，其中，生成单元基于具有目标像素与邻近目标像素的相邻像素之间的第一分辨率的第一视点图像的像素值差来确定目标像素的视差图的像素值，并且目标像素是具有第一分辨率的像素而且是具有第一分辨率的第一视点图像的边缘区域而不是具有第二分辨率的第一视点图像的边缘区域。
(6)
根据以上(1)所述的图像处理装置，其中，
分辨率转换单元将第二视点图像的分辨率转换为第一分辨率，并且
生成单元基于具有第一分辨率并通过分辨率转换单元生成的第一视点图像与第二视点图像之间的相关值来生成具有第一分辨率的视差图。
(7)
根据以上(1)至(6)中任一项所述的图像处理装置，进一步包括：
插补处理单元，被配置为基于第一视点图像和生成单元生成的视差图生成在对应于第一视点图像和第二视点图像之间的视点的插补图像；以及
显影处理单元，被配置为通过使用第一视点图像、第二视点图像、插补图像、以及规定光学***的参数生成由光学***虚拟成像的图像。
(8)
一种图像处理方法，包括步骤：
将以第一分辨率成像的第一视点图像和以低于第一分辨率的第二分辨率成像的第二视点图像中的一个视点图像的分辨率转换为另一视点图像的分辨率，并且生成具有相同分辨率的第一视点图像和第二视点图像；以及
基于具有通过在转换分辨率的步骤中处理生成的相同分辨率的第一视点图像和第二视点图像之间的相关值来生成视差图。
(9)
信息处理装置，包括：
成像单元，包括第一成像元件，被配置为成像具有第一分辨率的第一视点图像；以及第二成像元件，被配置为成像具有低于第一分辨率的第二分辨率的第二视点图像；
分辨率转换单元，被配置为将通过第一成像元件成像的第一视点图像和通过第二成像元件成像的第二视点图像中的一个视点图像的分辨率转换为另一视点图像的分辨率，以及生成具有相同分辨率的第一视点图像和第二视点图像；以及
生成单元，被配置为基于具有相同分辨率并通过分辨率转换单元生成的第一视点图像和第二视点图像之间的相关值来生成视差图。
(10)
根据以上(9)所述的信息处理装置，其中，第二成像元件配置在第一成像元件的周围。
参考标号列表
11 成像单元
21 相机模块
30 图像处理单元
31 分辨率转换单元
32 相关值计算单元
33 插补处理单元
34 显影处理单元
450 图像处理单元
451 分辨率转换单元
452 相关值计算单元
500 ***
501 成像装置
504 服务器。

Claims (10)

1.一种图像处理装置，包括：
分辨率转换单元，被配置为将以第一分辨率成像的第一视点图像和以低于所述第一分辨率的第二分辨率成像的第二视点图像中的一个视点图像的分辨率转换为另一视点图像的分辨率，并且生成具有相同分辨率的所述第一视点图像和所述第二视点图像；以及
生成单元，被配置为基于具有所述相同分辨率并通过所述分辨率转换单元生成的所述第一视点图像与所述第二视点图像之间的相关值来生成视差图。
2.根据权利要求1所述的图像处理装置，其中
所述分辨率转换单元将所述第一视点图像的分辨率转换为所述第二分辨率，并且
所述生成单元基于具有所述第二分辨率并通过所述分辨率转换单元生成的所述第一视点图像与所述第二视点图像之间的相关值来生成具有所述第二分辨率的所述视差图。
3.根据权利要求2所述的图像处理装置，其中，所述生成单元将所述视差图的分辨率转换为所述第一分辨率。
4.根据权利要求3所述的图像处理装置，其中，所述生成单元基于具有所述第一分辨率的所述第一视点图像将所述视差图的分辨率转换为所述第一分辨率。
5.根据权利要求4所述的图像处理装置，其中，所述生成单元基于目标像素与邻近所述目标像素的相邻像素之间的具有所述第一分辨率的所述第一视点图像的像素值差来确定所述目标像素的所述视差图的像素值，并且所述目标像素是具有所述第一分辨率的像素，并且是具有所述第一分辨率的所述第一视点图像的边缘区域而不是具有所述第二分辨率的所述第一视点图像的边缘区域。
6.根据权利要求1所述的图像处理装置，其中
所述分辨率转换单元将所述第二视点图像的分辨率转换为所述第一分辨率，并且
所述生成单元基于具有所述第一分辨率并通过所述分辨率转换单元生成的所述第一视点图像与所述第二视点图像之间的相关值来生成具有所述第一分辨率的所述视差图。
7.根据权利要求1所述的图像处理装置，进一步包括：
插补处理单元，被配置为基于由所述生成单元生成的所述视差图和所述第一视点图像生成在对应于所述第一视点图像和所述第二视点图像的视点之间的视点的插补图像；以及
显影处理单元，被配置为通过使用所述第一视点图像、所述第二视点图像、所述插补图像、以及规定光学***的参数，生成由所述光学***虚拟成像的图像。
8.一种图像处理方法，包括以下步骤：
将以第一分辨率成像的第一视点图像和以低于所述第一分辨率的第二分辨率成像的第二视点图像中的一个视点图像的分辨率转换为另一视点图像的分辨率，并且生成具有相同分辨率的所述第一视点图像和所述第二视点图像；以及
基于具有通过在转换所述分辨率的步骤中的处理而生成的所述相同分辨率的所述第一视点图像和所述第二视点图像之间的相关值来生成视差图。
9.一种信息处理装置，包括：
成像单元，包括第一成像元件，被配置为成像具有第一分辨率的第一视点图像；以及第二成像元件，被配置为成像具有低于所述第一分辨率的第二分辨率的第二视点图像；
分辨率转换单元，被配置为将通过所述第一成像元件成像的所述第一视点图像和通过所述第二成像元件成像的所述第二视点图像中的一个视点图像的分辨率转换为另一视点图像的分辨率，并且生成具有相同分辨率的所述第一视点图像和所述第二视点图像；以及
生成单元，被配置为基于具有所述相同分辨率并通过所述分辨率转换单元生成的所述第一视点图像和所述第二视点图像之间的相关值来生成视差图。
10.根据权利要求9所述的信息处理装置，其中，所述第二成像元件被布置在所述第一成像元件的周围。
CN201380044211.9A 2012-08-31 2013-08-16 图像处理装置、图像处理方法、以及信息处理装置 Expired - Fee Related CN104584545B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012191161 2012-08-31
JP2012-191161 2012-08-31
PCT/JP2013/072021 WO2014034444A1 (ja) 2012-08-31 2013-08-16 画像処理装置および画像処理方法、並びに情報処理装置

Publications (2)

Publication Number Publication Date
CN104584545A true CN104584545A (zh) 2015-04-29
CN104584545B CN104584545B (zh) 2017-05-31

Family

ID=50183259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380044211.9A Expired - Fee Related CN104584545B (zh) 2012-08-31 2013-08-16 图像处理装置、图像处理方法、以及信息处理装置

Country Status (4)

Country Link
US (1) US9600859B2 (zh)
JP (1) JP6458988B2 (zh)
CN (1) CN104584545B (zh)
WO (1) WO2014034444A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107211095A (zh) * 2016-01-06 2017-09-26 华为技术有限公司 处理图像的方法和设备
CN107517369A (zh) * 2016-06-17 2017-12-26 聚晶半导体股份有限公司 立体图像产生方法及使用此方法的电子装置
CN112602117A (zh) * 2019-03-14 2021-04-02 欧姆龙株式会社 图像处理装置和三维测量***

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN103004180A (zh) 2010-05-12 2013-03-27 派力肯影像公司 成像器阵列和阵列照相机的架构
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
KR101973822B1 (ko) 2011-05-11 2019-04-29 포토네이션 케이맨 리미티드 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
JP6140709B2 (ja) 2011-09-28 2017-05-31 ペリカン イメージング コーポレイション 明視野画像ファイルを符号化および復号するためのシステムおよび方法
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP4296963A3 (en) 2012-08-21 2024-03-27 Adeia Imaging LLC Method for depth detection in images captured using array cameras
CN104685513B (zh) 2012-08-23 2018-04-27 派力肯影像公司 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
US20140092281A1 (en) * 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
WO2015074078A1 (en) * 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9456134B2 (en) 2013-11-26 2016-09-27 Pelican Imaging Corporation Array camera configurations incorporating constituent array cameras and constituent cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
JP6536077B2 (ja) * 2015-02-25 2019-07-03 沖電気工業株式会社 仮想視点画像生成装置及びプログラム
KR102479827B1 (ko) * 2015-04-28 2022-12-22 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
JP6631054B2 (ja) * 2015-07-02 2020-01-15 沖電気工業株式会社 仮想視点画像生成装置及びプログラム
JP6503979B2 (ja) * 2015-08-26 2019-04-24 沖電気工業株式会社 携帯図面表示装置、図面表示システム
US10748264B2 (en) 2015-09-09 2020-08-18 Sony Corporation Image processing apparatus and image processing method
JP6611588B2 (ja) * 2015-12-17 2019-11-27 キヤノン株式会社 データ記録装置、撮像装置、データ記録方法およびプログラム
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
EP3736770A4 (en) * 2018-01-05 2022-03-02 Sony Group Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
US11525906B2 (en) 2019-10-07 2022-12-13 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
WO2021154386A1 (en) 2020-01-29 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
CN116250242A (zh) * 2020-10-07 2023-06-09 索尼集团公司 拍摄设备、服务器装置以及3d数据生成方法
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
JP7315988B1 (ja) 2022-01-13 2023-07-27 誠一 杉田 移動体の走行制御システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030190072A1 (en) * 1998-08-28 2003-10-09 Sean Adkins Method and apparatus for processing images
US6847392B1 (en) * 1996-10-31 2005-01-25 Nec Corporation Three-dimensional structure estimation apparatus
CN101312539A (zh) * 2008-07-03 2008-11-26 浙江大学 用于三维电视的分级图像深度提取方法
JP2009165115A (ja) * 2007-12-12 2009-07-23 Sony Corp 撮像装置
CN101790103A (zh) * 2009-01-22 2010-07-28 华为技术有限公司 一种视差计算方法及装置
US20100271511A1 (en) * 2009-04-24 2010-10-28 Canon Kabushiki Kaisha Processing multi-view digital images
WO2012111755A1 (ja) * 2011-02-18 2012-08-23 ソニー株式会社 画像処理装置および画像処理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102040A (ja) * 1998-09-28 2000-04-07 Olympus Optical Co Ltd 電子ステレオカメラ
JP4861574B2 (ja) 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
KR101807886B1 (ko) * 2009-10-14 2017-12-11 돌비 인터네셔널 에이비 깊이 맵 처리를 위한 방법 및 디바이스
US8339470B2 (en) * 2009-11-30 2012-12-25 Indian Institute Of Technology Madras Method and system for generating a high resolution image
WO2011081646A1 (en) * 2009-12-15 2011-07-07 Thomson Licensing Stereo-image quality and disparity/depth indications
JP5387856B2 (ja) 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
JP5468426B2 (ja) * 2010-03-12 2014-04-09 日立オートモティブシステムズ株式会社 ステレオカメラ装置
US8428342B2 (en) * 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
WO2012029301A1 (ja) * 2010-08-31 2012-03-08 パナソニック株式会社 撮影装置、再生装置、および画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847392B1 (en) * 1996-10-31 2005-01-25 Nec Corporation Three-dimensional structure estimation apparatus
US20030190072A1 (en) * 1998-08-28 2003-10-09 Sean Adkins Method and apparatus for processing images
JP2009165115A (ja) * 2007-12-12 2009-07-23 Sony Corp 撮像装置
CN101312539A (zh) * 2008-07-03 2008-11-26 浙江大学 用于三维电视的分级图像深度提取方法
CN101790103A (zh) * 2009-01-22 2010-07-28 华为技术有限公司 一种视差计算方法及装置
US20100271511A1 (en) * 2009-04-24 2010-10-28 Canon Kabushiki Kaisha Processing multi-view digital images
WO2012111755A1 (ja) * 2011-02-18 2012-08-23 ソニー株式会社 画像処理装置および画像処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107211095A (zh) * 2016-01-06 2017-09-26 华为技术有限公司 处理图像的方法和设备
CN107517369A (zh) * 2016-06-17 2017-12-26 聚晶半导体股份有限公司 立体图像产生方法及使用此方法的电子装置
CN112602117A (zh) * 2019-03-14 2021-04-02 欧姆龙株式会社 图像处理装置和三维测量***

Also Published As

Publication number Publication date
JP6458988B2 (ja) 2019-01-30
WO2014034444A1 (ja) 2014-03-06
CN104584545B (zh) 2017-05-31
JPWO2014034444A1 (ja) 2016-08-08
US20150248744A1 (en) 2015-09-03
US9600859B2 (en) 2017-03-21

Similar Documents

Publication Publication Date Title
CN104584545A (zh) 图像处理装置、图像处理方法、以及信息处理装置
Zhang et al. Zoom to learn, learn to zoom
Chen et al. A passive auto-focus camera control system
US10334151B2 (en) Phase detection autofocus using subaperture images
US8233747B2 (en) Method and apparatus for forming super resolution images from raw data representative of color filter array images
KR102612530B1 (ko) 장면의 초해상도 이미지를 생성하기 위한 광학 이미지 안정화 움직임
CN103139469B (zh) 利用多分辨率过程生成鲁棒深度图的***和方法
JP4218022B2 (ja) 合成画像を生成する方法
JP6019729B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2017182796A (ja) ライトフィールドデータを処理する方法およびデバイス
CN111476737A (zh) 一种图像处理方法、智能设备及计算机可读存储介质
CN112017135A (zh) 一种遥感影像数据时空融合的方法、***及设备
CN101562704A (zh) 图像处理装置和图像处理方法
CN105989603A (zh) 机器视觉图像传感器校准
JP5822937B2 (ja) 不可視スペクトル領域の画像を処理する方法、相応するカメラおよび測定装置
CN107409205A (zh) 用于焦距调节和深度图确定的装置和方法
AU2020281143B1 (en) Creating super-resolution images
US20210314543A1 (en) Imaging system and method
CN104412298A (zh) 用于变换图像的方法和设备
CN109661815A (zh) 存在相机阵列的显著强度变化的情况下的鲁棒视差估计
JP2017059998A (ja) 画像処理装置およびその方法、並びに、撮像装置
JP6614824B2 (ja) 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
CN114266771B (zh) 基于改进扩展特征金字塔模型的管道缺陷检测方法及装置
Mustaniemi et al. Parallax correction via disparity estimation in a multi-aperture camera
Jin et al. Boosting single image super-resolution learnt from implicit multi-image prior

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170531

CF01 Termination of patent right due to non-payment of annual fee