CN105678736A - 具有孔径改变深度估计的图像处理***及其操作方法 - Google Patents

具有孔径改变深度估计的图像处理***及其操作方法 Download PDF

Info

Publication number
CN105678736A
CN105678736A CN201510876281.1A CN201510876281A CN105678736A CN 105678736 A CN105678736 A CN 105678736A CN 201510876281 A CN201510876281 A CN 201510876281A CN 105678736 A CN105678736 A CN 105678736A
Authority
CN
China
Prior art keywords
image
aperture
depth
red
calculate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510876281.1A
Other languages
English (en)
Other versions
CN105678736B (zh
Inventor
李平山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105678736A publication Critical patent/CN105678736A/zh
Application granted granted Critical
Publication of CN105678736B publication Critical patent/CN105678736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开了具有孔径改变深度估计的图像处理***及其操作方法。一种***和操作图像处理***的方法包括：接收图像模块，其用于接收具有第一孔径的第一图像和具有第二孔径的第二图像，其中第一图像和第二图像各自具有红色通道和绿色通道；计算模糊差异模块，其用于计算对应于第一图像和第二图像的红色通道的模糊差异的红色迭代计数，并且计算对应于第一图像和第二图像的绿色通道的模糊差异的绿色迭代计数；计算深度图模块，其用于形成具有基于红色迭代计数和绿色迭代计数的单元深度的深度图；以及计算显示图像模块，其用于基于第一图像和深度图形成显示图像以用于在显示设备上显示。

Description

具有孔径改变深度估计的图像处理***及其操作方法
技术领域
本发明总体上涉及图像处理***，更具体来说涉及一种具有孔径改变深度估计的图像处理***。
背景技术
现今的消费和工业电子装置(特别是具有图形成像能力的设备，比如摄影机、电视、投影仪、蜂窝电话以及组合设备)正在提供越来越高的功能水平以支持现今的生活，其中包括三维显示服务。现有技术中的研发可能是在许多不同方向上进行的。
随着三维显示设备的成长为用户赋予了更多能力，新的和旧的范例开始利用这一新的设备空间。针对利用这一新的显示设备机会存在许多技术解决方案。一种现有的方法是在消费、工业和移动电子装置上显示三维图像，比如视频投影仪、电视、监视器、智能电话、游戏***、摄影机或者个人数字助理(PDA)。
三维图像处理***已被合并在摄影机、投影仪、电视、笔记本和其他便携式产品中。如今，这些***帮助用户捕获和显示可用的相关信息，比如图表、地图或视频。三维图像的显示提供极有价值的相关信息。可以通过利用多个透镜捕获立体图像来形成三维图像。
但是以三维形式显示信息已成为消费者首要关注的问题。显示不与真实世界相关的三维图像会减少使用所述工具的益处。
因此，仍然需要有更好的图像处理***来捕获和显示三维图像。鉴于不断增大的商业竞争压力，连同不断增长的消费者预期以及市场中的有意义的产品区分的机会不断减少，找到这些问题的答案也变得越来越关键。此外，针对降低成本、改进效率和性能以及满足竞争压力的需求也为找到这些问题的答案的关键必要性增加了更大的紧迫性。深度估计还可以被用于例如自动对焦、游戏之类的应用或者其他类似的应用。
长期以来一直在寻求针对这些问题的解决方案，但是先前的发展没有教导或建议任何解决方案，因此本领域技术人员一直以来都没有找到针对这些问题的解决方案。
发明内容
本发明提供了一种操作图像处理***的方法，其包括：接收具有第一孔径的第一图像和具有第二孔径的第二图像，其中第一图像和第二图像分别具有红色通道和绿色通道；计算对应于第一图像和第二图像的相应部分的红色通道的模糊差异的红色迭代计数；计算对应于第一图像和第二图像的相应部分的绿色通道的模糊差异的绿色迭代计数；形成具有基于红色迭代计数和绿色迭代计数的单元深度的深度图；以及基于第一图像和深度图形成显示图像以用于在显示设备上显示。
本发明提供了一种图像处理***，其包括：接收图像模块，其用于接收具有第一孔径的第一图像和具有第二孔径的第二图像，其中第一图像和第二图像分别具有红色通道和绿色通道；耦合到接收图像模块的计算模糊差异模块，其用于计算对应于第一图像和第二图像的相应部分的红色通道的模糊差异的红色迭代计数，并且计算对应于第一图像和第二图像的相应部分的绿色通道的模糊差异的绿色迭代计数；耦合到计算模糊差异模块的计算深度图模块，其用于形成具有基于红色迭代计数和绿色迭代计数的单元深度的深度图；以及耦合到计算深度图模块的计算显示图像模块，其用于基于第一图像和深度图形成显示图像以用于在显示设备上显示。
本发明的某些实施例具有其他步骤或单元，以作为前面所提到的那些步骤或单元的补充或替换。通过阅读后面参照附图作出的详细描述，本领域技术人员将认识到所述步骤或单元。
附图说明
图1是本发明的一个实施例中的图像处理***。
图2是成像***的一个实例。
图3是所接收到的图像的一个实例。
图4是匹配曲线图表的一个实例。
图5是匹配曲线差异图表的一个实例。
图6是对应于红色通道的多个孔径对的匹配曲线图表的一个实例。
图7是对应于绿色通道的多个孔径对的匹配曲线图表的一个实例。
图8是对应于红色通道和绿色通道的多个孔径对的匹配曲线差异图表的一个实例。
图9是场景的一个实例。
图10A是深度图的第一实例。
图10B是深度图的第二实例。
图11是具有孔径深度估计的图像处理***的处理流程的一个实例。
图12是所述图像处理***的功能方框图的一个实例。
图13是本发明的另一个实施例中的图像处理***的操作方法的流程图。
具体实施方式
下面将以充足的细节描述后面的实施例，从而使得本领域技术人员能够制作及使用本发明。应当理解的是，基于本公开内容，其他实施例将是显而易见的，并且在不背离本发明的范围的情况下可以作出***、处理或机械改变。
在后面的描述中给出了许多具体细节以提供对于本发明的透彻理解。但是应当认识到，可以在没有这些具体细节的情况下实践本发明。为了避免模糊本发明，一些众所周知的电路、***配置和处理步骤没有被详细公开。
示出了所述***的实施例的附图是半示意性的并且不是按比例绘制的，特别为了呈现清楚起见在附图中夸大示出了其中一些维度。类似地，虽然附图中的视图为了容易描述起见通常示出了类似的指向，但是附图中的这一描绘在大多数情况下是任意的。通常来说，本发明可以***作在任何指向中。
在所有附图中使用相同的附图标记来指代相同的单元。将各个实施例编号成第一实施例、第二实施例等等是为了描述方便，而不意图具有任何其他意义或者提供对于本发明的限制。
术语“图像”被定义成对于对象的画面表示。图像可以包括二维图像、三维图像、视频帧、所计算的文件表示、来自摄影机的图像、视频帧或其组合。举例来说，所述图像可以是机器可读数字文件、物理照片、数字照片、电影帧、视频帧、x射线图像、扫描图像或其组合。所述图像可以由设置在矩形阵列中的像素形成。所述图像可以包括沿着行方向的x轴和沿着列方向的y轴。
水平方向是平行于图像的x轴的方向。垂直方向是平行于图像的y轴的方向。对角线方向是不平行于x轴也不平行于y轴的方向。
这里所提到的术语“模块”可以包括软件、硬件或其组合。举例来说，软件可以是机器代码、固件、嵌入式代码和应用软件。同样是举例来说，硬件可以是电路、处理器、计算器、集成电路、集成电路核心或其组合。
现在参照图1，其中示出了本发明的一个实施例中的图像处理***100。图像处理***100可以在成像设备102中的成像传感器108处接收第一图像104和第二图像106。第一图像104和第二图像106可以利用对应于孔径设定的不同值来捕获。
图像处理***100可以通过多种方式来捕获第一图像104和第二图像106。举例来说，可以通过利用成像传感器108顺序地捕获场景140来形成第一图像104和第二图像106。
第一图像104和第二图像106可以包括图像元数据110。图像元数据110是关于相关联的图像的信息。举例来说，图像元数据110可以包括关于产生第一图像104或第二图像106时的图像处理***100的物理属性的信息。在另一个实例中，图像元数据110可以是与数字图像一起记录在数字摄影机中的画面信息。
图像元数据110可以包括多种信息。举例来说，图像元数据110可以包括拍照属性、成像设备指向、透镜信息、孔径信息、设备位置、光学参数、设定、光级、透镜信息或其组合。
图像元数据110可以包括孔径设定116。孔径设定116是对应于图像处理***100的透镜的开口尺寸。孔径设定116可以控制击中透镜的光的数量。
第一图像104可以包括第一孔径118。第一孔径118是被用来形成第一图像104的孔径设定116。第二图像106可以包括第二孔径120。第二孔径120是被用来形成第二图像106的孔径设定116。
所接收到的图像114(比如第一图像104和第二图像106)可以被分解到不同的颜色通道122中。颜色通道122是对应于图像的颜色分量。
取决于颜色模型，可以通过多种方式来实施颜色通道122。颜色模型描述在图像中表示各种颜色的方式。举例来说，在灰度图像中仅有一个颜色通道。使用CMYK颜色模型(蓝绿色、品红色、黄色和关键色/黑色)的图像可以具有四个颜色通道122。
在另一个实例中，使用RGB颜色模型(红色、绿色、蓝色)的所接收到的图像114可以具有三个颜色通道122。所接收到的图像114可以包括红色通道124、绿色通道126和蓝色通道128。
可以在图像处理***100内将分别具有图像元数据110的第一图像104和第二图像106通过通信链接132传输到显示设备130。显示设备130是能够在显示单元136上对显示图像138进行显示的单元。举例来说，显示设备130可以是具有用于观看图像的液晶显示单元的手持式设备。
图像处理***100可以包括深度图134。深度图134是描述从图像上的点到图像处理***100的距离的信息。深度图134可以被用来形成显示图像138(比如3维图像)，以用于在显示设备130上显示。
通信链接132是用于传输信息的机制。举例来说，通信链接132可以是内部计算机总线、设备间总线、网络链接或其组合。虽然图像处理***100和显示设备130被描绘成分开的设备，但是应当理解的是，图像处理***100和显示设备130可以被实施成单一集成设备。
现在参照图2，其中示出了成像***202的一个实例。所述成像***可以包括具有透镜直径214的透镜206，以及用于接收所接收到的图像114的成像传感器108。所接收到的图像114描述在成像传感器108处接收到的所有图像，并且可以包括图1的第一图像104、图1的第二图像106、第一校准图像234、第二校准图像236或其组合。
所接收到的图像114是场景140的光学表示。举例来说，所接收到的图像114可以包括校准目标图像、点源、对象、图案图像、几何图案或其组合。
在另一个实例中，所接收到的图像114可以包括阶梯边缘(stepedge)图像142。阶梯边缘图像142是一侧为黑色并且一侧为白色的参考图像。
所接收到的图像114是成像传感器108处的场景140的表示。来自场景的光穿过透镜206从而形成所接收到的图像114。
透镜206是用于透射和折射光的光学元件。透镜206可以用于会聚或发散光。
透镜206可以由多种材料形成。举例来说，透镜206可以由玻璃、塑料、液体或者其他透明材料形成。在另一个实例中，透镜206可以由菲涅尔元件形成。
透镜206可以具有多种配置。举例来说，透镜206可以是具有单一光学元件的简单透镜。在另一个实例中，透镜206可以是具有多个简单透镜的阵列的复合透镜。
透镜206可以具有透镜直径214和图1的孔径设定116。透镜直径214是从透镜206的一侧到相对侧的最大距离。孔径设定116代表光可以从该处穿过透镜206的开口的尺寸。孔径设定116可以决定孔径直径208。孔径设定116等于或小于透镜直径214。孔径设定116可以被用来减少穿过透镜206的光的数量。
透镜206可以具有透镜焦距204。透镜焦距204是透镜206与透镜206的焦点205之间的距离。
当所接收到的图像114最清晰并且具有最高对比度时，场景140处于焦点对准。当所接收到的图像114的焦点未对准并且没有那么清晰时，其将具有较低的对比度。可以在图1的第一孔径118是较小孔径240(由更高的f数表示)的位置处取得第一图像104，并且其通常比第二图像106更加清晰。可以在图1的第二孔径120是更大孔径208的位置处取得第二图像106。
场深度216是其中场景对象具有可接受的清晰度的距离范围。场深度216可以是关于透镜206放置图像平面的容限的度量。
第一图像104和第二图像106可以通过模糊差异222分开。模糊差异222是对应于每一幅图像的模糊程度的测量。
可以通过多种方式测量图像的模糊数量。举例来说，可以通过比较与透镜206的给定对焦距离处的目标图像的模糊半径212来测量模糊。模糊半径212是由场景140中的点源的焦点未对准图像形成的圆圈的尺寸。模糊半径212与透镜206的孔径直径208成比例。模糊半径212可以利用具有较小半径242的较小孔径240来确定。在另一个实例中，可以通过使用利用较大半径244的较大孔径208来确定模糊半径212。
模糊半径212与孔径直径208成比例。给定两个不同的透镜孔径f数A1和A2，其中A1可以是第一孔径118并且A2可以是第二孔径120，散焦模糊关系可以通过下面的等式来描述：
σ 2 σ 1 = A 1 A 2 - - - ( 1 )
其中，σ1和σ2分别是对应于F-A1和F-A2的模糊标准偏差(与半径成比例)。
可以从孔径计算模糊差异模型。可以通过下面的等式计算模糊差异222：
σ 2 2 - σ 1 2 = ( ( A 1 A 2 ) 2 - 1 ) σ 1 2 - - - ( 2 )
其中，可以从迭代卷积获得可以对于散焦模糊σ1求解等式2。
可以基于通常被称作f数的孔径直径208来确定场深度216。f数是透镜焦距204与孔径直径208的比值。
通过减小孔径直径208可以增大场深度216的尺寸。通过减少穿越透镜的光的数量可以缩小散光圈(circleofconfusion)的尺寸。散光圈是由于来自透镜的光线锥束没有达到完美的焦点对准而导致的光斑。
图像模糊220的程度与透镜f数成反比。低f数(比如f1.4到f2.8)对于散焦敏感，并且具有较浅的场深度。高f数(比如f15-f32)对散焦具有高容忍度，并且具有较大的场深度。场深度216是其中对象点具有可接受的清晰度的距离范围。
在说明性实例中，图1的图像处理***100可以捕获两幅图像，即第一图像104和第二图像106，其分别具有不同的孔径设定。第一图像104和第二图像106可以被用来基于由孔径差异所导致的差异而形成深度图。
作为另一个实例，第一图像104可以具有更大的f数，从而得到更清晰的图像。第二图像106可以具有较小的f数，从而得到清晰度较低的图像。虽然第一图像104被描述成具有大于第二图像106的f数，但是应当理解的是，第二图像可以具有大于第一图像104的f数。
第一图像104与第二图像106之间的模糊差异222是被用来测量图像的散焦程度的模糊量度228中的差异。可以利用下面的等式通过从第一图像104到第二图像106的点扩散函数P来对模糊差异222进行建模：
F1*P＝F2(3)
其中，星号*运算符表示二维卷积运算。可以利用通过模糊内核224(其被标示成K)的一系列卷积如下近似点扩散函数P：
P＝K*K*...*K(4)
模糊内核224可以具有各种值。应当理解的是，模糊内核224的值、尺寸和维度是示例性的，并且正如后面所描述的那样可以是不同的。举例来说，模糊内核224可以是具有以下值的3x3矩阵：
K = 1 64 1 6 1 6 36 6 1 6 1 - - - ( 5 )
在另一个实例中，模糊内核224可以是具有以下值的3x3矩阵：
K = 1 48 1 4 1 4 28 4 1 4 1 - - - ( 6 )
在另一个实例中，模糊内核224可以是具有以下值的3x3矩阵：
K = 1 256 1 14 1 14 196 14 1 14 1 - - - ( 7 )
模糊内核224可以实施多种功能。举例来说，模糊内核224可以充当低通滤波器、高通滤波器、脉冲滤波器或其组合。
可以通过卷积次数来测量等式2中的第一图像104与第二图像106之间的模糊差异222。通过向第一图像104应用模糊内核224并且计算卷积图像与第二图像106之间的均方误差来迭代地计算模糊差异222。所述迭代卷积处理可以继续到第一图像104与第二图像106之间的模糊差异达到最小值并且处在模糊差异阈值226内为止。模糊差异阈值226可以代表可接受的最小模糊差异。
可以通过使用阶梯边缘图像142取得校准图像。可以使用第一校准图像234和第二校准图像236对于不同的孔径值产生对应于透镜206的模糊差异222的模型。
在一个说明性实例中，当孔径的尺寸改变时，透镜206的有效直径也发生改变。成像***202可以包括其直径小于孔径直径208的较小孔径240。
当透镜的直径变得更小时，模糊半径212也将变得更小。较小孔径240可以导致对应于模糊半径212的较小半径242。较小半径242导致更清晰的图像。
第一图像104和第二图像106是由成像传感器108在不同的孔径尺寸下取得的。每一幅图像具有不同的模糊数量。可以通过等式(2)计算并且可以利用迭代卷积获得这两幅图像之间的模糊差异222。
在取得所述两幅图像时，只有孔径尺寸发生改变。场景140与透镜206之间的距离以及透镜206与成像传感器108之间的距离都应当保持相同。
现在参照图3，其中示出了所接收到的图像114的一个实例。所接收到的图像114可以是图1的第一图像104、图1的第二图像106或其组合。
通过将第一图像104和第二图像106划分成栅格单元302，可以将所接收到的图像114划分成栅格阵列304。栅格阵列304是被划分成栅格配置的图像。栅格单元302是构成所接收到的图像114的子画面。举例来说，第一图像104和第二图像106可以被划分成分别具有16x16像素、32x32像素的规格或另一规则矩形尺寸的栅格单元302的栅格阵列304。每一个栅格单元302可以代表图像的一部分。
现在参照图4，其中示出了匹配曲线图表402的一个实例。匹配曲线图表402包括对应于具有不同孔径的两幅图像的红色通道124和绿色通道126的匹配曲线414。
匹配曲线414是迭代次数404与对焦距离之间的关系，其中对焦距离由场深度数412(DOF数)表示。可以在一定距离范围内计算匹配曲线414。举例来说，可以从具有0到100的范围的DOF数412计算匹配曲线414。
通过对于各个孔径对410的集合在图2的透镜206的整个距离范围上计算对应于红色通道124和绿色通道126的迭代次数404而形成匹配曲线图表402。孔径对410是对应于图1的孔径设定116的两个不同值的集合。举例来说，孔径对410可以具有对应于孔径设定116的值f2和f2.2。
迭代次数404可以是两幅图像之间的图2的模糊差异222的表示。所述两幅图像可以利用对应于孔径设定116的不同值来取得。红色通道124与绿色通道126之间的对焦位置偏移可以是由于色差而导致的。
迭代次数404代表将两幅图像带到图2的模糊量度228的等效水平所需的卷积迭代的次数。在与图2的模糊内核224实施迭代卷积时，迭代次数404可以对应于在被用来满足等式3的标准时的等式4中的运算次数。迭代次数404是为了对于图1的第二图像106的其中一个颜色通道达到对应于模糊量度228的可比值而在图1的第一图像104上实施的卷积运算的次数。可以在全部两幅图像上对于红色通道124和绿色通道126全部二者计算迭代次数404。
对于图2的场深度216的较低值，对应于红色通道124的匹配曲线414处在对应于绿色通道126的匹配曲线的值下方。当图1的所接收到的图像114处于完全焦点对准时，对应于红色通道124和绿色通道126的匹配曲线的值具有零次迭代的匹配值。对于场深度216的更高值，对应于红色通道124的匹配曲线414处在对应于绿色通道126的匹配曲线的值上方。
可以对于多种配置计算对应于场深度的匹配曲线图表402。举例来说，可以对于给定的光学设备计算对应于场深度的匹配曲线图表402，比如SonyTMRX1摄影机和透镜。可以利用校准目标图像在透镜206的校准阶段期间形成对应于场深度的匹配曲线图表402，所述校准目标图像例如是图1的阶梯边缘图像142，其位于与透镜206相距65厘米(cm)处。可以利用设定在f2和f2.2的孔径设定116对于其中一个孔径对410计算匹配曲线图表402。
在一个说明性实例中，可以通过将二次函数拟合到全部两条匹配曲线414来对红色通道124和绿色通道126的匹配曲线414进行建模。所述二次模型可以被写作下式：
y＝c(x-d)2(8)
其中，“y”是垂直轴上的图4中的迭代次数404，“x”是水平轴上的DOF中的透镜对焦位置。参数“c”和“d”是等式常数。对应于“c”的值可以是0.096738，对应于“d”的值可以是56.810。迭代次数差异506是红色通道124与绿色通道126的图4的迭代次数404之间的差异。
在另一个实例中，Ir、Ig可以分别表示对应于红色通道124的迭代次数404和对应于绿色通道126的迭代次数404。假设图2的当前透镜对焦位置(204)“f”是已知的距离。则可以通过下式获得通过场深度(DOF)表达的深度：
其中，“c”是等式8中的二次模型的系数。
现在参照图5，其中示出了匹配曲线差异图表502的一个实例。匹配曲线差异图表502可以表明对应于图2的场深度216的图4的匹配曲线图表402的两个颜色通道之间的差异。
可以通过取得匹配曲线图表402的图4的两条匹配曲线414之间的差异来计算匹配曲线差异图表502。越远离焦点对准距离，匹配曲线414之间的差异就越大。
可以通过具有匹配曲线差异斜率504的线性曲线来近似对应于图1的红色通道124和图1的绿色通道126的匹配曲线414之间的差异。匹配曲线差异斜率504可以被用来基于迭代次数差异506计算场深度216。迭代次数差异506是红色通道124与绿色通道126的图4的迭代次数404之间的差异。
匹配曲线差异图表502可以表明实现对焦所需的透镜运动的量值和方向。对于更大的孔径并且对于更加焦点未对准的模糊，红色通道124与绿色通道126之间的迭代次数差异也更大。对应于迭代次数差异的正值意味着透镜在更加远离物距的距离处对焦。负值意味着透镜在更加靠近物距的距离处对焦。
在一个说明性实例中，可以利用被设定在与透镜206相距65厘米处的图1的阶梯边缘图像142在图2的透镜206的校准阶段期间形成匹配曲线差异图表502。
可以通过线性模型如下表示红色通道124与绿色通道126之间的迭代次数差异506：
y＝ax+b(10)
其中，“y”是垂直轴上的迭代次数差异506，a是匹配曲线差异斜率504，“x”是水平轴上的通过场深度(DOF)表示的透镜对焦位置。
在另一个实例中，匹配曲线差异斜率“a”的值可以是0.283007，对应于偏移量“b”的值可以是-16.596053。假设图2的当前透镜对焦位置(204)“f”是已知的，则可以利用线性模型如下获得通过场深度表达的深度：
深度＝f-y/a(11)
其中，“y”是对应于红色通道124与绿色通道126的匹配结果之间的迭代次数差异。参数“a”是线性模型的斜率，比如匹配曲线差异斜率504。
现在参照图6，其中示出了对应于图1的红色通道124的多个孔径对的匹配曲线图表602的一个实例。对应于场深度的匹配曲线图表602可以表明对应于一个孔径对410的集合的图4的迭代次数404与图2的场深度216之间的关系。
孔径对410是f数的集合。可以对于每一个孔径对410的图1的孔径设定116的全部两个值计算对应于红色通道124的匹配曲线414。对于每一个孔径对410，可以对于图2的第一校准图像234和图2的第二校准图像236的红色通道124计算匹配曲线图表602。
举例来说，对应于场深度的图4的匹配曲线图表402可以包括对应于f2/F2.2、F2.2/F2.5、F2.5/F2.8、F3.2/F3.5和F3.5/F4的孔径对410。对于孔径对410之间的更高差异程度，迭代次数404中的差异也更大。
对于每一个孔径对410，可以对于第一校准图像234和第二校准图像236计算匹配曲线图表602。
现在参照图7，其中对于图1的绿色通道126示出了对应于多个孔径对的匹配曲线图表702的一个实例。对应于场深度的匹配曲线图表702可以表明对应于不同孔径对的迭代次数404与透镜对焦距离之间的关系。
孔径对410是f数的集合。可以对于每一个孔径对410的图1的孔径设定116的全部两个值计算对应于绿色通道126的匹配曲线414。对于每一个孔径对410，可以对于图2的第一校准图像234和图2的第二校准图像236的绿色通道126计算图6的匹配曲线图表602。
现在参照图8，其中对于图1的红色通道124和图1的绿色通道126示出了对应于多个孔径对410的匹配曲线差异图表802的一个实例。图5的匹配曲线差异图表502可以对于每一个孔径对410表明图4的红色通道124与图4的绿色通道126之间的差异。
匹配曲线差异图表802的结果是一个线性曲线集合，其对于每一个孔径对410表明图1的红色通道124与图1的绿色通道126之间的图5的匹配曲线差异斜率504。匹配曲线差异图表802可以表明实现对焦所需的透镜运动的量值和方向。
现在参照图9，其中示出了场景140的一个实例。图1的所接收到的图像114可以包括场景140中的物理设定中的各个对象的表示。所接收到的图像114可以包括图1的第一图像104、图1的第二图像106或其组合。
现在参照图10A，其中示出了深度图1002的第一实例。深度图1002是对应于图1的所接收到的图像114的图3的每一个栅格单元302的从所述对象到图1的图像处理***100的距离的指标(indicator)。深度图1002可以利用等式11来计算。
深度图1002可以是具有叠加在所接收到的图像114之上的深度栅格1004的所接收到的图像114的表示。深度栅格1004可以是被划分成更小的栅格单位的所接收到的图像114的量化表示。举例来说，深度栅格1004可以是栅格单元302的阵列。每一个栅格单元302可以具有与所述栅格单元302相关联的单元深度1006，其表明从图像处理***100到图1的场景140中的相应区段的距离。
可以通过多种方式来表达单元深度1006的值。举例来说，可以通过场深度(DOF)数来表达单元深度1006。在另一个实例中，可以通过物理距离来表达单元深度1006，比如厘米、英寸、英尺、米或其组合。在另一个实例中，可以通过表明深度水平之间的关系的相对方式来表达单元深度1006。
现在参照图10B，其中示出了深度图1002的第二实例。深度图1002是对应于图1的所接收到的图像114的图3的每一个栅格单元302的从所述对象到图1的图像处理***100的距离的指标。深度图1002可以利用等式9来计算。
深度图1002可以是具有叠加在所接收到的图像114之上的深度栅格1004的所接收到的图像114的表示。深度栅格1004可以是被划分成更小的栅格单位的所接收到的图像114的量化表示。举例来说，深度栅格1004可以是栅格单元302的阵列。每一个栅格单元302可以具有与所述栅格单元302相关联的单元深度1006，其表明从图像处理***100到图1的场景140中的相应区段的距离。
可以通过多种方式来表达单元深度1006的值。举例来说，可以通过场深度(DOF)数来表达单元深度1006。在另一个实例中，可以通过物理距离来表达单元深度1006，比如厘米、英寸、英尺、米或其组合。在另一个实例中，可以通过表明深度水平之间的关系的相对方式来表达单元深度1006。
现在参照图11，其中示出了具有孔径深度估计的图像处理***的处理流程100的一个实例。所述处理流程可以包括计算距散焦深度(depthfromdefocus)模型表模块1102、接收图像模块1104、计算模糊差异模块1106、计算深度图模块1108以及计算显示图像模块1110。
计算距散焦深度模型表模块1102可以计算与图2的透镜206相关联的距散焦深度模型表1112。距散焦深度模型表1112可以存储使用在等式9中的“c”的参数值。距散焦深度模型表1112可以对于一个孔径对集合存储等式11中的“a”的参数值。
图4的每一个孔径对410可以是孔径校准对1143。孔径校准对1143是被用来计算距散焦深度模型表1112的其中一个孔径对410。
可以通过多种方式计算距散焦深度模型表1112。举例来说，可以在校准模式下预先计算距散焦深度模型表1112，在正常操作期间计算，或者其某种组合。
在一个说明性实例中，可以利用图1的阶梯边缘图像142作为设定在与图像处理***(比如SonyRX1TM摄影机)相距65cm处的目标图像来计算距散焦深度模型表1112。可以利用与图2的模糊内核224的迭代卷积来计算图2的模糊差异222。
计算距散焦深度模型表模块1102可以对于图1的红色通道124和图1的绿色通道126计算对应于孔径对410的图4的匹配曲线414。通过在对应于其中一个孔径对410的图1的孔径设定116下取得图2的第一校准图像234和图2的第二校准图像236，可以对于其中一个孔径对410计算匹配曲线414的每一个值。
可以利用迭代卷积计算对应于每一个孔径对410的匹配曲线414。对于每一幅校准图像，模糊内核224可以被用来卷积两幅校准图像当中的更清晰者，并且可以对于所述校准图像对来计算图2的模糊量度228。通过对于两幅校准图像当中的每一幅计算在图2的模糊量度228中的差异落在校准模糊阈值1128内之前所需的卷积迭代的次数，计算图4的迭代次数404。
可以对于红色通道124和绿色通道126计算对应于每一个孔径对410的匹配曲线414。可以计算对应于两个颜色通道的匹配曲线414之间的差异，以便生成匹配曲线差异图表1130。或者，可以利用等式8的二次模型来计算模糊差异222，其中可以将对应于两个颜色通道的匹配曲线建模成二次曲线。可以将二次系数存储在距散焦深度模型表1112中。匹配曲线差异图表1130可以被建模成线性曲线，并且可以通过图5的匹配曲线差异斜率504来表征。可以对于每一个孔径对410计算匹配曲线差异图表1130和匹配曲线差异斜率504，并且将其存储在与透镜206相关联的距散焦深度模型表1112中。
距散焦深度模型表1112可以对于图2的场深度216的特定值提供红色通道124与绿色通道126之间的模糊差异222之间的映射。场深度216可以被用来表示从图1的图像处理***100到图1的所接收到的图像114中的图3的栅格单元302的距离。
接收图像模块1104可以在图像处理100处接收图1的第一图像104和图1的第二图像106。第一图像104和第二图像106可以通过一定时间间隔分开。举例来说，第一图像104和第二图像106可以是顺序图像。在另一个实例中，第一图像104和第二图像106可以是视频流中的帧。
第一图像104和第二图像106是利用孔径设定116的不同值形成的。举例来说，第一图像104可以具有图1的第一孔径118。第二图像106可以具有图1的第二孔径120。
第一图像104和第二图像106可以各自包括红色通道124和绿色通道126。接收图像模块1104可以把第一图像104和第二图像106分成红色通道124和绿色通道126。
可以通过将第一图像104和第二图像106划分成栅格单元302而将第一图像104和第二图像106划分成图3的栅格阵列304。每一个栅格单元302可以包括红色通道124和绿色通道126。
接收图像模块1104可以接收第一图像104和第二图像106。在接收到第一图像104和第二图像106之后，控制流程可以传递到计算模糊差异模块1106。
计算模糊差异模块1106可以确定第一图像104与第二图像106的栅格单元302之间的模糊差异222。
红色迭代计数1144是第一图像104的其中一个栅格单元302与第二图像106的相应的其中一个栅格单元302的红色通道124之间的模糊差异222。如果第一图像104是在较小孔径下取得的，则红色迭代计数1144可以是将第一图像104和第二图像106的其中一个栅格单元302的红色通道124带到模糊量度228的等效水平所需的卷积迭代的次数。如果第二图像106是利用较小孔径取得的，则可以将第二图像106与模糊内核224进行卷积，直到模糊量度228处在第一图像104的模糊量度228的图2的模糊差异阈值226内为止。
红色迭代计数1144代表对应于红色通道124的具有第一孔径118的第一图像104与具有第二孔径120的第二图像106之间的模糊差异222。可以对于全部两幅图像、对于每一个栅格单元302计算红色迭代计数1144。
绿色迭代计数1146是第一图像104的其中一个栅格单元302与第二图像106的相应的其中一个栅格单元302的绿色通道126之间的模糊差异222。如果第一图像104是在较小孔径下取得的，则绿色迭代计数1146可以是将第一图像104和第二图像106的其中一个栅格单元302的绿色通道126带到模糊量度228的等效水平所需的卷积迭代的次数。如果第二图像106是利用较小孔径取得的，则可以将第二图像106与模糊内核224进行卷积，直到模糊量度228处在第一图像104的模糊量度228的模糊差异阈值226内为止。
绿色迭代计数1146代表对应于绿色通道126的具有第一孔径118的第一图像104与具有第二孔径120的第二图像106之间的模糊差异222。可以对于全部两幅图像、对于每一个栅格单元302计算绿色迭代计数1146。
当对于第一图像104和第二图像106的所有栅格单元302计算了红色迭代计数1144和绿色迭代计数1146时，计算模糊差异模块1106完成。在完成之后，控制流程可以传递到计算深度图模块1108。
已经发现，通过确定迭代次数差异506来计算深度会提高处理速度并且改进效率。通过比较对应于红色通道124和绿色通道126的模糊差异222，确定迭代次数差异506，并且基于迭代次数差异506在距散焦深度模型表1112中取回图10A的单元深度1006。
通过对于第一图像104和第二图像106确定从透镜206到每一个栅格单元302中的物理对象的单元深度1006，计算深度图模块1108可以形成图10A和10B的深度图1002。单元深度1006是透镜206与栅格单元302中的对象之间的距离的度量。
可以通过多种方式计算单元深度1006。举例来说，可以通过把迭代次数差异506与距散焦深度模型表1112进行比较并且基于匹配图4的场深度数412识别单元深度1006来计算单元深度1006。在另一个实例中，可以通过利用迭代次数差异506和匹配曲线差异斜率504直接计算单元深度1006来确定单元深度1006。
红色迭代计数1144与绿色迭代计数1146之间的迭代次数差异506可以对应于被表达成图5的匹配曲线差异图表502上的场深度数412的距离。迭代次数差异506可以被用来确定对应于栅格单元302的单元深度1006，其可以被确定成通过基于由第一孔径118和第二孔径120定义的其中一个孔径对410的场深度数412来表达。来自匹配曲线差异图表502的单元深度1006是通过场深度数412来测量的，并且是相对距离测量。
或者可以通过把迭代次数差异506乘以匹配曲线差异斜率504来直接计算单元深度1006。可以利用偏移量值来调节单元深度1006，正如等式11所表明的那样。
当对于第一图像104的每一个栅格单元302都形成了图1的深度图134时，计算深度图模块1108完成。在完成之后，控制流程可以传递到计算显示图像模块1110。
已经发现，基于迭代次数差异506计算深度图134会增强功能。通过利用单一透镜使用具有两个不同孔径的两幅图像来提供深度测量，可以用更少的硬件元件来确定深度图134。
已经发现，基于迭代次数差异506形成深度图134会增强功能。通过对于具有第一孔径118的第一图像104和具有第二孔径120的第二图像106计算红色迭代计数1144与绿色迭代计数1146之间的迭代次数差异506，可以由于孔径设定116中的差异来确定单元深度1006。
计算显示图像模块1110可以把第一图像104与对应于第一图像104的深度图134相组合，以产生用于在图1的显示设备130上显示的图1的显示图像138。显示图像138可以是多种图像。举例来说，显示图像138可以是第一图像104的三维表示、具有基于深度的单元的增强显示图像或其组合。
现在参照图12，其中示出了图像处理***100的功能方框图。图像处理***100可以包括第一设备1201、第二设备1241和通信路径1230。
图像处理***100可以利用第一设备1201、第二设备1241和通信路径1230来实施。举例来说，第一设备1201可以实施图1的成像设备102，第二设备1241可以实施图1的显示设备130，并且通信路径1230可以实施图1的通信链接132。但是应当理解的是，图像处理***100可以通过多种方式来实施，并且成像设备102、显示设备130和通信路径1230的功能可以被不同地划分在第一设备1201、第二设备1241和通信路径1230上。
第一设备1201可以通过通信路径1230与第二设备1241通信。第一设备1201可以通过通信路径1230在第一设备传送1232中向第二设备1241发送信息。第二设备1241可以通过通信路径1230在第二设备传送1234中向第一设备1201发送信息。
出于说明的目的，图像处理***100被显示成具有第一设备1201作为客户端设备，但是应当理解的是，图像处理***100可以具有第一设备1201作为不同类型的设备。举例来说，第一设备可以是服务器。
同样出于说明的目的，图像处理***100被显示成具有第二设备1241作为服务器，但是应当理解的是，图像处理***100可以具有第二设备1241作为不同类型的设备。举例来说，第二设备1241可以是客户端设备。
为了本发明的此实施例中的描述简短起见，第一设备1201将被描述成客户端设备，比如视频摄影机、智能电话或其组合。本发明不限于针对设备类型的这一选择。所述选择是本发明的一个实例。
第一设备1201可以包括第一控制单元1208。第一控制单元1208可以包括第一控制接口1214。第一控制单元1208可以执行第一软件1212以便提供图像处理***100的智能。
第一控制单元1208可以通过若干种不同方式来实施。举例来说，第一控制单元1208可以是处理器、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(FSM)、数字信号处理器(DSP)或其组合。
第一控制接口1214可以被用于第一控制单元1208与第一设备1201中的其他功能单元之间的通信。第一控制接口1214还可以被用于第一设备1201外部的通信。
第一控制接口1214可以接收来自其他功能单元或者来自外部来源的信息，或者可以向其他功能单元或者向外部目的地传送信息。所述外部来源和外部目的地指的是处在第一设备1201外部的来源和目的地。
第一控制接口1214可以通过不同方式来实施，并且可以包括不同的实现方式，这取决于哪些功能单元或外部单元正与第一控制接口1214进行接口。举例来说，第一控制接口1214可以利用电气电路、微机电***(MEMS)、光学电路、无线电路、有线电路或其组合来实施。
第一设备1201可以包括第一存储单元1204。第一存储单元1204可以存储第一软件1212。第一存储单元1204还可以存储相关的信息，比如图像、句法信息、视频、简档、显示优选项、传感器数据或其任意组合。
第一存储单元1204可以是易失性存储器、非易失性存储器、内部存储器、外部存储器或其组合。举例来说，第一存储单元1204可以是非易失性存储装置，比如非易失性随机存取存储器(NVRAM)、闪存、盘存储装置，或者是易失性存储装置，比如静态随机存取存储器(SRAM)。
第一存储单元1204可以包括第一存储接口1218。第一存储接口1218可以被用于第一存储单元1204与第一设备1201中的其他功能单元之间的通信。第一存储接口1218还可以被用于第一设备1201外部的通信。
第一设备1201可以包括第一成像单元1206。第一成像单元1206可以捕获图1的第一图像104和图1的第二图像106。第一成像单元1206可以包括数字摄影机、视频摄影机、光学传感器或其任意组合。
第一成像单元1206可以包括第一成像接口1216。第一成像接口1216可以被用于第一成像单元1206与第一设备1201中的其他功能单元之间的通信。
第一成像接口1216可以接收来自其他功能单元或者来自外部来源的信息，或者可以向其他功能单元或者向外部目的地传送信息。所述外部来源和外部目的地指的是处在第一设备1201外部的来源和目的地。
第一成像接口1216可以包括不同的实现方式，这取决于哪些功能单元或外部单元正与第一成像单元1206进行接口。第一成像接口1216可以利用类似于第一控制接口1214的实现方式的技术来实施。
第一存储接口1218可以接收来自其他功能单元或者来自外部来源的信息，或者可以向其他功能单元或者向外部目的地传送信息。所述外部来源和外部目的地指的是处在第一设备1201外部的来源和目的地。
第一存储接口1218可以包括不同的实现方式，这取决于哪些功能单元或外部单元正与第一存储单元1204进行接口。第一存储接口1218可以利用类似于第一控制接口1214的实现方式的技术来实施。
第一设备1201可以包括第一通信单元1210。第一通信单元1210可以用于实现去到和来自第一设备1201的外部通信。举例来说，第一通信单元1210可以允许第一设备1201与第二设备1241、例如***设备或台式计算机之类的附属设备以及通信路径1230进行通信。
第一通信单元1210还可以充当通信集线器，从而允许第一设备1201充当通信路径1230的一部分，而不限于是通信路径1230的端点或终端单元。第一通信单元1210可以包括有源和无源组件，比如微电子装置或天线，以用于与通信路径1230进行交互。
第一通信单元1210可以包括第一通信接口1220。第一通信接口1220可以被用于第一通信单元1210与第一设备1201中的其他功能单元之间的通信。第一通信接口1220可以接收来自其他功能单元的信息，或者可以向其他功能单元传送信息
第一通信接口1220可以包括不同的实现方式，这取决于哪些功能单元正与第一通信单元1210进行接口。第一通信接口1220可以利用类似于第一控制接口1214的实现方式的技术来实施。
第一设备1201可以包括第一用户接口1202。第一用户接口1202允许用户(未示出)与第一设备1201进行接口和交互。第一用户接口1202可以包括第一用户输入(未示出)。第一用户输入可以包括触摸屏、手势、运动检测、按钮、切片器(slicer)、旋钮、虚拟按钮、语音辨识控制或其任意组合。
第一用户接口1202可以包括第一显示接口1203。第一显示接口1203可以允许用户与第一用户接口1202进行交互。第一显示接口1203可以包括显示器、视频屏幕、扬声器或其任意组合。
第一控制单元1208可以利用第一用户接口1202操作来在第一显示接口1203上显示由图像处理***100生成的视频信息。第一控制单元1208还可以执行用于图像处理***100的其他功能的第一软件1212，其中包括接收来自第一存储单元1204的图像信息以用于在第一显示接口1203上显示。第一控制单元1208还可以执行用于通过第一通信单元1210与通信路径1230进行交互的第一软件1212。
出于说明的目的，第一设备1201可以被划分成具有第一用户接口1202、第一存储单元1204、第一控制单元1208和第一通信单元1210，但是应当理解的是，第一设备1201可以具有不同的划分。举例来说，第一软件1212可以被不同地划分，从而使其一部分或全部功能可以处在第一控制单元1208和第一通信单元1210中。此外，第一设备1201还可以包括为了清楚起见未在图12中示出的其他功能单元。
图像处理***100可以包括第二设备1241。第二设备1241可以针对在具有第一设备1201的多设备实施例中实施本发明而被优化。第二设备1241可以提供附加的或者与第一设备1201相比更高性能的处理能力。
第二设备1241可以包括第二控制单元1248。第二控制单元1248可以包括第二控制接口1254。第二控制单元1248可以执行第二软件1252以便提供图像处理***100的智能。
第二控制单元1248可以通过若干种不同方式来实施。举例来说，第二控制单元1248可以是处理器、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(FSM)、数字信号处理器(DSP)或其组合。
第二控制接口1254可以被用于第二控制单元1248与第二设备1241中的其他功能单元之间的通信。第二控制接口1254还可以被用于第二设备1241外部的通信。
第二控制接口1254可以接收来自其他功能单元或者来自外部来源的信息，或者可以向其他功能单元或者向外部目的地传送信息。所述外部来源和外部目的地指的是处在第二设备1241外部的来源和目的地。
第二控制接口1254可以通过不同方式来实施，并且可以包括不同的实现方式，这取决于哪些功能单元或外部单元正与第二控制接口1254进行接口。举例来说，第二控制接口1254可以利用电气电路、微机电***(MEMS)、光学电路、无线电路、有线电路或其组合来实施。
第二设备1241可以包括第二存储单元1244。第二存储单元1244可以存储第二软件1252。第二存储单元1244还可以存储相关的信息，比如图像、句法信息、视频、简档、显示优选项、传感器数据或其任意组合。
第二存储单元1244可以是易失性存储器、非易失性存储器、内部存储器、外部存储器或其组合。举例来说，第二存储单元1244可以是非易失性存储装置，比如非易失性随机存取存储器(NVRAM)、闪存、盘存储装置，或者是易失性存储装置，比如静态随机存取存储器(SRAM)。
第二存储单元1244可以包括第二存储接口1258。第二存储接口1258可以被用于第二存储单元1244与第二设备1241中的其他功能单元之间的通信。第二存储接口1258还可以被用于第二设备1241外部的通信。
第二存储接口1258可以接收来自其他功能单元或者来自外部来源的信息，或者可以向其他功能单元或者向外部目的地传送信息。所述外部来源和外部目的地指的是处在第二设备1241外部的来源和目的地。
第二存储接口1258可以包括不同的实现方式，这取决于哪些功能单元或外部单元正与第二存储单元1244进行接口。第二存储接口1258可以利用类似于第二控制接口1254的实现方式的技术来实施。
第二设备1241可以包括第二成像单元1246。第二成像单元1246可以捕获来自真实世界的第一图像104。第二成像单元1246可以包括数字摄影机、视频摄影机、光学传感器或其任意组合。
第二成像单元1246可以包括第二成像接口1256。第二成像接口1256可以被用于第二成像单元1246与第二设备1241中的其他功能单元之间的通信。
第二成像接口1256可以接收来自其他功能单元或者来自外部来源的信息，或者可以向其他功能单元或者向外部目的地传送信息。所述外部来源和外部目的地指的是处在第二设备1241外部的来源和目的地。
第二成像接口1256可以包括不同的实现方式，这取决于哪些功能单元或外部单元正与第二成像单元1246进行接口。第二成像接口1256可以利用类似于第一控制接口1214的实现方式的技术来实施。
第二设备1241可以包括第二通信单元1250。第二通信单元1250可以实现去到和来自第二设备1241的外部通信。举例来说，第二通信单元1250可以允许第二设备1241与第一设备1201、例如***设备或台式计算机之类的附属设备以及通信路径1230进行通信。
第二通信单元1250还可以充当通信集线器，从而允许第二设备1241充当通信路径1230的一部分，而不限于是通信路径1230的端点或终端单元。第二通信单元1250可以包括有源和无源组件，比如微电子装置或天线，以用于与通信路径1230进行交互。
第二通信单元1250可以包括第二通信接口1260。第二通信接口1260可以被用于第二通信单元1250与第二设备1241中的其他功能单元之间的通信。第二通信接口1260可以接收来自其他功能单元的信息，或者可以向其他功能单元传送信息
第二通信接口1260可以包括不同的实现方式，这取决于哪些功能单元正与第二通信单元1250进行接口。第二通信接口1260可以利用类似于第二控制接口1254的实现方式的技术来实施。
第二设备1241可以包括第二用户接口1242。第二用户接口1242允许用户(未示出)与第二设备1241进行接口和交互。第二用户接口1242可以包括第二用户输入(未示出)。第二用户输入可以包括触摸屏、手势、运动检测、按钮、切片器、旋钮、虚拟按钮、语音辨识控制或其任意组合。
第二用户接口1242可以包括第二显示接口1243。第二显示接口1243可以允许用户与第二用户接口1242进行交互。第二显示接口1243可以包括显示器、视频屏幕、扬声器或其任意组合。
第二控制单元1248可以利用第二用户接口1242操作来在第二显示接口1243上显示由图像处理***100生成的信息。第二控制单元1248还可以执行用于图像处理***100的其他功能的第二软件1252，其中包括接收来自第二存储单元1244的显示信息以用于在第二显示接口1243上显示。第二控制单元1248还可以执行用于通过第二通信单元1250与通信路径1230进行交互的第二软件1252。
出于说明的目的，第二设备1241可以被划分成具有第二用户接口1242、第二存储单元1244、第二控制单元1248和第二通信单元1250，但是应当理解的是，第二设备1241可以具有不同的划分。举例来说，第二软件1252可以被不同地划分，从而使其一部分或全部功能可以处在第二控制单元1248和第二通信单元1250中。此外，第二设备1241还可以包括为了清楚起见未在图12中示出的其他功能单元。
第一通信单元1210可以与通信路径1230耦合，以便在第一设备传送1232中向第二设备1241发送信息。第二设备1241可以在第二通信单元1250中接收来自通信路径1230的第一设备传送1232的信息。
第二通信单元1250可以与通信路径1230耦合，以便在第二设备传送1234中向第一设备1201发送信息。第一设备1201可以在第一通信单元1210中接收来自通信路径1230的第二设备传送1234的信息。图像处理***100可以由第一控制单元1208、第二控制单元1248或其组合执行。
第一设备1201中的各个功能单元可以单独地并且独立于其他功能单元工作。出于说明的目的，图像处理***100是通过第一设备1201的操作来描述的。应当理解的是，第一设备1201可以操作图像处理***100的任何模块和功能。举例来说，第一设备1201可以被描述成操作第一控制单元1208。
第二设备1241中的各个功能单元可以单独地并且独立于其他功能单元工作。出于说明的目的，图像处理***100可以通过第二设备1241的操作来描述。应当理解的是，第二设备1241可以操作图像处理***100的任何模块和功能。举例来说，第二设备1241被描述成操作第二控制单元1248。
出于说明的目的，图像处理***100是通过第一设备1201和第二设备1241的操作来描述的。应当理解的是，第一设备1201和第二设备1241可以操作图像处理***100的任何模块和功能。举例来说，第一设备1201被描述成操作第一控制单元1208，但是应当理解的是，第二设备1241也可以操作第一控制单元1208。
从图1的场景140的物理对象的图像到在显示设备130的像素单元上显示图像的物理变换导致对于物理世界中的显示设备130的像素单元的物理改变，比如像素单元的电气状态的改变，这是基于图像处理***100的操作而实现的。随着物理世界中的改变发生，比如被用来捕获场景140的成像传感器的运动，所述移动本身会产生附加的信息，比如针对第一图像104的更新，其被转换回到显示设备130的像素单元中的改变以用于图像处理***100的继续操作。
第一设备1201的第一软件1212可以实施图像处理***100的某些部分。举例来说，第一软件1212可以包括计算距散焦深度模型表模块1102、接收图像模块1104、计算模糊差异模块1106、计算深度图模块1108以及计算显示图像模块1110。
第一控制单元1208可以执行对应于计算距散焦深度模型表模块1102的第一软件1212，从而形成距散焦深度模型表1112。第一控制单元1208可以执行对应于接收图像模块1104的第一软件1212，以便获取第一图像104和第二图像106。第一控制单元1208可以执行对应于计算模糊差异模块1106的第一软件1212，以便确定图5的匹配曲线差异斜率504。第一控制单元1208可以执行对应于计算深度图模块1108的第一软件1212，以便计算图1的深度图134。第一控制单元1208可以执行对应于计算显示图像模块1110的第一软件1212，以便计算图1的显示图像138。
第二设备1241的第二软件1252可以实施图像处理***100的某些部分。举例来说，第二软件1252可以包括计算距散焦深度模型表模块1102、接收图像模块1104、计算模糊差异模块1106、计算深度图模块1108以及计算显示图像模块1110。
第二控制单元1248可以执行对应于计算距散焦深度模型表模块1102的第二软件1252，从而形成距散焦深度模型表1112。第二控制单元1248可以执行对应于接收图像模块1104的第二软件1252，以便获取第一图像104和第二图像106。第二控制单元1248可以执行对应于计算模糊差异模块1106的第二软件1252，以便确定匹配曲线差异斜率504。第二控制单元1248可以执行对应于计算深度图模块1108的第二软件1252，以便计算深度图134。第二控制单元1248可以执行对应于计算显示图像模块1110的第二软件1252，以便计算显示图像138。
图像处理***100可以被划分在第一软件1212和第二软件1252之间。举例来说，第一软件1212可以包括计算距散焦深度模型表模块1102和接收图像模块1104。第二软件1252可以包括计算模糊差异模块1106、计算深度图模块1108和计算显示图像模块1110。第一控制单元1208可以执行被划分到第一软件1212的模块。第二控制单元1248可以执行被划分到第二软件1252的模块。
图像处理***100作为一个实例描述了模块功能或顺序。每一个模块可以单独地或者独立于其他模块操作。所述模块可以被不同地划分。举例来说，计算模糊差异模块1106和计算深度图模块1108可以被组合。
此外，在一个模块中生成的数据可以被另一个模块使用，而无需彼此直接耦合。举例来说，计算深度图模块1108可以从接收图像模块1104接收第一图像104。
所述模块可以通过多种方式来实施。计算模糊差异模块1106和计算深度图模块1108可以被实施在第一控制单元1208或第二控制单元1248内的硬件加速器(未示出)中，或者可以被实施在第一控制单元1208或第二控制单元1248之外的第一设备1201或第二设备1241中的硬件加速器(未示出)中。
现在参照图13，其中示出了本发明的另一个实施例中的成像处理***的操作方法1300的流程图。方法1300包括：在方框1302中接收具有第一孔径的第一图像和具有第二孔径的第二图像，其中第一图像和第二图像各自具有红色通道和绿色通道；在方框1304中计算对应于第一图像和第二图像的相应部分的红色通道的模糊差异的红色迭代计数；在方框1306中计算对应于第一图像和第二图像的相应部分的绿色通道的模糊差异的绿色迭代计数；在方框1308中形成具有基于红色迭代计数和绿色迭代计数的单元深度的深度图；以及在方框1310中基于第一图像和深度图形成显示图像以用于在显示设备上显示。
至此已经发现，本发明具有许多方面。本发明非常有价值地支持并且服务于降低成本、简化***以及增强性能的历史趋势。因此，本发明的这些和其他有价值的方面至少将本技术领域推进到了更高的水平。
因此已经发现，本发明的图像处理***给出了用于处理图像内容的重要的并且到目前为止是未知的并且不可用的解决方案、能力和功能方面。所得到的处理和配置是直接明了、成本有效、不复杂、高度通用和有效的，并且并非显而易见的是可以令人吃惊地通过对已知的技术进行适配来实施，因此非常适合于以高效并且经济的方式制造与传统的制造处理和技术完全兼容的视频编解码设备。所得到的处理和配置是直接明了、成本有效、不复杂、高度通用性、准确、灵敏和有效的，并且可以通过对已知的组件进行适配来实施，以用于迅捷、高效和经济的制造、应用和利用。
虽然前面结合特定的最佳模式描述了本发明，但是应当理解的是，本领域技术人员根据前面的描述将会想到许多替换方案、修改和变型。因此其意图涵盖落在所附权利要求书的范围内的所有此类替换方案、修改和变型。至此在这里所阐述或者在附图中示出的所有内容都应当按照说明性而非限制性的意义来解释。

Claims (20)

1.一种操作图像处理***的方法，包括：
接收具有第一孔径的第一图像和具有第二孔径的第二图像，其中第一图像和第二图像各自具有红色通道和绿色通道；
计算对应于第一图像和第二图像的相应部分的红色通道的模糊差异的红色迭代计数；
计算对应于第一图像和第二图像的相应部分的绿色通道的模糊差异的绿色迭代计数；
形成具有基于红色迭代计数和绿色迭代计数的单元深度的深度图；以及
基于第一图像和深度图形成显示图像以用于在显示设备上显示。
2.如权利要求1所述的方法，其中，形成深度图包括计算对应于孔径校准对的第一校准图像和第二校准图像的红色通道与绿色通道之间的模糊差异的校准深度。
3.如权利要求1所述的方法，其中，接收第一图像包括：
利用具有被设定到第一孔径的孔径直径的透镜来接收第一图像；以及
利用具有被设定到第二孔径的孔径直径的透镜来接收第二图像。
4.如权利要求1所述的方法，其中，计算红色迭代计数包括：
通过把第二图像的红色通道迭代地与模糊内核进行卷积来计算第一图像和第二图像的红色通道之间的模糊差异，直到第二图像的模糊量度处在第一图像的模糊量度的模糊差异阈值内为止；以及
为红色迭代计数指派将第二图像的模糊量度带到第一图像的模糊量度的模糊差异阈值内所需的卷积次数的值。
5.如权利要求1所述的方法，其中，计算深度图包括利用以下公式计算单元深度：
其中，Ir是红色迭代计数，Ig是绿色迭代计数，c是常数，并且f是当前透镜对焦位置。
6.一种操作图像处理***的方法，包括：
接收具有第一孔径的第一图像和具有第二孔径的第二图像，其中第一图像和第二图像各自具有红色通道和绿色通道；
将第一图像和第二图像划分成具有栅格单元的栅格阵列，其中第一图像的每一个栅格单元具有第二图像中的相应的一个栅格单元；
计算对应于第一图像的其中一个栅格单元和第二图像的相应的其中一个栅格单元的红色通道的模糊差异的红色迭代计数；
计算对应于第一图像的其中一个栅格单元和第二图像的相应的其中一个栅格单元的绿色通道的模糊差异的绿色迭代计数；
计算红色迭代计数与绿色迭代计数之间的迭代次数差异；
通过将所述迭代次数差异与对应于其中一个栅格单元的单元深度进行相关而形成深度图；以及
基于第一图像和深度图形成显示图像以用于在显示设备上显示。
7.如权利要求6所述的方法，其中，形成深度图包括计算对应于孔径校准对的第一校准图像和第二校准图像的红色通道与绿色通道之间的模糊差异的校准深度处的迭代次数差异。
8.如权利要求6所述的方法，其中，接收第一图像包括：
利用具有被设定到第一孔径的孔径直径的透镜来接收第一图像；以及
利用具有被设定到第二孔径的孔径直径的透镜来接收第二图像。
9.如权利要求6所述的方法，其中，计算红色迭代计数包括：
通过把第二图像的其中一个栅格单元的红色通道迭代地与模糊内核进行卷积来计算第一图像的其中一个栅格单元的红色通道与第二图像的栅格单元的红色通道之间的模糊差异，直到第二图像的其中一个栅格单元的模糊量度处在第一图像的其中一个栅格单元的模糊量度的模糊差异阈值内为止；以及
为红色迭代计数指派将第二图像的模糊量度带到第一图像的模糊量度的模糊差异阈值内所需的卷积次数的值。
10.如权利要求6所述的方法，其中，计算深度图包括利用以下公式计算对应于每一个栅格单元的单元深度：
单元深度＝f-y/a
其中，y是迭代次数差异，a是匹配曲线差异斜率，并且f是当前透镜对焦位置。
11.一种图像处理***，包括：
接收图像模块，其用于接收具有第一孔径的第一图像和具有第二孔径的第二图像，其中第一图像和第二图像各自具有红色通道和绿色通道；
耦合到接收图像模块的计算模糊差异模块，其用于计算对应于第一图像和第二图像的相应部分的红色通道的模糊差异的红色迭代计数，并且计算对应于第一图像和第二图像的相应部分的绿色通道的模糊差异的绿色迭代计数；
耦合到计算模糊差异模块的计算深度图模块，其用于形成具有基于红色迭代计数和绿色迭代计数的单元深度的深度图；以及
耦合到计算深度图模块的计算显示图像模块，其用于基于第一图像和深度图形成显示图像以用于在显示设备上显示。
12.如权利要求11所述的***，还包括计算距散焦深度模型表模块，其用于计算对应于孔径校准对的第一校准图像和第二校准图像的红色通道与绿色通道之间的模糊差异的校准深度。
13.如权利要求11所述的***，其中，接收图像模块用于利用具有被设定到第一孔径的孔径直径的透镜来接收第一图像，并且利用具有被设定到第二孔径的孔径直径的透镜来接收第二图像。
14.如权利要求11所述的***，其中，计算模糊差异模块用于通过把第二图像的红色通道迭代地与模糊内核进行卷积来计算第一图像和第二图像的红色通道之间的模糊差异，直到第二图像的模糊量度处在第一图像的模糊量度的模糊差异阈值内为止，并且还用于为红色迭代计数指派将第二图像的模糊量度带到第一图像的模糊量度的模糊差异阈值内所需的卷积次数的值。
15.如权利要求11所述的***，其中，计算深度图模块用于利用以下公式计算单元深度：
其中，Ir是红色迭代计数，Ig是绿色迭代计数，c是常数，并且f是当前透镜对焦位置。
16.如权利要求11所述的***，其中：
接收图像模块用于把第一图像和第二图像划分成具有栅格单元的栅格阵列，其中第一图像的每一个栅格单元具有第二图像中的相应的一个栅格单元；
计算模糊差异模块用于计算对应于第一图像的其中一个栅格单元和第二图像的相应的其中一个栅格单元的红色通道的红色迭代计数；并且
计算模糊差异模块用于计算对应于第一图像的其中一个栅格单元和第二图像的相应的其中一个栅格单元的绿色通道的绿色迭代计数，并且计算红色迭代计数与绿色迭代计数之间的迭代次数差异。
17.如权利要求16所述的***，其中，计算距散焦深度模型表模块用于计算对应于孔径校准对的第一校准图像和第二校准图像的其中一个栅格单元的红色通道与绿色通道之间的模糊差异的校准深度处的迭代次数差异。
18.如权利要求16所述的***，其中，接收图像模块用于利用具有被设定到第一孔径的孔径直径的透镜来接收第一图像，并且用于利用具有被设定到第二孔径的孔径直径的透镜来接收第二图像。
19.如权利要求16所述的***，其中，计算模糊差异模块用于通过把第二图像的其中一个栅格单元的红色通道迭代地与模糊内核进行卷积来计算第一图像的其中一个栅格单元的红色通道与第二图像的栅格单元的红色通道之间的模糊差异，直到第二图像的其中一个栅格单元的模糊量度处在第一图像的其中一个栅格单元的模糊量度的模糊差异阈值内为止，并且还用于为红色迭代计数指派将第二图像的模糊量度带到第一图像的模糊量度的模糊差异阈值内所需的卷积次数的值。
20.如权利要求16所述的***，其中，计算深度图模块用于利用以下公式计算对应于每一个栅格单元的单元深度：
单元深度＝f-y/a
其中，y是迭代次数差异，a是匹配曲线差异斜率，并且f是当前透镜对焦位置。
CN201510876281.1A 2014-12-04 2015-12-03 具有孔径改变深度估计的图像处理***及其操作方法 Active CN105678736B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/560,978 US9530214B2 (en) 2014-12-04 2014-12-04 Image processing system with depth map determination based on iteration count of blur difference and method of operation thereof
US14/560,978 2014-12-04

Publications (2)

Publication Number Publication Date
CN105678736A true CN105678736A (zh) 2016-06-15
CN105678736B CN105678736B (zh) 2018-07-10

Family

ID=54843619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510876281.1A Active CN105678736B (zh) 2014-12-04 2015-12-03 具有孔径改变深度估计的图像处理***及其操作方法

Country Status (3)

Country Link
US (1) US9530214B2 (zh)
EP (1) EP3038055B1 (zh)
CN (1) CN105678736B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106338823A (zh) * 2016-10-27 2017-01-18 中国科学院光电技术研究所 一种基于混合焦距菲涅耳波带片的相位反演方法
CN108459417A (zh) * 2018-02-05 2018-08-28 华侨大学 一种单目窄带多光谱立体视觉***及其使用方法
CN111052737A (zh) * 2017-06-29 2020-04-21 皇家飞利浦有限公司 用于生成图像的装置和方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10277889B2 (en) * 2016-12-27 2019-04-30 Qualcomm Incorporated Method and system for depth estimation based upon object magnification
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
EP3422708A1 (en) * 2017-06-29 2019-01-02 Koninklijke Philips N.V. Apparatus and method for generating an image
US11727537B1 (en) * 2022-03-24 2023-08-15 Qualcomm Incorporated Bokeh effect in variable aperture (VA) camera systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060092314A1 (en) * 2004-10-31 2006-05-04 Silverstein D A Autofocus using a filter with multiple apertures
US20090268985A1 (en) * 2008-04-29 2009-10-29 Earl Quong Wong Reduced Hardware Implementation For A Two-Picture Depth Map Algorithm
CN102103248A (zh) * 2009-12-21 2011-06-22 索尼公司 具有置信度量的自动聚焦
CN102223477A (zh) * 2010-04-13 2011-10-19 索尼公司 基于双图片匹配的深度估计的四维多项式模型
CN102812496A (zh) * 2010-03-22 2012-12-05 索尼公司 用于景深渲染的模糊函数建模

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060093234A1 (en) 2004-11-04 2006-05-04 Silverstein D A Reduction of blur in multi-channel images
US7711201B2 (en) 2006-06-22 2010-05-04 Sony Corporation Method of and apparatus for generating a depth map utilized in autofocusing
CA2627999C (en) * 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US8194995B2 (en) 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
US8553093B2 (en) 2008-09-30 2013-10-08 Sony Corporation Method and apparatus for super-resolution imaging using digital imaging devices
US9208570B2 (en) 2012-03-28 2015-12-08 Sony Corporation System and method for performing depth estimation by utilizing an adaptive kernel
US8542268B2 (en) 2011-03-02 2013-09-24 Ricoh Co., Ltd. Compact multi-aperture three-dimensional imaging system
US8624986B2 (en) 2011-03-31 2014-01-07 Sony Corporation Motion robust depth estimation using convolution and wavelet transforms
US8929607B2 (en) 2011-12-01 2015-01-06 Sony Corporation System and method for performing depth estimation utilizing defocused pillbox images
US8736747B2 (en) 2012-01-13 2014-05-27 Sony Corporation Camera autofocus adaptive blur matching model fitting

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060092314A1 (en) * 2004-10-31 2006-05-04 Silverstein D A Autofocus using a filter with multiple apertures
US20090268985A1 (en) * 2008-04-29 2009-10-29 Earl Quong Wong Reduced Hardware Implementation For A Two-Picture Depth Map Algorithm
CN102103248A (zh) * 2009-12-21 2011-06-22 索尼公司 具有置信度量的自动聚焦
CN102812496A (zh) * 2010-03-22 2012-12-05 索尼公司 用于景深渲染的模糊函数建模
CN102223477A (zh) * 2010-04-13 2011-10-19 索尼公司 基于双图片匹配的深度估计的四维多项式模型

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106338823A (zh) * 2016-10-27 2017-01-18 中国科学院光电技术研究所 一种基于混合焦距菲涅耳波带片的相位反演方法
CN106338823B (zh) * 2016-10-27 2020-10-13 中国科学院光电技术研究所 一种基于混合焦距菲涅耳波带片的相位反演方法
CN111052737A (zh) * 2017-06-29 2020-04-21 皇家飞利浦有限公司 用于生成图像的装置和方法
CN111052737B (zh) * 2017-06-29 2022-04-05 皇家飞利浦有限公司 用于生成图像的装置和方法
CN108459417A (zh) * 2018-02-05 2018-08-28 华侨大学 一种单目窄带多光谱立体视觉***及其使用方法
CN108459417B (zh) * 2018-02-05 2020-06-26 华侨大学 一种单目窄带多光谱立体视觉***及其使用方法

Also Published As

Publication number Publication date
CN105678736B (zh) 2018-07-10
EP3038055A1 (en) 2016-06-29
US20160163055A1 (en) 2016-06-09
US9530214B2 (en) 2016-12-27
EP3038055B1 (en) 2019-03-13

Similar Documents

Publication Publication Date Title
CN105678736A (zh) 具有孔径改变深度估计的图像处理***及其操作方法
CN104899870B (zh) 基于光场数据分布的深度估计方法
US9940717B2 (en) Method and system of geometric camera self-calibration quality assessment
CN102227746B (zh) 立体图像处理装置、方法和立体成像设备
US20160029017A1 (en) Calibration of light-field camera geometry via robust fitting
CN106815869B (zh) 鱼眼相机的光心确定方法及装置
TW201709718A (zh) 在使用者裝置上顯示光場為基影像之方法及裝置，及對應之電腦程式產品
CN105814875A (zh) 选择用于立体成像的相机对
CN108292431B (zh) 光场数据表示
CN104221370B (zh) 图像处理装置、摄像装置以及图像处理方法
JP2017220780A (ja) 撮影装置および車両
JP2018503066A (ja) 画像ベースの深さ検知システムの精度測定
CN110675456B (zh) 多深度摄像机外部参数标定方法、装置及存储介质
CN107534718A (zh) 光场的元数据
CN105979248B (zh) 具有混合深度估计的图像处理***及其操作方法
CN110232707A (zh) 一种测距方法及装置
CN111757086A (zh) 有源双目相机、rgb-d图像确定方法及装置
Song et al. Design and assessment of a 360 panoramic and high-performance capture system with two tiled catadioptric imaging channels
Liu et al. Stepwise calibration of plenoptic cameras based on corner features of raw images
JP2020153865A (ja) ３次元情報取得装置、情報処理装置、およびシステム
CN102986236B (zh) 三维摄像装置、图像处理装置、图像处理方法
Ueno et al. Compound-Eye Camera Module as Small as 8.5$\times $8.5$\times $6.0 mm for 26 k-Resolution Depth Map and 2-Mpix 2D Imaging
CN117078762A (zh) 一种虚拟现实设备、相机标定装置及方法
Drazic et al. Optimal design and critical analysis of a high-resolution video plenoptic demonstrator
CN112752088A (zh) 深度图像生成方法及装置、参考图像生成方法、电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant