CN106303210B - 图像采集控制方法和装置 - Google Patents

图像采集控制方法和装置 Download PDF

Info

Publication number
CN106303210B
CN106303210B CN201510546586.6A CN201510546586A CN106303210B CN 106303210 B CN106303210 B CN 106303210B CN 201510546586 A CN201510546586 A CN 201510546586A CN 106303210 B CN106303210 B CN 106303210B
Authority
CN
China
Prior art keywords
imaging unit
depth
district
sub
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510546586.6A
Other languages
English (en)
Other versions
CN106303210A (zh
Inventor
周梁
杜琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201510546586.6A priority Critical patent/CN106303210B/zh
Publication of CN106303210A publication Critical patent/CN106303210A/zh
Application granted granted Critical
Publication of CN106303210B publication Critical patent/CN106303210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)

Abstract

本申请公开了一种图像采集控制方法和装置,所述方法包括:根据光场相机的景深范围和场景的深度分布,确定所述场景的至少一深度分布子区,所述至少一深度分布子区中每个深度分布子区位于所述景深范围之外;相对与所述光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,其中,所述第一成像单元为所述光场相机的成像单元阵列中用于对所述深度分布子区进行图像采集的成像单元;经调整后的所述光场相机对所述场景进行图像采集。本申请提高了场景整体的成像质量。

Description

图像采集控制方法和装置
技术领域
本申请涉及一种终端技术领域,特别是涉及一种图像采集控制方法和装置。
背景技术
景深(Depth of Field,简称DoF)通常是指摄像镜头对场景能够清晰成像的物距范围,也就是说,在深度方向上相对摄像镜头的对焦物面前后的一定深度范围可清晰成像。通过调节摄像镜头的光圈大小、物理焦距长短、镜头与对象的对焦距离远近等参数,可在一定范围内对摄像镜头的景深进行调整,例如,通过调大光圈可减小景深范围等。
要获得较大景深范围,特别是在大光圈拍摄情形下要具有较大景深范围,对摄像镜头的要求很高,设备造价昂贵,通常可通过摄像镜头光学采集的方式分别采集不同对焦物面的多张图像,再根据采集到的多张图像的数码处理以得到一较大景深范围的图像。
发明内容
在下文中给出了关于本申请的简要概述,以便提供关于本申请的某些方面的基本理解。应当理解,这个概述并不是关于本申请的穷举性概述。它并不是意图确定本申请的关键或重要部分,也不是意图限定本申请的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
本申请实施例提供一种图像采集控制方法和装置。
第一方面,本申请实施例提供了一种图像采集控制方法,包括:
根据光场相机的景深范围和场景的深度分布,确定所述场景的至少一深度分布子区,所述至少一深度分布子区中每个深度分布子区位于所述景深范围之外;
相对与所述光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,其中,所述第一成像单元为所述光场相机的成像单元阵列中用于对所述深度分布子区进行图像采集的成像单元;
经调整后的所述光场相机对所述场景进行图像采集。
结合本申请实施例提供的任一种图像采集控制方法,可选的,至少倾斜所述第一成像单元之后,所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆小于或等于一容许弥散圆。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述至少一深度分布子区的至少之一和所述景深范围深度连续变化。
结合本申请实施例提供的任一种图像采集控制方法,可选的,所述至少一深度分布子区的至少之一和所述景深范围深度非连续变化。
结合本申请实施例提供的任一种图像采集控制方法,可选的,相对与所述光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,包括:相对与主透镜平行的平面倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制方法,可选的,相对与所述光场相机的主透镜平行的平面倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,包括:确定倾斜方向,所述倾斜方向为增加所述深度分布子区内的对象经所述主透镜所成的像与所述第一成像单元所在的平面之间的夹角的方向;相对与所述主透镜平行的平面沿所述倾斜方向倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制方法,可选的,相对与所述光场相机的主透镜平行平面倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,包括:根据第一子透镜的焦距、所述深度分布子区内的对象经所述主透镜所成的像所在的平面和与所述主透镜平行的平面之间的夹角、以及所述第一子透镜的光心经垂直与所述主透镜平行的平面的方向到所述深度分布子区内的对象经所述主透镜所成的像所在的平面的距离,确定所述第一成像单元的期望倾斜角度,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜;至少根据所述期望倾斜角度相对与所述主透镜平行的平面倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制方法,可选的,相对与所述光场相机的主透镜平行的平面倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,包括:确定所述第一成像单元相对与所述主透镜平行的平面的容许夹角范围;至少根据所述容许夹角范围相对与所述主透镜平行的平面倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制方法,可选的,确定所述第一成像单元相对与所述主透镜平行的平面的容许夹角范围,包括:根据第一子透镜的焦距、所述深度分布子区内的对象经所述主透镜所成的像所在的平面和与所述主透镜平行的平面之间的夹角、以及所述第一子透镜的光心经垂直与所述主透镜平行的平面的方向到所述深度分布子区内的对象经所述主透镜所成的像所在的平面的距离,确定所述第一成像单元的期望倾斜角度,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜;根据所述期望倾斜角度确定所述容许夹角范围。
结合本申请实施例提供的任一种图像采集控制方法,可选的,相对与所述光场相机的主透镜平行平面至少倾斜第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,包括:相对与所述主透镜平行的平面倾斜所述第一成像单元和第一子透镜,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜。
结合本申请实施例提供的任一种图像采集控制方法,可选的,相对与所述主透镜平行平面倾斜所述第一成像单元和第一子透镜,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,包括:根据所述第一子透镜的焦距、所述深度分布子区内的对象经所述主透镜所成的像所在的平面和与所述主透镜平行的平面之间的夹角、所述第一子透镜的光心经垂直与所述主透镜平行的平面的方向到所述深度分布子区内的对象经主透镜所成的像所在的平面的距离、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一成像单元的距离,确定所述第一成像单元的第一倾斜角度和所述第一子透镜的第二倾斜角度;根据所述第一倾斜角度相对与所述主透镜平行的平面倾斜所述第一成像单元、以及根据所述第二倾斜角度相对与所述主透镜平行的平面倾斜所述第一子透镜,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制方法,可选的,倾斜所述第一成像单元之前,还包括:确定所述成像单元阵列中待倾斜的所述第一成像单元。
结合本申请实施例提供的任一种图像采集控制方法,可选的,确定所述成像单元阵列中待倾斜的所述第一成像单元,包括:根据所述光场相机获取的所述场景的预览图像中与所述深度分布子区对应的部分,确定影响所述深度分布子区图像采集的第一子透镜;根据所述子透镜阵列中的子透镜和所述成像单元阵列的成像单元之间的对应关系,确定与所述第一子透镜对应的所述第一成像单元。
第二方面,本申请实施例还提供了一种图像采集控制装置,包括:
一深度分布子区确定模块,用于根据光场相机的景深范围和场景的深度分布,确定所述场景的至少一深度分布子区,所述至少一深度分布子区中每个深度分布子区位于所述景深范围之外;
一倾斜控制模块,用于相对与所述光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,其中,所述第一成像单元为所述光场相机的成像单元阵列中用于对所述深度分布子区进行图像采集的成像单元;
一图像采集模块,用于经调整后的所述光场相机对所述场景进行图像采集。
结合本申请实施例提供的任一种图像采集控制装置,可选的,至少倾斜所述第一成像单元之后,所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆小于或等于一容许弥散圆。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述至少一深度分布子区的至少之一和所述景深范围深度连续变化。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述至少一深度分布子区的至少之一和所述景深范围深度非连续变化。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述倾斜控制模块包括:一第一倾斜控制子模块,用于相对与所述光场相机的主透镜平行的平面倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述第一倾斜控制子模块包括:一倾斜方向确定单元,用于确定倾斜方向,所述倾斜方向为增加所述深度分布子区内的对象经所述主透镜所成的像与所述第一成像单元所在的平面之间的夹角的方向;一第一倾斜控制单元,用于至少根据所述倾斜方向倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述第一倾斜控制子模块包括:一期望倾斜角度确定单元,用于根据第一子透镜的焦距、所述深度分布子区内的对象经所述主透镜所成的像所在的平面和与所述主透镜平行的平面之间的夹角、以及所述第一子透镜的光心经垂直与所述主透镜平行的平面的方向到所述深度分布子区内的对象经所述主透镜所成的像所在的平面的距离,确定所述第一成像单元的期望倾斜角度,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜;一第二倾斜控制单元,用于至少根据所述期望倾斜角度相对与所述主透镜平行的平面倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述第一倾斜控制子模块包括:一容许夹角范围确定单元,用于确定所述第一成像单元相对与所述主透镜平行的平面的容许夹角范围;一第三倾斜控制单元,用于至少根据所述容许夹角范围相对与所述主透镜平行的平面倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述容许夹角范围确定单元包括:一期望倾斜角度确定子单元,用于根据第一子透镜的焦距、所述深度分布子区内的对象经所述主透镜所成的像所在的平面和与所述主透镜平行的平面之间的夹角、以及所述第一子透镜的光心经垂直与所述主透镜平行的平面的方向到所述深度分布子区内的对象经所述主透镜所成的像所在的平面的距离,确定所述第一成像单元的期望倾斜角度,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜;一容许夹角范围确定子单元,用于根据所述期望倾斜角度确定所述容许夹角范围。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述倾斜控制模块包括:一第二倾斜控制子模块,用于相对与所述主透镜平行的平面倾斜所述第一成像单元和第一子透镜,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述第二倾斜控制子模块包括:一倾斜角度确定单元,用于根据所述第一子透镜的焦距、所述深度分布子区内的对象经所述主透镜所成的像所在的平面和与所述主透镜平行的平面之间的夹角、所述第一子透镜的光心经垂直与所述主透镜平行的平面的方向到所述深度分布子区内的对象经主透镜所成的像所在的平面的距离、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一成像单元的距离,确定所述第一成像单元的第一倾斜角度和所述第一子透镜的第二倾斜角度;一第四倾斜控制单元,用于根据所述第一倾斜角度相对与所述主透镜平行的平面倾斜所述第一成像单元、以及根据所述第二倾斜角度相对与所述主透镜平行的平面倾斜所述第一子透镜,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述装置还包括:一成像单元确定模块,用于确定所述成像单元阵列中待倾斜的所述第一成像单元。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述成像单元确定模块包括:一子透镜确定单元,用于根据所述光场相机获取的所述场景的预览图像中与所述深度分布子区对应的部分,确定影响所述深度分布子区图像采集的第一子透镜;一成像单元确定单元,用于根据所述子透镜阵列中的子透镜和所述成像单元阵列的成像单元之间的对应关系,确定与所述第一子透镜对应的所述第一成像单元。
第三方面,本申请实施例还提供了另一种图像采集控制装置,包括:
一处理器、一通信接口、一存储器以及一通信总线;所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一指令;所述指令使所述处理器执行以下操作:
根据光场相机的景深范围和场景的深度分布,确定所述场景的至少一深度分布子区,所述至少一深度分布子区中每个深度分布子区位于所述景深范围之外;
相对与所述光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,其中,所述第一成像单元为所述光场相机的成像单元阵列中用于对所述深度分布子区进行图像采集的成像单元;
经调整后的所述光场相机对所述场景进行图像采集。
本申请实施例可根据光场相机的景深范围和场景的深度分布,在所述场景位于所述景深范围之外的区域确定至少一深度分布子区,对每个深度分布子区而言,相对与所述光场相机的主透镜平行的平面至少倾斜所述光场相机的成像单元阵列中用于对所述深度分布子区进行图像采集的成像单元(即所述第一成像单元)的方式,使得该深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆的大小有所减小,由此改善该深度分布子区内的对象的成像质量;而对影响景深范围图像采集的元件(如成像单元和/或子透镜)可不进行倾斜控制,以避免对景深范围内的对象的成像质量产生影响。这样,经如所述第一成像单元等元件倾斜后的光场相机对场景进行图像采集,通过一次光学采集的方式,不仅不影响场景位于景深范围的对象的成像质量,还可改善场景位于所述景深范围之外的至少一深度分布子区内的对象的成像质量,一定程度上相当于在原有景深范围的基础上增加了光场相机一次光学采集可获得的较高成像质量的深度范围,提高了场景整体的成像质量。
通过以下结合附图对本申请的可选实施例的详细说明,本申请的这些以及其它的优点将更加明显。
附图说明
本申请可以通过参考下文中结合附图所给出的描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步举例说明本申请的可选实施例和解释本申请的原理和优点。在附图中:
图1为本申请实施例提供的一种图像采集控制方法流程图;
图2a为本申请实施例提供的深度分布子区与景深范围深度分布关系的示例之深度连续分布;
图2b为本申请实施例提供的深度分布子区与景深范围深度分布关系的示例之深度非连续分布;
图2c为本申请实施例提供的深度分布子区与景深范围深度分布关系的示例之深度连续分布和深度非连续分布;
图3a为本申请实施例提供的部分成像单元倾斜示例;
图3b为本申请实施例提供的部分成像单元和子透镜倾斜示例;
图4a为本申请实施例提供的三个平面的延长面相交的示例一;
图4b为本申请实施例提供的成像单元倾斜方向示例;
图5为本申请实施例提供的光场相机结构示例;
图6为本申请实施例提供的三个平面的延长面相交的示例二;
图7为本申请实施例提供的第一种图像采集控制装置的逻辑框图;
图8为本申请实施例提供的第二种图像采集控制装置的逻辑框图;
图9为本申请实施例提供的第三种图像采集控制装置的逻辑框图。
本领域技术人员应当理解,附图中的元件仅仅是为了简单和清楚起见而示出的,而且不一定是按比例绘制的。例如,附图中某些元件的尺寸可能相对于其他元件放大了,以便有助于提高对本申请实施例的理解。
具体实施方式
在下文中将结合附图对本申请的示范性实施例进行详细描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与***及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。
在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本申请,在附图和说明中仅仅描述了与根据本申请的方案密切相关的装置结构和/或处理步骤,而省略了对与本申请关系不大的、本领域普通技术人员已知的部件和处理的表示和描述。
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例,对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请,但不用来限制本申请的范围。
本领域技术人员可以理解,本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
图1为本申请实施例提供的一种图像采集控制方法的流程图。本申请实施例提供的图像采集控制方法的执行主体可为某一图像采集控制装置。所述图像采集控制装置的设备表现形式不受限制,例如所述图像采集控制装置可为某一独立的部件;或者,所述图像采集控制装置可作为某一功能模块集成在一成像设备中,所述成像设备可包括但不限于光场相机或包括有光场相机的手机、平板电脑等,本申请实施例对此并不限制。具体如图1所示,本申请实施例提供的一种图像采集控制方法包括:
S101:根据光场相机的景深范围和场景的深度分布,确定所述场景的至少一深度分布子区,所述至少一深度分布子区中每个深度分布子区位于所述景深范围之外。
S102:相对与所述光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,其中,所述第一成像单元为所述光场相机的成像单元阵列中用于对所述深度分布子区进行图像采集的成像单元。
S103:经调整后的所述光场相机对所述场景进行图像采集。
对象经如光场相机等成像设备进行成像时,理想状况下是物面和像面是点与点一一对应的,但在实际应用过程中,由于光波性质、像差等因素的影响,对象上的点的成像光束通常不能汇聚于一点,而是在像平面上形成一个扩散的正圆形、椭圆形或其他类圆形的投影,称为弥散圆(circle of confusion),也可称为弥散圈、弥散环、散光圈、模糊圈、散射圆盘等。如果弥散圆的尺寸较小,通常该弥散圆对应的对象的成像相对较为清晰,肉眼可被视为该点的合焦成像;相应的,如果弥散圆的尺寸超过一定的容许范围,则该弥散圆对应的对象的成像相对模糊。
通常,光场相机包括沿深度方向依次设置的主透镜、子透镜阵列和成像单元阵列,光场相机处于未进行本申请实施例提及的成像单元和/或子透镜等倾斜操作的状态时,主透镜所在的平面(即主透镜平面)、子透镜阵列所在的平面以及成像单元阵列所在的平面相互平行、且分别垂直于深度方向,子透镜阵列中各子透镜位于垂直于深度方向的同一平面,各子透镜的光轴与深度方向平行,成像单元阵列中每个成像单元(可是视为一图像传感器或图像传感单元)包括阵列分布的多个像素,各成像单元也位于垂直于深度方向的同一平面,且各成像单元的法线与深度方向平行。本申请实施例所述的与主透镜平行的平面包括但不限于:主透镜所在的平面、子透镜处于未倾斜的初始状态时所在的平面、成像单元处于未倾斜的初始状态时所在的平面、或者平行于主透镜所在平面的其他平。当光场相机光圈调整、对焦等操作完成之后,该光场相机的景深范围通常也随之确定,该景深范围为深度方向上相对光场相机主透镜的一定物距范围。通过光场相机的一次光学采集,场景中位于景深范围内的对象成像的弥散圆尺寸较小,通常可清晰成像,而位于景深范围外的对象成像的弥散圆尺寸较大,成像通常较为模糊。
本申请实施例可根据光场相机的景深范围和场景的深度分布,在所述场景位于所述景深范围之外的区域确定至少一深度分布子区,对每个深度分布子区而言,相对所述光场相机的主透镜平面至少倾斜所述光场相机的成像单元阵列中用于对所述深度分布子区进行图像采集的成像单元(即所述第一成像单元)的方式,使得该深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆的大小有所减小,由此改善该深度分布子区内的对象的成像质量;而对影响景深范围图像采集的元件(如成像单元和/或子透镜)可不进行倾斜控制,以避免对景深范围内的对象的成像质量产生影响。这样,经如所述第一成像单元等元件倾斜后的光场相机对场景进行图像采集,通过一次光学采集的方式,不仅不影响场景位于景深范围的对象的成像质量,还可改善场景位于所述景深范围之外的至少一深度分布子区内的对象的成像质量,一定程度上相当于在原有景深范围的基础上增加了光场相机一次光学采集可获得的较高成像质量的深度范围,提高了场景整体的成像质量。
根据经典几何光学理论,光场相机的光路图可以等效为各子透镜对主透镜所成的像(如实像或虚像)在该子透镜对应的成像单元上再成像,在成像单元上不同位置的像素点可以存储场景中不同深度的对象的光场信息,对应于场景中某对象的至少局部经某一子透镜在与该子透镜对应的成像单元的某像素点成像的弥散圆为:
上式中:c表示弥散圆的等效直径;f表示该子透镜的焦距;vn表示该对象的至少局部依次经主透镜和该子透镜后所成的像与该子透镜中心的距离,该距离相当于该子透镜的;v表示子透镜和与该子透镜对应的成像单元之间的距离,倾斜前,该距离即为子透镜阵列平面与成像单元阵列平面之间的距离;N表示光圈值(f-number)。
基于光场相机进行图像采集的应用场景中,成像单元阵列中的每个成像单元包括多个阵列分布的像素点,通常并非成像单元的所有像素点参与实际的图像采集,而是部分像素点参与实际的图像采集。本申请实施例提供的技术方案中,可通过至少倾斜所述第一成像单元的方式,来改变所述深度分布子区的对象在所述第一成像单元成像的弥散圆。
(一)一种可选的实现方式,可通过倾斜所述第一成像单元的方式,来改变所述深度分布子区的对象在所述第一成像单元成像的弥散圆,即:相对与所述光场相机的主透镜平行的平面倾斜所述第一成像单元,如图3a所示,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。
所述第一成像单元中实际记录有所述深度分布子区内的对象图像信息的各像素点的弥散圆的均值,可视为所述深度分布子区内的对象在所述第一成像单元的平均弥散圆的大小。在所述第一成像单元倾斜前后,所述第一成像单元参与该对象实际图像采集的像素点和/或像素点数量可能相同或不同。可将所述第一成像单元倾斜前,所述第一成像单元中实际记录有该对象图像信息的各像素点的弥散圆的均值,作为所述第一成像单元倾斜前相同对象成像的平均弥散圆的大小;将所述成像单元倾斜后所述第一成像单元中实际记录有该对象图像信息的各像素点的弥散圆的均值,作为所述第一成像单元倾斜之后相同对象成像的平均弥散圆的大小。
通过弥散圆的成像公式来看,本申请实施例可通过倾斜所述第一成像单元的方式来改变所述第一成像单元和与所述第一成像单元对应的子透镜(即所述第一子透镜)之间的距离v,进而引起相应弥散圆的改变,同时,将所述第一成像单元倾斜后的平均弥散圆小于所述第一成像单元倾斜前的平均弥散圆,作为所述第一成像单元倾斜控制的收敛条件,使得所述第一成像单元相对与所述主透镜平行的平面采用某种方式倾斜之后可达到相应的平均弥散圆相对所述第一成像单元倾斜前对应的平均弥散圆有所减小。
可见,本申请实施例对所述场景位于所述景深范围之外的区域确定的每个深度分布子区而言,相对与所述光场相机的主透镜平行的平面倾斜用于对所述深度分布子区进行图像采集的所述第一成像单元的方式,使得该深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆的大小有所减小,由此改善该深度分布子区内的对象的成像质量;而对影响景深范围图像采集的元件(如成像单元和/或子透镜)可不进行倾斜控制,以避免对景深范围内的对象的成像质量产生影响。这样,经所述第一成像单元倾斜后的光场相机对场景进行图像采集,通过一次光学采集的方式,不仅不影响场景位于景深范围的对象的成像质量,还可改善场景位于所述景深范围之外的至少一深度分布子区内的对象的成像质量,一定程度上相当于在原有景深范围的基础上增加了光场相机一次光学采集可获得的较高成像质量的深度范围,提高了场景整体的成像质量。
(二)另一种可选的实现方式,可通过倾斜所述第一成像单元和光场相机的子透镜阵列中与所述第一成像单元对应的子透镜的方式,来改变所述深度分布子区的对象在所述第一成像单元成像的弥散圆,即:相对与所述主透镜平行的平面倾斜所述第一成像单元和第一子透镜,如图3b所示,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜。
所述第一成像单元中实际记录有所述深度分布子区内的对象图像信息的各像素点的弥散圆的均值,可视为所述深度分布子区内的对象在所述第一成像单元的平均弥散圆的大小。在所述第一成像单元和所述第一子透镜倾斜前后,所述第一成像单元参与该对象实际图像采集的像素点和/或像素点数量可能相同或不同。可将所述第一成像单元和所述第一子透镜倾斜前,所述第一成像单元中实际记录有该对象图像信息的各像素点的弥散圆的均值,作为所述第一成像单元倾斜前相同对象成像的平均弥散圆的大小;将所述成像单元和所述第一子透镜倾斜后,所述第一成像单元中实际记录有该对象图像信息的各像素点的弥散圆的均值,作为所述第一成像单元和所述第一子透镜倾斜之后相同对象的平均弥散圆的大小。
光场相机的子透镜阵列中各子透镜可视为一薄透镜,薄透镜的光学成像公式如下:
上式中:u表示子透镜的物距,即对象经光场相机的主透镜所成的像与该子透镜的距离;v表示子透镜的像距;f表示子透镜的焦距。
结合公式(1)和(2)可知,本申请实施例可通过倾斜所述第一子透镜的方式来改变所述第一子透镜的物距u以引起子透镜的像距vn发生相应变化,和/或,通过倾斜所述第一子透镜和/或所述第一成像单元的方式来改变二者之间的距离v,进而引起相应弥散圆的改变,同时,将所述第一成像单元和所述第一子透镜倾斜后的平均弥散圆小于所述第一成像单元和所述第一子透镜倾斜前的平均弥散圆,作为所述第一成像单元和所述第一子透镜倾斜控制的收敛条件,使得所述第一成像单元和所述第一子透镜相对与所述主透镜平行的平面采用某种方式倾斜之后,可达到相应的平均弥散圆相对所述第一成像单元和所述第一子透镜倾斜前对应的平均弥散圆有所减小。
可见,本申请实施例对所述场景位于所述景深范围之外的区域确定的每个深度分布子区而言,相对与所述光场相机的主透镜平行的平面倾斜用于对所述深度分布子区进行图像采集的所述第一成像单元和与所述第一成像单元对应的所述第一子透镜的方式,使得该深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆的大小有所减小,由此改善该深度分布子区内的对象的成像质量;而对影响景深范围图像采集的元件(如成像单元和/或子透镜)可不进行倾斜控制,以避免对景深范围内的对象的成像质量产生影响。这样,经所述第一成像单元和所述第一子透镜倾斜后的光场相机对场景进行图像采集,通过一次光学采集的方式,不仅不影响场景位于景深范围的对象的成像质量,还可改善场景位于所述景深范围之外的至少一深度分布子区内的对象的成像质量,一定程度上相当于在原有景深范围的基础上增加了光场相机一次光学采集可获得的较高成像质量的深度范围,提高了场景整体的成像质量。
可选的,至少倾斜所述第一成像单元(包括倾斜所述第一成像单元或者倾斜所述第一成像单元和所述第一子透镜等)之后,所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆小于或等于一容许弥散圆。如果弥散圆小于或等于某一容许弥散圆(permissible circle of confusion),可视为该对象合焦成像;相应的,如果弥散圆大于该容许弥散圆,可视为该对象失焦成像。所述容许弥散圆的大小与物距、放大倍率等因素有关,可预先确定容许弥散圆大小,例如所述容许弥散圆大小为1/30mm等等。该方案相当于在相应元件(所述相应元件包括所述第一成像单元,或者所述相应元件包括所述第一成像单元和所述第一子透镜)倾斜控制过程中,将所述相应元件倾斜后的平均弥散圆小于或等于一容许弥散圆作为所述相应元件倾斜控制的收敛条件,也就是说,在所述相应元件倾斜控制过程中,如果所述相应元件位于某倾斜状态且对应该倾斜状态下的平均弥散圆小于或等于所述容许弥散圆,则可完成所述相应元件的倾斜控制。可见,采用该方案进行所述相应元件的倾斜控制,相当于使得场景的景深范围之外的至少一深度子区调整为可清晰成像的范围,一定程度上相当于增加了光场相机原有的景深范围,提高了场景的整体图像采集质量,在某些情形下,甚至有利于对场景进行全景深的图像采集,更好满足多样化的实际应用需求。
所述深度分布子区的确定方式及数量可根据实际需要确定,实现方式非常灵活。例如,可根据用户的输入信息,确定所述场景中除景深范围之外的至少部分深度区域为所述至少一深度分布子区;又例如,可结合光场相机对所述场景的预览图像的分析结果,确定所述场景中除景深范围之外的至少部分深度区域为所述至少一深度分布子区;再例如,可结合光场相机关于深度分布子区的预设信息,确定所述场景中除景深范围之外的至少部分深度区域为所述至少一深度分布子区;等等。可以理解,确定出的所述至少部分深度区域整体可作为一所述深度分布子区,或者,确定出的所述至少部分深度区域也可按一定条件进行划分以得到多个所述深度分布子区,等等。本申请实施例对上述具体实现方式并不限制,可更好满足多样化的实际应用需求。
可选的,所述至少一深度分布子区的至少之一和所述景深范围深度连续变化,也就是说,所述至少一深度分布子区中的至少一个深度分布子区的一个边界在深度方向上和景深范围的一个边界是相邻的,如图2a或图2b所示。该方案有利于提高场景位于景深范围周边的对象的成像质量,相当于对原有的景深范围在深度方向上进行连续的扩展。在某些应用场景中,例如采用大光圈进行微距拍摄场景,采用该方案有利于获得场景较大深度连续范围的清晰成像,在场景深度分布较窄的情形下,甚至可实现大光圈的全景深图像采集。
可选的,所述至少一深度分布子区的至少之一和所述景深范围深度非连续变化,也就是说,所述至少一深度分布子区中的至少一个深度分布子区的各边界在深度方向上和景深范围的各边界都是不相邻的,如图2b或图2c所示。该方案有利于提高场景位于景深范围之外的至少部分对象的成像质量,相当于对原有的景深范围的基础上在深度方向上再调整一些成像质量较好的深度子区。在某些应用场景中,例如多个对象沿深度方向分布在场景的不同深度位置(如人脸等),其中某一对象位于景深范围内,而其他对象位于景深范围之外,采用该方案有利于提高场景中不同深度位置的多个对象的成像质量。
(一)本申请实施例提供的技术方案中,可根据减小相应平均弥散圆(甚至小于或等于容许弥散圆)的收敛条件对所述第一成像单元相对与所述主透镜平行的平面进行倾斜控制,实现方式非常灵活。
可选的,相对与所述光场相机的主透镜平行的平面倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,包括:根据第一子透镜的焦距、所述深度分布子区内的对象经主透镜所成的像所在的平面和与所述主透镜平行的平面之间的夹角、以及所述第一子透镜的光心经垂直与所述主透镜平行的平面的方向到所述深度分布子区内的对象经所述主透镜所成的像所在的平面的距离,确定所述第一成像单元的期望倾斜角度,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜;至少根据所述期望倾斜角度相对与所述主透镜平行的平面倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。
光场相机中,所述第一成像单元倾斜之后,所述第一成像单元所在的平面与所述第一子透镜所在的平面不再平行。参考沙姆定律(Scheimpflug principle),当所述深度分布子区内的对象经主透镜所成的像的平面的延长面、所述第一子透镜所在平面的延长面、所述第一成像单元倾斜后所在平面的延长面,三者相交与一直线时,如图4a所示,所述深度分布子区内的对象可获得清晰成像的区域最大,该情形下,对象经主透镜所成的像所在的平面相当于一对焦平面(Plane of Focus),对象在所述第一成像单元成像的平均弥散圆最小。满足上述定律的所述第一成像单元的倾斜角度即为本申请实施例所述的期望倾斜角度。
本申请实施例中,深度分布子区包括的深度范围和数量可在所述场景的景深范围之外的深度方向上灵活确定,以满足多样化的应用需求。例如,可根据所述场景的整体深度图和所述景深范围的边缘像素点,确定所述深度图中位于所述景深范围之外且与所述边缘像素点连通的各像素点,计算各连通的像素点的法线方向,并基于各像素点的法线方向,对这些像素点进行分组,如依据法线方向相对深度方向的夹角进行分组,将法线方向与深度方向夹角为135度-150度为一组,和/或,将法线方向与深度方向夹角为45度-60度等,由此各组各自包括的像素点分别对应的深度范围,分别作为各所述深度分布子区,等等,采用该方案确定所述深度分布子区有利于确定深度分布子区内对象经主透镜所成的像所在的平面,以作为相应子透镜倾斜控制的依据。
可选的,所述第一成像单元的期望倾斜角度可采用下式计算:
上式中:θ表示所述第一成像单元的期望倾斜角度;f表示第一子透镜的焦距、表示所述深度分布子区内的对象经主透镜所成的像所在的平面和与所述主透镜平行的平面(如第一子透镜所在的平面)之间的夹角、u表示所述第一子透镜的光心沿垂直与主透镜平行的平面的方向到所述深度分布子区内的对象经所述主透镜所成的像所在的平面的距离。至少根据该方案确定的期望倾斜角度相对与所述主透镜平行的平面倾斜所述第一成像单元,使得所述第一成像单元相对与所述主透镜平行平面的倾斜角度,尽可能接近甚至等于所述期望倾斜角度,并且在所述第一成像单元处于倾斜后的状态下进行图像采集时,所述深度分布子区内的对象在所述第一成像单元成像的平均弥散圆尽可能小。该方案提高了所述第一成像单元倾斜控制的效率,且经调整后的光场相机进行图像采集可获得场景更大成像质量较好或清晰成像的深度范围。进一步,可根据所述期望倾斜角度和所述倾斜方向倾斜所述第一成像单元,由此进一步提高所述第一成像单元倾斜控制的效率。
可选的,相对与所述光场相机的主透镜平行平面倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,包括:确定所述第一成像单元相对与所述主透镜平行平面的容许夹角范围;至少根据所述容许夹角范围相对与所述主透镜平行的平面倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。采用该方案相对与所述主透镜平行的平面倾斜所述第一成像单元,倾斜后的所述第一成像单元和与所述主透镜平行的平面之间的夹角落入所述容许夹角范围。其中,所述容许夹角范围可根据所述第一成像单元倾斜后能够带来相应平均弥散圆减小的要求下灵活确定,本申请实施例对此并不限制。该方案提高了所述第一成像单元倾斜控制的效率,且经调整后的光场相机进行图像采集可获得场景更大成像质量较好或清晰成像的深度范围。
所述容许夹角范围可根据所述第一成像单元倾斜后能够带来相应平均弥散圆减小的要求下预先确定,确定的方法可包括但不限于采用实验手段、模拟仿真、公式推导等方式确定。可选的,确定所述第一成像单元相对与所述主透镜平行的平面的容许夹角范围,包括:根据第一子透镜的焦距、所述深度分布子区内的对象经主透镜所成的像所在的平面和与所述主透镜平行的平面之间的夹角、以及所述深度分布子区内的对象经所述主透镜所成的像相对所述第一子透镜的距离,确定所述第一成像单元的期望倾斜角度,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜;根据所述期望倾斜角度确定所述容许夹角范围。所述期望倾斜角度的确定方法可参考上文的记载,在确定了所述期望倾斜角度之后,可结合考虑所述第一成像单元倾斜调节精度限制、对对象成像质量要求等因素,将期望倾斜角度在一定容许误差范围内的角度范围作为所述容许夹角范围。采用该方案确定的所述容许夹角范围较为合理,基于该容许夹角范围进行所述第一成像单元相对与所述主透镜平行的平面的倾斜控制,效率高且较易实现。
可选的,相对与所述光场相机的主透镜平行的平面倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,包括:确定倾斜方向,所述倾斜方向为增加所述深度分布子区内的对象经所述主透镜所成的像与所述第一成像单元所在的平面之间的夹角的方向;相对与所述主透镜平行的平面沿所述倾斜方向倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。参考沙姆定律,当第一待摄部分经光场相机的主透镜所成的像所在平面的延长面、所述第一子透镜倾斜后所在平面的延长面、所述第一成像单元所在的面的延长面,三者相交与一直线时,所述深度分布子区内的对象可获得清晰成像的区域最大。如图4b所示,第一成像单元倾斜前所在的平面,与所述深度分布子区内的对象经光场相机的主透镜所成的像所在的面之间的夹角为A1,可沿增加该夹角的方向使所述第一成像单元相对与主透镜平行的平面(如所述第一成像单元倾斜前所在的平面)倾斜,第一成像单元倾斜后所在的平面,与所述深度分布子区内的对象经光场相机的主透镜所成的像所在的面之间的夹角为A2,A2大于A1,可见,所述第一成像单元朝该方向倾斜后其所在的平面、与所述深度分布子区内的对象经光场相机的主透镜所成的像所在的面、以及所述成像面所在的平面三者相交同一直线的概率明显增加了,由此可减小所述深度分布子区内的对象在所述第一成像单元所成的像的平均弥散圆,提高所采集的图像中相应对象的成像质量。
进一步的,如果将该倾斜方向和所述期望倾斜角度共同作为所述第一成像单元倾斜控制的依据,则可进一步提高所述第一成像单元倾斜控制的效率;或者,如果将该倾斜方向和所述容许夹角范围共同作为所述第一成像单元倾斜控制的依据,则可进一步提高所述第一成像单元倾斜控制的效率。
可选的,倾斜所述第一成像单元之前,还包括:确定所述成像单元阵列中待倾斜的所述第一成像单元。采用该方案可在光场相机的成像单元阵列中确定用于对所述深度分布子区进行图像采集的成像单元,作为待倾斜的所述第一成像单元,之后通过将确定出的所述第一成像单元相对与所述主透镜平行的平面进行倾斜调整,使得所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆有所减小,由此提高所述深度分布子区的成像质量。对所述深度分布子区内的某对象进行图像采集的成像单元可能为一个或多个,可对确定的每个成像单元分别相对与所述主透镜平行的平面进行倾斜,并将所述深度分布子区内的对象在倾斜后的相应成像单元上的平均弥散圆有所减小作为成像单元倾斜控制的收敛条件,由此提高该对象的整体成像质量。
进一步可选的,确定所述成像单元阵列中待倾斜的所述第一成像单元,包括:根据所述光场相机获取的所述场景的预览图像中与所述深度分布子区对应的部分,确定影响所述深度分布子区图像采集的第一子透镜;根据所述子透镜阵列中的子透镜和所述成像单元阵列的成像单元之间的对应关系,确定与所述第一子透镜对应的所述第一成像单元。一种可选的实现方式,所述光场相机中,如图5所示,所述子透镜阵列包括的各子透镜的焦距相同,所述成像单元阵列与所述子透镜阵列的距离等于所述子透镜的焦距;在光场相机的成像单元和子透镜均处于未倾斜的状态下,基于该光场相机采集场景某一视角的图像(如所述预览图像)的空间分辨率与所述子透镜阵列的子透镜分布对应,每个子透镜对应所述成像单元阵列中的某一成像单元,每个成像单元包括阵列分布多个像素,通过该成像单元记录该子透镜对来自所述场景的某部的不同方向的光线信息,也即,该光场相机中,所述预览图像的像素分布与所述子透镜阵列的子透镜分布之间存在对应的关系、所述子透镜阵列的子透镜和所述成像单元阵列中的成像单元存在对应关系,因此,可根据所述光场相机获取的所述场景的预览图像中与所述深度分布子区对应的部分,确定影响所述深度分布子区图像采集的第一子透镜,再根据所述子透镜阵列中的子透镜和所述成像单元阵列的成像单元之间的对应关系,确定与所述第一子透镜对应的所述第一成像单元。采用该方案确定所述成像单元阵列中待倾斜的所述第一成像单元,方法简单易实现。(二)本申请实施例提供的技术方案中,可根据减小相应平均弥散圆(甚至小于或等于容许弥散圆)的收敛条件,对所述第一成像单元和所述第一子透镜相对与所述主透镜平行的平面分别进行倾斜控制,实现方式非常灵活。
可选的,相对与所述主透镜平行的平面倾斜所述第一成像单元和第一子透镜,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,包括:根据所述第一子透镜的焦距、所述深度分布子区内的对象经主透镜所成的像所在的平面和与所述主透镜平行的平面之间的夹角、所述第一子透镜的光心经垂直与所述主透镜平行的平面的方向到所述深度分布子区内的对象经主透镜所成的像所在的平面的距离、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一成像单元的距离,确定所述第一成像单元的第一倾斜角度和所述第一子透镜的第二倾斜角度;根据所述第一倾斜角度相对与所述主透镜平行的平面倾斜所述第一成像单元、以及根据所述第二倾斜角度相对与所述主透镜平行的平面倾斜所述第一子透镜,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。
光场相机中,所述第一成像单元和所述第一子透镜分别倾斜之后,所述第一成像单元所在的平面与所述第一子透镜所在的平面可能不再平行。参考沙姆定律,当所述深度分布子区内的对象经主透镜所成的像所在的平面的延长面、所述第一子透镜倾斜后所在平面的延长面、所述第一成像单元倾斜后所在平面的延长面,三者相交与一直线时,如图6所示,所述深度分布子区内的对象可获得清晰成像的区域最大,该情形下,对象经主透镜所成的像所在的平面相当于一对焦平面,对象在所述第一成像单元成像的平均弥散圆最小。满足上述定律的所述第一成像单元的倾斜角度即为本申请实施例所述的第一倾斜角度,满足上述定律的所述第一子透镜的倾斜角度即为本申请实施例所述的第二倾斜角度。
在实际应用中,可将与所述深度分布子区的平均法线方向垂直的平面作为所述深度分布子区内对象所在的平面。当所述深度分布子区内的对象经主透镜所成的像所在的平面的延长面、所述第一子透镜倾斜后所在平面的延长面、所述第一成像单元倾斜后所在平面的延长面,三者相交与一直线时,对象在所述第一成像单元成像的平均弥散圆最小。
所述第一成像单元和所述第一子透镜倾斜后,所述深度分布子区的对象的可选成像光路示例如图6所示,根据图6可得以下关系式:
v=v1+v2...........................................(6)
根据公式(4)至(9)、以及图6所示光路中的角度关系,可得:
其中:α表示所述第一成像单元的第一倾斜角;β表示所述第一子透镜的第二倾斜角;f表示第一子透镜的焦距;表示深度分布子区内的对象经主透镜所成的像所在的平面和与所述主透镜平行的平面(如所述第一子透镜倾斜前所在的平面)之间的夹角;u表示所述第一子透镜的光心经垂直与所述主透镜平行的平面(如所述第一子透镜倾斜前所在的平面)的方向到所述深度分布子区内的对象经主透镜所成的像所在的平面的距离;v表示所述第一子透镜的光心沿垂直所述与主透镜平行的平面(如第一子透镜倾斜前所在的平面,或者,所述第一成像单元倾斜前所在的平面)的方向到所述第一成像单元的距离,例如所述第一子透镜倾斜前后的光心保持不变、所述第一成像单元倾斜前后的中心保持不变,则所述第一子透镜的光心和所述第一成像单元的中心之间的距离,即为所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一成像单元的距离。
根据该方案确定的第一倾斜角和第二倾斜角分别倾斜所述第一成像单元和所述第一子透镜,并在所述光场相机处于该倾斜状态下进行图像采集时,所述深度分布子区内的对象在所述第一成像单元成像的平均弥散圆尽可能小。该方案提高了所述第一成像单元和所述第一子透镜共同倾斜控制的效率,且经调整后的光场相机进行图像采集可获得场景更大成像质量较好或清晰成像的深度范围。
在倾斜所述第一成像单元和所述第一子透镜之前,还可包括:在所述子透镜阵列中确定待倾斜的第一子透镜以及在所述成像单元阵列中确定待倾斜的第一成像单元。其中,待倾斜的所述第一子透镜和所述第一成像单元的确定方式非常灵活,例如,光场相机中,所述预览图像的像素分布与所述子透镜阵列的子透镜分布之间存在对应的关系、所述子透镜阵列的子透镜和所述成像单元阵列中的成像单元存在对应关系,因此,可根据所述光场相机获取的所述场景的预览图像中与所述深度分布子区对应的部分,确定影响所述深度分布子区图像采集的第一子透镜,再根据所述子透镜阵列中的子透镜和所述成像单元阵列的成像单元之间的对应关系,确定与所述第一子透镜对应的所述第一成像单元。采用该方案确定所述子透镜阵列中待倾斜的第一子透镜以及所述成像单元阵列中待倾斜的第一成像单元,方法简单易实现。
本领域技术人员可以理解,在本申请具体实施方式的上述任一方法中,各步骤的序号大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本申请具体实施方式的实施过程构成任何限定。
图7为本申请实施例提供的第一种图像采集控制装置的逻辑框图。如图7所示,本申请实施例提供的第一种图像采集控制装置包括:一深度分布子区确定模块71、一倾斜控制模块72和一图像采集模块73。
深度分布子区确定模块71用于根据光场相机的景深范围和场景的深度分布,确定所述场景的至少一深度分布子区,所述至少一深度分布子区中每个深度分布子区位于所述景深范围之外。
倾斜控制模块72用于相对与所述光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,其中,所述第一成像单元为所述光场相机的成像单元阵列中用于对所述深度分布子区进行图像采集的成像单元。
图像采集模块73用于经调整后的所述光场相机对所述场景进行图像采集。
本申请实施例可根据光场相机的景深范围和场景的深度分布,在所述场景位于所述景深范围之外的区域确定至少一深度分布子区,对每个深度分布子区而言,相对与所述光场相机的主透镜平行的平面至少倾斜所述光场相机的成像单元阵列中用于对所述深度分布子区进行图像采集的成像单元(即所述第一成像单元)的方式,使得该深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆的大小有所减小,由此改善该深度分布子区内的对象的成像质量;而对影响景深范围图像采集的元件(如成像单元和/或子透镜)可不进行倾斜控制,以避免对景深范围内的对象的成像质量产生影响。这样,经如所述第一成像单元等元件倾斜后的光场相机对场景进行图像采集,通过一次光学采集的方式,不仅不影响场景位于景深范围的对象的成像质量,还可改善场景位于所述景深范围之外的至少一深度分布子区内的对象的成像质量,一定程度上相当于在原有景深范围的基础上增加了光场相机一次光学采集可获得的较高成像质量的深度范围,提高了场景整体的成像质量。
所述图像采集控制装置的设备表现形式不受限制,例如所述图像采集控制装置可为某一独立的部件;或者,所述图像采集控制装置可作为某一功能模块集成在一成像设备中,所述成像设备可包括但不限于光场相机或包括有光场相机的手机、平板电脑等,本申请实施例对此并不限制。
可选的,至少倾斜所述第一成像单元之后,所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆小于或等于一容许弥散圆。所述容许弥散圆用来表征肉眼可将对象上物点的成像视为合焦成像的弥散圆的大小。该方案相当于在相应元件(所述相应元件包括所述第一成像单元,或者所述相应元件包括所述第一成像单元和所述第一子透镜)倾斜控制过程中,将所述相应元件倾斜后的平均弥散圆小于或等于一容许弥散圆作为所述相应元件倾斜控制的收敛条件,也就是说,在所述相应元件倾斜控制过程中,如果所述相应元件位于某倾斜状态且对应该倾斜状态下的平均弥散圆小于或等于所述容许弥散圆,则可完成所述相应元件的倾斜控制。可见,采用该方案进行所述相应元件的倾斜控制,相当于使得场景的景深范围之外的至少一深度子区调整为可清晰成像的范围,一定程度上相当于增加了光场相机原有的景深范围,提高了场景的整体图像采集质量,在某些情形下,甚至有利于对场景进行全景深的图像采集,更好满足多样化的实际应用需求。可选的,所述至少一深度分布子区的至少之一和所述景深范围深度连续变化。该方案有利于提高场景位于景深范围周边的对象的成像质量,相当于对原有的景深范围在深度方向上进行连续的扩展。在某些应用场景中,例如采用大光圈进行微距拍摄场景,采用该方案有利于获得场景较大深度连续范围的清晰成像,在场景深度分布较窄的情形下,甚至可实现大光圈的全景深图像采集。
可选的,所述至少一深度分布子区的至少之一和所述景深范围深度非连续变化。该方案有利于提高场景位于景深范围之外的至少部分对象的成像质量,相当于对原有的景深范围的基础上在深度方向上再调整一些成像质量较好的深度子区。在某些应用场景中,例如多个对象沿深度方向分布在场景的不同深度位置(如人脸等),其中某一对象位于景深范围内,而其他对象位于景深范围之外,采用该方案有利于提高场景中不同深度位置的多个对象的成像质量。
可选的,如图8所示,所述倾斜控制模块72包括:一第一倾斜控制子模块721。第一倾斜控制子模块721用于相对与所述光场相机的主透镜平行的平面倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。该方案可根据减小相应平均弥散圆(甚至小于或等于容许弥散圆)的收敛条件对所述第一成像单元相对与所述主透镜平行的平面进行倾斜控制,实现方式非常灵活。
进一步可选的,所述第一倾斜控制子模块721包括:一倾斜方向确定单元7211和一第一倾斜控制单元7212。倾斜方向确定单元7211用于确定倾斜方向,所述倾斜方向为增加所述深度分布子区内的对象经所述主透镜所成的像与所述第一成像单元所在的平面之间的夹角的方向;第一倾斜控制单元7212用于至少根据所述倾斜方向倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。
可选的,所述第一倾斜控制子模块721包括:一期望倾斜角度确定单元7213和一第二倾斜控制单元7214。期望倾斜角度确定单元7213用于根据第一子透镜的焦距、所述深度分布子区内的对象经主透镜所成的像所在的平面和与所述主透镜平行的平面之间的夹角、以及所述第一子透镜的光心经垂直与所述主透镜平行的平面的方向到所述深度分布子区内的对象经所述主透镜所成的像所在的平面的距离,确定所述第一成像单元的期望倾斜角度,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜;第二倾斜控制单元7214用于至少根据所述期望倾斜角度相对与所述主透镜平行的平面倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。采用该方案可提高所述第一成像单元倾斜控制的效率,使得所述第一成像单元的倾斜控制尽快符合平均弥散圆的收敛条件。
可选的,所述第一倾斜控制子模块721包括:一容许夹角范围确定单元7215和一第三倾斜控制单元7216。容许夹角范围确定单元7215用于确定所述第一成像单元相对与所述主透镜平行的平面的容许夹角范围;第三倾斜控制单元7216用于至少根据所述容许夹角范围相对与所述主透镜平行的平面倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。该方案提高了所述第一成像单元倾斜控制的效率,且经调整后的光场相机进行图像采集可获得场景更大成像质量较好或清晰成像的深度范围。进一步,可根据所述期望倾斜角度和所述倾斜方向倾斜所述第一成像单元,由此进一步提高所述第一成像单元倾斜控制的效率。
进一步可选的,所述容许夹角范围确定单元7215包括:一期望倾斜角度确定子单元72151和一容许夹角范围确定子单元72152。期望倾斜角度确定子单元72151用于根据第一子透镜的焦距、所述深度分布子区内的对象经主透镜所成的像所在的平面和与所述主透镜平行的平面之间的夹角、以及所述第一子透镜的光心经垂直与所述主透镜平行的平面的方向到所述深度分布子区内的对象经所述主透镜所成的像所在的平面的距离,确定所述第一成像单元的期望倾斜角度,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜;容许夹角范围确定子单元72152用于根据所述期望倾斜角度确定所述容许夹角范围。该方案提高了所述第一成像单元倾斜控制的效率,且经调整后的光场相机进行图像采集可获得场景更大成像质量较好或清晰成像的深度范围。进一步,可根据所述容许夹角范围和所述倾斜方向倾斜所述第一成像单元,由此进一步提高所述第一成像单元倾斜控制的效率。
可选的,所述倾斜控制模块72包括:一第二倾斜控制子模块722。第二倾斜控制子模块722用于相对与所述主透镜平行的平面倾斜所述第一成像单元和第一子透镜,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,其中,所述第一子透镜为所述光场相机的子透镜阵列中与所述第一成像单元对应的子透镜。该方案可根据减小相应平均弥散圆(甚至小于或等于容许弥散圆)的收敛条件,对所述第一成像单元和所述第一子透镜相对与所述主透镜平行的平面分别进行倾斜控制,实现方式非常灵活。
进一步可选的,所述第二倾斜控制子模块722包括:一倾斜角度确定单元7221和一第四倾斜控制单元7222。倾斜角度确定单元7221用于根据所述第一子透镜的焦距、所述深度分布子区内的对象经主透镜所成的像所在的平面和与所述主透镜平行的平面之间的夹角、所述第一子透镜的光心经垂直与所述主透镜平行的平面的方向到所述深度分布子区内的对象经主透镜所成的像所在的平面的距离、以及所述第一子透镜的光心沿垂直所述与主透镜平行的平面的方向到所述第一成像单元的距离,确定所述第一成像单元的第一倾斜角度和所述第一子透镜的第二倾斜角度;第四倾斜控制单元7222用于根据所述第一倾斜角度相对与所述主透镜平行的平面倾斜所述第一成像单元、以及根据所述第二倾斜角度相对与所述主透镜平行的平面倾斜所述第一子透镜,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。该方案提高了所述第一成像单元和所述第一子透镜共同倾斜控制的效率,且经调整后的光场相机进行图像采集可获得场景更大成像质量较好或清晰成像的深度范围。
结合本申请实施例提供的任一种图像采集控制装置,可选的,所述图像采集控制装置还包括:一成像单元确定模块74。成像单元确定模块74用于确定所述成像单元阵列中待倾斜的所述第一成像单元。采用该方案可在光场相机的成像单元阵列中确定用于对所述深度分布子区进行图像采集的成像单元,作为待倾斜的所述第一成像单元,之后通过将确定出的所述第一成像单元相对与所述主透镜平行的平面进行倾斜调整,使得所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆有所减小,由此提高所述深度分布子区的成像质量。
进一步可选的,所述成像单元确定模块74包括:一子透镜确定单元741和一成像单元确定单元742。子透镜确定单元741用于根据所述光场相机获取的所述场景的预览图像中与所述深度分布子区对应的部分,确定影响所述深度分布子区图像采集的第一子透镜;成像单元确定单元742用于根据所述子透镜阵列中的子透镜和所述成像单元阵列的成像单元之间的对应关系,确定与所述第一子透镜对应的所述第一成像单元。采用该方案确定所述子透镜阵列中待倾斜的第一子透镜以及所述成像单元阵列中待倾斜的第一成像单元,方法简单易实现。
图9为本申请实施例提供的第三种图像采集控制装置的结构示意图,本申请具体实施例并不对图像采集控制装置900的具体实现方式做限定。如图9所示,图像采集控制装置900可以包括:
处理器(Processor)910、通信接口(Communications Interface)920、存储器(Memory)930、以及通信总线940。其中:
处理器910、通信接口920、以及存储器930通过通信总线940完成相互间的通信。
通信接口920,用于与比如可变形的图像传感器等通信。
处理器910,用于执行程序932,具体可以执行上述任一方法实施例中的相关步骤。
例如,程序932可以包括程序代码,所述程序代码包括计算机操作指令。
处理器910可能是一个中央处理器(Central Processing Unit,简称CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器930,用于存放程序932。存储器930可能包含随机存取存储器(RandomAccess Memory,简称RAM),也可能还包括非易失性存储器(Non-volatile memory),例如至少一个磁盘存储器。
例如,在一种可选的实现方式中,处理器910通过执行程序932可执行以下步骤:根据光场相机的景深范围和场景的深度分布,确定所述场景的至少一深度分布子区,所述至少一深度分布子区中每个深度分布子区位于所述景深范围之外;相对与所述光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,其中,所述第一成像单元为所述光场相机的成像单元阵列中用于对所述深度分布子区进行图像采集的成像单元;经调整后的所述光场相机对所述场景进行图像采集。
在其他可选的实现方式中,处理器910通过执行程序932还可执行上述其他任一实施例提及的步骤,在此不再赘述。
程序932中各步骤的具体实现可以参见上述实施例中的相应步骤、模块、子模块、单元中对应的描述,在此不再赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
在本申请上述各实施例中,实施例的序号和/或先后顺序仅仅便于描述,不代表实施例的优劣。对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。有关装置、设备或***实施例的实施原理或过程的相关描述,可参见相应方法实施例的记载,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的装置、方法、***等实施例中,显然,各部件(***、子***、模块、子模块、单元、子单元等)或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本申请的等效方案。同时,在上面对本申请具体实施例的描述中,针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
最后应说明的是:以上实施方式仅用于说明本申请,而并非对本申请的限制,有关技术领域的普通技术人员,在不脱离本申请的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本申请的范畴,本申请的专利保护范围应由权利要求限定。

Claims (10)

1.一种图像采集控制方法,其特征在于,包括:
根据光场相机的景深范围和场景的深度分布,确定所述场景的至少一深度分布子区,所述至少一深度分布子区中每个深度分布子区位于所述景深范围之外;
相对与所述光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,其中,所述第一成像单元为所述光场相机的成像单元阵列中用于对所述深度分布子区进行图像采集的成像单元;
经调整后的所述光场相机对所述场景进行图像采集。
2.根据权利要求1所述的方法,其特征在于,至少倾斜所述第一成像单元之后,所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆小于或等于一容许弥散圆。
3.根据权利要求1或2所述的方法,其特征在于,所述至少一深度分布子区的至少之一和所述景深范围深度连续变化。
4.根据权利要求1或2所述的方法,其特征在于,所述至少一深度分布子区的至少之一和所述景深范围深度非连续变化。
5.根据权利要求1所述的方法,其特征在于,相对与所述光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,包括:
相对与主透镜平行的平面倾斜所述第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆。
6.一种图像采集控制装置,其特征在于,包括:
一深度分布子区确定模块,用于根据光场相机的景深范围和场景的深度分布,确定所述场景的至少一深度分布子区,所述至少一深度分布子区中每个深度分布子区位于所述景深范围之外;
一倾斜控制模块,用于相对与所述光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,其中,所述第一成像单元为所述光场相机的成像单元阵列中用于对所述深度分布子区进行图像采集的成像单元;
一图像采集模块,用于经调整后的所述光场相机对所述场景进行图像采集。
7.根据权利要求6所述的装置,其特征在于,至少倾斜所述第一成像单元之后,所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆小于或等于一容许弥散圆。
8.根据权利要求6或7所述的装置,其特征在于,所述至少一深度分布子区的至少之一和所述景深范围深度连续变化。
9.根据权利要求6或7所述的装置,其特征在于,所述至少一深度分布子区的至少之一和所述景深范围深度非连续变化。
10.一种图像采集控制装置,其特征在于,
一处理器、一通信接口、一存储器以及一通信总线;所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一指令;所述指令使所述处理器执行以下操作:
根据光场相机的景深范围和场景的深度分布,确定所述场景的至少一深度分布子区,所述至少一深度分布子区中每个深度分布子区位于所述景深范围之外;
相对与所述光场相机的主透镜平行的平面至少倾斜第一成像单元,以减小所述深度分布子区内的对象在所述第一成像单元上成像的平均弥散圆,其中,所述第一成像单元为所述光场相机的成像单元阵列中用于对所述深度分布子区进行图像采集的成像单元;
经调整后的所述光场相机对所述场景进行图像采集。
CN201510546586.6A 2015-08-31 2015-08-31 图像采集控制方法和装置 Active CN106303210B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510546586.6A CN106303210B (zh) 2015-08-31 2015-08-31 图像采集控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510546586.6A CN106303210B (zh) 2015-08-31 2015-08-31 图像采集控制方法和装置

Publications (2)

Publication Number Publication Date
CN106303210A CN106303210A (zh) 2017-01-04
CN106303210B true CN106303210B (zh) 2019-07-12

Family

ID=57650476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510546586.6A Active CN106303210B (zh) 2015-08-31 2015-08-31 图像采集控制方法和装置

Country Status (1)

Country Link
CN (1) CN106303210B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101426085A (zh) * 2004-10-01 2009-05-06 科兰·斯坦福青年大学托管委员会 成像装置及其方法
CN103703757A (zh) * 2013-08-01 2014-04-02 华为终端有限公司 一种拍照方法及装置
CN104469147A (zh) * 2014-11-20 2015-03-25 北京智谷技术服务有限公司 光场采集控制方法和装置、光场采集设备
CN104486537A (zh) * 2014-10-27 2015-04-01 北京智谷技术服务有限公司 光场采集控制方法和装置
CN104506762A (zh) * 2014-12-25 2015-04-08 北京智谷睿拓技术服务有限公司 光场采集控制方法和装置、光场采集设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2477294B (en) * 2010-01-27 2015-05-06 Au Optronics Corp Autostereoscopic display apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101426085A (zh) * 2004-10-01 2009-05-06 科兰·斯坦福青年大学托管委员会 成像装置及其方法
CN103703757A (zh) * 2013-08-01 2014-04-02 华为终端有限公司 一种拍照方法及装置
CN104486537A (zh) * 2014-10-27 2015-04-01 北京智谷技术服务有限公司 光场采集控制方法和装置
CN104469147A (zh) * 2014-11-20 2015-03-25 北京智谷技术服务有限公司 光场采集控制方法和装置、光场采集设备
CN104506762A (zh) * 2014-12-25 2015-04-08 北京智谷睿拓技术服务有限公司 光场采集控制方法和装置、光场采集设备

Also Published As

Publication number Publication date
CN106303210A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
CN104410784B (zh) 光场采集控制方法和装置
CN104486537B (zh) 光场采集控制方法和装置
Bok et al. Geometric calibration of micro-lens-based light field cameras using line features
JP6047807B2 (ja) リフォーカスを実現するための方法および電子装置
CN104506762B (zh) 光场采集控制方法和装置、光场采集设备
CN105335950B (zh) 图像处理方法和图像处理装置
CN106254859B (zh) 光场显示控制方法和装置、光场显示设备
CN106161922B (zh) 图像采集控制方法和装置
CN108769462A (zh) 自由视角场景漫游方法及装置
CN106375650B (zh) 对焦方法和装置、图像采集设备
CN106303208B (zh) 图像采集控制方法和装置
EP3067860B1 (en) Hybrid depth estimation
CN106375651B (zh) 对焦方法和装置、图像采集设备
CN106254804B (zh) 光场显示控制方法和装置、光场显示设备
CN106254753B (zh) 光场显示控制方法和装置、光场显示设备
CN105933593B (zh) 聚焦位置检测装置和聚焦位置检测方法
JP6198590B2 (ja) 画像処理装置、撮像装置および画像処理方法
US9196020B2 (en) Systems and methods for digital correction of aberrations produced by tilted plane-parallel plates or optical wedges
CN106375648B (zh) 图像采集控制方法和装置
CN106254752B (zh) 对焦方法和装置、图像采集设备
CN106303210B (zh) 图像采集控制方法和装置
CN106303209B (zh) 图像采集控制方法和装置
CN106254750B (zh) 图像采集控制方法和装置
Michels et al. Ray tracing-guided design of plenoptic cameras
CN107707807B (zh) 图像采集控制方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant