CN108702455A - 用于生成对象的具有增强景深的合成2d图像的装置 - Google Patents

Abstract

本发明涉及一种用于生成对象的具有增强景深的合成2D图像的装置。描述了利用图像采集单元(20)采集(110)在所述对象的第一横向位置处的第一图像数据以及在所述对象的第二横向位置处的第二图像数据。所述图像采集单元被用于采集(120)在所述第一横向位置处的第三图像数据以及在所述第二横向位置处的第四图像数据，其中，所述第三图像数据是在与针对所述第一图像数据的向下范围距离不同的向下范围距离处采集的，并且所述第四图像数据是在与针对所述第二图像数据的向下范围距离不同的向下范围距离处采集的。针对所述第一横向位置生成(130)第一工作图像数据，所述生成包括通过焦点堆叠算法来处理所述第一图像数据和所述第三图像数据。针对所述第二横向位置生成(140)第二工作图像数据，所述生成包括通过所述焦点堆叠算法来处理所述第二图像数据和所述第四图像数据。在图像数据的采集期间对所述第一工作图像数据和所述第二工作图像数据进行组合(150)，以生成所述对象的具有增强景深的合成2D图像。

Description

用于生成对象的具有增强景深的合成2D图像的装置

技术领域

本发明涉及一种用于生成对象的具有增强景深的合成2D图像的装置、一种用于生成对象的具有增强景深的合成2D图像的方法以及一种计算机程序单元和一种计算机可读介质。

背景技术

成像***受其景深的限制，其中成像***被布置为具有以待成像的特征周围为中心的焦点与焦深。然而，也被期望成像的一些特征能够比焦平面更靠近成像***并且在焦深的外部并且离焦。这同样适用于紧密焦点处的特征更远离的特征。

发明内容

具有一种用于生成对象的图像的经改进的技术将是有利的，其中，所述图像具有增强景深。

本发明的目标是利用独立权利要求的主题来解决的，其中，另外的实施例被并入在从属权利要求中。应当注意，本发明的下文所描述的各方面还适于用于生成对象的具有增强景深的合成2D图像的所述装置、用于生成对象的具有增强景深的合成2D图像的所述方法以及所述计算机程序单元和所述计算机可读介质。

根据第一方面，提供了一种用于生成对象的具有增强景深的合成2D图像的装置，所述装置包括：

-图像采集单元；以及

-处理单元。

所述图像采集单元被配置为采集在所述对象的第一横向位置处的第一图像数据以及在所述对象的第二横向位置处的第二图像数据。所述图像采集单元还被配置为采集在所述第一横向位置处的第三图像数据以及在所述第二横向位置处的第四图像数据，其中，所述第三图像数据是在与针对所述第一图像数据的向下范围距离不同的向下范围距离处采集的，并且所述第四图像数据是在与针对所述第二图像数据的向下范围距离不同的向下范围距离处采集的。所述处理单元被配置为生成针对所述第一横向位置的第一工作图像数据，所述生成包括通过焦点堆叠算法来处理所述第一图像数据和所述第三图像数据，并且所述处理单元被配置为生成针对所述第二横向位置的第二工作图像数据，所述生成包括通过所述焦点堆叠算法来处理所述第二图像数据和所述第四图像数据以生成针对所述第二横向位置的第二工作图像数据。所述处理单元被配置为在图像数据的采集期间对所述第一工作图像数据与所述第二工作图像数据进行组合以生成所述对象的具有增强景深的所述合成2D图像。

向下范围距离意指向下范围的距离，或者换言之，在距所述装置或所述装置的特定部分的一定距离处的距离。因此，在不同的向下范围距离处的对象或对象的部分在距所述装置的不同距离处、即一个对象或对象的部分更远离另一对象或所述对象的另一部分。

能够在以下网页中找到关于焦点堆叠的论述：https://en.wikipedia.org/wiki/Focus_stacking。

以这种方式，能够“即时”采集具有增强景深的2D图像。换言之，能够在流模式中采集具有增强景深的2D图像。整个系列的完整图像文件不需要被捕获和存储，并且在全部已经被采集之后进行后处理，而不是在采集图像数据时生成增强图像。

换言之，取所述向下范围距离以在z方向上延伸，在x方向和y方向上延伸的2D图像能够具有在不同x、y位置处的焦点中的特征，其中，那些特征在大于特定x、y位置处的所述图像采集单元的焦深的向下范围距离z的范围上的焦点中。并且，即时生成具有增强景深的该2D图像。在该特定坐标系中，z被用于表示向下范围距离，其中x和y然后与垂直于其的坐标有关。这并不意指所述装置限于垂直地成像；相反，“z”在此能够适于垂直轴、水平轴或其他轴。换言之，“z”被用于表示向下范围方向，以便帮助解释所述装置的范例的配置和操作。

以这种方式，影像能够被即时地采集，而不必在生成具有增强视场的图像时保存中间图像。此外，当所述装置的检测器的投影例如横向地或者在平行于向下范围轴的方向上、或者甚至在横向与平行之间的方向上(诸如倾斜地)扫掠过所述对象时，能够获得具有增强视场的图像。换言之，能够在单次通过中并且在不要求大的图像缓存器的情况下获得具有增强景深的图像。

在范例中，所述图像采集单元包括检测器，所述检测器被配置为采集所述对象的斜区段的图像数据。

以这种方式，通过采集斜区段的图像数据，横向扫描(在范例中，所述横向扫描方向在水平方向上)还在所述向下范围距离方向上(例如，在所述z方向上，其也能够是在垂直方向上)采集数据。当所述第二区段在垂直于所述图像采集单元的光轴的方向上与所述第一区段水平地或横向地被位移时，能够提供所述横向扫描。例如，成像透镜在横向方向上被移动以使所述区段横向地位移，和/或所述对象相对于所述图像采集单元的成像和采集部分在横向方向上被移动，以使所述区段横向地位移。换言之，所述图像采集单元利用同时在不同的向下范围距离处并且在不同的横向位置处采集数据的传感器跨所述对象进行扫描。在范例中，所述装置能够在例如采集具有增强景深的苍蝇的影像的实验室环境中，并且所述苍蝇在相对于所述图像采集单元横向地移动所述苍蝇的平移台上。在范例中，所述装置被安装在自身正在移动的***上。例如，所述装置被安装在正在对城市景观进行成像的无人机(UAV)上，其中，所述UAV的移动使得能够采集在不同横向位置处的图像。由于采集斜区段的传感器，所述传感器现在能够在与针对先前采集的相同横向位置处但是现在在不同的向下范围距离处采集数据。在范例中，所述装置能够形成工业视觉检查***(例如，针对半导体电子器件)的部分。在另一范例中，所述装置形成在三脚架上被旋转并且摆动通过一角度(例如，360度)的全景相机的部分。所述全景相机然后生成具有增强景深的环境的360度视图，因为所述传感器采集具有在不同的向下范围在相同横向位置处采集的数据的斜区段，使得所述图像能够即时被生成，其包含在每个横向位置处的最好图像数据。以这种方式，能够对在相同的横向位置处但是在不同的向下范围距离处的所述图像数据进行比较，以确定哪个图像数据包含处在最好焦点中的特征(所述特征在所述对象中的某一向下范围距离处——在此，所述对象能够是所述城市景观的360度视图，并且特征能够是例如在该360度视图内的教堂前面的壁画)。然后，具有在所述横向位置处的最好焦点的所述图像数据能够被用于利用增强景深填充显影图像。在范例中，当所述传感器横向地被扫描时，所述传感器的不同区域能够被激活，使得所述传感器的区域采集所述第一图像数据，并且所述传感器的不同区域采集所述第三图像数据。因此，如所论述的“横向地”不隐含数学直线或轴，而是能够是曲线(如在360度全景扫掠中)或者实际上能够是直线。

在范例中，所述检测器是包括至少两个活跃区域的2D检测器。在范例中，每个活跃区域被配置为时间延迟积分(TDI)传感器。通过提供TDI检测器，能够增大信噪比。

在范例中，所述图像采集单元被配置为采集所述对象的第一区段的图像数据以采集所述第一图像数据和所述第二图像数据，并且其中，所述图像采集单元被配置为采集所述对象的第二区段的图像数据以采集所述第三图像数据和所述第四图像数据。

换言之，所述图像采集单元能够在向下范围方向上扫描通过所述对象，或者横向地扫描通过所述对象。以这种方式，能够通过采集在所述对象的不同的向下范围距离处的图像数据而“即时”采集具有增强景深的2D图像，其中所述对象的横向部分是通过检测器的相同部分或者通过所述检测器的不同部分来成像的。

在范例中，所述图像采集单元被配置为：采集在所述对象的第一横向位置处并且在第一向下范围距离处的所述第一图像数据，并且同时地采集在所述对象的第二横向位置处并且在第二向下范围距离处的所述第二图像，其中，所述第一向下范围距离与所述第二向下范围距离不同；并且其中，所述图像采集单元被配置为：采集在所述第一横向位置处并且在第三向下范围距离处的所述第三图像数据，并且同时地采集在所述第二横向位置处并且在第四向下范围距离处的所述第四图像数据，其中，所述第三向下范围距离与所述第四向下范围距离不同。

换言之，所述图像采集单元同时地采集在不同的横向位置处并且在不同的向下范围距离处的数据，然后，能够对在相同的横向位置处但是在不同的向下范围距离处的数据进行比较，以确定要被用作用于生成具有增强景深的2D图像的工作图像的该横向位置处(即，在焦点中最好的)的特征的最好图像数据。以这种方式，在所述检测器在横向方向上相对于所述对象的单次扫描中，也在所述向下范围距离方向上采集图像数据，并且这能够高效地被用于确定具有增强景深的2D图像，而不必保存所有所述图像数据以及后处理。换言之，能够高效地进行具有增强景深的2D图像的即时生成。

在范例中，所述图像采集单元在所述第一横向位置处和在所述第二横向位置处具有焦深，所述焦深中的任一个都不大于在采集所述第一图像数据的向下范围距离与采集所述第二图像数据的向下范围距离之间的向下范围距离中的距离。

以这种方式，能够最优地跨大于所述图像采集单元的固有焦深的所述对象的向下范围距离而高效地采集在不同的向下范围距离处的图像数据，但是其中，在特定横向位置处的图像数据能够被处理，以便提供在焦点中、但是在大于所述图像采集单元的焦深的向下范围距离的范围处的那些横向位置处的图像数据。以这种方式，在不同的向下范围距离处的不同特征能够跨具有增强景深的2D图像全部处在焦点中，并且该增强图像能够被即时地采集而不必保存确定所述最佳图像数据所采集的所有图像数据。

在范例中，所述对象处在相对于图像采集单元的光轴的第一位置处以采集所述第一图像数据和所述第二图像数据，并且所述对象处在相对于所述光轴的第二位置处以采集所述第三图像数据和所述第四图像数据。

在范例中，所述图像数据包括多种颜色，并且其中，所述处理单元被配置为基于包括所述多种颜色中的一种或多种颜色的图像数据，通过所述焦点堆叠算法来处理图像数据。

在第二方面中，提供了一种用于生成对象的具有增强景深的合成2D图像的方法，包括：

a)利用图像采集单元采集在所述对象的第一横向位置处的第一图像数据，并且利用所述图像采集单元采集在所述对象的第二横向位置处的第二图像数据；

b)利用所述图像采集单元采集在所述第一横向位置处的第三图像数据，并且利用所述图像采集单元采集在所述第二横向位置处的第四图像数据，其中，所述第三图像数据是在与针对所述第一图像数据的向下范围距离不同的向下范围距离处采集的，并且所述第四图像数据是在与针对所述第二图像数据的向下范围距离不同的向下范围距离处采集的；

e)生成针对所述第一横向位置的第一工作图像数据，所述生成包括通过焦点堆叠算法来处理所述第一图像数据和所述第三图像数据；并且

f)生成针对所述第二横向位置的第二工作图像数据，所述生成包括通过所述焦点堆叠算法来处理所述第二图像数据和所述第四图像数据；并且

l)在图像数据的采集期间对所述第一工作图像数据与所述第二工作图像数据进行组合，以生成所述对象的具有增强景深的所述合成2D图像。

在范例中，步骤a)包括采集在所述对象的所述第一横向位置处并且在第一向下范围距离处的所述第一图像数据，并且同时地采集在所述对象的所述第二横向位置处并且在第二向下范围距离处的所述第二图像，其中，所述第一向下范围距离与所述第二向下范围距离不同；并且其中，步骤b)包括采集在所述第一横向位置处并且在第三向下范围距离处的所述第三图像数据，并且同时地采集在所述第二横向位置处并且在第四向下范围距离处的所述第四图像数据，其中，所述第三向下范围距离与所述第四向下范围距离不同。

在范例中，所述方法包括：

c)计算针对所述第一图像数据的第一能量数据，并且计算针对所述第三图像数据的第三能量数据；并且

d)计算针对所述第二图像数据的第二能量数据，并且计算针对所述第四图像数据的第四能量数据；并且

其中，步骤e)包括选择所述第一图像数据或所述第三图像数据作为所述第一工作图像，所述选择包括所述第一能量数据和所述第三能量数据的函数；并且

其中，步骤f)包括选择所述第二图像数据或所述第四图像数据作为所述第二工作图像，所述选择包括所述第二能量数据和所述第四能量数据的函数；并且

其中，图像数据中的频率信息表示能量数据。

以这种方式，能够高效地生成所述增强图像，使得在特定横向位置处，其具有在该位置处的最好焦点中的特征。换言之，跨所述图像，而不管向下范围距离，选择在最好焦点中的特征，作为针对图像数据的能量数据的函数，并且这能够在流模式中即时地完成。

在范例中，所述方法包括：

g)如果所述第一图像数据被选择作为所述第一工作图像，则生成第一工作能量数据作为所述第一能量数据，或者如果所述第三图像数据被选择作为所述第一工作图像，则生成所述第一工作能量数据作为所述第三能量数据；并且

h)如果所述第二图像数据被选择作为所述第二工作图像，则生成第二工作能量数据作为所述第二能量数据，或者如果所述第四图像数据被选择作为所述第二工作图像，所述第二工作图像是所述第四图像数据，则生成所述第二工作能量数据作为所述第四能量数据。

以这种方式，仅位于已经由检测器扫掠(或扫描)的区域后方的已经生成的具有增强景深的2D图像(所述工作图像)需要被保存，并且与能够被更新的2D增强图像的像素相关联的工作能量数据文件也需要被保存。因此，数据的存储装置被最小化，并且具有增强景深的所述2D图像还能够基于现在所采集的能量数据与所存储的能量数据的比较来更新以更新所述增强图像。

在范例中，所述方法还包括：

i)采集在所述第一横向位置处的第五图像数据，并且采集在所述第二横向位置处的第六图像数据，其中，所述第五图像数据是在与针对所述第一图像数据和所述第三图像数据的向下范围距离不同的向下范围距离处采集的，并且所述第六图像数据是在与针对所述第二图像数据和所述第四图像数据的向下范围距离不同的向下范围距离处采集的；并且

j)生成针对所述第一横向位置的新的第一工作图像数据，所述生成包括通过所述焦点堆叠算法来处理所述第五图像数据和所述第一工作图像数据，其中，所述新的第一工作图像数据变为所述第一工作图像数据；并且

k)生成针对所述第二横向位置的新的第二工作图像数据，所述生成包括通过所述焦点堆叠算法来处理所述第六图像数据和所述第二工作图像数据，其中，所述新的第二工作图像数据变为所述第二工作图像数据。

换言之，针对横向位置的所述工作图像数据能够基于在该横向位置处所采集的新的图像数据来更新，以提供在该横向位置处的最好图像而不必保存所有先前的图像数据，并且这能够在采集所述数据时实现。一旦检测器的投影(区段)已经完全扫掠经过特定横向位置，那么所述图像数据将由在该横向位置处所采集的最好图像数据形成，并且这将在不必保存每个个体图像数据的情况下即时地确定，针对该横向位置仅需要保存所述工作图像数据。

根据另一方面，提供了一种控制如先前所描述的装置的计算机程序单元，其在所述计算机程序单元中由处理单元运行时适于执行如先前所描述的方法的步骤。

根据另一方面，提供了一种存储有如先前所描述的计算机单元的计算机可读介质。

有利地，由以上方面和范例中的任一个所提供的益处同样适用于所有其他方面和范例，并且反之亦然。

以上方面和范例将根据在下文中所描述的实施例而显而易见并得以阐述。

附图说明

参考以下附图将在下文中描述示范性实施例：

图1示出了用于生成对象的具有增强景深的合成2D图像的装置的范例的示意性设置；

图2示出了用于生成对象的具有增强景深的合成2D图像的方法；

图3示出了对象中的焦点变化的范例图像；

图4示出了对象中的焦点变化的范例图像；

图5示意性示出了焦点堆叠的范例，其中超过一幅图像被组合为单幅图像；

图6示意性示出了成像***；

图7示意性示出了在生成具有增强景深的合成2D图像中的图像采集单元的范例；

图8示意性示出了对象的截面，其中在两个向下范围位置处示出了2D检测器阵列的投影；

图9示意性示出了对象的截面，其中在两个水平(横向)位置处示出了2D检测器阵列的投影；

图10示意性示出了对象内的2D检测器阵列的投影；

图11示意性示出了对象的截面，其中示出了2D检测器阵列的投影；

图12示意性示出了范例2D检测器阵列；

图13示意性示出了过采样的范例；

图14示意性示出了许多成像区域或层；并且

图15示出了用于焦点堆叠的范例工作流。

具体实施方式

图1示出了用于生成对象的具有增强景深的合成2D图像的装置10。装置10包括：图像采集单元20和处理单元30。图像采集单元20被配置为采集在所述对象的第一横向位置处的第一图像数据以及在所述对象的第二横向位置处的第二图像数据。图像采集单元20还被配置为采集在第一横向位置处的第三图像数据以及在第二横向位置处的第四图像数据。所述第三图像数据是在与针对所述第一图像数据的向下范围距离不同的向下范围距离处采集的，并且所述第四图像数据是在与针对所述第二图像数据的向下范围距离不同的向下范围距离处采集的。处理单元30被配置为生成针对所述第一横向位置的第一工作图像数据，所述生成包括通过焦点堆叠算法来处理所述第一图像数据和所述第三图像数据。处理单元30还被配置为生成针对所述第二横向位置的第二工作图像数据，所述生成包括通过焦点堆叠算法来处理所述第二图像数据和所述第四图像数据以生成针对所述第二横向位置的第二工作图像数据。处理单元30被配置为在图像数据的采集期间对所述第一工作图像数据与所述第二工作图像数据进行组合以生成所述对象的具有增强景深的合成2D图像。

在范例中，所述图像采集单元是相机。在范例中，所述装置是相机。换言之，相机能够是自含式单元，其正在生成具有增强视场的图像。或者，相机能够采集影像，所述影像被传递到外部处理单元，所述外部处理单元然后生成具有增强视场的图像。

在此，方向“向下范围”平行于图像采集单元的光轴。换言之，向下范围方向在图像采集单元正在成像的方向上。换言之，如果对象被直接移动远离图像采集单元距离H，使得其中心在所述图像采集单元的视场内不横向地移动，那么所述对象已经移动向下范围距离H。所述横向方向然后垂直于向下范围方向。

将注意到，“向下范围距离”未隐含特定距离标度。例如，所述装置能够被用于生成蜜蜂或苍蝇的具有增强景深的合成图像，其中，向下范围距离和/或向下范围距离中的差能够具有大约几毫米、几毫米或几厘米的部分。同样地，所述装置能够被用于生成花的具有增强景深的合成图像或卧室的图像，其中，向下范围距离和/或向下范围距离中的差能够具有大约几微米、几毫米、几厘米和几米。同样地，所述装置能够被用于生成具有城市景观或山水田园的增强视场的合成图像。例如，所述装置能够被安装在指向下的飞机或UAV上，并且生成城市的具有增强景深的合成图像，其中，高楼大厦的屋顶以及地平面处的对象在焦点中。在这样的范例中，向下范围距离和/或向下范围距离的差能够具有大约几厘米、几米以及几十到几百米。在范例中，所述装置能够被安装在潜水器rov上，其中，海底的影像例如正被成像。在另一范例中，所述装置能够被安装在例如进入地球外的月球轨道的卫星，并且当其飞过时对地面进行成像。在这样的范例中，向下范围距离和/或向下范围距离中的差能够具有大约几厘米、几米、几百米到几千米。在范例中，所述向下范围距离在基本上平行于所述图像采集单元的光轴的方向上。

在范例中，所述图像采集单元在第一横向位置处具有不大于在采集所述第一图像数据的向下范围距离与采集所述第三图像数据的向下范围距离之间的范围中的距离的焦深。

在范例中，从所述第一横向位置到所述第二横向位置的移动基本上平行于所述装置的扫描方向。在此，由于所述装置的移动和/或所述对象的移动和/或所述装置的部分的移动，扫描方向能够意指所述装置相对于所述对象的移动。换言之，检测器的投影例如能够由于所述对象的横向移动而横向地扫掠，所述对象例如可以是平移台上的蜜蜂或苍蝇，其中所述平移台在x、y并且还在z方向上是能移动的。或者，这可以是由于所述装置的移动，例如，所述装置能够在UAV上，其中所述装置在垂直于飞行方向的方向上进行成像(例如，向下范围方向能够垂直地向下)，并且所述检测器的投影能够由于UAV的前向运动而扫掠。或者，这可以是图像采集单元内的一个或多个透镜的移动连同检测器的适当移动，如果必要的话，则检测器的这样的投影在透镜/检测器被移动时横向地扫掠通过对象。

在范例中，所述图像采集单元包括检测器40，检测器40被配置为采集基本上垂直于向下范围方向、即垂直于图像采集单元的光轴的对象的区段的图像数据。

根据范例，所述图像采集单元包括检测器40，检测器40被配置为采集所述对象的斜区段的图像数据。

在范例中，所述传感器的区域是使用从自动聚焦传感器导出的信息来激活的，例如，如在相对于显微镜***的WO 2011/161594 A1中所描述的，但是具有本装置的适用性。换言之，能够通过使得传感器的适当区域能够被激活而在向下范围距离中跟踪特征，以便在适当好的聚焦程度处采集该特征，以在该特征在对象内的向下范围距离中改变时形成具有增强景深的图像的部分。

在范例中，所述第二区段从所述第一区段在向下范围方向(例如，垂直地或在z方向)上并且在横向方向(例如，水平地或在x或y方向)上位移。在范例中，成像透镜在向下范围方向(例如，垂直方向)上被移动，并且在横向方向上被移动以使所述区段位移。在范例中，所述对象在向下范围方向(例如，垂直方向)上被移动，并且在相对于图像采集单元的成像和采集部分的横向方向上被移动以使所述区段位移。在范例中，成像透镜在向下范围方向(例如，垂直方向)上被移动，并且所述对象在相对于图像采集单元的成像和采集部分的横向方向上被移动以使所述区段位移。在范例中，成像透镜在横向方向上被移动并且所述对象在相对于所述图像采集单元的成像和采集部分的向下范围方向(例如，垂直方向)上被移动以使所述区段位移。在范例中，在采集具有增强焦深的图像之前，对象被成像以根据跨所述对象的不同横向(x，y)位置处的向下范围距离来估计一个或多个特征的位置。然后，当所述对象被扫描以生成具有增强焦深的图像时，所述成像透镜能够在不同横向位置处在向下范围方向(例如，垂直地)上被移动，和/或所述对象能够在向下范围方向(例如，在垂直方向上)上被移动，使得所述传感器的相同区域能够被激活，以在其改变对象内的向下范围距离时跟随特征，以便在适当的良好的聚焦程度处采集该特征，从而在该特征在对象内的向下范围距离内改变时形成具有增强景深的图像的部分。

在范例中，所述检测器被倾斜以提供斜区段。在范例中，所述检测器相对于显微镜扫描器的光轴被倾斜。换言之，在正常的“非倾斜的”显微镜配置中，来自对象的辐射被成像到检测器上，使得辐射在基本上垂直于检测器表面的方向上与检测器相互作用。然而，利用被倾斜以提供斜区段的检测器，辐射在非垂直于检测器表面的方向上与检测器相互作用。

在范例中，例如通过使用棱镜以光学方式获得斜区段。

在范例中，所述第一图像数据和所述第三图像数据通过所述检测器的不同部分来采集，并且其中，所述第二图像数据和所述第四图像数据通过所述检测器的不同部分来采集。

根据范例，检测器40是包括至少两个活跃区域的2D检测器。

在范例中，所述活跃区域中的每个活跃区域被配置为时间延迟积分(TDI)传感器。

在范例中，所述检测器是2D CCD检测器，例如，如通常在数字相机中所使用的检测器。换言之，所述装置能够利用标准检测器，但是以不同的方式来使用，其能够包含其被配置为采集对象的斜区段的图像数据、即时获得具有增强景深的图像。

在范例中，所述检测器具有至少四个活跃区域。换言之，当在所述对象处的检测器的投影被横向地移动时，其也可以在向下范围方向(例如，垂直地)上移动，在该情况下，两个活跃区域可以采集第一图像数据、第二图像数据、第三图像数据和第四图像数据。然而，在所述检测器的投影被横向地移动时，其可以保持在相同的向下范围位置(例如，垂直位置)处，在该情况下，四个活跃区域可以采集第一图像数据、第二图像数据、第三图像数据和第四图像数据。

通过提供TDI检测器，能够增大信噪比。

在范例中，所述检测器被配置为提供至少两幅线图像，并且其中，所述第一图像数据由所述线图像中的第一线图像的子集形成，并且所述第二图像数据由所述线图像中的第二线图像的子集形成。

在范例中，活跃区域被配置为在基本上对象内的相同向下范围距离处采集图像数据的线。

换言之，所述2D检测器采集对象的截面，在x、y坐标的范围上采集影像。在许多x坐标处，所述检测器具有在y方向上延伸的许多线传感器。如果所述检测器正在采集斜截面，那么这些线传感器中的每个线传感器还采集在不同z坐标(向下范围距离)处的数据，其中，例如，如果所述区段仅关于一个轴倾斜，则每幅线图像能够采集在相同向下范围距离处的图像数据。如果利用沿着线传感器的长度的影像，则将产生污迹图像，因此，利用线图像的区段。然而，在范例中，沿着线传感器的图像数据被加和，其随后利用带滤波器来滤波——相关详情参见US 4141032 A。

在范例中，利用沿着线区段的所有区段。以这种方式，在每个x、y位置处，可以选择在特定z位置(向下范围距离)处最好聚焦的图像数据，以填充正在被生成的具有增强焦深的流2D增强图像。

在范例中，所述检测器包括三个或更多个活跃区域，每个活跃区域被配置为采集对象中的不同向下范围距离处的图像数据，其中，在一个活跃区域对所述对象的部分进行成像的向下范围距离与在相邻活跃区域对所述对象的部分进行成像的向下范围距离是不同的，其中，向下范围距离中的该差至少等于图像采集单元的焦深。换言之，在所述检测器横向地被扫描时，所述活跃区域中的每个活跃区域扫出哪些特征内的“层”将在焦点中，因为该层具有向下范围距离的范围或者等于图像采集单元的焦深的厚度，并且所述活跃区域采集该层的数据。例如，可以跨所述对象扫出8个层，所述8个层然后在向下范围距离上延伸至少等于所述检测器的焦深的8倍的距离。换言之，在所述检测器开始横向地扫描时，对于其中所述检测器也不在向下范围方向上(例如，垂直地)扫描的简单情况而言，然后在特定横向(例如，x)位置处，由在不同但是相邻向下范围距离处的活跃区域1和活跃区域2所采集的最初的两幅图像(其中所述检测器的区段已经在图像采集之间横向地移动)与形成工作图像的来自1或2的最好图像进行比较。回想一下，正由活跃区域1和活跃区域2成像的向下范围距离分离至少等于图像采集单元的固有焦深的距离，并且因此，不能够同时在焦点中的相同横向位置处的一幅图像中。所述检测器的区段横向地移动，并且现在，在位置x处并且在与针对图像2的相邻但不同的向下范围距离处由活跃区域3采集的图像与工作图像进行比较并且工作图像要么保持原样，要么在图像3在工作图像的更好的焦点中的情况下变为图像3(因此，工作图像现在能够是图像1、图像2或图像3中的任一幅图像)。所述检测器的区段再次横向地移动，并且在位置x处但是再次在不同的相邻向下范围距离处由活跃区域4所采集的图像与所述工作图像进行比较。因此，在由第八活跃区域所采集的图像与所述工作图像进行比较之后，所述工作图像要么变为第八图像数据，要么保持作为工作图像，然后在位置x处，在最好焦点中的图像1-8中的无论哪个形成工作图像，其现在在焦点中。在上文中，所述活跃区域可以分离超过图像采集单元的焦深和/或可以存在许多超过8个活跃区域。以这种方式，特征能够在检测器的一次扫描中被成像，其中，对象中的该特征的向下范围距离改变超过图像采集单元的固有焦深(即，在一个横向位置处的一个时刻处)，并且其中，提供了具有增强焦深的2D图像，而不必保存“层”图像中的每幅“层”图像，而是仅存储工作图像并且将该图像与现在正被采集的图像数据进行比较，使得即时采集增强图像。在范例中，所述装置包括自动聚焦***，由此，所述区段(对象处的检测器的投影)在向下范围(z)方向上(例如，垂直地)以及横向地(例如，水平地)移动，以便例如跟随自身在z方向上变化的对象——例如，所述装置在飞过城市的飞机或UAV中并且生成其中路面水平处以及摩天大楼的顶部上的特征两者在焦点中的影像，但是其中，UAV在等高度海拔高程处飞行，但是其中城市是非常陡的。

在范例中，所述图像采集单元被配置为使得形成斜区段，使得所述区段在横向方向上(例如，在扫描方向上)倾斜。换言之，当检测器的每个线传感器形成一个区段时，其处在不同的x位置处并且处在不同的向下范围距离z处，但是在y坐标的基本上相同范围上延伸。换言之，每个线传感器基本上垂直于扫描的横向方向，并且以这种方式，能够在检测器相对于所述对象的每次扫描中扫出最大体积。

根据范例，所述图像采集单元被配置为采集对象的第一区段的图像数据，以采集所述第一图像数据和所述第二图像数据。所述图像采集单元还被配置为采集所述对象的第二区段的图像数据，以采集所述第三图像数据和所述第四图像数据。

在范例中，所述第二区段在平行于所述图像采集单元的光轴的方向上从所述第一区段在向下范围方向(例如，垂直地)位移。在范例中，成像透镜在向下范围方向(例如，垂直方向)上被移动，以使所述区段在向下范围方向(例如，垂直地)位移。在范例中，所述对象相对于所述图像采集单元的成像和采集部分在向下范围方向(例如，在垂直方向)上被移动，以使所述区段在向下范围方向(例如，垂直地)上位移。例如，所述装置可以是被安装在汽车的前面的相机***的部分，并且在前向方向上成像。所述相机***将具有比以更新的方式例如被呈现在用于司机的头戴式显示器上的增强成像中的景深小得多的固有景深。此外，这样的增强图像可以被提供到汽车中的处理单元，其例如使用图像处理以使得警报能够被提供给司机。

在范例中，所述第二区段在垂直于所述图像采集单元的光轴的方向上从所述第一区段水平地或横向地位移。在范例中，成像透镜在横向方向上被移动以使区段横向地位移。在范例中，所述对象相对于所述图像采集单元的成像和采集部分在横向方向上被移动以使所述区段横向地位移。

根据范例，所述图像采集单元被配置为：采集在所述对象的第一横向位置处并且在第一向下范围距离处的第一图像数据，并且同时地采集在所述对象的第二横向位置处并且在第二向下范围距离处的第二图像。所述第一向下范围距离与所述第二向下范围距离不同。所述图像采集单元还被配置为：采集在所述第一横向位置处并且在第三向下范围距离处的第三图像数据，并且同时地采集在所述第二横向位置处并且在第四向下范围距离处的第四图像数据。所述第三向下范围距离与所述第四向下范围距离不同。

根据范例，所述图像采集单元在所述第一横向位置处和在所述第二横向位置处具有焦深，所述焦深中的任一个都不大于在采集所述第一图像数据的向下范围距离与采集所述第二图像数据的向下范围距离之间的向下范围距离中的距离。

根据范例，所述对象处在相对于所述图像采集单元的光轴的第一位置处以采集所述第一图像数据和所述第二图像数据，并且所述对象处在相对于所述光轴的第二位置处以采集所述第三图像数据和所述第四图像数据。

在范例中，所述对象被配置为在相对于所述光轴(在相对于光轴的范例中)在横向方向上被移动，其中，所述对象处在第一位置处以采集所述第一图像数据和所述第二图像数据，并且所述对象处在第二位置处以采集所述第三图像数据和所述第四图像数据。

根据范例，所述图像数据包括多种颜色，并且其中，所述处理单元被配置为：基于包括多种颜色中的一种或多种颜色的图像数据，通过焦点堆叠算法来处理图像数据。

在范例中，所述多种颜色能够是红色、绿色和蓝色。在范例中，所述处理单元被配置为处理与特定颜色相对应的图像数据——例如，正在被成像的对象可以具有特性颜色并且相对于一种或多种特定颜色处理所述图像能够提供成像优点，如技术人员将理解的，例如改善对比度。以这种方式，能够利用增强景深来采集特定特征。在另一范例中，能够例如使用RGB2Y操作来融合不同的颜色通道。以这种方式，可以增大信噪比。此外，通过应用颜色分离步骤，能够利用不同并且最优化的2D平滑内核。

在范例中，所述第一工作图像数据是所述第一图像数据或所述第三图像数据，并且其中，所述第二工作图像数据是所述第二图像数据或所述第四图像数据。

换言之，特定特征的最好焦点位置被采集并且这被用于填充正被生成的流增强图像。

在范例中，所述处理单元被配置为计算针对所述第一图像数据的第一能量数据，并且计算针对所述第三图像数据的第三能量数据，并且生成所述第一工作图像包括根据所述第一能量数据和所述第三能量数据来选择所述第一图像数据或所述第三图像数据，并且其中，所述处理单元被配置为计算针对所述第二图像数据的第二能量数据，并且计算针对所述第四图像数据的第四能量数据，并且生成所述第二工作图像包括根据所述第二能量数据和所述第四能量数据来选择所述第二图像数据或所述第四图像数据。

在范例中，高通滤波器被用于计算能量数据。在范例中，所述高通滤波器是拉普拉斯滤波器。与这种方式，在每个横向位置处，在特定向下范围距离处的最好焦点中的特征能够被选择并且被用在具有增强景深的2D图像中。

在范例中，在滤波之后，应用平滑操作。以这种方式，能够减少噪声。

在范例中，并非应用拉普拉斯滤波器，所采集的数据被转换到小波域，其中，高频子带能够被用作能量的表示。这能够与iSyntax压缩相组合(参见例如US 6711297B1或者US6553141)。

在范例中，并非选择第一图像数据或第三图像数据，基于所述第一图像数据和所述第三图像数据的能量的分布使用特定的加权来组合所述第一图像数据和所述第三图像数据。

在范例中，所述处理单元被配置为：如果所述第一图像数据被选择作为所述第一工作图像，则生成第一工作能量数据作为所述第一能量数据，或者如果所述第三图像数据被选择作为所述第一工作图像，则生成所述第一工作能量数据作为所述第三能量数据，并且其中，所述处理单元被配置为：如果所述第二图像数据被选择作为第二工作图像，则生成第二工作能量数据作为所述第二能量数据，或者如果所述第四图像数据被选择作为所述第二工作图像，所述第二工作图像是所述第四图像数据，则生成所述第二工作能量数据作为所述第四能量数据。

在范例中，所述图像采集单元被配置为采集在第一横向位置处的第五图像数据以及在第二横向位置处的第六图像数据，其中，所述第五图像数据是在与针对所述第一图像数据和所述第三图像数据的向下范围距离不同的向下范围距离处采集的，并且所述第六图像数据是在与针对所述第二图像数据和所述第四图像数据的向下范围距离不同的向下范围距离处采集的；并且其中，所述处理单元被配置为生成针对所述第一横向位置的新的第一工作图像数据，所述生成包括通过焦点堆叠算法来处理所述第五图像数据和所述第一工作图像数据，其中，所述新的第一工作图像数据变为所述第一工作图像数据；并且所述处理单元被配置为生成针对所述第二横向位置的新的第二工作图像数据，所述生成包括通过所述焦点堆叠算法来处理所述第六图像数据和所述第二工作图像数据，其中，所述新的第二工作图像数据变为所述第二工作图像数据。

在范例中，所述处理单元被配置为计算针对所述第五图像数据的第五能量数据，并且计算针对所述第六图像数据的第六能量数据；并且其中，所述处理单元被配置为：如果所述第一工作图像被选择作为第五工作图像，则生成新的第一工作能量数据作为第五能量数据，或者如果所述第一工作图像被选择作为现有的第一工作图像，则生成新的第一工作能量数据作为现有的第一能量数据；并且其中，所述处理单元被配置为：如果所述第二工作图像被选择作为第六工作图像，则生成新第二工作能量数据作为第六能量数据，或者如果所述第二工作图像被选择作为现有的第二工作图像，则生成新的第二工作能量数据作为现有的第二工作能量数据。

在范例中，确定在特定横向位置处(即，在x坐标处)的能量的加和的量度。以这种方式，所述对象内的深度范围能够被确定，因为这与每幅图像中的能量有关(例如，与每层中的能量有关)。

图2示出了用于在其基本步骤中生成对象的具有增强景深的合成2D图像的方法100。所述方法包括以下步骤：

在采集步骤110中，也被称为步骤a)，图像采集单元20被用于采集在所述对象的第一横向位置处的第一图像数据，并且被用于采集在所述对象的第二横向位置处的第二图像数据。

在采集步骤120中，也被称为步骤b)，所述图像采集单元被用于采集在第一横向位置处的第三图像数据，并且被用于采集在第二横向位置处的第四图像数据，其中，所述第三图像数据是在与针对所述第一图像数据的向下范围距离不同的向下范围距离处采集的，并且所述第四图像数据是在与针对所述第二图像数据的向下范围距离不同的向下范围距离处采集的。

在生成步骤130中，也被称为e)，第一工作图像数据是针对所述第一横向位置而生成的，所述生成包括通过焦点堆叠算法来处理所述第一图像数据和所述第三图像数据。

在生成步骤140中，也被称为f)，第二工作图像数据是针对所述第二横向位置而生成的，所述生成包括通过所述焦点堆叠算法来处理所述第二图像数据和所述第四图像数据。

在组合步骤150中，也被称为步骤l)，在图像数据的采集期间对所述第一工作图像数据与所述第二工作图像数据进行组合，以生成所述对象的具有增强景深的合成2D图像。

在范例中，所述图像采集单元被配置为采集所述对象的第一区段的图像数据以采集所述第一图像数据和所述第二图像数据，并且其中，所述图像采集单元被配置为采集所述对象的第二区段的图像数据以采集所述第三图像数据和所述第四图像数据。

在范例中，所述图像采集单元包括检测器，所述检测器被配置为采集所述对象的斜区段的图像数据。

在范例中，所述检测器是包括至少两个活跃区域的2D检测器。在范例中，每个检测器被配置为时间延迟积分(TDI)传感器。

根据范例，步骤a)包括：采集在所述对象的所述第一横向位置处并且在第一向下范围距离处的第一图像数据，并且同时地采集在所述对象的所述第二横向位置处并且在第二向下范围距离处的第二图像，其中，所述第一向下范围距离与所述第二向下范围距离不同；并且其中，步骤b)包括：采集在所述第一横向位置处并且在第三向下范围距离处的第三图像数据，并且同时地采集在所述第二横向位置处并且在第四向下范围距离处的第四图像数据，其中，所述第三向下范围距离与所述第四向下范围距离不同。

在范例中，所述对象处在相对于所述图像采集单元的光轴的第一位置处以采集所述第一图像数据和所述第二图像数据，并且所述对象处在相对于所述光轴的第二位置处以采集所述第三图像数据和所述第四图像数据。

在范例中，所述对象被配置为在相对于所述光轴的横向方向上被移动，其中，所述对象处在第一位置处以采集所述第一图像数据和所述第二图像数据，并且所述对象处在第二位置处以采集所述第三图像数据和所述第四图像数据。

在范例中，所述图像数据包括多种颜色，并且其中，所述处理单元被配置为：基于包括所述多种颜色中的一种或多种颜色的图像数据，通过所述焦点堆叠算法来处理图像数据。

在范例中，所述第一工作图像数据是所述第一图像数据或所述第三图像数据，并且其中，所述第二工作图像数据是所述第二图像数据或所述第四图像数据。

根据范例，所述方法包括：

在计算步骤160中，也被称为步骤c)，计算针对所述第一图像数据的第一能量数据，并且计算针对所述第三图像数据的第三能量数据。

在计算步骤170中，也被称为步骤d)，计算针对所述第二图像数据的第二能量数据，并且计算针对所述第四图像数据的第四能量数据；并且

其中，步骤e)包括选择所述第一图像数据或所述第三图像数据作为所述第一工作图像，所述选择包括所述第一能量数据和所述第三能量数据的函数；并且其中，步骤f)包括选择所述第二图像数据或所述第四图像数据作为所述第二工作图像，所述选择包括所述第二能量数据和所述第四能量数据的函数。回想一下，该选择能够在局部(像素或数个像素)水平处而不是对于像素的完整行而言，换言之，在与像素行的部分有关的水平处。

根据范例，所述方法包括：

在生成步骤中，也被称为步骤g)，如果所述第一图像数据被选择作为所述第一工作图像，则生成180第一工作能量数据作为所述第一能量数据，或者如果所述第三图像数据被选择作为所述第一工作图像，则生成190所述第一工作能量数据作为所述第三能量数据；并且

在生成步骤中，也被称为步骤h)，如果所述第二图像数据被选择作为所述第二工作图像，则生成200第二工作能量数据作为所述第二能量数据，或者如果所述第四图像数据被选择作为所述第二工作图像，所述第二工作图像是第四图像数据，则生成210所述第二工作能量数据作为所述第四能量数据。

回想一下，所述检测器可以采集线图像数据，使得第一图像是该线图像数据的子集等，其中选择能够在局部(像素)水平处进行，使得图像能够被组合以创建具有来自输入图像中的每幅输入图像的焦点中的特征的新的工作图像。

根据范例，所述方法包括：

在采集步骤中，也被称为步骤i)，采集220在所述第一横向位置处的第五图像数据，并且采集230在所述第二横向位置处的第六图像数据，其中，所述第五图像数据是在与针对所述第一图像数据和所述第三图像数据的向下范围距离不同的向下范围距离处采集的，并且所述第六图像数据是在与针对所述第二图像数据和所述第四图像数据的向下范围距离不同的向下范围距离处采集的。

在生成步骤240中，也被称为步骤j)，针对所述第一横向位置生成新的第一工作图像数据，所述生成包括通过所述焦点堆叠算法来处理所述第五图像数据和所述第一工作图像数据，其中，所述新的第一工作图像数据变为所述第一工作图像数据。

在生成步骤250中，也被称为步骤k)，针对所述第二横向位置生成新的第二工作图像数据，所述生成包括通过所述焦点堆叠算法来处理所述第六图像数据和所述第二工作图像数据，其中，所述新的第二工作图像数据变为所述第二工作图像数据。

现在将参考图3-15更详细地描述用于生成对象的具有增强景深的合成2D图像的装置和方法。

图3和图4帮助示出了由用于生成对象的具有增强景深的合成2D图像的装置和方法所解决的问题。在图3中，对象是森林场景，其中在视场中具有三棵树。左侧的树靠近所述成像***，右侧的树远离所述成像***，并且中央的树在两者之间的一距离处。所述成像***具有在其内对象能够处在焦点中的景深，然而，所有三棵树在大于所述成像***的焦深的向下范围上延伸。因此，利用焦点中的中央的树，任一侧的树在焦点外。在图4中示出了类似情况。在此，所述对象是苍蝇。所述成像***具有在小于在向下范围方向上苍蝇的深度的向下范围上延伸的景深。因此，当苍蝇的前部在焦点中时，比苍蝇的前部更远离成像***的苍蝇的后部在焦点外。在图4中示出了这种情况。

图5示意性示出了焦点堆叠技术的范例。成像***被用于采集苍蝇的图像，其具有大于所述成像***的焦深的深度。许多数字图像是在不同的焦点位置处采集的，使得苍蝇的不同部分在不同图像中在焦点中。在一幅图像中，苍蝇的前部在焦点中，而苍蝇的后部在焦点外。在另一图像中，苍蝇的前部在焦点外，而苍蝇的后部在焦点中。换言之，采集图像的3D堆栈，其中每幅图像是在特定焦深处的2D图像。在采集所述图像之后，能够对其进行比较以确定苍蝇的哪些部分在哪个图像中在焦点中。然后，由来自不同的图像的苍蝇的焦点内部分生成合成图像。然而，在不同焦深处的所有图像必须被存储，其要求非常大的图像缓存器，并且仅在所有所述图像已经被采集之后确定增强图像，并且每幅图像仅与一个深度有关。

图6示出了对诸如树的对象进行成像的成像***。树的图像被投影到所述成像***的检测器上。然而，所述成像***具有小于树的深度的景深。因此，树的深度中的任何特定区域能够在检测器上在焦点中成像，那么所述树的在该景深前面和后面的区域在焦点外。在此，人们能够想象冬天的树，其中在所述树的前面和后面的树枝对于位于前面的观察者可见。

用于生成对象的具有增强景深的合成2D图像的装置和方法通过提供能够被应用以在数据正在被采集时将图像数据转换为具有增强景深的人工(合成)2D图像的流焦点堆叠技术来解决以上问题。这是“即时”完成的，而不必保存中间图像文件，减轻了对于非常大的图像缓存器的需要。在范例中，同时从多个向下范围位置来采集图像数据。在此，出于解释的目的，向下范围被认为是在z方向或深度方向上延伸，但是可以在任何方向上(水平或垂直或者在其之间)延伸。参考图7-15特别地论述用于生成对象的具有增强景深的合成2D图像的装置和方法。

图7示意性示出了被用于生成对象4的具有增强景深的合成2-D图像的图像采集单元的范例。所述对象具有在许多向下范围距离上延伸的特征，其中一些特征在比其他特征更大的向下范围距离处。换言之，对象4的一些部分或特征比其他部分或特征更靠近所述图像采集单元。该图像采集单元被布置用于对所述对象4进行成像。对象4可以是静态场景，其中，所述图像采集单元相对于所述场景(诸如由被安装在UAV上的装置成像的城市环境)移动，或者所述对象能够是诸如被定位在平移台上的苍蝇的对象，所述平移台能够相对于可以在教学环境中提供的图像采集单元横向地对所述台进行平移。沿着成像路径P，并且从对象4开始，所述图像采集单元包括：第一成像透镜22，其通常由多个透镜22a、b和c制成；孔径21，其用于阻挡辐射。所述图像采集单元还包括第二成像透镜23以及以2-D检测器阵列40的形式的传感器。所述检测器相对于所述第一成像透镜的光轴O被倾斜，并且这形成所述对象中的检测器的斜投影(区段)。这样的斜区段还可以以光学方式形成，通过例如使用棱镜而不是使检测器向光轴倾斜。在另一范例中，针对其中显微镜物镜的光轴O平行于检测器表面的法线的情况，实现了被配置为采集生物样本的斜区段的图像数据的所述检测器。相反，样本台自身相对于光轴O被倾斜，并且所述样本平行于样本的倾斜角度来扫描。在范例中，所述图像采集单元形成用于生成具有增强景深的合成图像的装置10的部分。装置10包括控制模块25，控制模块25能够是处理器30的部分，控制所述装置的操作过程以及用于对所述对象进行成像的扫描过程，例如对平移台进行移动并且采集和处理来自检测器的影像。撞击对象4的光被散射并且由成像透镜22采集，并且由透镜23成像到2-D检测器阵列40上。将注意到，相对于光轴“倾斜”意指撞击在检测器上的来自对象的辐射未垂直地撞击(如所论述的，这能够通过传感器自身的倾斜来实现，或者任选地针对非倾斜传感器)。

图8用于帮助解释用于生成对象的具有增强景深的合成图像的装置和方法的一个范例。图8示意性示出了跨视场横向地延伸的对象4。所述对象在比跨对象中的检测器的投影(区段5——被示为在不同时间处采集的两个区段5a和5b)的位置处的装置的焦深更大的距离上跨视场在向下范围距离中变化。在横向位置x1处，对象4具有待成像的特征A。在横向位置x2处，对象4具有待成像的特征B。特征A和特征B可以是相同类型的材料，使得其反射相似波长带上的辐射或者可以在其不同地反射的波长带中不同。装置10可以利用透射通过对象的光和/或从对象反射的光来操作，如由技术人员将意识到的。装置10被配置为使得采集所述对象的区段5a的图像数据。换言之，所述装置的检测器的投影被定位在图8中所示的位置(a)处。所述装置具有焦深，使得区段5a的任一侧的小距离内的特征在焦点中。因此，在所采集的区段5a的第一图像中，组织层4在位置x1处在焦点外，其中离焦特征被称为A’。然而，在所采集的区段5a的第一图像中，组织层4在位置x2处在焦点中，其中聚焦特征被称为B。所采集的图像变为工作图像。成像透镜22然后被移动，使得要求在其上的数据的区段5已经移动到对象中的新的向下范围位置5b。并非移动成像透镜22，对象自身可以在向下范围方向上(平行于如在图7中所示的光轴O或者在向下范围方向上移动的装置)移动。在该第二图像中，在位置x1处，特征A现在处在焦点中，而特征B在焦点B'之外。未示出的处理单元然后更新所述工作图像，使得在位置x1处的图像数据从在第一图像中所采集的那个改变到在第二图像中所采集的那个(A'变为A)，而在位置x2处的图像数据未改变。这能够在沿着检测器的许多位置处并且针对通过对象的许多向下范围位置被执行。然后在所有横向位置(x)处利用该横向位置处的大部分在焦点中的特征连续地即时更新所述工作图像。仅所述工作图像需要被保存并且与刚刚已经被采集的图像进行比较，并且所有先前采集的图像不需要被保存。以这种方式，所述工作图像包含在焦点中但是还在大于所述装置的固有焦深的深度处的特征。已经在向下范围方向上前进通过所述对象，整个对象自身能够被横向地平移，并且针对尚未被成像的所述对象的部分而重复所述操作。因此，在扫描对象的同时创建了具有增强焦深的即时图像，而使得能够节省大量数据。在图8中所示的范例中，在对象处的检测器的投影(区段5)被示为垂直于光轴O，然而，明显的是，如果对象中的检测器的投影使得区段5是斜的，即不垂直于光轴O，则用于生成具有增强景深的图像的该所描述的流技术能够操作。

图9用于帮助解释用于生成对象的具有增强景深的合成图像的装置和方法的另一范例。图9示意性示出了对象4，如在图8中所示的。再次地，所述对象在比跨对象中的检测器的投影(区段5——被示为在不同时间处采集的两个区段5a和5b)的位置处的装置的焦深更大的距离上跨视场在向下范围距离中变化。在横向位置x1处，对象4具有待成像的特征A。现在，所述装置包括检测器，所述检测器被配置为采集对象的斜区段(5a、5b)的图像数据。如上文所论述的，这能够通过对检测器的倾斜或者以光学方式实现。在所采集的区段5a的第一图像(a)中，组织层4在位置x1处在焦点中，其中这被称为特征A。然而，在区段5a的第一图像中，组织层4在位置x2处在焦点外，其中这被称为特征B’。至于相对于图8所描述的范例，所采集的图像变为工作图像。所述装置然后被配置为移动检测器的投影(区段5)，使得斜区段5a横向地移动并且被示为斜区段5b。平移台横向地移动以便在对象内的不同横向位置处采集斜区段的图像数据。然而，透镜和/或检测器的移动可以影响斜区段的该移动，如由技术人员将理解的。在被称为(b)的新位置处，所述检测器再次采集在位置x1处和在位置x2处的数据，然而，检测器的不同部分现在针对其中斜区段已经仅横向地移动的情况来采集该数据。在第二图像中，在位置x1处，组织层4现在在焦点外，其中所采集的图像被称为A’，而在位置x2处的组织层4在焦点中，其中这被称为特征B。未示出的处理单元然后更新所述工作图像，使得在位置x1处的图像数据保持不变，而在位置x2处的图像数据被改变到在第二图像中所采集的那个(B'变为B)。这能够在沿着检测器的许多位置处执行，每个位置等于通过所述对象的不同的向下范围位置。当斜区段5横向地扫描通过对象时，然后在所有横向位置(x)处利用该横向位置处的大部分在焦点的特征连续地即时更新所述工作图像。仅所述工作图像需要被保存并且与已经刚刚被采集的图像进行比较，并且所有先前采集的图像不需要被保存。以这种方式，所述工作图像包含在焦点中但是还在大于所述装置的固有焦深的深度处的特征。已经横向地前进通过所述对象，整个对象自身能够垂直于先前的扫描方向横向地平移，并且针对尚未被成像对象的部分而重复所述操作。换言之，在扫描所述对象的同时创建具有增强焦深的即时图像，其使得能够保存大量的数据。在图9中，斜区段5被示为仅在x方向上横向地移动，然而，以及移动平移台，使得斜区段横向地移动，成像透镜22能够在光轴的方向上(在向下范围方向上)移动，使得所述斜区段横向地并且在向下范围方向上移动。以这种方式，所述装置能够跟随在对象4的向下范围位置中的大尺度偏差。

图10示意性示出了对象以及2D检测器阵列的投影，并且用于帮助进一步解释用于生成具有增强景深的合成2D图像的装置和方法的范例。对象4例如可以是在其上具有所述装置的UAV正在飞行和成像的地面，或者可以表示正在被成像的昆虫的特征，其中，那些特征在向下范围方向上延伸。检测器的2-D阵列的投影被示为区段5，其对应于对象，其中，所述传感器能够实际上检测图像。示出了笛卡儿坐标系X’、Y、Z，其中，所述检测器已经相对于X’轴被倾斜30°的角β’。在范例中，X’和Y位于横向(例如，水平的)平面内并且Z在向下范围(例如，垂直的)方向上延伸。换言之，所述检测器位于在横向(水平的)平面外倾斜的X-Y平面内，并且在该范例中，这创建对象处的检测器的斜投影。将理解，这些轴相对于如在图7中所示的示意性***来描述，其中，所述检测器在沿着光轴O的直线上，然而，技术人员将意识到，可以利用(一面或多面)镜子，使得如在图7中所示的在垂直取向上的检测器将不被倾斜。轴X’在横向方向上，其是扫描方向并且其在该范例中垂直于光轴O。如所论述的，所述装置可以与潜水器遥控载具(rov)一起利用，在该情况下，正在被成像的对象可以在具有折射率的介质内，或者对象自身可以是透明的并且具有特性折射率。区段5因此能够在对象处成角β，该角不同于检测器的倾斜角β’(以与一半在水内并且一半在水外的棒相似的方式，看起来在空气与水之间的界面处弯折)。斜截面5与对象4在图10中所示的交点I处相交，其中交点I然后在焦点中。如将参考图12更详细论述的，所述检测器在线扫描模式中操作。换言之，像素的行或者许多相邻行能够被激活，其中，每个行在横向位置X’处并且沿着Y轴延伸到如在图10中所示的页面中。如果对象4在Y方向上未成角度，那么交点I将在沿着Y轴的相同向下范围距离Z处，并且交点I将通过一个或多个激活的行在焦点中成像。然而，不仅交点I能够在沿着其长度的X’和Y坐标中变化，而且待成像的不同特征能够存在于对象的Y轴中。因此，返回参考图8和图9以及工作图像如何连续地生成，那些示图能够被认为表示通过在一个Y坐标处如在图10中所示的对象的切片。如参考图8和图9所解释的过程然后针对不同Y坐标处的所有切片来执行。换言之，针对不同斜区段5采集的在每个X’、Y位置处但是具有不同Z坐标的图像数据连续地被更新以具有该X’、Y位置处的最好聚焦特征，其中，该更新能够意指如果新的图像数据具有更好的焦点，则刚采集的图像中的图像替换工作图像中的对应图像，或者如果工作图像具有更好的焦点，则工作图像针对该X’、Y坐标处的图像保持原样。并非利用线扫描模式中的检测器操作，在生成并且更新针对对象的每个横向位置的工作图像时，以如上文所描述的相似的方式，正常CCD检测器能够与所使用的图像的适当部分一起利用。

图11示意性示出了对象4的截面，其中示出了2D检测器阵列5的投影，并且用于帮助解释装置设置。如从图11看到的，倾斜检测器制造对象的斜截面5的图像。所述倾斜在横向方向(X’)上在扫描方向6上。沿着X轴，所述检测器具有Nx个像素并且对在每像素具有Δ’的扫描(横向)方向X’中并且在平行于每像素具有Δ的光轴O的轴向(垂直的)方向7(Z)上的对象进行采样。在X方向上，每个像素具有长度L。如上文所论述的，所述检测器倾斜角β’，因此，在所述对象处的横向和轴向采样由下式给出：

其中，M是放大倍率，并且n是折射率，如上文所描述的。

图12示意性示出了范例2D检测器阵列，其采集被用于生成具有增强焦深的图像的数据。以白色示出的像素对于光敏感，并且在被激活的情况下能够被用于信号采集，其中未示出的其他像素被用于暗电流和信号偏移。未示出的多个像素表示像素电子器件。许多行(或线)像素形成个体线成像检测器，参考图10，其处在一个X’、Z坐标上并且沿着Y轴延伸到页面中。能够使用时间延迟积分(TDI)将包含相邻线或者像素的像素条带组合为单行像素值。能够在不同的样本检测器中组合不同数目的线，其中，能够使用TDI组合例如2、3、4、5、10或更多相邻像素行。实际上，像素的每个条带能够充当个体TDI传感器，由此改善信噪比。对于该检测器而言，每行成像检测器具有在Y方向上延伸的数千个像素的长度，其例如表示线I，如在图10中所示的。例如，长度能够是1000、2000、3000、4000、5000或者其他数目的像素。如果焦点致动器不被用于在横向扫描期间移动成像透镜，那么每个线检测器将对在所述装置的焦深上的恒定向下范围距离处的对象进行成像。如所论述的，如果TDI被激活，则像素的每个条带能够表示单个TDI块的多个行。所述检测器包含由读出电子器件分离的多个这些块。例如，所述检测器能够包含100、200或300个块。所述检测器能够具有其他数目的块。关于作为对象中的检测器的投影的截面5，在每个TDI块之间的z方向上的距离能够取决于成像情况而变化。因此，在所述装置的固有焦深上，能够存在被分布在该焦深内的许多TDI块。所述检测器能够被配置为使得在块之间的z方向上的距离能够是变化的，并且能够在块之间变化。这些TDI块中的一个TDI块或者实际上该焦深内的许多这些块能够个体地使用或者合计在一起以提供在特定向下范围位置处的图像数据。然后，沿着X轴在检测器的不同位置处的一个或多个TDI块能够被激活以采集针对在焦深上的对象的不同向下范围距离的图像数据。第二向下范围距离与第一深度分离至少焦深。在特定向下范围距离处的焦深上的每个TDI块或者多个TDI块有效扫出对象内的图像数据的层，所述层具有近似等于所述装置的图像采集单元的固有焦深的厚度。因此，采集针对在等于所述装置的固有焦深的八倍的向下范围距离上延伸的对象的数据意指：在沿着检测器的不同位置处，各自在不同的向下范围距离和横向位置处但是沿着其长度具有相同向下范围距离的八个这样的TDI块能够被用于采集来自所述对象的图像数据。待成像的特征能够位于该总体向下范围距离内的任何地方(例如，对象可以是冬天的树，并且在树的前面、中间和后面的树枝将被成像)。因此，在截面5横向地扫描通过对象时，这八个TDI块中的每个TDI块将在对象的相同X’、Y坐标处但是在不同向下范围距离Z处采集图像数据。因此，将注意到，被用于采集数据的有效TDI块能够与正在通过未采集数据的许多TDI块采集数据的另一有效TDI块间隔开。包括来自这些8个TDI块的图像数据的第一图像被用于形成包括针对被成像的每个X’、Y位置的图像数据的工作图像。当截面5在对象内横向地被移动时，图像数据将针对已经被成像的大多数X’、Y位置但是在针对那些X’、Y位置的不同的向下范围距离处来采集。如参考图8和图9所论述的，对所述工作图像进行更新，使得其包含迄今所采集的在该X’、Y位置处的最好焦点图像。这能够即时完成，而不需要保存所有图像数据，相反，工作图像文件被保存并且在必要的情况下与刚采集和更新的图像文件进行比较。由此以增强景深生成合成2D图像，其中，在对象中的一个向下范围距离处的特征能够在焦点中，并且在对象中的不同向下范围距离处的不同特征也能够在焦点中，其中，差异是那些向下范围距离大于图像采集单元的固有焦深，使得不能够在规则设置中使两者在焦点中(其仅采集在成像***的焦深上的一个向下范围距离处的数据)。换言之，多个特征能够在焦点中，而这些特征在对象内的向下范围距离内不同地改变。并非将工作图像文件选择为新的图像数据或保持原始工作图像数据，新的图像数据与现有的工作图像数据的加权和能够被用于提供更新的工作图像。尽管所述检测器正在线成像模式中工作，但是应当注意，沿着线图像的个体区段被单独地使用。这是因为，在沿着线图像的一个点处的特定特征能够在焦点中，而由于其在焦深外的不同向下范围距离处，在沿着线图像的另一点处的另一特征能够在焦点外。因此，在更局部(像素)水平上做出选择，其中，像素能够意指足以与工作图像数据做出比较来确定在该横向位置(特定的X’、Y坐标范围)处的数据在最好焦点中的若干像素。并非相对于彼此固定，被用于采集数据的TDI块能够将所述检测器向上和向下移动，并且还相对于彼此移动。被用于采集数据的TDI块之间的间隔能够在TDI块移动时保持不变，或者TDI块之间的间隔能够在TDI块移动时变化，其中相邻TDI块之间的间隔针对不同的TDI块不同地变化。这提供了以不同的分辨率水平扫描对象并且贯穿对象具有不同的分辨率水平的能力。例如，跨对象，待成像的特征可以主导地在小的向下范围距离处(靠近所述装置)或在大的向下范围距离处(远离装置)，其中，数个感兴趣特征在中间向下范围距离处。那么，许多TDI块可以被布置为扫描在向下范围距离的这两个集合上的对象并且不扫描在中间向下范围距离上的对象。

图13示意性示出了过采样的范例，其中，针对中心干净区域采集具有增强景深的图像。根据与先前附图有关的讨论，清楚的是，一旦在对象处的检测器的投影(即，区段5)已经完全地扫描经过对象的特定横向点，生成针对该点的所有可用向下范围距离处的图像数据。换言之，所述检测器的第一部分在一个极端向下范围距离处采集图像数据，并且当所述对象已经足够地被移动时(和/或所述装置扫描)时，所述检测器的最后部分然后将在另一极端向下范围距离处采集图像数据。所述检测器的中间部分将在中间向下范围距离处采集图像数据。然而，这意指为了扫描所有可用向下范围距离上的特定区域，所述检测器的投影必须在待扫描的区域的一侧附近开始，并且在待扫描的区域的另一侧附近完成，如在图13中所示的。换言之，存在待扫描的区域的任一端处的特定量的过采样。相对于关于图11的讨论，然后能够容易地确定这样的过采样被要求是什么。

图14示意性示出了许多被成像的区域或层。换言之，每个层对应于每个TDI块(或多个块)在所述装置的固有焦深上的特定向下范围距离处对什么进行成像。如先前所论述的，所述对象可以在向下范围距离中相当大地变化。因此，在采集要被用于生成对象的具有增强景深的合成2-D图像中的影像之前，能够获得对象的相对低的分辨率的图像。这被用于估计对象体积的z位置(向下范围距离)。换言之，在一个或多个位置(X’，Y)处，确定最佳焦点(Z)。然后，在流模式中生成具有增强景深的合成2-D图像的影像的采集期间，在每个位置处，成像透镜沿着光轴O被适当地移动(或者对象沿着光轴被移动)，并且多个TDI被激活以用于上文所论述的数据的采集。在范例中，并非通过成像透镜或平移台的移动来改变区段5的位置，TDI的位置根据需要将检测器向上并且向下移动。在这种情况下，区段5能够在向下范围距离的恒定范围上扫描，但是检测器的不同的部分能够采集数据。备选地，并非获得先验低分辨率图像，能够利用自聚焦(自动聚焦)传感器，如例如在WO 2011/161594 A1中所描述的。在这样的自动聚焦配置中，如在图12中所示的检测器自身能够被配置为自动聚焦传感器，或者能够利用单独的自动聚焦传感器。这意指正在为了生成增强焦深的图像而采集图像数据的每个位置，能够根据需要确定所述对象的位置并且TDI被激活。在图14中示出了结果，其指示在扫描期间由单独的TDI成像的对象的向下范围距离。如所论述的，在每个横向位置处，将生成所述增强图像，使得在特定向下范围距离处的特征存在于合成增强图像中，其中，在不同向下范围距离处(并且因此，在不同层中)的特征然后存在于所得的增强图像中。如上文所论述的，在所有单独的图像不必被保存的情况下生成增强图像，相反，仅工作图像被保存并且与刚采集的图像进行比较，由此在不要求大的图像缓存器的情况下，使得能够即时生成具有增强景深的图像。

以这种方式，所述***能够即时生成图像，所述图像能够具有焦点中的对象的多个特征，而那些特征处在不同的向下范围距离处。

参考图5简单地介绍了焦点堆叠。在图15中，示出了用于在生成具有增强景深的合成图像过程中使用的焦点堆叠的范例工作流。为了便于解释，相对于如在图8中所示采集数据的***来描述焦点堆叠，然而，其针对提供斜截面的倾斜检测器具有适用性。在下文的讨论中，如先前所论述的，层涉及所述图像采集单元正在对象的特定向下范围距离处的焦深上在该向下范围距离处对什么进行成像。在此，由于所述解释涉及非倾斜检测器，因而所述层在对象内的相同向下范围距离处，但是如所论述的，该焦点堆叠过程同样适用于倾斜检测器以及在其上采集数据的斜截面。因此，采集层n的图像。第一，确定在z位置n处所采集的输入图像的能量的量。所述能量的量通过应用高通滤波器(即，拉普拉斯滤波器)来确定，其跟随有平滑操作(以减少噪声的量)。第二，该计算的层n的能量的量与层≤(n-1)的能量进行比较。对于每个个体像素而言，确定是否应当使用当前层(即，层n的图像数据)或者组合结果(即，层≤(n-1)的组合图像数据——工作图像，如先前所论述的)；该结果是图15的“层选择”。第三，两个缓存器必须被存储，亦即，组合的图像数据(即，层≤n的图像数据)以及组合的能量数据(即，层≤n的)。然后，下一层能够被扫描，并且所述过程重复，直到最后一层已经被采集和处理。将注意到，层选择(即，你从哪个层选择哪个部分)被用于将来自层n的图像数据的信息与组合图像≤(n-1)的图像数据进行组合，以及针对能量。

因此，在范例中，倾斜传感器在流模式中与焦点堆叠相组合。然后，不再需要完全地存储中间结果(即，层≤(n-1)的图像数据以及层≤(n-1)的能量)，而是仅需要有限历史的图像和能量数据，这由所使用的图像滤波器(即，高通滤波器和平滑滤波器)的印迹来确定。每次由倾斜传感器来采集新的(倾斜)图像时，确定该图像的每行能量(即，每z位置)；如先前所论述的，倾斜图像在Y(图像的行)和X’/Z(图像的列)中的平面内。这些能量值与先前的采集进行比较。对于匹配(x’，y)位置，换言之，在局部水平处(能够应用以上能量分析的足够的像素)而不是针对作为一幅图像的全部线图像执行比较。如果找到了更多聚焦能量，则更新所述图像数据。一旦已经评价了在(x’，y)位置的所有z位置时，能够传送(组合的——“工作”)图像数据。这移除存储数十GB的中间结果的需要，同时最终结果(即，增强焦深层)在扫描对象的最后部分之后(仍然)直接可用。

备选方案

在以上过程中，对于每个像素而言，通过能量的量(即，高通滤波器)来确定最佳图像层。可能的实时方案在于：在确定高频信息之前，融合不同的颜色通道(即，使用RGB2Y操作)。作为备选方案，信息(即，来自外部源或者通过图像分析所确定的)能够被用于将更多聚焦于特定颜色。这甚至能够与额外颜色分离步骤者颜色去卷积步骤进行组合。然后，最佳层能够使用一种(或多种)特定颜色(例如，聚焦于图像中的特定颜色)由能量的量来局部地确定。此外，添加颜色分离步骤会导致使用不同的2D平滑内核。例如，对象的特征能够具有不同的大小，据此，其包含来自较小平滑内核(σ滑<2)的小得多的细节益处。

在以上过程中，使用拉普拉斯高频滤波器。作为备选方案，所采集的数据能够被转换到小波域，其中，高频子带能够被用作能量的表示。这能够与iSyntax压缩相组合(例如参见US 6711297B1和US 6553141)。

在以上过程中，转换至具有增强景深的单个图像层能够在将图像发送到服务器之前来应用。也可能的是，在服务器上执行对于单个层的转换，使得传感器的输出被直接传送到服务器。

替代选择针对每个像素的最佳层，也可能的是，基于像素的能量的分布，使用特定加权来组合多个层的像素值。

替代选择针对每个像素的最佳层，能够对相同z方向的倾斜传感器的所有像素进行求和。结果是模糊的求和图像，其随后能够利用简单的频带滤波器来滤波。对于与数字图片的求和有关的信息而言，参见US 4141032A。

该方法还能够被用于测量对象的厚度，因为这与每层的能量有关。

在另一示范性实施例中，提供了一种计算机程序或一种计算机程序单元，其特征在于：其被配置为在适当的***上根据前述实施例之一执行方法的方法步骤。

所述计算机程序单元因此可能被存储在计算机单元上，其还可能是实施例的部分。该计算单元可以配置为执行或诱发上文所描述的方法的步骤的执行。此外，其可以被配置为操作上文所描述的装置的部件。所述计算单元能够被配置为自动地操作和/或运行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此，所述数据处理器可以被装备为执行根据前述实施例之一的方法。

本发明的该示范性实施例覆盖从一开始使用本发明的计算机程序以及借助于更新将现有程序转变为使用本发明的程序的计算机程序两者。

此外，所述计算机程序单元可能能够提供所有必要的步骤来实现如上文所描述的方法的示范性实施例的流程。

根据本发明的另外的示范性实施例，提出了一种计算机可读介质，诸如CD-ROM，其中，所述计算机可读介质具有被存储在其上的由前述章节所描述的计算机程序单元。

所述计算机程序可以被存储/分布在适合的介质(诸如连同其他硬件一起或者作为其一部分而供应的光学存储介质或固态介质)上，而且也可以以其他形式来分布，诸如经由因特网或者其他有线或无线电信***。

然而，还可以在类似万维网的网络上提供所述计算机程序，并且能够从这样的网络被下载到数据处理器的工作存储器中。根据本发明的另外的示例性实施例，提供了一种用于制造可用于下载的计算机程序单元的介质，所述计算机程序单元被布置为执行根据本发明的先前所描述的实施例之一的方法。

必须指出，参考不同的主题描述了本发明的实施例。特别地，参考方法类型权利要求描述了一些实施例，然而参***类型权利要求描述了其他实施例。然而，本领域技术人员将从上文和以下描述理解到，除非另外指出，否则除属于一种类型的主题的特征的任何组合之外，与不同的主题有关的特征之间的任何组合还被认为是利用本申请公开。然而，所有特征可以被提供以提供超过特征的简单求和的协同效应。

尽管已经在附图和前述描述中详细图示和描了述本发明，但是这样的图示和描述将被认为是说明性或示范性而非限制性的。本发明不限于所公开的实施例。通过研究附图、说明书和从属权利要求，本领域技术人员在实践所主张的本发明时可以理解和实现所公开的实施例的其他变型。

在权利要求中，词语“包括”不排除其他元件或者步骤，并且量词“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中所记载的若干项的功能。互不相同的从属权利要求中记载了特定措施的仅有事实并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应当被解释为对范围的限制。

Claims (15)

1.一种用于生成对象的具有增强景深的合成2D图像的装置(10)，所述装置包括：

-图像采集单元(20)；以及

-处理单元(30)；

其中，所述图像采集单元被配置为采集在所述对象的第一横向位置处的第一图像数据以及在所述对象的第二横向位置处的第二图像数据；

其中，所述图像采集单元被配置为采集在所述第一横向位置处的第三图像数据以及在所述第二横向位置处的第四图像数据，其中，所述第三图像数据是在与针对所述第一图像数据的向下范围距离不同的向下范围距离处采集的，并且所述第四图像数据是在与针对所述第二图像数据的向下范围距离不同的向下范围距离处采集的；

其中，所述处理单元被配置为生成针对所述第一横向位置的第一工作图像数据，所述生成包括通过焦点堆叠算法来处理所述第一图像数据和所述第三图像数据，并且所述处理单元被配置为生成针对所述第二横向位置的第二工作图像数据，所述生成包括通过所述焦点堆叠算法来处理所述第二图像数据和所述第四图像数据，以生成针对所述第二横向位置的第二工作图像数据；并且

其中，所述处理单元被配置为：在图像数据的采集期间对所述第一工作图像数据与所述第二工作图像数据进行组合，以生成所述对象的具有增强景深的所述合成2D图像。

2.根据权利要求1所述的装置，其中，所述图像采集单元包括检测器(40)，所述检测器被配置为采集所述对象的斜区段的图像数据。

3.根据权利要求2所述的装置，其中，所述检测器(40)是包括至少两个活跃区域的2D检测器。

4.根据权利要求1-3中的任一项所述的装置，其中，所述图像采集单元被配置为采集所述对象的第一区段的图像数据以采集所述第一图像数据和所述第二图像数据，并且其中，所述图像采集单元被配置为采集所述对象的第二区段的图像数据以采集所述第三图像数据和所述第四图像数据。

5.根据权利要求1-4中的任一项所述的装置，其中，所述图像采集单元被配置为：采集在所述对象的所述第一横向位置处并且在第一向下范围距离处的所述第一图像数据，并且同时地采集在所述对象的所述第二横向位置处并且在第二向下范围距离处的所述第二图像，其中，所述第一向下范围距离与所述第二向下范围距离不同；并且其中，所述图像采集单元被配置为：采集在所述第一横向位置处并且在第三向下范围距离处的所述第三图像数据，并且同时地采集在所述第二横向位置处并且在第四向下范围距离处的所述第四图像数据，其中，所述第三向下范围距离与所述第四向下范围距离不同。

6.根据权利要求1至5中的任一项所述的装置，其中，所述图像采集单元在所述第一横向位置处和在所述第二横向位置处具有焦深，所述焦深中的任一个都不大于在采集所述第一图像数据的向下范围距离与采集所述第二图像数据的向下范围距离之间的向下范围距离中的距离。

7.根据权利要求1至6中的任一项所述的装置，其中，所述对象在相对于所述图像采集单元的光轴的第一位置处以采集所述第一图像数据和所述第二图像数据，并且所述对象在相对于所述光轴的第二位置处以采集所述第三图像数据和所述第四图像数据。

8.根据权利要求1-7中的任一项所述的装置，其中，所述图像数据包括多种颜色，并且其中，所述处理单元被配置为：基于包括所述多种颜色中的一种或多种颜色的图像数据，通过所述焦点堆叠算法来处理图像数据。

9.一种用于生成对象的具有增强景深的合成2D图像的方法(100)，包括：

a)利用图像采集单元(20)采集(110)在所述对象的第一横向位置处的第一图像数据，并且利用所述图像采集单元采集在所述对象的第二横向位置处的第二图像数据；

b)利用所述图像采集单元采集(120)在所述第一横向位置处的第三图像数据，并且利用所述图像采集单元采集在所述第二横向位置处的第四图像数据，其中，所述第三图像数据是在与针对所述第一图像数据的向下范围距离不同的向下范围距离处采集的，并且所述第四图像数据是在与针对所述第二图像数据的向下范围距离不同的向下范围距离处采集的；

e)生成(130)针对所述第一横向位置的第一工作图像数据，所述生成包括通过焦点堆叠算法来处理所述第一图像数据和所述第三图像数据；并且

f)生成(140)针对所述第二横向位置的第二工作图像数据，所述生成包括通过所述焦点堆叠算法来处理所述第二图像数据和所述第四图像数据；并且

l)在图像数据的采集期间对所述第一工作图像数据与所述第二工作图像数据进行组合(150)，以生成所述对象的具有增强景深的所述合成2D图像。

10.根据权利要求9所述的方法，其中，步骤a)包括：采集在所述对象的所述第一横向位置处并且在第一向下范围距离处的所述第一图像数据，并且同时地采集在所述对象的所述第二横向位置处并且在第二向下范围距离处的所述第二图像，其中，所述第一向下范围距离与所述第二向下范围距离不同；并且其中，步骤b)包括采集在所述第一横向位置处并且在第三向下范围距离处的所述第三图像数据，并且同时地采集在所述第二横向位置处并且在第四向下范围距离处的所述第四图像数据，其中，所述第三向下范围距离与所述第四向下范围距离不同。

11.根据权利要求9至10中的任一项所述的方法，其中，所述方法包括：

c)计算(160)针对所述第一图像数据的第一能量数据，并且计算针对所述第三图像数据的第三能量数据；并且

d)计算(170)针对所述第二图像数据的第二能量数据，并且计算针对所述第四图像数据的第四能量数据；并且

其中，步骤e)包括选择所述第一图像数据或所述第三图像数据作为所述第一工作图像，所述选择包括所述第一能量数据和所述第三能量数据的函数；并且

其中，步骤f)包括选择所述第二图像数据或所述第四图像数据作为所述第二工作图像，所述选择包括所述第二能量数据和所述第四能量数据的函数；并且

其中，图像数据中的频率信息表示能量数据。

12.根据权利要求11所述的方法，其中，所述方法包括：

g)如果所述第一图像数据被选择作为所述第一工作图像，则生成(180)第一工作能量数据作为所述第一能量数据，或者如果所述第三图像数据被选择作为所述第一工作图像，则生成(190)所述第一工作能量数据作为所述第三能量数据；并且

h)如果所述第二图像数据被选择作为所述第二工作图像，则生成(200)第二工作能量数据作为所述第二能量数据，或者如果所述第四图像数据被选择作为所述第二工作图像，所述第二工作图像是所述第四图像数据，则生成(210)所述第二工作能量数据作为所述第四能量数据。

13.根据权利要求9至12中的任一项所述的方法，其中，所述方法还包括：

i)采集(220)在所述第一横向位置处的第五图像数据，并且采集(230)在所述第二横向位置处的第六图像数据，其中，所述第五图像数据是在与针对所述第一图像数据和所述第三图像数据的向下范围距离不同的向下范围距离处采集的，并且所述第六图像数据是在与针对所述第二图像数据和所述第四图像数据的向下范围距离不同的向下范围距离处采集的；并且

j)生成(240)针对所述第一横向位置的新的第一工作图像数据，所述生成包括通过所述焦点堆叠算法来处理所述第五图像数据和所述第一工作图像数据，其中，所述新的第一工作图像数据变为所述第一工作图像数据；并且

k)生成(250)针对所述第二横向位置的新的第二工作图像数据，所述生成包括通过所述焦点堆叠算法来处理所述第六图像数据和所述第二工作图像数据，其中，所述新的第二工作图像数据变为所述第二工作图像数据。

14.一种用于控制根据权利要求1至8中的一项所述的装置的计算机程序单元，所述计算机程序单元当由处理器运行时被配置为执行根据权利要求9至13中的任一项所述的方法。

15.一种存储有根据权利要求14所述的程序单元的计算机可读介质。