CN112243484B - 用于使用相机焦距的绝对和相对深度测量的方法和设备 - Google Patents

用于使用相机焦距的绝对和相对深度测量的方法和设备 Download PDF

Info

Publication number
CN112243484B
CN112243484B CN201980038104.2A CN201980038104A CN112243484B CN 112243484 B CN112243484 B CN 112243484B CN 201980038104 A CN201980038104 A CN 201980038104A CN 112243484 B CN112243484 B CN 112243484B
Authority
CN
China
Prior art keywords
depth
target
image
images
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980038104.2A
Other languages
English (en)
Other versions
CN112243484A (zh
Inventor
奥兹坎·塞利克
帕特丽夏·A·舒尔茨
格雷戈里·J·弗里曼
保罗·Z·沃思
托马索·维尔切斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Applied Materials Inc
Original Assignee
Applied Materials Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Applied Materials Inc filed Critical Applied Materials Inc
Publication of CN112243484A publication Critical patent/CN112243484A/zh
Application granted granted Critical
Publication of CN112243484B publication Critical patent/CN112243484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

深度测量设备包括：(1)相机和镜头组件，该相机和镜头组件捕捉包括多个深度级别的目标的图像序列的图像数据；(2)运动台，相机和镜头组件或目标定位在该运动台上；(3)马达，该马达连接到运动台，该马达在定义的增量值处引起相机和镜头组件与目标之间的相对移动；(4)位置传感器，该位置传感器在定义的增量值中的每一个处捕捉相机和镜头组件或目标上的位置数据；及(5)控制器，该控制器使用图像梯度方法和最佳焦距，来处理捕捉的图像数据和捕捉的位置数据，以确定多个深度级别的深度。还提供了许多其他方面。

Description

用于使用相机焦距的绝对和相对深度测量的方法和设备
技术领域
本文提供的实施方式涉及深度测量，并且更具体地涉及用于使用相机焦距的绝对和相对深度测量的方法和设备。
背景技术
相机通常用于需要在二维图像平面(x和y平面)中进行高精度定位的应用中的位置测量。这些应用包括，例如，掩模和基板的对准，以准备用于移动装置的超高分辨率显示器和高像素密度屏幕的生产中的图案化工艺。
目前，在这些类型的应用中，沿着深度轴(z平面)的距离测量通常使用激光距离传感器、共焦传感器或接触传感器来执行。这些传感器可能增加目前制造工艺的大幅成本和复杂性。
因此，期望的是，具有高精度并且不具有现有传感器所涉及的复杂性和成本的深度测量设备和方法。
发明内容
在一些实施方式中，提供了一种深度测量设备，该深度测量设备包括：(1)相机和镜头组件，该相机和镜头组件能够捕捉目标的图像序列的图像数据，该目标包括沿着相机轴的多个深度级别；(2)运动台，相机和镜头组件或目标定位在该运动台上；(3)马达，该马达连接到运动台，该马达在定义的增量值处沿着相机轴提供相机和镜头组件与目标之间的相对移动；(4)位置传感器，该位置传感器能够在移动的每个增量值处沿着相机轴捕捉相机和镜头组件或目标的相对位置数据；及(5)控制器。控制器包括：(a)图像处理单元，该图像处理单元经配置以使用图像梯度方法，来产生在捕捉的图像数据内表示为感兴趣区域的多个深度级别的图像清晰度数据；(b)距离处理单元，该距离处理单元经配置以使用图像清晰度数据，来确定在相机和镜头组件与在捕捉的图像数据内表示为感兴趣区域的多个深度级别中的每一个之间的最佳焦距；及(c)深度处理单元，该深度处理单元经配置以处理最佳焦距数据，用以确定在捕捉的图像数据内表示为感兴趣区域的多个深度级别中的每一个的深度。
提供了一种深度测量设备，该深度测量设备包括：(1)相机和镜头组件，该相机和镜头组件能够捕捉目标的图像序列的图像数据，该目标包括沿着相机轴的多个深度级别；(2)运动台，相机和镜头组件或目标定位在该运动台上；(3)马达，该马达连接到运动台，并且该马达经配置以在定义的增量值处沿着相机轴引起在相机和镜头组件与目标之间的相对移动；(4)位置传感器，该位置传感器能够在定义的增量值中的每一增量值处沿着相机轴捕捉相机和镜头组件或目标上的位置数据；及(5)控制器，该控制器经配置以使用图像梯度方法和最佳焦距，来处理捕捉的图像数据和捕捉的位置数据，以确定多个深度级别中的每一个的深度。
在一些实施方式中，提供了一种测量深度的方法，该方法包括以下步骤：(1)提供具有多个深度级别的目标；(2)将相机和镜头组件或目标定位在运动台上，使得相机和镜头组件或目标是可移动的；(3)通过目标的针对所有的多个深度级别的最佳焦距在定义的增量值处步进相机和镜头组件或目标；(4)在每个增量值处，使用位置传感器，来测量相机和镜头组件或目标的位置数据；(5)在每个增量值处，使用相机和镜头组件，来捕捉目标的图像，以便捕捉图像序列；(6)将图像梯度方法应用于捕捉的图像序列内的图像中的每一个，该图像梯度方法在捕捉的图像中的每一个中产生具有高等强度梯度值和低等强度梯度值的处理图像，在具有高等强度梯度值的处理图像中在深度级别的边缘处可看到更大量的清晰度细节，在具有低等强度梯度值的处理图像中在深度级别的边缘处可看到更少量的清晰度细节；(7)针对多个深度级别中的每一个确定在处理图像内的感兴趣区域；(8)针对每个感兴趣区域和针对每个处理图像产生图像清晰度标量值；(9)基于每个感兴趣区域的图像清晰度标量值，来确定每个感兴趣区域的最佳焦距；及(10)基于针对感兴趣区域中的每一个确定的最佳焦距，来确定多个深度级别中的每一个的深度测量。
根据本公开内容的这些和其他实施方式提供了许多其他方面。本公开内容的实施方式的其他特征和方面将从以下详细描述、附图及权利要求书变得显而易见。
附图说明
下文描述的附图仅用于说明目的，并且不一定按比例绘制。附图并不旨在以任何方式限制本公开内容的范围。
图1A示出了根据本文提供的实施方式的使用相机焦距的深度测量设备的透视图。
图1B示出了根据本文提供的实施方式的使用相机焦距的图1A的深度测量设备的替代实施方式的透视图。
图1C示出了根据本文提供的实施方式的具有多个深度级别的示例目标。
图2示出了根据本文提供的实施方式的由用于使用相机焦距的深度测量设备的控制器提供的示例处理单元的示意图。
图3A示出了根据本文的实施方式的在图像序列内捕捉的单个深度级别的图像的示意性表示。
图3B示出了根据本文的实施方式的在捕捉的图像序列内表示的单个深度级别的图像。
图4A示出了根据本文的实施方式的已经应用了图像梯度滤波器的捕捉的图像序列内的单个深度级别的表示。
图4B示出了根据本文的实施方式的已经应用了图像梯度滤波器的捕捉的图像序列内的单个深度级别的滤波图像。
图5A示出了根据本文的实施方式的距离对图像清晰度标量值的关系的曲线图，这些值表示在捕捉的图像序列内包括的单个深度级别。
图5B示出了根据本文的实施方式的距离对标量图像清晰度值的关系的曲线图，这些值表示已经曲线拟合(fitted)的单个深度级别。
图6示出了根据本文的实施方式的用于多个深度级别的图像清晰度对距离的关系的示例曲线图。
图7示出了描绘根据本文提供的实施方式的使用相机焦距来获得深度测量的方法的流程图。
具体实施方式
现在将详细参考在附图中示出的示例实施方式。尽可能地，将在整个附图中使用相同的附图标号，来指示几个视图中的相同或相似的部分。除非另有特别说明，否则本文描述的各种实施方式的特征可彼此组合。
用于平板显示器和/或半导体装置制造的现有高精度测量***需要用于待测量的基板的每个区域的分开传感器。这些传感器可能包括基于激光的传感器和共焦传感器，或者与待测量的每个单独区域实际接触的接触传感器。结果是，这些类型的传感器增加了制造工艺的大幅成本和复杂性。
为了改善上文列出的问题的一或多个，且特别是基于激光的传感器、共焦传感器或基于接触的传感器的成本和复杂性，提供了较便宜且不需要与待测量的一或多个区域直接接触的深度测量设备和方法。
在本文提供的一些实施方式中，可使用成像相机和焦距，来获得精确的表面深度测量。例如，包括相机和镜头的相机组件可以沿着一轴朝向物体移动，在该物体上将测量不同深度级别的一或多个特征(例如，目标)。可执行“步进和捕捉图像”工艺，在该工艺中当相机组件朝向或远离目标移动时，相机以预定间隔记录图像序列。在替代性实施方式中，目标或者目标和相机组件两者可相对于彼此移动。在相机组件(和/或目标)的每个预定间隔或步进处，捕捉图像并且确定相机组件(和/或目标)的位置。
随着相机组件和目标之间的距离改变，目标上的不同深度处的表面区域会进入和离开焦点。例如，基于图像梯度滤波器的图像清晰度度量可应用于每个捕捉的图像，以确定目标上的特定深度级别在哪个步进(距离)处于最佳(或最大)焦点。例如，在一些实施方式中，诸如应用边缘侦测滤波器(例如，Sobel滤波器)的基于梯度的侦测方法可应用于每个捕捉的图像。这种基于梯度的侦测方法可产生其中侦测到不同或更多的聚焦边缘的高等的梯度值，以及其中侦测到离焦或没有边缘的低等的梯度值。每个滤波图像可被划分为感兴趣区域，其中不同的感兴趣区域对应于待测量的目标上的每个深度级别。例如，每个感兴趣区域可以是在捕捉和滤波图像内的像素子集。
在一些实施方式中，聚合函数可应用于每个感兴趣区域。例如，可使用针对感兴趣区域内的每个像素(或像素子集)确定的梯度值，来计算平均梯度值、标准偏差、最大或中值梯度值、诸如标准偏差除以均值之类的上述的组合或类似值。这样的聚合值在本文中还称为图像清晰度标量。
可对相机组件(或目标)的位置来分析特定感兴趣区域的图像清晰度。感兴趣区域的图像清晰度为最大或最佳的距离提供了对该感兴趣区域的相对深度的测量(并且因此提供了目标上的对应深度级别)。可针对每个感兴趣区域分析图像清晰度对距离的关系，以获得在目标上待测量的每个深度级别的相对深度的测量。在一些实施方式中，为了改善分辨率和/或精度，可使函数拟合于每个感兴趣区域的图像清晰度对距离数据的关系，并且可使用该函数的最大值，来识别最大焦点的位置。示例函数包括Gaussian函数、Cauchy函数等。
注意到，如本文所用的“最大”或“最佳”焦点是指所测量(或由函数预测)的最大或最佳焦点，并且可以不表示图像的实际最大或最佳焦点。例如，相机组件(或目标)可能不会停止并且在精确距离处记录图像，该精确距离针对特定深度级别提供最佳焦点。因此，如本文所用的最大或最佳焦点是指最大或最佳测量的和/或预测的焦点。
目标上的深度级别(例如，表面)之间的深度测量表示深度级别之间的相对深度测量。在一些实施方式中，具有已知深度测量的参考特征可位于目标或相机组件附近或者目标或相机组件上，并且可用于对待测目标的每个深度级别建立绝对深度测量。
下文参考图1A至图7来描述本文提供的示例深度测量设备和方法的进一步细节。
图1A示出了根据本文提供的实施方式的使用相机焦距的深度测量设备100的示意透视图。深度测量设备100可包括相机和镜头组件102(在图1A中以虚线示出)和目标104。相机和镜头组件102以提供在相机和镜头组件102与目标104之间且沿着相机轴108的相对移动的方式安装在运动台106上。框架109示出为支撑相机和镜头组件102、目标104及运动台106。可使用任何合适的框架或其他结构(例如，一或多个框架或其他支撑构件)，来支撑这些部件。
相机和镜头组件102包括图像捕捉元件110和镜头组件112。图像捕捉元件110可由本领域普通技术人员已知的任何类型的图像捕捉装置组成。在一或多个实施方式中，图像捕捉元件110可以是具有合适的分辨率的互补金属氧化物半导体(CMOS)或电荷耦合装置(CCD)。示例分辨率可以是2至12百万像素或更高，并且在一些实施方式中，可以是约4至6百万像素或更高。可使用的一个特定示例CMOS传感器可具有大约2000×2000像素、大约5百万像素分辨率及大约3.5微米的像素大小。可使用其他传感器类型、像素大小、像素数目和/或分辨率。图像捕捉元件110的分辨率可取决于多个参数，诸如待成像的特征的大小、照明、像素大小、传感器大小、相机和镜头组件102中使用的(多个)镜头的类型等。在一些实施方式中，相机和镜头组件102可以对目标104上的大约1mm×1mm的区域进行成像。可以对其他区域大小进行成像。
镜头组件112定位成与图像捕捉元件110功能性连通。具体地，镜头组件112将与相机轴108对齐的目标104的区域的图像聚焦到图像捕捉元件110上。成像区域可包含待测量的多个深度级别114。取决于应用，待成像的深度级别可以彼此相邻或不相邻。在一些实施方式中，深度级别可包括连续斜坡。镜头组件112可由具有定义的焦长度的任何类型的已知镜头组件组成。在一或多个实施方式中，镜头组件112可以是远心镜头，该远心镜头具有沿着相机轴108的恒定和非角度视场，并且其放大率相对于沿着相机轴108的深度不会改变。
目标104可包括待测量的一或多个深度级别114。在一些实施方式中，目标104可包括表面，该表面包含待精确测量的多个相邻的、非相邻的和/或离散的深度级别114。待测量的示例深度级别可以是毫米或亚毫米(例如，微米)范围。例如，在一些实施方式中，具有几微米到几十或几百微米深度的特征可用相机和镜头组件102成像。示例性目标包括但不限于用于膜沉积、图案化、半导体掺杂或其他处理需要均匀分开的基板和掩模、印刷电路板，平板显示器、其他半导体装置或类似装置。
返回图1A，在一些实施方式中，深度测量设备100可包括马达116和耦接到运动台106的导螺杆118，所述导螺杆提供在相机和镜头组件102与目标104之间的相对移动。具体地，马达116的旋转引起导螺杆118旋转并且沿着相机轴108(图1A中的垂直方向)移动运动台106(以及相机和镜头组件102)，这样提供相机和镜头组件102沿着相机轴108以定义的增量值的相对移动。增量值可取决于使用的马达的步进分辨率来设置为任何大小。例如，取决于应用，一或多个齿轮可将马达步进大小转换成更大或更小的增量值(步进)。在一些实施方式中，增量值可以是5、10、15或甚至20微米，但是可使用更大或更小的增量值。在一或多个实施方式中，马达116可使相机和镜头组件102相对于目标104以大约五十(50)微米的增量值移动。在一些实施方式中，由相机和镜头组件102行进的总距离可以是大约20至30cm，但是下文描述的步进和图像捕捉处理期间可使用更小或更大的距离。
在一或多个实施方式中，马达116可以是线性马达、DC有刷或无刷马达、AC马达、步进马达或任何其它合适的马达。在一些实施方式中，可使用球螺杆或其他旋转到线性传动装置代替导螺杆118。
图1A中的马达116示出为附接到相机和镜头组件102(经由导螺杆118和运动台106)，这样提供相机和镜头组件102沿着相机轴108的移动。一般而言，马达116可在任何位置处直接地或间接地附接到相机和镜头组件102。例如，马达116可耦接到线性台，该线性台从顶部、底部或侧面支撑相机和镜头组件102，使得由马达116的线性台的移动引起相机镜头组件102的移动。其他配置可用于支撑和/或移动相机和镜头组件102。
在图1A中所示的实施方式的变型中，如图1B所示，运动台106和马达116可相对于相机和镜头组件102移动目标104，而不是附接到相机和镜头组件102。在该配置中，目标104可以沿着相机轴108相对于相机和镜头组件102以定义的增量值来移动。在又一个实施方式(未示出)中，可使用一或多个马达，来移动相机和镜头组件102与目标104两者，从而提供相机和镜头组件102与目标104两者相对于彼此以定义的增量值的移动。
返回图1A，深度测量设备100包括位置传感器120，位置传感器120追踪相机和镜头组件102相对于目标104的移动。在一些实施方式中，位置传感器120可以附接到相机和镜头组件102、马达116、运动台106、导螺杆118，或在任何其他合适的位置。当位置传感器120在步进和图像捕捉工艺(下文描述)期间随着运动台106移动时，位置传感器120追踪相机和镜头组件102的位置。在图1B的实施方式中，位置传感器120可追踪目标104在步进和图像捕捉工艺期间随着运动台106移动的位置。
在一些实施方式中，位置传感器120可以是耦接到马达116的轴或耦接到导螺杆118的光学或其他编码器。可使用其他位置传感器。一般而言，位置传感器120可附接到并且追踪运动台106的位置，运动台106经配置以在步进和图像捕捉处理期间沿着相机轴108移动。可使用的其他示例传感器包括磁编码器、线性可变差分变压器(LVDT)或类似物。
在一些实施方式中，相机和镜头组件102与目标104可以不垂直对齐。例如，相机和镜头组件102与目标104可以水平定位。同样地，相机轴108可以不是直线。例如，可使用一或多个镜子(未示出)，以任何期望角度(例如，45度、90度等)将图像从目标104引导到相机和镜头组件102。
可提供控制器122以控制深度测量设备100的操作，所述控制器诸如，一或多个微处理器、微控制器、专用硬件和/或软件等。在一些实施方式中，控制器122可包括内部或外部存储器，以及用于控制图像捕捉元件110、镜头组件112、马达116、位置传感器120等的操作的软件。
图1C示出了根据本文提供的实施方式的具有多个深度级别114a、114b及114c的示例目标104。目标104仅是示例，并且可使用深度测量设备100，来分析具有其他特征和/或多个深度级别的目标。参考图1C，深度级别114a处于第一高度，深度级别114b处于第二高度，以及深度级别114c处于第三高度。深度级别114a与深度级别114c不相邻。如下文将进一步描述的，可使用深度测量设备100，来确定深度级别114a、114b和/或114c的相对和/或绝对深度。例如，在一些实施方式中，图像捕捉元件110可以对区域124进行成像。在一个特定示例实施方式中，可在由图像捕捉元件110拍摄的图像内分析感兴趣区域126a，以确定深度级别114a的深度级别信息，并且可在由图像捕捉元件110拍摄的图像内分析感兴趣区域126b，以确定深度级别114c的深度级别信息(如下文进一步描述)。例如，目标104的感兴趣区域126a可对应于图像捕捉元件110的像素区域128a，并且目标104的感兴趣区域126b可对应于图像捕捉元件110的像素区域128b(在图1C中示出为在目标104的右边)。
图2示出了根据本文提供的实施方式的可由控制器122为使用相机焦距的深度测量设备100提供的示例处理单元的示意图。控制器122可包括储存单元202、图像处理单元204、距离处理单元206及深度处理单元208。处理单元204、206和/或208可以例如是储存在存储器中并且可由控制器122执行的计算机程序代码或指令。储存单元202可以是在控制器122内部或外部的任何合适的储存器(例如，固态存储器、硬盘等)。
在一些实施方式中，储存单元202可经配置以储存和检索由相机和镜头组件102捕捉的图像序列以及在步进和图像捕捉处理期间由位置传感器120追踪的捕捉的图像中的每一个的对应位置数据。例如，储存单元202可维持每个捕捉的图像与任一相机和镜头组件102、目标104或两者的位置之间的相关性，这取决于哪个经配置以使用附接的马达116来沿着运动台106移动。
图像处理单元204经配置以处理捕捉的图像信息，诸如通过对在步进和图像捕捉工艺期间捕捉的图像序列内的每个图像执行基于梯度的边缘侦测函数。在一或多个实施方式中，基于梯度的边缘侦测方法使用边缘侦测滤波器(诸如Sobel、Prewitt、Laplace或类似滤波器)对捕捉的图像的应用。得到的滤波图像可在侦测到不同边缘的图像的那些部分中具有高等强度。或者，得到的滤波图像可在没有侦测到边缘或侦测到的边缘是模糊的图像的那些部分中具有低等强度或没有强度。例如，这些处理的图像连同每个图像的原始位置数据可储存在储存单元202中。可使用其他边缘侦测或图像梯度方法，包括(例如)诸如离散余弦转换的频域方法。
在一些实施方式中，若目标具有已知深度范围内的一或多个特征，则可拍摄和储存图像子集。这可以减少执行用于深度级别的测量的时间。例如，第一图像集可包括在多个原始捕捉的图像中侦测到的并且从多个原始捕捉的图像提取的第一深度级别的基于梯度的边缘侦测滤波图像。第二图像集可包括在多个原始捕捉的图像中侦测到的并且从多个原始捕捉的图像提取的第二深度级别的基于梯度的边缘侦测滤波图像。第三图像集可包括在多个原始捕捉的图像中侦测到的并且从多个原始捕捉的图像提取的第三深度级别的基于梯度的边缘侦测滤波图像，等等。
在一些实施方式中，并不执行每个深度级别的产生和/或储存图像集。例如，可通过在每个图像内检查感兴趣区域的图像清晰度信息，来针对每个深度级别分析在步进和图像捕捉工艺期间捕捉的所有图像。参考图1C的示例感兴趣区域126a和126b，可分析由图像捕捉元件110捕捉的图像的像素区域128a和128b，以针对深度级别114a和114c分别确定图像清晰度信息。
可使用图像梯度方法对图像的应用、特别是对在每个图像内的感兴趣区域的应用，来产生对应于每个感兴趣区域内的每个像素的梯度值的强度值。可由距离处理单元206使用该信息，如下所述。
距离处理单元206经配置以针对每个深度级别确定在相机和镜头组件102与目标104之间的最佳焦距。例如，距离处理单元206可首先对每个滤波图像的每个感兴趣区域的强度值执行聚合函数。示例聚合函数包括在所有像素或像素子集中的均值、标准偏差、强度值的最大或中值、诸如标准偏差除以均值之类的上述项目中的一或多个项目的组合或类似值。例如，感兴趣区域的像素子集可以是在滤波图像的感兴趣区域内具有非零值的那些像素。聚合函数的应用导致感兴趣区域的图像清晰度标量值，该图像清晰度标量值表示在收集的图像内覆盖的每个增量位置处的特定深度级别的图像清晰度。例如，这些图像清晰度标量值中的每一个可与其对应位置数据一起储存在储存单元202内。
一旦在收集的图像内包括的每个图像的每个感兴趣区域产生了图像清晰度标量值，在一些实施方式中，距离处理单元206可将曲线拟合到每个感兴趣区域的图像清晰度标量值。例如，可使用Gaussian、Cauchy或其他曲线，来拟合图像清晰度标量值对每个感兴趣区域的位置的关系。基于曲线拟合，可确定在相机和镜头组件102与目标104之间针对每个深度级别的最佳焦距(例如，基于与每个感兴趣区域的峰值图像清晰度标量值相关的位置数据)。在一些实施方式中，可通过在确定最佳焦距之前将曲线拟合到图像清晰度标量值，来改善深度测量的分辨率和精度。还可减少在每个深度级别进行的图像测量的数目。
深度处理单元208可经配置以确定由距离处理单元206已经确定的最佳焦距的深度级别中的每一个的相对和/或绝对深度。
由传感器120提供的位置数据为每个拍摄的图像提供关于相机和镜头组件102、目标104或两者在运动台106上的位置的信息。因此，当确定两个不同深度级别的最佳焦距时，最佳焦距之间的差异提供深度级别之间的相对深度。
深度处理单元208还可确定深度级别中的每一个的绝对测量。在一或多个实施方式中，可通过针对在相机和镜头组件102、目标104或一些其他位置上的参考表面建立已知参考深度并且测量在目标104上相对于参考表面的所有其他表面(例如，深度级别)，来导出绝对深度测量。亦即，到参考表面的相对距离可与参考表面的已知表面深度结合，以获得绝对测量。或者，可使用如在沿着相机轴108捕捉图像序列之前所确定的相机和镜头组件102的最佳焦长度，来建立参考深度。例如，可对相机和镜头组件102的视野内的参考表面进行成像，并且可相对于参考表面确定相机和镜头组件102在相机和镜头组件102的最佳焦长度处的位置。可使用诸如光学编码器的位置传感器，来监视相机和镜头组件102相对于参考表面的位置。可结合包括已知参考表面位置、相机和镜头组件102相对于参考表面的位置及参考表面距处于最佳焦距时的相机和镜头组件102的距离的所有距离测量，来产生绝对深度测量。
图3A至图5B是具有多个深度级别的目标的示例单个深度级别的表示数据。因此，图3A至图5B表示将针对具有多个深度级别的目标的每个单独深度级别获得的数据。
图3A示出了根据本文的实施方式的在图像序列内捕捉的目标的单个深度级别的图像的示意性表示300。在图3A的图像中，模糊的图像具有多个同心圆，而同时接近最佳焦点的图像具有一个圆。
参考图3A，由相机和镜头组件102捕捉的第一图像是图像表示302。例如，当相机和镜头组件102开始成像示例深度级别时，可已经捕捉图像表示302。如图所示，图像表示302是模糊的(例如，由多个同心圆表示的)，这是因为在远离相机和镜头组件102的最佳焦距的点处捕捉了图像。因此，图像表示302包含很小的清晰度。
在捕捉图像表示302之后，移动和使用了相机和镜头组件102，以捕捉图像表示304。如图3A所示，图像表示304比图像表示302更少量的模糊(如由更少的同心圆表示)，并且在更接近深度级别的最佳焦距的点处捕捉了图像表示304。
在捕捉图像表示304之后，移动和使用了相机和镜头组件102，以捕捉图像表示306。在沿着相机轴108最接近最佳焦距的位置处捕捉了图像表示306。该图像在捕捉的图像序列内是最清晰的。因此，该图像包含在深度级别的边缘处可见的最大量的清晰度细节(在捕捉的图像中没有表示清晰边缘的同心圆)。
在捕捉图像表示306之后，移动和使用了相机和镜头组件102，以捕捉图像表示308，然后移动和使用了相机和镜头组件102，以捕捉图像表示310。图像表示308和310是在相机和镜头组件102离深度级别更远离最佳焦距时捕捉的，并且因此是模糊的(例如，分别类似于图像表示304和302)。
图3B示出了根据本文的实施方式的对应于图3B的图像表示的捕捉的图像序列内表示的目标的单个深度级别的实际图像300'。参考图3B，在距离相机和镜头组件102与被成像的深度级别之间的最佳焦距最远的点处捕捉了最模糊的图像(由附图标号302'和310'表示)。因此，这些捕捉的图像包含在深度级别的边缘处可见的最少量的清晰度细节。当相对于被成像的深度级别移动相机和镜头组件102时，随着相机和镜头组件102从由附图标号306'表示的深度级别越来越接近最佳焦距，捕捉的图像变得更少量的模糊(附图标号304'和308')。
图4A图示了根据本文的实施方式的已经应用图像梯度滤波器的捕捉的图像序列内的单个深度级别的表示400，所述图像梯度滤波器诸如，Sobel滤波器。具体地，表示400提供对应于图3A的图像表示302至310的滤波图像表示。滤波图像表示402和410具有滤波图像的最低强度梯度值，这是因为它们是从最模糊的图像表示302和310导出的。图像表示402和410的低强度梯度值表示缺少在捕捉的图像表示302和310中的深度级别的边缘处可见的清晰度细节(其中小的白色区域表示在滤波图像中的低强度梯度值)。
类似地，滤波图像表示404和408具有低强度梯度值，这是因为它们也是从图3A的捕捉的图像序列表示内的模糊图像表示304和308导出的。滤波图像表示404和408的低强度梯度值是缺少在捕捉的图像表示304和308中的深度级别的边缘处可见的清晰度细节的结果(其中小的白色区域表示在滤波图像中的低强度梯度值)。
滤波图像表示406具有最大的强度梯度值，这是因为它是从捕捉的图像序列内的最清晰图像表示306导出的。滤波图像表示406的高强度梯度值表示在捕捉的图像表示306中的深度级别的边缘处可见的清晰度细节(其中最大的白色区域表示在滤波图像中的最大强度梯度值)。
图4B示出了根据本文的实施方式的已经应用图像梯度滤波器的对应于图4A的图像表示的捕捉的图像序列内的单个深度级别的实际滤波图像。通过将图像梯度滤波器应用于图3B的图像序列，来获得图像清晰度数据。滤波图像402'和410'具有最低的图像清晰度，这是因为它们是从最模糊的图像导出的。
更接近最佳焦距的图像是更少量的模糊的并且具有更明显的滤波图像(参见附图标号404'和408')。当相机和镜头组件102最接近到深度级别的最佳焦距时拍摄的图像具有最亮的图像梯度(附图标号406')。
如上所述，可在由图像捕捉元件110拍摄的图像内分析一或多个感兴趣区域，以确定一或多个深度级别的深度级别信息。例如，目标的感兴趣区域可对应于图像捕捉元件110的像素区域。在一些实施方式中，可将聚合函数应用于每个感兴趣区域。例如，可使用针对感兴趣区域内的每个像素(或像素子集)确定的强度值，来计算该感兴趣区域的平均强度值、标准偏差、最大或中值强度值、诸如标准偏差除以均值的上面项目的组合或类似值。在一些实施方式中，聚合函数可用于产生图像清晰度信息，诸如每个图像内的每个感兴趣区域的图像清晰度标量值。
图5A示出了根据本文的实施方式的相机位置(距离)对图像清晰度(标量值)的关系的曲线图500，图像清晰度(标量值)表示在捕捉的图像序列内包括的单个深度级别。图5A示出了22个捕捉的图像的图像清晰度数据。在一些实施方式中，可捕捉更少或更多的图像。另外，在一些实施方式中，可在针对特定深度级别预期的最佳焦点附近捕捉更多图像(若这样的信息可用)。例如，可基于相对于深度级别的相机位置，来增加或减少拍摄图像的频率。
如图5A的曲线图所示，相机距离502是与最高图像清晰度标量值504相关的距离(例如，深度级别的近似最佳焦距)。较小的图像清晰度标量值506a和506b在对应距离处的最高图像清晰度标量值504的每一侧上示出，这些对应距离小于和大于产生最高图像清晰度标量值504的距离502。由马达116使用的增量值来分开这些距离，以使相机和镜头组件102步进到达然后超过产生最高图像清晰度标量值504的距离502(例如，深度级别的近似最佳焦距)。
图5B示出了根据本文的实施方式的相机位置(距离)对图像清晰度标量值的关系的曲线图500'，这些图像清晰度标量值表示曲线508已经拟合到单个深度级别。曲线508拟合于图5A中所示的绘制的图像清晰度标量值。一旦拟合，曲线508可用于提供产生最高的图像清晰度标量值的不同距离502'(例如，图5B中的图像清晰度标量值504')。如上所述，图像捕捉元件110可以不在特定深度级别的精确最佳焦距处捕捉图像。通过将曲线拟合到图像清晰度数据，可获得对实际最佳焦距的更准确预测(如图5B所示)。因此，曲线拟合的使用可增加深度测量的分辨率和/或精度。
图6示出了根据本文的实施方式的多个深度级别的图像清晰度对距离的关系的示例曲线图600。参考图6，第一曲线602表示第一深度级别的图像清晰度标量值的曲线拟合，第二曲线604表示第二深度级别的图像清晰度标量值的曲线拟合，并且第三曲线606表示目标的第三深度级别的图像清晰度标量值的曲线拟合。第四曲线608表示参考特征(例如，存在于目标或相机组件上或附近)的图像清晰度标量值的曲线拟合。曲线图600的图像清晰度数据示出了图像捕捉元件110在距离D1处的第一深度级别、在距离D2处的第二深度级别及在距离D3处的第三深度级别接近最佳焦点。将距离D1、D2和/或D3彼此进行比较，可提供深度级别的相对距离和/或深度信息，而将距离D1、D2和/或D3与参考深度级别的距离DREF进行比较，可提供每个深度级别的距离和/或深度的绝对测量。
图7图示了描绘根据本文提供的实施方式的使用相机和镜头组件焦距来获得深度测量的方法700的流程图。方法700开始于方块702，其中将相机和镜头组件或目标定位在运动台上，使得相机和镜头组件或目标是可移动的。例如，相机和镜头组件102或具有多个深度级别的目标104可定位在运动台106上。相机和镜头组件102和目标104可各自定位，使得相机和镜头组件102、目标104或两者可在运动台106上移动。该运动台允许在相机和镜头组件102与目标104之间的相对距离改变，针对待测量的多个深度级别中的任一个从大于或小于最佳焦距的位置开始。
一旦定位，方法700包括在方块704处的通过目标的针对所有的多个深度级别的最佳焦距在定义的增量值处向前或向后步进相机和镜头组件或目标。例如，可在定义的增量值处向前或向后步进相机和镜头组件102(或目标104)。该步进持续直到相对距离通过待测量的所有多个深度级别的最佳焦距增加或减小。
当相对距离增加或减小时，在方块706中，在每个增量值处，方法700包括使用传感器来测量相机和镜头组件或目标的位置数据，并且使用相机和镜头组件来捕捉目标的图像，以便捕捉图像序列。在一些实施方式中，可储存针对每个增量值的捕捉的图像和运动台的对应位置数据。例如，在每个增量值处，可使用相机和镜头组件102捕捉和存储目标104的图像以及由位置传感器120提供的运动台的对应位置数据。
一旦已经捕捉图像序列和对应位置数据，在方块708，方法700包括将图像梯度方法应用于捕捉的图像序列内的图像中的每一个。图像梯度方法可用于在捕捉的图像中的每一个中产生具有高等强度梯度值的处理图像和具有低等强度梯度值的处理图像，在具有高等强度梯度值的处理图像中在深度级别的边缘处可看到更大量的清晰度细节，在具有低等强度梯度值的处理图像中在深度级别的边缘处可看到更少量的清晰度细节。一旦处理，在一些实施方式中，可储存处理图像。如上所述，可将Sobel或类似的滤波器应用于每个图像，以增强边缘特征。
一旦产生了梯度滤波图像，在方块710中，方法700包括针对多个深度级别中的每一个确定在处理图像内的感兴趣区域，每个感兴趣区域包括对应于目标的单独区域的处理图像的子部分。在一些实施方式中，捕捉的图像内的感兴趣区域可以是每个图像内的预定的像素子集。例如，使用者可手动定义将会在每个深度级别使用的感兴趣区域(例如，通过选择在每个图像内对应于每个深度级别的像素子集)。在一些实施方式中，可使用目标(基准点)寻找算法，来确定在捕捉的图像内的感兴趣点的位置，并且然后可将感兴趣点周围的预定义区域用作感兴趣区域(例如，感兴趣点周围的球形、环形、矩形、方形或其他形状区域)。针对背景和前景物体，可应用Boolean掩模操作，来定义每个物体的范围并且优选地在感兴趣区域内包括或排除这些区域。
在一些实施方式中，可使用侦测到的边缘，将每个图像分割成感兴趣区域。例如，可使用模板寻找算法，来找到两个圆形或其他形状的基准点(fiducials)的中心。感兴趣区域可定义为基准点的边缘周围的区域。在一个示例实施方式中，可从背景环形区域减去前景球形区域，以获得感兴趣背景区域。感兴趣前景区域可以是前景中心位置周围的环形区域。可使用用于定义感兴趣区域的其他合适的方法。
在确定每个深度级别的感兴趣区域之后，在方块712中，方法700包括针对每个感兴趣区域、针对每个处理(滤波)图像产生图像清晰度标量值。例如，可将聚合函数应用于每个感兴趣区域内的一或多个强度梯度值，以确定图像清晰度标量值。
在方块714中，方法700包括基于图像清晰度标量值确定每个感兴趣区域的最佳焦距。在一些实施方式中，这可包括如前所述的将曲线拟合到图像清晰度标量值对距离数据的关系。例如，可从与每个感兴趣区域内的最高图像清晰度标量值相关联的位置数据导出最佳焦距。
在方块716中，方法700包括基于感兴趣区域中的每一个的确定的最佳焦距，来确定多个深度级别中的每一个的相对(和/或绝对)深度测量。
前文的描述仅公开示例实施方式。对于本领域普通技术人员而言，落入本公开内容的范围内的上述设备和方法的修改将是显而易见的。因此，尽管已经结合本发明的示例实施方式来公开本发明，但应理解的是，其他实施方式可落入由随后的权利要求书限定的本发明的精神和范围内。

Claims (19)

1.一种深度测量设备，包括：
相机组件，所述相机组件经配置以在距目标的多个距离处捕捉所述目标的多个图像；
位置传感器，所述位置传感器经配置以针对所述多个图像中的每一个捕捉与所述相机组件和所述目标之间的相对距离相关联的位置数据；及
控制器，所述控制器经配置以针对所述多个图像内的多个区域中的每一个：
基于与所述多个图像的对应梯度值相对应的强度值来确定图像清晰度的值；
将曲线拟合到图像清晰度的值对所述位置数据的关系；及
基于与所述曲线中的最大图像清晰度的值相对应的所述位置数据来确定所述多个区域中的一个区域的深度测量，其中所述多个区域中的每一个区域具有不同的深度。
2.一种深度测量设备，包括：
相机组件，所述相机组件经配置以在距目标的多个距离处捕捉所述目标的多个图像；
位置传感器，所述位置传感器经配置以针对所述多个图像中的每一个捕捉与所述相机组件和所述目标之间的相对距离相关联的位置数据；和
控制器，所述控制器经配置以：
基于与针对所述多个图像中的每一个图像内的多个区域中的每一个的对应梯度值相对应的强度值来确定图像清晰度的值，其中所述多个区域中的每一个区域具有不同的深度；
针对所述多个区域中的每一个将曲线拟合到图像清晰度的值对所述位置数据的关系；及
基于与针对所述多个区域中的每一个的所述曲线中的最大图像清晰度的值相对应的所述位置数据来确定所述多个区域中的每一个的深度测量。
3.如权利要求2所述的深度测量设备，其中所述目标的所述多个图像是通过移动所述相机组件或所述目标中的至少一个而由所述相机组件在距所述目标的所述多个距离处捕捉。
4.如权利要求2所述的深度测量设备，其中所述控制器用以通过将梯度滤波器应用于所述多个图像内的所述多个区域中的每一个来确定所述对应梯度值，以产生具有高等强度梯度值的处理图像和具有低等强度梯度值的处理图像，在所述具有高等强度梯度值的处理图像中在边缘处可看到更大量的清晰度细节，在所述具有低等强度梯度值的处理图像中在所述边缘处可看到更少量的清晰度细节，并且其中所述多个区域是多个预定区域。
5.如权利要求4所述的深度测量设备，其中所述梯度滤波器包括边缘侦测滤波器、Sobel滤波器、Prewitt滤波器或Laplace滤波器中的一或多个。
6.如权利要求2所述的深度测量设备，其中所述控制器进一步用以基于参考深度来确定所述深度测量，其中相对于所述参考深度测量所述多个区域。
7.如权利要求2所述的深度测量设备，其中所述相机组件和所述目标是：
垂直地对齐；
水平地对齐；或
沿着一角度对齐。
8.如权利要求2所述的深度测量设备，其中所述控制器用以确定包括所述深度测量的多个深度测量，其中所述多个深度测量与多个相邻的深度级别和多个不相邻的深度级别相关联。
9.一种深度测量设备，包括：
相机组件，所述相机组件经配置以在距目标的多个距离处捕捉所述目标的多个图像；
位置传感器，所述位置传感器经配置以针对所述多个图像中的每一个捕捉与所述相机组件和所述目标之间的相对距离相关联的位置数据；及
控制器，所述控制器经配置以使用图像梯度滤波器来处理针对所述多个图像中的每一个的图像清晰度的值和针对所述多个图像中的每一个的所述位置数据，以针对多个区域中的每一个将曲线拟合到图像清晰度的值对所述位置数据的关系，以及基于与针对所述多个区域中的每一个的所述曲线中的最大图像清晰度的值相对应的所述位置数据来确定所述多个图像内的所述多个区域中的每一个的深度测量，其中所述多个区域中的每一个区域具有不同的深度。
10.如权利要求9所述的深度测量设备，其中所述目标的所述多个图像是通过移动所述相机组件或所述目标中的至少一个而由所述相机组件在距所述目标的所述多个距离处捕捉，其中为了处理所述多个图像，所述控制器用以处理所述多个图像中的每一个图像内的具有不同的深度的所述多个区域中的每一个的图像清晰度数据。
11.如权利要求10所述的深度测量设备，其中所述图像梯度滤波器包括边缘侦测滤波器、Sobel滤波器、Prewitt滤波器或Laplace滤波器中的一或多个。
12.如权利要求9所述的深度测量设备，其中所述控制器进一步用以基于参考深度确定所述深度测量，其中相对于所述参考深度测量所述多个区域。
13.如权利要求9所述的深度测量设备，其中所述相机组件和所述目标是：
垂直地对齐；
水平地对齐；或
沿着一角度对齐。
14.如权利要求9所述的深度测量设备，其中所述控制器用以确定包括所述深度测量的多个深度测量，其中所述多个深度测量与多个相邻的深度级别或多个不相邻的深度级别相关联。
15.一种测量深度的方法，所述方法包括以下步骤：
在距目标的多个距离处接收由相机组件所捕捉的所述目标的多个图像；
针对所述多个图像中的每一个接收与所述相机组件和所述目标之间的相对距离相关联的位置数据；
基于与针对所述多个图像内的多个区域中的每一个的对应梯度值相对应的强度值来确定图像清晰度的值，其中所述多个区域中的每一个区域具有不同的深度；
针对所述多个区域中的每一个将曲线拟合到图像清晰度的值对所述位置数据的关系；及
基于与针对所述多个区域中的每一个的所述曲线中的最大图像清晰度的值相对应的所述位置数据，来确定所述多个区域中的每一个的深度测量。
16.如权利要求15所述的方法，其中所述目标的所述多个图像是通过移动所述相机组件或所述目标中的至少一个而由所述相机组件在距所述目标的所述多个距离处捕捉。
17.如权利要求15所述的方法，其中确定所述对应梯度值的步骤是通过将图像梯度滤波器应用于所述多个图像来达成。
18.如权利要求15所述的方法，其中确定所述对应梯度值的步骤进一步基于参考深度，其中相对于所述参考深度测量所述多个区域。
19.如权利要求15所述的方法，进一步包括以下步骤：
确定包括所述深度测量的多个深度测量，其中所述多个深度测量与多个相邻的深度级别或多个不相邻的深度级别相关联。
CN201980038104.2A 2018-06-05 2019-06-04 用于使用相机焦距的绝对和相对深度测量的方法和设备 Active CN112243484B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/000,884 US10498948B1 (en) 2018-06-05 2018-06-05 Methods and apparatus for absolute and relative depth measurements using camera focus distance
US16/000,884 2018-06-05
PCT/US2019/035446 WO2019236619A1 (en) 2018-06-05 2019-06-04 Methods and apparatus for absolute and relative depth measurements using camera focus distance

Publications (2)

Publication Number Publication Date
CN112243484A CN112243484A (zh) 2021-01-19
CN112243484B true CN112243484B (zh) 2022-08-19

Family

ID=68693469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980038104.2A Active CN112243484B (zh) 2018-06-05 2019-06-04 用于使用相机焦距的绝对和相对深度测量的方法和设备

Country Status (6)

Country Link
US (3) US10498948B1 (zh)
JP (1) JP7042366B2 (zh)
KR (1) KR102323421B1 (zh)
CN (1) CN112243484B (zh)
TW (1) TWI804631B (zh)
WO (1) WO2019236619A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10498948B1 (en) * 2018-06-05 2019-12-03 Applied Materials, Inc. Methods and apparatus for absolute and relative depth measurements using camera focus distance
CN111445516B (zh) * 2020-03-03 2024-01-26 深圳市杰普特光电股份有限公司 玻璃基板内部二维码深度计算***及计算方法
GB202015901D0 (en) 2020-10-07 2020-11-18 Ash Tech Limited System and method for digital image processing
US11965731B2 (en) * 2020-11-03 2024-04-23 Taiwan Semiconductor Manufacturing Company Ltd. Package structure and measurement method for the package structure
CN114689630A (zh) * 2020-12-30 2022-07-01 Fei 公司 用于对三维特征进行成像的方法和***
US20220215566A1 (en) * 2021-01-07 2022-07-07 Electronics And Telecommunications Research Institute Method of piecewise linear scaling of geometry atlas and apparatus using the same
CN113014808A (zh) * 2021-02-09 2021-06-22 湖南大学 图像采集***及方法
CN113847841A (zh) * 2021-11-29 2021-12-28 南京润景丰创信息技术有限公司 一种激光对抗训练机器人靶标***及其控制方法
DE102022132162A1 (de) 2022-12-05 2024-06-06 Witrins S.R.O. Verfahren zur Fehleranalyse und Inspektionssystem

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06147845A (ja) * 1992-11-09 1994-05-27 Mitaka Koki Co Ltd テーパ孔のエッジ検出装置及びその深さ測定装置
CN1573319A (zh) * 2003-05-31 2005-02-02 三星康宁精密琉璃株式会社 玻璃基板内缺陷的深度方向位置检测方法
JP2008039427A (ja) * 2006-08-01 2008-02-21 Mitaka Koki Co Ltd 微***の深さ測定方法
JP2010152026A (ja) * 2008-12-25 2010-07-08 Hitachi Ltd 距離測定器及び物体移動速度測定器
WO2017163537A1 (ja) * 2016-03-22 2017-09-28 三菱電機株式会社 距離計測装置及び距離計測方法
WO2017197085A1 (en) * 2016-05-13 2017-11-16 Olympus Corporation System and method for depth estimation using a movable image sensor and illumination source

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3141182A1 (de) 1980-10-16 1982-05-19 Canon K.K., Tokyo "scharfeinstellungs-ermittlungssystem"
US5598265A (en) * 1995-04-06 1997-01-28 Zygo Corporation Method for profiling an object surface using a large equivalent wavelength and system therefor
JP3216792B2 (ja) 1996-08-06 2001-10-09 富士電機株式会社 映像による距離検出方法
JPH10103934A (ja) 1996-09-30 1998-04-24 Sumitomo Metal Ind Ltd 装入物プロフィール測定方法及び測定装置
US7262798B2 (en) 2001-09-17 2007-08-28 Hewlett-Packard Development Company, L.P. System and method for simulating fill flash in photography
US7454053B2 (en) * 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
US7538813B2 (en) 2005-05-11 2009-05-26 Sony Ericsson Mobile Communications Ab Digital cameras with triangulation autofocus systems and related methods
JP2008014646A (ja) 2006-07-03 2008-01-24 Olympus Corp 基板検査方法
KR100906974B1 (ko) 2006-12-08 2009-07-08 한국전자통신연구원 카메라를 이용한 위치 인식 장치 및 그 방법
JP4863955B2 (ja) * 2007-09-10 2012-01-25 三洋電機株式会社 自動焦点調節装置
WO2009041918A1 (en) * 2007-09-26 2009-04-02 Agency For Science, Technology And Research A method and system for generating an entirely well-focused image of a large three-dimensional scene
US8724013B2 (en) 2007-12-27 2014-05-13 Qualcomm Incorporated Method and apparatus with fast camera auto focus
US8184196B2 (en) 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
US8218061B2 (en) 2008-09-04 2012-07-10 Csr Technology Inc. Apparatus, method, and manufacture for iterative auto-focus using depth-from-defocus
US8111938B2 (en) * 2008-12-23 2012-02-07 Mitutoyo Corporation System and method for fast approximate focus
US8405742B2 (en) 2008-12-30 2013-03-26 Massachusetts Institute Of Technology Processing images having different focus
CN101930150B (zh) * 2009-06-18 2012-01-04 三洋电机株式会社 聚焦控制电路
US8781152B2 (en) * 2010-08-05 2014-07-15 Brian Momeyer Identifying visual media content captured by camera-enabled mobile device
US8649592B2 (en) * 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
US9111376B2 (en) * 2012-01-26 2015-08-18 Samsung Electronics Co., Ltd. Image processing method and apparatus for 3D video
US8896747B2 (en) 2012-11-13 2014-11-25 Qualcomm Technologies, Inc. Depth estimation based on interpolation of inverse focus statistics
US20140132822A1 (en) 2012-11-14 2014-05-15 Sony Corporation Multi-resolution depth-from-defocus-based autofocus
JP2014115149A (ja) 2012-12-07 2014-06-26 Olympus Corp 基板検査装置
KR102050547B1 (ko) * 2012-12-24 2019-12-02 덴틀리텍 지.피.엘. 리미티드 치은연하 측정을 위한 방법 및 장치
US8995749B2 (en) * 2013-03-28 2015-03-31 Mitutoyo Corporation Enhanced edge detection tool for edges of irregular surfaces
US9154686B2 (en) 2013-09-25 2015-10-06 Google Technology Holdings LLC Close focus with GPU
AU2013263760A1 (en) * 2013-11-28 2015-06-11 Canon Kabushiki Kaisha Method, system and apparatus for determining a depth value of a pixel
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
US9552633B2 (en) * 2014-03-07 2017-01-24 Qualcomm Incorporated Depth aware enhancement for stereo video
CN105100579B (zh) * 2014-05-09 2018-12-07 华为技术有限公司 一种图像数据的采集处理方法及相关装置
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9704250B1 (en) * 2014-10-30 2017-07-11 Amazon Technologies, Inc. Image optimization techniques using depth planes
US11240421B2 (en) * 2015-04-10 2022-02-01 Qualcomm Incorporated Methods and apparatus for defocus reduction using laser autofocus
US9930243B2 (en) * 2016-05-02 2018-03-27 Mitutoyo Corporation Variable focal length imaging system
US9961253B2 (en) * 2016-05-03 2018-05-01 Mitutoyo Corporation Autofocus system for a high speed periodically modulated variable focal length lens
US10521659B2 (en) * 2016-11-21 2019-12-31 Yazaki Corporation Image processing device, image processing method, and image processing program
US11209528B2 (en) * 2017-10-15 2021-12-28 Analog Devices, Inc. Time-of-flight depth image processing systems and methods
US10498948B1 (en) * 2018-06-05 2019-12-03 Applied Materials, Inc. Methods and apparatus for absolute and relative depth measurements using camera focus distance

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06147845A (ja) * 1992-11-09 1994-05-27 Mitaka Koki Co Ltd テーパ孔のエッジ検出装置及びその深さ測定装置
CN1573319A (zh) * 2003-05-31 2005-02-02 三星康宁精密琉璃株式会社 玻璃基板内缺陷的深度方向位置检测方法
JP2008039427A (ja) * 2006-08-01 2008-02-21 Mitaka Koki Co Ltd 微***の深さ測定方法
JP2010152026A (ja) * 2008-12-25 2010-07-08 Hitachi Ltd 距離測定器及び物体移動速度測定器
WO2017163537A1 (ja) * 2016-03-22 2017-09-28 三菱電機株式会社 距離計測装置及び距離計測方法
WO2017197085A1 (en) * 2016-05-13 2017-11-16 Olympus Corporation System and method for depth estimation using a movable image sensor and illumination source

Also Published As

Publication number Publication date
TWI804631B (zh) 2023-06-11
KR102323421B1 (ko) 2021-11-09
WO2019236619A1 (en) 2019-12-12
JP2021521742A (ja) 2021-08-26
US20190373162A1 (en) 2019-12-05
JP7042366B2 (ja) 2022-03-25
TW202012878A (zh) 2020-04-01
KR20210003310A (ko) 2021-01-11
CN112243484A (zh) 2021-01-19
US10498948B1 (en) 2019-12-03
US20200068119A1 (en) 2020-02-27
US11032464B2 (en) 2021-06-08
US20210295547A1 (en) 2021-09-23
US11582378B2 (en) 2023-02-14

Similar Documents

Publication Publication Date Title
CN112243484B (zh) 用于使用相机焦距的绝对和相对深度测量的方法和设备
US8619144B1 (en) Automatic camera calibration
EP2583055B1 (de) Optisches messverfahren und messsystem zum bestimmen von 3d-koordinaten auf einer messobjekt-oberfläche
CN101630061B (zh) 工具痕迹光学共聚焦三维数据采集方法
WO2010028224A1 (en) Apparatus, method, and manufacture for iterative auto-focus using depth-from-defocus
JP2010021985A (ja) 撮像素子の位置調整方法、カメラモジュール製造方法及び装置、カメラモジュール
US9456120B2 (en) Focus height repeatability improvement in a machine vision inspection system
WO2005104524A1 (ja) 超解像処理に適するサブピクセルモーション画像を撮影するための移動決定方法及びそれを用いた撮像装置
KR101774167B1 (ko) 합초 위치 검출 장치, 합초 위치 검출 방법 및 합초 위치 검출용 컴퓨터 프로그램
CN112505910B (zh) 用显微镜拍摄试样图像的方法、***、设备及介质
CN107683401A (zh) 形状测定装置和形状测定方法
CN112415733A (zh) 控制显微镜拍摄试样图像的方法、***、设备及介质
CN113242360A (zh) 线阵相机及其行频的计算方法、装置
JP6136019B2 (ja) 動画像撮影装置、および、動画像撮影装置の合焦方法
WO2016161734A1 (zh) 一种自动对焦的方法及装置
JP2014155063A (ja) 解像度測定用チャート、解像度測定方法、カメラモジュールにおける位置調整方法およびカメラモジュールの製造方法
CN110653016B (zh) 移液***及其校准方法
EP3572860A1 (en) A method, an apparatus and a computer program product for focusing
US7538815B1 (en) Autofocus system and method using focus measure gradient
CN113805304B (zh) 一种用于线阵相机的自动调焦***及方法
CN113411497A (zh) 一种基于曲线交点和高斯曲线拟合的自动对焦方法和装置
JP5610579B2 (ja) ３次元寸法測定装置
CN115242982B (zh) 镜头调焦方法及其***
JP2005345590A (ja) 撮像装置の検査方法及び検査装置
CN110440712B (zh) 自适应大景深三维扫描方法与***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant