CN1896680A - 用于实现立体对应的投光图案的生成装置和生成方法 - Google Patents

用于实现立体对应的投光图案的生成装置和生成方法 Download PDF

Info

Publication number
CN1896680A
CN1896680A CNA2006101017645A CN200610101764A CN1896680A CN 1896680 A CN1896680 A CN 1896680A CN A2006101017645 A CNA2006101017645 A CN A2006101017645A CN 200610101764 A CN200610101764 A CN 200610101764A CN 1896680 A CN1896680 A CN 1896680A
Authority
CN
China
Prior art keywords
numbers
ordered series
numerical value
generates
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006101017645A
Other languages
English (en)
Other versions
CN1896680B (zh
Inventor
诹访正树
光本大辅
麻生川佳诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN1896680A publication Critical patent/CN1896680A/zh
Application granted granted Critical
Publication of CN1896680B publication Critical patent/CN1896680B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

用于实现立体对应的投光图案的生成装置和生成方法。本发明的课题是作为用于实现立体法中的立体对应而对计测对象进行投光的图案，实现更合适的图案生成。为此，图案生成装置具有：数列生成部，其生成以M值(M是大于等于2的整数)的数值作为项的数列；以及图像数据生成部，其通过把数列生成部所生成的数列的各数值转换为与该各数值对应的灰度值，生成所述图像数据。数列生成部以如下方式生成所述数列：关于构成所生成的数列的预定长度的部分数列、该各部分数列所表示的向量为方向互不相同的向量。

Description

用于实现立体对应的投光图案的生成装置和生成方法
技术领域
本发明涉及生成对计测对象进行投光的图案的图像数据，以实现立体法中的立体对应的技术。
背景技术
以往，公知有使用通过从互不相同的2个位置拍摄计测对象而得到的2个摄影图像来获得计测对象的三维形状信息和到计测对象的距离信息的“立体法”。在该立体法中，利用在2个摄影图像之间产生的计测对象的成像位置偏差(视差)，基于三角测量的原理计算深度距离。
在立体法中，为求出视差，需要搜索在各摄影图像中相互对应的点(对应点)。将该搜索称为“立体对应(Stereo Correspondence Problem)”。作为立体对应的方法，公知有窗口匹配(Window-Based Matching)。
根据图12，如下说明窗口匹配的处理内容。
首先，将一方的摄影图像设为第一图像G1，在该第一图像G1中设定基准像素P1，识别与该基准像素P1对应的窗口W1。窗口W1是由基准像素P1和相对于基准像素P1处于预定位置关系的像素的集合构成的像素区域，在图12的例子中是由以基准像素P1为中心的3×3像素构成的像素区域。
然后，将另一方的摄影图像设为第二图像G2，将该第二图像G2中的某个像素设为对象像素P2，识别与该对象像素P2对应的窗口W2。窗口W2是由基准像素P2和相对于基准像素P2处于与上述窗口W1同样地确定的位置关系的像素的集合构成的像素区域。
而且，使用构成上述窗口W1的各像素的亮度值I1(i)和构成上述窗口W2的各像素的亮度值I2(i)，计算出用下述式(式1)表示的归一化相关函数C。
【式1】
C = ( Σ i = 0 W - 1 I 1 ( i ) I 2 ( i ) - 1 W Σ i = 0 W - 1 I 1 ( i ) Σ i = 0 W - 1 I 2 ( i ) ) ( Σ i = 0 W I 1 ( i ) I 1 ( i ) - 1 W Σ i = 0 W - 1 I 1 ( i ) Σ i = 0 W - 1 I 1 ( i ) ) 1 2 ( Σ i = 0 W - 1 I 2 ( i ) I 2 ( i ) - 1 W Σ i = 0 W - 1 I 2 ( i ) Σ i = 0 W - 1 I 2 ( i ) ) 1 2
I1(i)，I2(i)：照相机1，2的像素位置i处的亮度值
W：窗口大小
式(1)中“i”是用于根据像素位置来识别构成窗口W1和窗口W2的各像素的识别编号，该识别编号在窗口W1和窗口W2之间，根据相同规则来设定。即，在窗口W1和窗口W2之间，相同识别编号的2个像素在窗口W1中的位置和在窗口W2中的位置一致。
并且，式(1)中“W”是构成各窗口W1/W2的像素数(窗口大小)，图12的例子中为3×3＝9。
由式(1)计算出的归一化相关函数C是表示上述对象像素P2相对于上述基准像素P1的类似度的值(取-1到1的值)，该值越大(越接近1)这些像素具有对应关系的可能性越高。
因此，将第二图像G2的各像素依次设定为对象像素P2，通过与上述相同的处理，计算与该像素相关的归一化相关函数C，将归一化相关函数C最大的像素当作与上述基准像素P1对应的像素，将其设定为对应点。
使用式(1)的方法被称为归一化相关法，是用于立体对应的代表性方法之一。
在该方法中，亮度值I1(i)(i＝1～W)以I1’(i)＝αI1(i)+β(α、β是实数)变化的情况下，也能够得到相同的结果。即，根据亮度值I1(i)，I2(i)(i＝1～W)计算出的归一化相关函数C和根据亮度值I1’(i)，I2(i)计算出的归一化相关函数C’的值相同。
由此，即使因拍摄第一图像G1的照相机1和拍摄第二图像G2的照相机2之间的输出特性的差异等，导致在各图像的亮度值之间产生线性偏差，也能够将该偏差吸收，进行适当的对应。
上述窗口匹配是根据像素的亮度值的分布特性判断对应关系的方法，因此，例如计测对象是具有单一颜色表面的物体的情况，计测对象表面的亮度分布相同，在摄影图像上亮度值难以产生变化的情况下，很难进行立体对应。
相对于此，在专利文献1、2以及非专利文献1中公开了如下技术：将预定的投光图案投射到计测对象的表面，对计测对象的表面赋予图形，从而解决上述问题。
更具体讲，在专利文献1中公开了使用随机图案的情况，该随机图案是将具有预定亮度等级的亮度块随机(即，使亮度变化无规则)配置而得。
并且，在专利文献2中公开了使用非周期性投光图案的情况，该非周期性投光图案基于均匀随机数和正态随机数，在点大小、线长度、粗细、位置、浓度等方面均不具有周期性。而且，在专利文献2中公开了如下技术：根据图案变化率、特征量、离散值、图案匹配等对所生成的投光图案进行评价，从而判断该投光图案的合适性。
并且，在非专利文献1中公开了基于M系列伪随机数列的投光图案、由白色和黑色构成的二进制编码图案、由灰度(gray scale)或色彩表示的投光图案等各种投光图案。
另外，在图12中，由测定点MP、照相机1的成像点IP1以及照相机2的成像点IP2形成的平面被称为核面(epipolar plane)，分别连接测定点MP和成像点IP1/IP2的直线被称为核线(epipolar line)。若已知照相机1和照相机2之间的位置关系，则在对象图像G2上，可知连接测定点MP和成像点IP1的核线的方向，因此，众所周知，仅在核线上进行对应即可。
【专利文献1】日本特开2001-91247号公报(公开日2001年4月6日)
【专利文献2】日本特开2001-147110号公报(公开日2001年5月29日)
【非专利文献1】Jordi Pages，另外3人，“Overview of coded lightprojection techniques for automatic 3D profiling”IEEE InternationalConference on Robotics and Automation，ICRA 2003，pp.133-138，Taipei，Taiwan，14-19th September 2003
【非专利文献2】金子俊一、另外3人、「增分符号相関による孔壁3次元形状のステレオ画像計测」精密工学会誌、vol.67，no.1，pp.81-85，200l
但是，即使在使用了上述专利文献l、2以及非专利文献1中公开的任意的投光图案的情况下，例如假设1×3像素的像素区域构成的窗口，在摄影图像中出现如下情况：与某个窗口对应的向量为(50，43，23)，与另一窗口对应的向量为(100，86，46)。
如上所述，通过使用归一化相关函数(式(1))，即使在各摄影图像上的亮度值之间产生线性偏差，也能够将该偏差吸收。另一方面，在归一化相关函数C中，由于使用现有的投光图案而产生上述的相互标量倍的关系的情况下，有可能在它们之间进行错误的对应。
该情况不限于使用了归一化相关函数(式(1))的情况，例如在非专利文献2中公开的进行增量符号相关(Increment Sign Correlation)的情况下也适用。
因此，在现有的投光图案中，存在不能够唯一地确定对应点，有可能进行错误的对应的问题。
另外，在上述专利文献2中，希望通过判断投光图案的合适性来减少进行错误的对应的危险性，但在该技术中，投射图案而对其进行拍摄之后，评价所拍摄的图像，在与基准不一致的情况下，制作其他的图案，再次进行投射、拍摄、评价，所以不能够从最初就生成不会引起错误对应的图案。
发明内容
本发明是为了解决上述问题而提出的，其目的在于，作为用于实现立体法中的立体对应而对计测对象进行投光的图案，实现更合适的图案生成。
本发明的图案生成装置，生成对计测对象进行投光的图案的图像数据，以实现立体法中的立体对应，其特征在于，具有：数列生成单元，其生成以M值(M是大于等于2的整数)的数值作为项的数列；以及图像数据生成单元，其通过把所述数列生成单元所生成的数列的各数值转换为与该各数值对应的灰度值，生成所述图像数据，所述数列生成单元以如下方式生成所述数列：关于构成所生成的数列的预定长度的部分数列、该各部分数列所表示的向量为方向互不相同的向量。
在上述结构中，由数列生成单元生成以M值的数值作为项的数列。此处，M值的数值是例如M＝2的情况下为“0”和“1”(二进制表示)的二值数值，M＝4的情况下为“00”、“01”、“10”以及“11”(二进制表示)的四值数值。
并且，在上述结构中，由数列生成单元生成的数列是如下数列：对于构成所生成的数列的预定长度的部分数列，由该各部分数列表示的向量是方向互不相同的向量(将这样的在向量集合中某向量与其他的向量方向不同的情况称为向量方向的“唯一性”)。此处，“预定长度的部分数列”是指构成数列生成单元所生成的数列的一部分、连续的预定长度的数列。
而且，在上述结构中，由图像数据生成单元将上述数列的各数值转换成与该各数据对应的灰度值，生成图像数据。
在这样得到的图像数据中，由与上述预定长度对应的像素列的灰度值表示的向量的方向具有唯一性，相互不成立标量倍的关系。
本发明的图案生成装置，在上述图案生成装置中，所述图像数据生成单元以所述数列生成单元所生成的数列作为行、在列方向上排列多个该行，由此生成矩阵状的图像数据。
在立体法中，观测点和立体照相机的各成像点形成三角形(核面)，因此对应也可以在三角形的1边(核线)上进行。因此，通过预先确定立体照相机中的各照相机之间的位置关系，能够知道核线的方向，所以可以在该方向上进行立体对应。
在上述结构中，在图像数据的行方向上确保了向量方向的唯一性。
本发明的图案生成装置，在上述图案生成装置中，所述图像数据生成单元以所述数列生成单元所生成的数列作为行、在行方向上错开所述预定长度的同时在列方向上排列多个该行，由此生成矩阵状的图像数据。
在上述结构中，考虑由与上述预定长度对应的行数和列数构成的正方矩阵时，得到的图像数据中的任意正方矩阵相互不成立标量倍的关系。
本发明的图案生成装置，在上述图案生成装置中，为了求出上述数列，例如可采用如下方式。即，所述M值的数值是N位的数值，将由该数值排列所述预定长度而成的值当作二进制数的候选值，所述数列生成单元重复进行通过将所述候选值设定为2N倍、同时在不超过2N-1次的范围内加1而得到新的候选值的运算。并且，在得到了新的候选值时，确认该候选值所表示的向量是否是方向与以前得到的候选值所表示的向量不同的向量，在是方向不同的向量的情况下，采用该候选值。然后，依次排列所采用的候选值的低N位，由此，生成所述数列。
也可以通过具备上述任意一种图案生成装置和对计测对象投射所述图案生成装置所生成的图案的投光装置，来构成本发明的图案投光装置。
并且，也可以通过具备所述图案投光装置和对由所述图案投光装置进行了图案投光的计测对象进行拍摄的立体摄影装置来构成距离计测装置。
或者，也可以通过具备所述图案投光装置和对由所述图案投光装置进行了图案投光的计测对象进行拍摄的摄影装置来构成三维形状计测装置。
而且，也可以通过具备上述任意一种图案生成装置和进行与所述图案生成装置所生成的图案对应的曝光的曝光装置来构成本发明的图案形成装置。
本发明的图案生成方法，生成对计测对象进行投光的图案的图像数据，以实现立体法中的立体对应，其特征在于，包括：数列生成处理，生成以M值(M是大于等于2的整数)的数值作为项的数列；以及图像数据生成处理，将通过所述数列生成处理生成的数列的各数值转换为与该各数值对应的灰度值，由此生成所述图像数据，在所述数列生成处理中以如下方式生成所述数列：关于构成所生成的数列的预定长度的部分数列、该各部分数列所表示的向量为方向互不相同的向量。
在根据上述方法得到的图像数据中，如对于上述图案生成装置所说明的那样，由与上述预定长度对应的像素列的灰度值表示的向量的方向具有唯一性。
可以通过具备基于上述图案生成方法的图案生成步骤和把通过所述图案生成步骤所生成的图案形成于光学滤波器上的图案形成步骤来构成本发明的光学滤波器制造方法。
并且，本发明的光学滤波器可以是具有由上述图案生成方法所生成的图案的光学滤波器。
在根据上述结构和方法得到的图像数据中，由与上述预定长度对应的像素列的灰度值表示的向量的方向具有唯一性，且相互不成立标量倍的关系，因此，能够降低在使用归一化相关函数等情况下进行错误的对应的危险性，能够进行准确的对应。
附图说明
图1是表示本发明的第一实施方式的三维形状计测装置的结构的方框图。
图2是表示图1的三维形状计测装置中的图案生成装置的数列生成部以及图像数据生成部所执行的处理流程的流程图。
图3是用于说明图2的流程图中所示的处理内容的具体例的图。
图4是表示由图2的流程图中所示的处理所生成的图像数据的一例的图。
图5是表示由图2的流程图中所示的处理所生成的图像数据的另一例的图。
图6是表示图1的三维形状计测装置的计测结果的图。
图7是用于说明对图6的计测结果进行的考察的图。
图8是表示本发明的第一实施方式的距离计测装置的结构的方框图。
图9是表示本发明的第二实施方式的图案形成装置的结构的方框图。
图10是表示本发明的第二实施方式的三维形状计测装置的结构的方框图。
图11是表示本发明的第二实施方式的另一图案形成装置的结构的方框图。
图12是用于说明立体对应的概念的图。
具体实施方式
[实施方式1]
根据图1～图8，如下说明本发明的第一实施方式。
根据图1的方框图说明本实施方式的三维形状计测装置1的结构。三维形状计测装置1是使用立体法来对计测对象MO的三维形状进行计测的装置。
三维形状计测装置1具有立体照相机11、立体图像处理装置12、投影仪21以及图案生成装置22。
立体照相机11是具有第一照相机11a和第二照相机11b的立体照相机，通过从互不相同的位置拍摄计测对象MO，分别生成摄影图像数据。
立体图像处理装置12通过使用了由第一和第二照相机11a/11b所生成的各摄影图像数据的立体法，来计算计测对象MO的三维形状。更具体讲，立体图像处理装置12利用通过使用上述各摄影图像数据而在2个摄影图像之间生成的计测对象的成像位置偏差(视差)，基于三角测量的原理来计算深度距离，根据该深度距离计算计测对象MO的三维形状。并且，立体图像处理装置12为求出上述视差，进行在背景技术中所说明的基于窗口匹配的立体对应。
另外，立体照相机11和立体图像处理装置12是以往已知的，所以省略对其详细结构和处理内容的说明。
投影仪21例如由液晶投影仪等构成，作为如下的投光装置发挥作用：将图案生成装置22所生成的图案的图像数据转换成与该图案对应的亮度的光，对计测对象MO进行投光。
上述图案是为了使计测对象MO的表面具有预定的亮度分布(对计测对象MO的表面进行编码)、使得能够在上述立体图像处理装置12上更准确地进行基于窗口匹配的立体对应而投射的图案。
即，窗口匹配是根据像素的亮度值的分布特性来判断2个摄影图像之间的对应关系的方法，如计测对象MO具有单一色的表面的情况那样，在计测对象MO的表面的亮度分布相同，且在摄影图像上亮度值难以产生变化的情况下，很难进行窗口匹配。为了使计测对象MO的表面具有预定的亮度分布，而将上述图案投射到计测对象MO的表面，从而在这种情况下也能够准确地进行窗口匹配。
图案生成装置22是生成上述图案的图像数据，提供给投影仪21的装置。图案生成装置22具有：数列生成部22a，其生成以M值(M是大于等于2的整数)的数值作为项的数列{an}；图像数据生成部22b，其通过把数列生成部22a所生成的数列{an}的各数值(各项，又称为“编码”)an转换为与该各数值对应的灰度值，生成上述图案的图像数据；存储部22c，其存储图像数据生成部22b所生成的图像数据；以及输出部22d，其向投影仪21输出存储部22c中存储的图像数据。
另外，在下面的说明中，各数值an是二进制的数值。上述M值的数值是例如M＝2的情况下为“0”和“1”的二值数值，M＝4的情况下为“00”、“01”、“10”以及“11”的四值数值。
根据图2的流程图，说明在上述数列生成部22a和图像数据生成部22b中进行的处理内容。
首先，数列生成部22a进行参数的初始设定(步骤S1)，将运算中使用的计数i，j，n设定为初始值1(步骤S2)。
在上述步骤S1的初始设定中，进行为生成数列{an}而使用的参数的初始设定。进行初始设定的参数是灰度位N、窗口宽度W、候选值的初始值C1以及希望编码长度L。
灰度位N是与构成图案的灰度数对应的位数，例如N＝1位的情况下，21＝2级灰度，N＝2位的情况下，22＝4级灰度。窗口宽度W是在进行窗口匹配时假想的窗口宽度(行方向的像素数)。希望编码长度L是所生成的数例{an}的必要项数，与图案的宽度(行方向的像素数)对应。
在数列生成部22a中，设定它们时，设定成L＜＜2W×N。例如，结合实际进行立体对应时的状况(计测对象的大小、计测对象与照相机之间的距离等)来设定窗口宽度W和希望编码长度L，输入到数列生成部22a。使用这些值，将位数N设定成L＜＜2W×N即可。此时，根据经验来设定2W×N要比L大多少，通过对L＜＜2W×N设定一个大致的目标，能够避免因采用过多的灰度位N的位数而引起运算量增大。
候选值Ci是在生成{an}的过程中使用的数值，将N位的数值排列W个并将其当作二进制数值的、(N×W)位的二进制数值。例如，在N＝1、W＝3的情况下为“xxx”(x是0或1)，在N＝2、W＝3的情况下为“xxxxxx”。该候选值Ci可以当作是以N位的数值作为要素的W维的向量。例如，在N＝1、W＝3的情况下可当作为向量“x，x，x”，在N＝2、W＝3的情况下可当作为向量“xx，xx，xx”。
而且，候选值的初始值C1是在运算开始时设定的任意的候选值Ci。并且，采用值En是满足预定条件而采用的候选值Ci。
并且，在数列生成部22a中预先准备有标志Fk的数列{Fk}(k是0～2NW-1)。该标志Fk与候选值Ci对应(k＝Ci时的Fk与Ci对应)，其表示“是”(Fk＝1)或“否”(Fk＝0)对所对应的候选值Ci进行了后述的步骤S5的处理。
执行上述参数的初始设定(步骤S1)以及计数的初始化(步骤S2)之后，首先，判断标志Fci是否为0(步骤S3)，在为0的情况下(步骤S3为“是”)，将标志Fci设定为1(步骤S4)之后，转移到后述的步骤S5，在不是0的情况下(步骤S3为“否”)，省略步骤S4、S5，转移到后述的步骤S6。
在步骤S5中，将候选值Ci当作向量时，判断该向量的方向相对于已得到的采用值En是否具有唯一性。向量的方向具有唯一性是指该向量与预定向量集合中的其他向量的方向不同。因此，在上述步骤S5中，判断候选值Ci的向量是否与分别对应于已得到的采用值En的向量的方向不同。
在候选值Ci的向量方向不具有唯一性的情况下(步骤S5为“否”)，转移到步骤S6，判断是否还存在设定为0的标志Fk(步骤S6)。
在还存在设定为0的标志Fk的情况下(步骤S6为“是”)，对候选值Ci加1，由此更新候选值Ci(步骤S8、S9)，重复从上述步骤S3起的处理，使得该重复不超过(2N-1)次(步骤S7、S10)。
另外，上述候选值Ci的位数被设定为(N×W)位，所以在上述更新中有时会产生位溢出的情况。该情况下，将更新后的低(N×W)位作为新的候选值Ci即可。换言之，将对候选值Ci加1的结果除以2WN，将其余数作为新的候选值Ci即可。
在上述步骤S3～S10的处理中，得到了向量方向具有唯一性的候选值Ci的情况下(步骤S5为“是”)，将该候选值Ci采用为采用值En(步骤S11)。然后，判断采用值En的数n是否达到了L个(步骤S12)，在未达到的情况下(步骤S12为“否”)，判断是否还存在设定为0的标志Fk(步骤S13)，在还存在设定为0的标志Fk的情况下(步骤S13为“是”)，递增计数n(步骤S14)，并且对候选值Ci乘以2N，从而更新候选值Ci(步骤S15、S16)，将计数j初始化为1(步骤S17)，再次重复从上述步骤S3起的处理。
另外，对于上述候选值Ci的更新，与上述步骤S9的情况相同，在发生了位溢出的情况下，只要将更新后的低(N×W)位作为新的候选值Ci即可。换言之，将对候选值Ci乘2N的结果除以2WN，将其余数作为新的候选值Ci即可。
另一方面，即使重复(2N-1)次上述步骤S9的更新，候选值Ci也不具有唯一性的情况下(步骤S7为“否”)，转移到上述步骤S15，进行其后的处理。
通过这样更新候选值Ci并将具有唯一性的候选值Ci采用为采用值En，采用值En的数n达到L个时，将各采用值En的低N位分别设定为数列{an}的各项an，由此生成数列{an}(步骤S18)。
并且，采用值En的数n未达到L个，就已不存在设定为0的标志Fk的情况下(步骤S6/S13为“否”)，即使再继续上述处理，也没有能够得到新的采用值的希望，因此为了避免陷入无限的循环，转移到上述步骤S18。此时，所生成的数列{an}未达到所需要的项数。这是因为在上述的L＜＜2W×N的关系中，未设定相对于L充分大的2W×N，只要将灰度位N和/或窗口宽度W重新设定成较大的值，再次从最初进行处理即可。
以上的步骤S1～S18的处理通过数列生成部22a来执行。
接着，利用图像数据生成部22b将上述数列{an}的各项an的值转换成与各个值对应的灰度值(步骤S19)。该转换只要能够避免将不同的值转换为相同的灰度值，什么样的转换都可。另外，若将2个灰度值设定成过于接近的值，则在摄影图像上难以进行区分它们的处理(阈值处理)，因此优选将灰度值设定成一定程度地分散。
在通过上述那样得到的数列{an}中，考虑构成该数列{an}且连续的W个部分数列时，已知由任意的部分数列表示的向量的方向与由其他任意的部分数列表示的向量的方向不同，即具有唯一性。
因此，将数列{an}的各项an的值转换成与各个值对应的灰度值而得到的图像数据中，由与窗口宽度W对应的像素列的灰度值表示的向量的方向具有唯一性，相互不成立标量倍的关系，因此，在立体图像处理装置12中进行使用了归一化相关函数的窗口匹配时，进行错误对应的危险性减少，能够实现准确的对应。
另外，这不限于使用了归一化相关函数的情况，在使用了增量符号相关函数等其他的评价函数(吸收立体图像之间的亮度的线性偏差的评价函数)的情况也适用。
并且，图像数据生成部22b使用如上得到的1行图像数据，生成矩阵状的图像数据(步骤S20)。
作为用于生成矩阵状的图像数据的一个方法，可以采用将上述1行的图像数据直接在列方向上排列多个的方式。能够在考虑了核线的对应中利用由此得到的图像数据。
即，在立体法中，观测点与立体照相机11的各成像点形成三角形(核面)，因此对应也可以在三角形的1边(核线)上进行。因此，通过预先确定立体照相机11中的第一和第二照相机11a/11b之间的位置关系，能够知道核线的方向，所以可以在该方向上进行立体对应。
在上述图像数据的行方向中确保了向量方向的唯一性，因此，能够准确地在该方向上进行对应。因此，通过使该方向与上述核线的方向对齐，能够作为整体进行准确的对应。
另外，该情况下，无需在列方向排列多个上述1行的图像数据，可直接使用1行的图像数据。
并且，作为用于生成矩阵状的图像数据的另一方法，可以采用将上述1行的图像数据在行方向上错开窗口宽度W的同时在列方向上排列多个的方式(另外，因错开而在一方的端部侧溢出的部分，在另一方的端部侧补足)。关于由此得到的图像数据，考虑在该图像数据中由与窗口宽度W对应的行数和列数构成的正方矩阵时，任意的正方矩阵相互不成立标量倍的关系。因此，能够进行二维对应，所以即使不像上述那样考虑核线，或对核线考虑进一定程度的误差，也能够准确地进行对应。
另外，本说明书中的“行方向”和“列方向”只不过是指在矩阵状的排列中相互垂直的方向。即，行方向和列方向可以分别对应图像的横方向和纵方向，也可以分别对应图像的纵方向和横方向。
图3中使用具体数值来表示上述处理内容。在图3的例子中，分别设灰度位N＝1、窗口宽度W＝3以及候选值的初始值C1＝000。下面，参照图2的流程图，说明图3的处理内容。
在图3的例子中，将候选值C1＝000当作是向量(0，0，0)，可认为该向量与任意的向量为同一方向，因此，作为不具有唯一性的向量，不用作采用值(步骤S5为“否”)。经过步骤S7、S8，在步骤S9中得到的候选值C2＝001被当作是向量(0，0，1)，与该向量方向相同的向量还未被采用为采用值(步骤S5为“是”)，所以将该C2＝001采用为采用值E1(步骤S11)。然后，经过步骤S12～S15，在步骤S16中得到的候选值C3＝010被当作是向量(0，1，0)，与该向量方向相同的向量还未被采用为采用值(步骤S5为“是”)，所以将该C3＝010采用为采用值E2(步骤S11)。对于候选值C4＝100，也同样在步骤S8中采用为采用值E3。然后，经过步骤S12～S15，在步骤S16中得到的候选值C6＝001被当作是向量(0，0，1)，是与已采用的采用值E1方向相同的向量，因此作为不具有唯一性的向量，不用作采用值(步骤S5为“否”)。
通过进行以上的判断，候选值C2/C3/C4/C8/C9/C11/C15分别被采用为采用值E1～E7。
并且，关于在上述步骤S5中的判断(向量方向唯一性的判断)，在N＝1的情况下，也能够以十进制表示作为采用值En得到的数值，通过该数值是否已被表示过来进行判断。
将这样采用的采用值E1～E7各自的低N(＝1)位依次设为数列{an}的各项an，得到数列{an}＝{1，0，0，1，0，1，1}。
通过将这样得到的数列{an}＝{1，0，0，1，0，1，1}的各项an的值“1”和“0”例如分别转换为灰度值“150”和“50”，能够得到图像数据{150，50，50，150，50，150，150}。在该图像数据中，由与窗口宽度W＝3的部分数列对应的任意像素列的灰度值所表示的向量(150，50，50)、(50，50，150)、(50，150，50)、(150，50，150)、(50，150，150)分别具有方向的唯一性。
另外，通过重复排列数列{an}＝{1，0，0，1，0，1，1}，能够得到{1，0，0，1，0，1，1，1，0，0，1，0，1，1}这样的数列，若从该数列删除后面的5项，使得不重复出现与最初的部分数列(窗口宽度W＝3的部分数列)即{1，0，0}相同的部分数列，则能够得到{1，0，0，1，0，1，1，1，0}这样的数列。通过将该数列的各项的值“1”和“0”分别转换为灰度值“150”和“50”，能够得到图像数据{150，50，50，150，50，150，150，150，50}，关于该图像数据，由与窗口宽度W＝3的部分数列对应的任意像素列的灰度值所表示的向量(150，50，50)、(50，50，150)、(50，150，50)、(150，50，150)、(50，150，150)、(150，150，150)、(150，150，50)分别具有方向的唯一性。因此，可以使用这样得到的图像数据。
通过将这样得到的1行的图像数据像上述那样直接在列方向上排列多个，能够得到图4所示的图像数据，通过在行方向上错开窗口宽度W即3像素的同时在列方向排列多个，能够得到图5所示的图像数据。在图5的图像数据中，考虑由与窗口宽度W对应的行数和列数构成的正方矩阵即由3行3列构成的正方矩阵(例如图5中粗线围起的矩阵)时，任意的正方矩阵相互不成立标量倍的关系。
以上，为了简化说明，说明了灰度位N＝1即图案的灰度为二值(2级灰度)的情况，所以同一方向的向量是长度也相同的向量，但在更多灰度的情况下，也能够想到例如像向量(50，100，150)、(10，20，30)那样，长度互不相同，但方向相同的2个向量(这种向量在归一化相关法的原则下，被归一化成平均值为0、方差为1的(-1，0，1)这样的值，不能区分)。
在以往的使用均匀随机数或正态随机数生成随机图案的方法中，不能够像上述那样避免产生长度互不相同但方向相同的2个向量，但在进行上述处理的图案生成装置22中，能够排除产生长度互不相同、但方向相同的2个向量。
由上述图2的处理生成的数列{an}在上述的向量方向的唯一性的限制下具有最大周期，因此，能够以更少的信息量生成所需的数列{an}。
另外，在上述图2的处理中具有如下特征：把通过将候选值的初始值C1设为000来生成的数列{an}的、最初的W项当作二进制数值时，该数值一定是由2(NW-1)计算的值(二进制值)(例如，在图3的具体例的情况下，N＝1、W＝3，2(NW-1)＝4，即在二进制表示中为100)。
图6示出了使用三维形状计测装置1进行的计测结果。图6中，为了比较，将未进行图案投光的情况、投光条状图案的情况的计测结果一起示出。作为计测对象使用具有一样颜色的表面(Non-texture表面)的球体。作为本实施方式的图案，使用灰度位N＝1、窗口宽度W＝10的图案。
由图6的计测结果可知，在无图案投光的情况以及使用了条状图案的情况下，未能进行准确的对应，未能得到结果正确的计测结果，相对于此，使用了本实施方式的图案的情况下，通过准确的对应，能够得到结果正确的计测结果。
这是因为，如图7所示，在无图案投光的情况下，存在多个虚假的对应候选，其结果，难以得到正确的计测结果，在使用条状图案的情况下，有可能存在虚假的对应候选，所以有可能得到错误的计测结果，相对于此，使用了本实施方式的图案的情况下，能够将对应候选缩小为一个，所以能够避免计测错误。
另外，在图案生成装置22中，生成数列{an}的处理不限于上述的处理。作为其他的处理，例如，在生成M系列等伪随机数列时，将该伪随机数列从其开头一项一项错开并按窗口宽度W进行划分，依次确认由所划分的数列形成的向量的方向是否具有唯一性，保留具有唯一性的向量，排除不具有唯一性的向量，从而生成数列{an}。
图案生成装置22的上述各模块可以由硬件构成，也可以通过在个人计算机等计算机上执行图案生成程序，以软件实现。
即，图案生成装置22也可以通过具有CPU、ROM、RAM和存储装置等的计算机来实现，该CPU(cenrtal processing unit：中央处理器)执行用于实现该装置的各功能的图案生成程序的命令，该ROM(read onlymemory：只读存储器)存储有上述程序，该RAM(random access memory：随机访问存储器)用于展开上述程序，该存储装置是存储上述程序和各种数据的存储器等。
即，可通过如下方式来达成本发明的目的：将以计算机可读取的方式记录有实现上述功能的软件即图案生成程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质提供给计算机，使该计算机读出并执行记录介质中记录的程序代码。
作为上述记录介质能够使用例如包括磁带、盒带等的带类、包括软盘(注册商标)/硬盘等的磁盘以及CD-ROM/MO/MD/DVD/CD-R等光盘的盘类、IC卡(包括存储卡)/光卡等卡类、或掩模ROM/EPROM/EEPROM/闪存ROM等半导体存储器类等。
并且，图案生成装置22也可以构成为可与通信网络连接，通过通信网络提供上述程序。作为该通信网络，无特别限定，可利用例如因特网、局域网、外部网络(extra net)、LAN、ISDN、VAN、CATV通信网、虚拟专用网(virtual private network)、电话线路网、移动通信网、卫星通信网等。并且，作为构成通信网络的传输介质，无特别限定，可利用例如IEEE1394、USB、电力线传输、有线电视线路、电话线、ADSL线路等的有线，也可以利用IrDA或遥控器那样的红外线、蓝牙(Bluetooth)(注册商标)、802.11无线、HDR、移动电话网、卫星线路、地面波数字网等的无线。另外，本发明也能够以通过电子传输使上述程序代码具体实现而得到的、嵌入在传输波中的计算机信号的形式实现。
在本实施方式中，对以分别独立的装置来构成图案生成装置22和立体图像处理装置12的情况进行了说明，但也可以使同一装置具有图案生成装置22的功能和立体图像处理装置12的功能。例如，可以在1台计算机上借助软件来实现图案生成装置22的功能和立体图像处理装置12的功能。
在三维形状计测装置1中，在立体照相机11中的第一和第二照相机11a/11b的位置关系为已知的情况下，能够根据该位置关系求出核线。另一方面，在第一和第二照相机11a/11b的位置关系为未知的情况下，如下进行校准即可：在执行计测之前，预先将三维形状已知的物体(例如平板)作为计测对象进行计测，根据该计测结果推算第一和第二照相机11a/11b的位置关系。
另外，在通常的校准中，使用描绘有被称为校准靶的图案(不一定是已知的图案)的工具，通过拍摄该校准靶，求出照相机之间的位置关系。
相对于此，在三维形状计测装置1中，在校准时通过第一和第二照相机11a/11b拍摄的物体的表面即使为同样颜色的表面，若已知该物体的形状(例如平板)，则能够通过将图案生成装置22所生成的图案投光到上述物体上，进行立体对应，推算第一和第二照相机11a/11b的位置关系。即，在三维形状计测装置1中，能够将图案生成装置22所生成的图案用作校准靶。
并且，如图8所示，能够使用构成三维形状计测装置1的立体照相机11、立体图像处理装置12、投影仪21、图案生成装置22来实现距离计测装置2。该距离计测装置2，通过搭载到自行行走型机器人上，即使在墙壁和地面等具有同样颜色的表面的情况下，也能够进行合适的距离判断，通过对机器人的自行行走提供合适的距离信息，能够支持自行行走。
[实施方式2]
根据图9至图11，如下说明本发明的第二实施方式。
在本实施方式中说明如下结构，在光学滤波器上形成实施方式1的图案生成装置22(参照图1)所生成的图案，使用该光学滤波器进行图案投光。
并且，对于与实施方式1中说明的装置、功能块、部件具有同等功能的装置、功能块、部件，本实施方式中也使用与实施方式1相同的符号，并在本实施方式中省略其说明。
根据图9的方框图，说明本实施方式的图案形成装置3的结构。图案形成装置3是用于由图案生成装置22生成图案、在光学滤波器上形成所生成的图案的装置，包括图案生成装置22和曝光装置31。
曝光装置31是射出与图案生成装置22所生成的图像数据对应的曝光图案的装置，例如由液晶投影仪构成。
通过从该曝光装置31射出的曝光图案，对在表面涂敷了感光剂的透明基材TP(transparent plate)(薄膜或玻璃基板等)进行曝光，之后，将其显影，从而能够制造光学滤波器。
图10表示使用了上述光学滤波器FT(Filter)的三维形状计测装置1’的结构。三维形状计测装置1’具有立体照相机11和立体图像处理装置12，并且，替代三维形状计测装置1(参照图1)的投影仪21和图案生成装置22，而具有光源23和光学滤波器FT。而且，通过形成有上述图案的光学滤波器FT对从光源23射出的光进行调光，将与三维形状计测装置1同等的图案投射到计测对象MO上。
另外，作为构成图案形成装置3的曝光装置，如图11所示，可以是扫描型的曝光装置31’。曝光装置31’是如下的装置：通过进行激光扫描，对透明基材TP进行扫描曝光，并且，根据图案生成装置22所生成的图像数据，调制扫描曝光用的激光强度，从而进行与上述图像数据对应的图案的曝光。
这样，由图案生成装置22生成的图像数据，不限于一定象被提供给投影仪21或曝光装置31的情况那样作为图像输出的数据，也可以是提供给扫描型曝光装置31’的情况那样结果能够再现出图像的数据。
如本实施方式，在光学滤波器FT上再现图案生成装置22所生成的图案，由此能够省略图案生成装置22本身来构成三维形状计测装置1’，能够实现三维形状计测装置1’的装置结构的简化。
本发明优选适用于三维形状计测装置和距离计测装置2。

Claims (11)

1.一种图案生成装置，生成对计测对象进行投光的图案的图像数据，以实现立体法中的立体对应，其特征在于，
具有：
数列生成单元，其生成以M值的数值作为项的数列，其中，M是大于等于2的整数；以及
图像数据生成单元，其通过把所述数列生成单元所生成的数列的各数值转换为与该各数值对应的灰度值，生成所述图像数据，
所述数列生成单元以如下方式生成所述数列：关于构成所生成的数列的预定长度的部分数列、该各部分数列所表示的向量为方向互不相同的向量。
2.根据权利要求1所述的图案生成装置，其特征在于，
所述图像数据生成单元以所述数列生成单元所生成的数列作为行、在列方向上排列多个该行，由此生成矩阵状的图像数据。
3.根据权利要求1所述的图案生成装置，其特征在于，
所述图像数据生成单元以所述数列生成单元所生成的数列作为行、在行方向上错开所述预定长度的同时在列方向上排列多个该行，由此生成矩阵状的图像数据。
4.根据权利要求1所述的图案生成装置，其特征在于，
所述M值的数值是N位的数值，将由该数值排列所述预定长度而成的值当作二进制数的候选值，
所述数列生成单元重复进行通过将所述候选值设定为2N倍、同时在不超过2N-1次的范围内加1而得到新的候选值的运算，并且，在得到了新的候选值时，确认该候选值所表示的向量是否是方向与以前得到的候选值所表示的向量不同的向量，在是方向不同的向量的情况下，采用该候选值，依次排列所采用的候选值的低N位，由此，生成所述数列。
5.一种投光装置，其特征在于，具有：
数列生成单元，其以如下方式生成以M值的数值作为项的数列，其中，M是大于等于2的整数：关于构成所述数列的预定长度的部分数列、该各部分数列所表示的向量为方向互不相同的向量；
图像数据生成单元，其通过把所述数列生成单元所生成的数列的各数值转换为与该各数值对应的灰度值，生成所述图像数据；以及
投光单元，其把所述图像数据生成单元所生成的图像数据作为图案、对计测对象进行投光。
6.一种距离计测装置，其特征在于，具有：
数列生成单元，其以如下方式生成以M值的数值作为项的数列，其中，M是大于等于2的整数：关于构成所述数列的预定长度的部分数列、该各部分数列所表示的向量为方向互不相同的向量；
图像数据生成单元，其通过把所述数列生成单元所生成的数列的各数值转换为与该各数值对应的灰度值，生成所述图像数据；
投光单元，其把所述图像数据生成单元所生成的图像数据作为图案、对计测对象进行投光；以及
立体摄影单元，其对所述计测对象进行拍摄。
7.一种三维计测装置，其特征在于，具有：
数列生成单元，其以如下方式生成以M值的数值作为项的数列，其中，M是大于等于2的整数：关于构成所述数列的预定长度的部分数列、该各部分数列所表示的向量为方向互不相同的向量；
图像数据生成单元，其通过把所述数列生成单元所生成的数列的各数值转换为与该各数值对应的灰度值，生成所述图像数据；
投光单元，其把所述图像数据生成单元所生成的图像数据作为图案、对计测对象进行投光；以及
摄影装置，其对由所述投光单元进行了投光的计测对象进行拍摄。
8.一种图案形成装置，其特征在于，具有：
数列生成单元，其以如下方式生成以M值的数值作为项的数列，其中，M是大于等于2的整数：关于构成所述数列的预定长度的部分数列、该各部分数列所表示的向量为方向互不相同的向量；
图像数据生成单元，其通过把所述数列生成单元所生成的数列的各数值转换为与该各数值对应的灰度值，生成所述图像数据；以及
曝光装置，其进行与所述图像数据生成单元所生成的图像数据对应的曝光。
9.一种图案生成方法，生成对计测对象进行投光的图案的图像数据，以实现立体法中的立体对应，其特征在于，
包括：
数列生成处理，生成以M值的数值作为项的数列，其中，M是大于等于2的整数；以及
图像数据生成处理，将通过所述数列生成处理生成的数列的各数值转换为与该各数值对应的灰度值，由此生成所述图像数据，
在所述数列生成处理中以如下方式生成所述数列：关于构成所生成的数列的预定长度的部分数列、该各部分数列所表示的向量为方向互不相同的向量。
10.一种光学滤波器制造方法，包括：
数列生成处理，以如下方式生成以M值的数值作为项的数列，其中，M是大于等于2的整数：关于构成所述数列的预定长度的部分数列、该各部分数列所表示的向量为方向互不相同的向量；
图像数据生成处理，把通过所述数列生成处理生成的数列的各数值转换为与该各数值对应的灰度值，由此生成所述图像数据；以及
把通过所述图像数据生成处理生成的图像数据作为图案，形成于光学滤波器上的处理。
11.一种光学滤波器，其特征在于，具有与通过如下处理生成的图像数据对应的图案，该处理包括：
数列生成处理，以如下方式生成以M值的数值作为项的数列，其中，M是大于等于2的整数：关于构成所述数列的预定长度的部分数列、该各部分数列所表示的向量为方向互不相同的向量；以及
图像数据生成处理，把通过所述数列生成处理生成的数列的各数值转换为与该各数值对应的灰度值，由此生成所述图像数据。
CN2006101017645A 2005-07-08 2006-07-10 用于实现立体对应的投光图案的生成装置和生成方法 Active CN1896680B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005-200927 2005-07-08
JP2005200927 2005-07-08
JP2005200927A JP4577126B2 (ja) 2005-07-08 2005-07-08 ステレオ対応づけのための投光パターンの生成装置及び生成方法

Publications (2)

Publication Number Publication Date
CN1896680A true CN1896680A (zh) 2007-01-17
CN1896680B CN1896680B (zh) 2010-05-12

Family

ID=37609258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006101017645A Active CN1896680B (zh) 2005-07-08 2006-07-10 用于实现立体对应的投光图案的生成装置和生成方法

Country Status (3)

Country Link
US (2) US7940981B2 (zh)
JP (1) JP4577126B2 (zh)
CN (1) CN1896680B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102612634A (zh) * 2010-09-13 2012-07-25 株式会社理光 校准装置、距离测量***、校准方法和校准程序
CN102661722A (zh) * 2012-05-16 2012-09-12 浙江大学 基于影像复合的薄片零件轮廓自动检测测头与检测方法
TWI573984B (zh) * 2013-04-01 2017-03-11 鴻海精密工業股份有限公司 圖像匹配系統及方法
CN113302520A (zh) * 2019-01-16 2021-08-24 株式会社小糸制作所 成像装置、其运算处理装置、车辆用灯具、车辆、感测方法

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307024B1 (en) * 1999-03-09 2001-10-23 Zymogenetics, Inc. Cytokine zalpha11 Ligand
FR2889303B1 (fr) * 2005-07-26 2008-07-11 Airbus France Sas Procede de mesure d'une anomalie de forme sur un panneau d'une structure d'aeronef et systeme de mise en oeuvre
US7957007B2 (en) * 2006-05-17 2011-06-07 Mitsubishi Electric Research Laboratories, Inc. Apparatus and method for illuminating a scene with multiplexed illumination for motion capture
US7768656B2 (en) * 2007-08-28 2010-08-03 Artec Group, Inc. System and method for three-dimensional measurement of the shape of material objects
JP5322206B2 (ja) * 2008-05-07 2013-10-23 国立大学法人 香川大学 ３次元形状の計測方法および装置
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
KR101733443B1 (ko) * 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5250847B2 (ja) * 2009-07-28 2013-07-31 コニカミノルタ株式会社 画像処理装置、情報処理システム、画像処理方法、およびプログラム
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011143501A1 (en) 2010-05-12 2011-11-17 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US8704890B2 (en) * 2010-08-19 2014-04-22 Olympus Corporation Inspection apparatus and measuring method
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
CN102859319A (zh) * 2011-04-19 2013-01-02 三洋电机株式会社 信息获取装置以及物体检测装置
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
US8964002B2 (en) * 2011-07-08 2015-02-24 Carestream Health, Inc. Method and apparatus for mapping in stereo imaging
JP5854680B2 (ja) * 2011-07-25 2016-02-09 キヤノン株式会社 撮像装置
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
IN2014CN02708A (zh) 2011-09-28 2015-08-07 Pelican Imaging Corp
US9098908B2 (en) * 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
JP2013124884A (ja) 2011-12-13 2013-06-24 Canon Inc 情報処理装置、情報処理装置の制御方法、およびプログラム
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US8619082B1 (en) 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
WO2014133974A1 (en) 2013-02-24 2014-09-04 Pelican Imaging Corporation Thin form computational and modular array cameras
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9233470B1 (en) * 2013-03-15 2016-01-12 Industrial Perception, Inc. Determining a virtual representation of an environment by projecting texture patterns
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9426343B2 (en) 2013-11-07 2016-08-23 Pelican Imaging Corporation Array cameras incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
JP6413648B2 (ja) * 2014-06-20 2018-10-31 株式会社リコー 計測システム、物体取出システム、計測方法およびプログラム
JP2017531976A (ja) 2014-09-29 2017-10-26 フォトネイション ケイマン リミテッド アレイカメラを動的に較正するためのシステム及び方法
JP2016073409A (ja) * 2014-10-03 2016-05-12 ソニー株式会社 情報処理装置、情報処理方法及び手術顕微鏡装置
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
CN106289109A (zh) * 2016-10-26 2017-01-04 长安大学 一种基于结构光的三维重建***及方法
CN108151671B (zh) * 2016-12-05 2019-10-25 先临三维科技股份有限公司 一种三维数字成像传感器、三维扫描***及其扫描方法
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10835352B2 (en) * 2018-03-19 2020-11-17 3D Imaging and Simulation Corp. Americas Intraoral scanner and computing system for capturing images and generating three-dimensional models
JP7224112B2 (ja) * 2018-05-21 2023-02-17 Juki株式会社 縫製システム
JP7118748B2 (ja) * 2018-06-01 2022-08-16 富士通コンポーネント株式会社 計測器および光学読取器
CN109859162B (zh) * 2018-12-19 2020-10-27 中国大恒(集团)有限公司北京图像视觉技术分公司 一种针对于工业相机周期性条纹自动化测试方法
WO2020235348A1 (ja) * 2019-05-17 2020-11-26 株式会社ソニー・インタラクティブエンタテインメント 光パターン照射制御装置及び光パターン照射制御方法
DE112020004391T5 (de) 2019-09-17 2022-06-02 Boston Polarimetrics, Inc. Systeme und verfahren zur oberflächenmodellierung unter verwendung von polarisationsmerkmalen
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
CN114787648B (zh) 2019-11-30 2023-11-10 波士顿偏振测定公司 用于使用偏振提示进行透明对象分段的***和方法
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
CN115428028A (zh) 2020-01-30 2022-12-02 因思创新有限责任公司 用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的***和方法
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4030342A (en) * 1975-09-18 1977-06-21 The Board Of Trustees Of Leland Stanford Junior University Acoustic microscope for scanning an object stereo-optically and with dark field imaging
JPS5256558A (en) * 1975-11-04 1977-05-10 Nippon Telegr & Teleph Corp <Ntt> Three-dimentional object measuring system
US4871252A (en) * 1986-10-30 1989-10-03 The Regents Of The University Of California Method and apparatus for object positioning
JP2565885B2 (ja) * 1987-02-04 1996-12-18 日本電信電話株式会社 空間パタ−ンコ−ド化方法
WO1992017859A1 (en) * 1991-04-03 1992-10-15 Hewlett Packard Company Position-sensing apparatus
US5475452A (en) * 1994-02-24 1995-12-12 Keravision, Inc. Device and method for mapping objects
US5715334A (en) * 1994-03-08 1998-02-03 The University Of Connecticut Digital pixel-accurate intensity processing method for image information enhancement
JP3255360B2 (ja) * 1999-09-22 2002-02-12 富士重工業株式会社 距離データの検査方法およびその検査装置
JP4110501B2 (ja) * 1999-11-22 2008-07-02 ソニー株式会社 ランダムパターン生成装置とその方法、距離画像生成装置とその方法、およびプログラム提供媒体
DE19963333A1 (de) * 1999-12-27 2001-07-12 Siemens Ag Verfahren zur Ermittlung von dreidimensionalen Oberflächenkoordinaten
JP2001338280A (ja) * 2000-05-30 2001-12-07 Nippon Telegr & Teleph Corp <Ntt> ３次元空間情報入力装置
JP3884321B2 (ja) * 2001-06-26 2007-02-21 オリンパス株式会社 ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102612634A (zh) * 2010-09-13 2012-07-25 株式会社理光 校准装置、距离测量***、校准方法和校准程序
CN102612634B (zh) * 2010-09-13 2014-07-23 株式会社理光 校准装置、距离测量***和校准方法
CN102661722A (zh) * 2012-05-16 2012-09-12 浙江大学 基于影像复合的薄片零件轮廓自动检测测头与检测方法
TWI573984B (zh) * 2013-04-01 2017-03-11 鴻海精密工業股份有限公司 圖像匹配系統及方法
CN113302520A (zh) * 2019-01-16 2021-08-24 株式会社小糸制作所 成像装置、其运算处理装置、车辆用灯具、车辆、感测方法

Also Published As

Publication number Publication date
JP2007017355A (ja) 2007-01-25
US20070009150A1 (en) 2007-01-11
US8103089B2 (en) 2012-01-24
US7940981B2 (en) 2011-05-10
US20110096982A1 (en) 2011-04-28
JP4577126B2 (ja) 2010-11-10
CN1896680B (zh) 2010-05-12

Similar Documents

Publication Publication Date Title
CN1896680A (zh) 用于实现立体对应的投光图案的生成装置和生成方法
US9979909B2 (en) Automatic lens flare detection and correction for light-field images
Landau et al. Simulating kinect infrared and depth images
CN100346633C (zh) 校正由光学***产生的彩色图像的色差的方法和***
CN101061367A (zh) 三维测量装置、三维测量方法以及三维测量程序
CN104899870B (zh) 基于光场数据分布的深度估计方法
US20140078260A1 (en) Method for generating an array of 3-d points
CN1898697A (zh) 用于修改图像场数据的技术
US9111150B2 (en) Authentication system, and method for registering and matching authentication information
CN1450797A (zh) 图像信号的增益修正以及用于增益修正的校准
CN1975323A (zh) 利用单数码相机自由拍摄进行物体三维测量的方法
CN1674636A (zh) 根据单个图像的辐射度校准
TW201042235A (en) Three-dimensional shape measuring device, three-dimensional shape measuring method, and three-dimensional shape measuring program
CN1933545A (zh) 图像处理方法和图像处理设备
CN1913592A (zh) 信息处理方法和设备
RU2018113713A (ru) Представление данных светового поля
JP2012015744A (ja) 奥行き信号生成装置及び方法
CN106888344A (zh) 摄像模组及其像面倾斜的获取方法和调整方法
Wagdy et al. A parametric method for remapping and calibrating fisheye images for glare analysis
CN109662695A (zh) 荧光分子成像***、装置、方法及存储介质
CN103136745A (zh) 利用散焦碉堡图像执行深度估计的***及方法
Ravanelli et al. A high-resolution photogrammetric workflow based on focus stacking for the 3D modeling of small Aegean inscriptions
CN1173297C (zh) 用于分析数字图像纹理结构的方法
CN105979248A (zh) 具有混合深度估计的图像处理***及其操作方法
US7266233B2 (en) System and method for measuring an object

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant