CN112602118B - 图像处理装置和三维测量*** - Google Patents

图像处理装置和三维测量*** Download PDF

Info

Publication number
CN112602118B
CN112602118B CN201980054085.2A CN201980054085A CN112602118B CN 112602118 B CN112602118 B CN 112602118B CN 201980054085 A CN201980054085 A CN 201980054085A CN 112602118 B CN112602118 B CN 112602118B
Authority
CN
China
Prior art keywords
image
parallax
predicted
unit
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980054085.2A
Other languages
English (en)
Other versions
CN112602118A (zh
Inventor
松本慎也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN112602118A publication Critical patent/CN112602118A/zh
Application granted granted Critical
Publication of CN112602118B publication Critical patent/CN112602118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

图像处理装置具有：设定单元，其通过与立体匹配不同的方式来预测第1图像与第2图像之间的视差，基于所述预测视差来设定立体匹配中的对应点的搜索范围；视差图生成单元，其限定在所述设定的搜索范围内搜索所述第1图像与所述第2图像之间的各像素的对应点，并生成视差图；以及视差图合成单元，其对根据多个图像对中的各个图像对生成的多个视差图进行合成。

Description

图像处理装置和三维测量***
技术领域
本发明涉及使用了图像的三维测量。
背景技术
以往，公知有用于进行对象物的三维测量的各种方法，这些方法着眼于光的性质，大致分为使用光直行性的方法和使用光速的方法。其中，在使用光直行性的方法中，包含有分类为主动型测量(active测量)和被动型测量(passive测量)中的任意测量的方式，在使用光速的方法中，包含有分类为主动型测量(active测量)的方式。
在非专利文献1中，作为主动型测量方式的一例的空间编码图案投影方式的具体例，记载了以下方法：将空间编码(coding)后的图案照明投影到对象物，对拍摄被投影了该图案的对象物而得到的图像进行分析，由此获取三维形状。
另外，作为被动型测量方式的一例，公知有所谓的立体匹配(也称为立体视觉)，使用从不同视点拍摄的两个图像来测量对象物的三维形状(参照专利文献1、2)。在图14中示出了立体匹配的原理。在立体匹配中，例如使用左右配置的两台照相机来同时拍摄对象物O，取得两张图像。将一张图像作为基准图像I1，将另一张图像作为比较图像I2，沿着比较图像I2中的对极线E来搜索图像特征与基准图像I1中的像素(基准点P1)最接近的像素(对应点P2)，求取基准点P1与对应点P2之间的坐标之差(视差)。由于各照相机的几何学位置是已知的，因此能够通过三角测量的原理，基于视差来计算进深方向上的距离D(深度)，能够复原对象物O的三维形状。
现有技术文献
专利文献
专利文献1：日本特开平5-303629号公报
专利文献2：日本特开2012-248221号公报
非专利文献
非专利文献1：P.Vuylsteke andA.Oosterlinck,Range Image Acquisition witha Single Binary-EncodedLight Pattern,IEEEPAMI 12(2),pp.148-164,1990.
发明内容
发明要解决的课题
在立体匹配那样的使用了图像的测量方式中，对象物表面的反射特性的差异或照明等的环境变化容易导致测量精度的偏差和降低。例如，当照明光在金属部件的表面发生镜面反射而产生光晕(halation)、或者暗部灰度被橡胶等反射率低的物体破坏时，存在距离估计所需的信息量不足、精度显著下降或者无法测量的情况。另外，在照明的光量不足的情况、被其他物体遮挡而照明无法充分照到对象物的情况、其他物体的反射光照到对象物的情况(所谓的相互反射)等时，也会给测量精度带来影响。
在专利文献1、2中，公开了对相同的对象物进行多次立体匹配并合成这些结果以实现测量精度的提高的思想。然而，仅是多次重复现有技术的立体匹配的话，虽然可能具有减少偏差的效果，但在图像的信息量不足的情况下无法期待效果。
本发明是鉴于上述实际情况而完成的，其目的在于，提供在基于立体匹配的测量中实现精度和鲁棒性提高的技术。
用于解决课题的手段
本发明的一个侧面提供一种图像处理装置，其通过使用了图像对的立体匹配来生成深度图，该深度图是距离信息与各像素的坐标关联起来的数据，该图像处理装置的特征在于，具有：图像获取单元，其获取由从不同视点拍摄的第1图像和第2图像构成的图像对；视差预测单元，其通过与立体匹配不同的方式来预测所述第1图像与所述第2图像之间的视差；设定单元，其基于所述预测视差来设定立体匹配中的对应点的搜索范围；视差图生成单元，其限定在所述设定的搜索范围内搜索所述第1图像与所述第2图像之间的各像素的对应点，并基于该搜索结果，生成视差图，该视差图是视差信息与各像素的坐标关联起来的数据；视差图合成单元，其对根据多个图像对中的各个图像对生成的多个视差图进行合成，由此生成合成视差图；以及深度图生成单元，其将所述合成视差图的视差信息转换为距离信息，并生成所述深度图。
在上述结构中，基于预测出的视差而限定了对应点的搜索范围。由此，与现有的一般的立体匹配相比，不仅能够大幅缩短搜索对应点所需的时间，而且能够缩小到存在对应点的可能性高的范围来进行搜索，因此能够提高对应点搜索的精度和可靠性。另外，由于利用了通过与立体匹配不同的方式生成的预测视差，从而也能够期待对在立体匹配的情况下难以测量的部分进行补充的效果。此外，由于对根据多个图像对取得的视差图进行合成，因此能够降低测量的偏差。因此，总的来说，能够稳定地得到高精度并且可靠性高的测量结果。
也可以是，所述视差预测单元生成多个预测视差，所述设定单元在所述多个图像对的搜索范围的设定中使用对所述多个预测视差进行合成而得到的合成预测视差。通过这样多次生成(测量)预测视差，能够进一步提高精度和鲁棒性。
也可以是，所述视差预测单元生成多个预测视差，所述设定单元根据每个图像对而改变在搜索范围的设定中使用的预测视差。通过这样多次生成(测量)预测视差，能够进一步提高精度和鲁棒性。
也可以是，在所述视差预测单元根据由照相机拍摄的图像来生成所述预测视差的情况下，所述多个预测视差是根据改变照相机和/或拍摄条件进行拍摄得到的不同的图像而生成的。即使是在视野内存在具有不同反射特性的物体、或者担心物体的阴影、相互反射的情况，只要改变照相机和/或拍摄条件进行拍摄，也能够从至少任一个图像中提取出视差信息的可能性变高。
例如，可以是，所述图像获取单元获取第1图像对和第2图像对，所述视差预测单元根据所述第1图像对中的第1图像而生成第1预测视差，并且根据所述第2图像对中的第2图像而生成第2预测视差，所述设定单元在所述第1图像对和所述第2图像对的搜索范围的设定中使用对所述第1预测视差和所述第2预测视差进行合成而得到的合成预测视差。或者，可以是，所述图像获取单元获取第1图像对和第2图像对，所述视差预测单元根据所述第1图像对中的第1图像而生成第1预测视差，并且根据所述第2图像对中的第2图像而生成第2预测视差，所述设定单元在所述第1图像对的搜索范围的设定中使用所述第1预测视差和所述第2预测视差中的一个预测视差，在所述第2图像对的搜索范围的设定中使用另一个预测视差。
由于第1图像和第2图像的视点不同，因此通过根据两个图像来预测视差，从而能够得到高精度的预测视差。此外，假使丢失了一个图像的信息，也能够使用另一个图像来预测视差的可能性变高。因此，能够更适当地设定对应点的搜索范围，能够进一步提高精度和鲁棒性。另外，通过在预测视差的生成和立体匹配中使图像共通化，能够削减拍摄和图像传输的次数，因此能够实现处理整体的高效化和高速化。另外，由于能够使用相同的照相机，因此也具有能够实现装置结构的简易化和小型化的优点。
也可以是，所述多个图像对包含以不同的拍摄条件拍摄的两个以上的图像对。通过这样增加在立体匹配中使用的图像的变化，即使是在视野内存在具有不同反射特性的物体、或者担心物体的阴影、相互反射的情况，也能够从至少任一个图像对中提取出三维信息的可能性变高。例如，可以是，所述以不同的拍摄条件拍摄的两个以上的图像对包含改变曝光条件和/或照明条件进行拍摄而得到的图像对。
也可以是，所述视差预测单元根据通过作为与所述立体匹配不同的所述方式的空间编码图案投影方式取得的距离信息来预测视差。这是因为：在使用了与立体匹配相同的分辨率的图像传感器的情况下，空间编码图案投影方式能够在比立体匹配短很多的处理时间内取得距离信息。另外，空间编码图案投影方式的测距的空间分辨率虽然比立体匹配方式的空间分辨率低，但如果是出于在视差的预测中使用的目的，则可以说是足够了。
本发明的一个侧面提供一种三维测量***，其特征在于，该三维测量***具有：传感器单元，其具有至少两台照相机；以及图像处理装置，其使用从所述传感器单元取入的图像来生成深度图。
本发明也可以理解为具有上述单元的至少一部分的图像处理装置，也可以理解为具有传感器单元和图像处理装置的三维测量***。另外，本发明也可以理解为包含上述处理的至少一部分的图像处理、三维测量方法、测距方法、图像处理装置的控制方法等，或者也可以理解为用于实现该方法的程序或非暂时性地记录了该程序的记录介质。另外，上述单元和处理彼此可以尽可能地相互组合来构成本发明。
发明效果
根据本发明，能够在基于立体匹配的测量中实现精度和鲁棒性的提高。
附图说明
图1是示意性地示出作为本发明的应用例之一的三维测量***的结构例的图。
图2是示意性地示出三维测量***的功能和处理的概要的图。
图3是第1实施方式的三维测量***的功能框图。
图4是示出第1实施方式的测量处理的流程的流程图。
图5是第1实施方式的时序图。
图6是示出第2实施方式的测量处理的流程的流程图。
图7是第2实施方式的时序图。
图8是示出第3实施方式的传感器单元的结构例的图。
图9是示出第4实施方式的测量处理的流程的流程图。
图10是第4实施方式的时序图。
图11是示出第5实施方式的测量处理的流程的流程图。
图12是第5实施方式的时序图。
图13的(A)～(B)是示出图案投射部的明亮度的控制例的图。
图14是对立体匹配的原理进行说明的图。
具体实施方式
<应用例>
图1是示意性地示出作为本发明的应用例之一的三维测量***的结构例的图。三维测量***1是用于通过图像感测来测量对象物12的三维形状的***，大致由传感器单元10和图像处理装置11构成。传感器单元10至少具有照相机(也称为图像传感器或摄像装置)，根据需要，有时也具有其他传感器。传感器单元10的输出被取入到图像处理装置11。图像处理装置11是使用从传感器单元10取入的数据来进行各种处理的装置。作为图像处理装置11的处理，例如，可以包含有距离测量(测距)、三维形状识别、物体识别、场景识别等。图像处理装置11的处理结果例如输出给显示器等输出装置，或者传输到外部以用于检查或其他装置的控制等。这样的三维测量***1例如适用于以计算机视觉、机器人视觉、机器视觉为代表的广泛领域。
另外，图1的结构仅是一例，其硬件结构只要根据三维测量***1的用途来适当设计即可。例如，传感器单元10和图像处理装置11可以无线连接，传感器单元10和图像处理装置11也可以由一体的装置构成。此外，传感器单元10和图像处理装置11也可以通过LAN或因特网等广域网而连接。此外，可以对一个图像处理装置11设置多个传感器单元10，或者可以相反地，将一个传感器单元10的输出提供给多个图像处理装置11。此外，也可以通过将传感器单元10安装于机器人或移动体等而使传感器单元10的视点能够移动。
图2是示意性地示出三维测量***1的功能和处理的概要的图。三维测量***1具有第1测量***21和第2测量***22这两个测量***作为用于测量对象物12的距离的测量***。各测量***21、22的功能和处理是通过传感器单元10与图像处理装置11协作而实现的。
第1测量***21通过立体匹配(也称为立体视觉、立体照相机方式等)来测量距对象物12的进深距离(深度)。由于立体匹配能够进行空间分辨率高的测量，因此在本***1中将由第1测量***21生成的距离信息作为最终输出。
另一方面，第2测量***22也进行对象物12的测距，但由第2测量***22取得的距离信息辅助性地使用于粗略预测由第1测量***21观察到的视差并且缩小立体匹配中的搜索范围。作为第2测量***22，只要以与立体匹配不同的方式来进行测距即可，可以使用任何方式的测量***。
作为三维测量方式中的使用光直行性的主动测量方式，例如，可以列举以三角测量为基本原理的空间编码图案投影方式、时间编码图案投影方式、莫阿地形测量方式(等高线方式)、照度差立体方式(照射方向/Photometric Stereo(光度立体视觉))等、以及以同轴测距为基本原理的照度差方式、激光共聚焦方式、白光共聚焦方式、光干涉方式等。另外，作为使用光直行性的被动测量方式，例如可以列举视觉体积交叉方式(Shape fromsilhouette)、因子分解方式(factorization)、Depth from Motion(Structure fromMotion：运动恢复深度(结构))方式、阴影恢复深度(Depth from Shading)方式等、以及以同轴测距为基本原理的对焦测距(Depth from focusing)方式、散焦测距(Depth fromdefocus)方式、变焦测距(Depth from zoom)方式。并且，作为使用光速的主动测量方式，例如，可以列举以同时测距为基本原理的光时间差(TOF)测定方式、光相位差(TOF)测定方式以及基于电波、声波、毫米波的(TOF)方式等。
可以采用上述任意方式作为第2测量***22。但是，由于第2测量***22的目的在于视差的粗略预测，因此测量精度、空间分辨率可以比立体匹配的测量精度、空间分辨率低，因此优选使用测量时间比立体匹配的测量时间短的高速的方式。在后述的实施方式中，从测量时间短的优点和能够与第1测量***21共用传感器及图像的优点出发，使用空间编码图案投影方式。
接下来，参照图2对三维测量***1的测量处理的大致流程进行说明。
(1)第1测量***21从传感器单元10获取由两张图像(称为第1图像、第2图像)构成的立体图像对。这两张图像是从不同视点(视线方向)拍摄对象物12，使得相对于对象物12产生视差的图像。在传感器单元10具有多个照相机的情况下，可以使用两台照相机同时拍摄第1图像和第2图像。或者，也可以一边使照相机移动一边连续地拍摄，由此使用一台照相机来获取第1图像和第2图像。
(2)第2测量***22进行对象物12的距离测量，根据所取得的距离信息来预测第1图像与第2图像之间的视差，并将该预测出的视差作为参考视差图而输出。在本说明书中，为了与通过第1测量***21的立体匹配而生成的视差图区分开，将由第2测量***22生成的视差图称为“参考视差图”。由于是为了缩小第1测量***21的立体匹配中的搜索范围而辅助性地使用参考视差图的，因此参考视差图的空间分辨率可以比第1图像和第2图像的空间分辨率低(粗糙)。另外，可以根据从传感器单元10取得的图像或者其他感测数据而在图像处理装置11侧生成参考视差图，在传感器单元10本身具有测距功能的情况下(TOF方式的图像传感器等)，也可以在传感器单元10侧生成参考视差图。
(3)第1测量***21使用从第2测量***22获取的参考视差图来设定立体匹配中的对应点的搜索范围。如上所述，参考视差图的空间分辨率或精度不是很高，因此预测视差不可避免地包含一定程度的误差。因此，对应点的搜索范围可以设定为包含该误差范围。例如，在预测视差的值为d[像素]并且误差为±derr[像素]的情况下，可以将搜索范围设定为d-derr-c～d+derr+c。c是余量(margin)。另外，可以对第1图像的所有像素单独设定搜索范围，在图像内的局部的视差的变化不大的情况下等，也可以将第1图像分割为多个区域而以区域为单位来设定搜索范围。
(4)第1测量***21从设定的搜索范围之中搜索第1图像与第2图像之间的各像素的对应点。例如，在将第1图像作为基准图像、将第2图像作为比较图像的情况下，选择第2图像中的图像特征与第1图像中的像素(基准点)最接近的像素作为对应点，求取基准点与对应点的坐标之差作为该基准点处的视差。对第1图像中的所有像素进行对应点的搜索，并根据该搜索结果而生成视差图。视差图是视差信息与各像素的坐标关联起来的数据。
(5)第1测量***21进行两次以上的上述的处理(1)至(4)，取得多个视差图。然后，第1测量***21通过对多个视差图进行合成而生成合成视差图。
(6)第1测量***21使用三角测量的原理而将合成视差图的视差信息转换为距离信息(深度)，并生成深度图。
在上述结构中，基于预测出的视差而限定了对应点的搜索范围。由此，与现有的一般的立体匹配相比，不仅能够大幅缩短搜索对应点所需的时间，而且能够缩小到存在对应点的可能性高的范围来进行搜索，因此能够提高对应点搜索的精度和可靠性。另外，由于利用通过与立体匹配不同的方式生成的预测视差，从而也能够期待对在立体匹配的情况下难以测量的部分进行补充的效果。此外，由于对从多个图像对取得的视差图进行合成，因此也能够减少测量的偏差。因此，总的来说，能够稳定地得到高精度并且可靠性高的测量结果。
＜第1实施方式＞
参照图3对第1实施方式的三维测量***1的结构例进行说明。图3是三维测量***1的功能框图。
(传感器单元)
传感器单元10具有第1照相机101、第2照相机102、图案投射部103、照明部104、图像传输部105以及驱动控制部106。
第1照相机101和第2照相机102是构成所谓的立体照相机的照相机对，分离规定的距离而配置。通过使用两个照相机101、102同时进行拍摄，能够取得从不同视点拍摄的图像对(将第1照相机101的图像称为第1图像，将第2照相机102的图像称为第2图像)。两个照相机101、102可以配置为彼此的光轴交叉并且水平行(或垂直行)位于同一平面上。这是因为：通过采取这样的配置，对极线与图像的水平行(或垂直行)平行，因此只要从相同位置的水平行(或垂直行)内搜索立体匹配中的对应点即可，实现了搜索处理的简易化。另外，作为照相机101、102，可以使用单色的照相机，也可以使用彩色的照相机。
图案投射部103是用于将在空间编码图案投影方式的测距中使用的图案照明投影到对象物12的装置，也称为投影仪。图案投射部103例如由光源部、导光透镜、图案生成部、投影透镜等构成。作为光源部，可以使用LED、激光器、VCSEL(Vertical cavity Surface-emitting Laser：垂直腔面发射激光器)等。导光透镜是用于从光源部向图案生成部引导光的光学元件，可以使用透镜或玻璃棒等。图案生成部是生成编码后的图案的部件或装置，可以使用光掩模、衍射光学元件(例如DOE(Diffractive Optical Element))、光调制元件(例如，DLP(Digital Light Processing：数字光处理)、LCD(Liquid Crystal Display：液晶显示器)、LCoS(Liquid Crystal on Silicon：液晶覆硅)、MEMS(Micro Electro MechanicalSystems：微机电***))等。投影透镜是放大并投影所生成的图案的光学元件。
照明部104是为了拍摄一般的可见光图像而使用的均匀照明。例如，可以使用白色LED照明等。或者可以是与主动投光相同的波段的照明。
图像传输部105将第1照相机101拍摄的第1图像的数据和第2照相机102拍摄的第2图像的数据传输给图像处理装置11。图像传输部105可以将第1图像和第2图像作为独立的图像数据来传输，或者可以将第1图像和第2图像合并而生成并排图像，作为单个图像数据来传输。此外，图像传输部105也可以将改变拍摄条件进行拍摄而得到的多个图像(例如曝光时间不同的多个图像)合并而生成并排图像，作为单个图像数据来传输。驱动控制部106是对第1照相机101、第2照相机102、图案投射部103以及照明部104进行控制的单元。另外，图像传输部105和驱动控制器106也可以不设置于传感器单元10侧而设置于图像处理装置11侧。
(图像处理装置)
图像处理装置11具有图像获取部110、图案解码部111、视差预测部112、预处理部113、搜索范围设定部115、对应点搜索部116、视差图合成部114、视差图后处理部117、深度图生成部118。
图像获取部110具有从传感器单元10取入所需的图像数据的功能。图像获取部110将由第1图像和第2图像构成的图像对发送给图案解码部111和预处理部113。
图案解码部111具有通过空间编码图案投影方式从第1图像或第2图像获取距离信息的功能。空间编码图案投影方式的空间分辨率取决于所使用的单位图案的尺寸。例如，在使用5像素×5像素的单位图案的情况下，距离信息的空间分辨率为输入图像的1/25。视差预测部112具有基于由图案解码部111取得的距离信息来预测第1图像与第2图像之间的视差并输出参考视差图的功能。
预处理部113具有对第1图像和第2图像进行必要的预处理的功能。搜索范围设定部115具有基于预测视差来设定对应点的搜索范围的功能。对应点搜索部116具有搜索第1图像与第2图像之间的对应点并且基于该搜索结果来生成视差图的功能。视差图合成部114具有通过对根据多个图像对分别生成的多个视差图进行合成而生成合成视差图的功能。视差图后处理部117具有对合成视差图执行必要的后处理的功能。深度图生成部118具有将合成视差图的视差信息转换为距离信息并生成深度图的功能。
图像处理装置11例如由具有CPU(处理器)、RAM(存储器)、非易失性存储装置(硬盘、SSD等)、输入装置、输出装置等的计算机构成。在该情况下，CPU将保存于非易失性存储装置中的程序加载到RAM中并执行该程序，由此实现上述的各种功能。但是，图像处理装置11的结构不限于此，也可以由FPGA或ASIC等专用电路来实现上述功能中的全部或一部分，也可以通过云计算或分布式计算来实现上述功能中的全部或一部分。
在本例中，由第1照相机101、图案投射部103、图像传输部105、图像获取部110、驱动控制部106、图案解码部111、视差预测部112构成了图2的第2测量***22，由第1照相机101、第2照相机102、图案投射部103、图像传输部105、驱动控制部106、预处理部113、搜索范围设定部115、对应点搜索部116、视差图合成部114、视差图后处理部117、深度图生成部118构成了图2的第1测量***21。
(测量处理)
参照图4和图5，对第1实施方式的测量处理的流程进行说明。图4是示出由图像处理装置11执行的处理的流程的流程图。图5是时序图。
以来自驱动控制部106的开始信号作为触发而实施第1次测量。首先，图案投射部103点亮，将规定的图案照明投影到对象物12。并且，由第1照相机101和第2照相机102同时进行拍摄，从图像传输部105进行第1图像和第2图像的传输。在步骤S400、S401中，图像获取部110获取由第1图像和第2图像构成的第1图像对。图像获取部110将第1图像发送给图案解码部111，并将第1图像和第2图像发送给预处理部113。
接着，以来自驱动控制部106的开始信号作为触发而实施第2次测量。首先，图案投射部103点亮，将规定的图案照明投影到对象物12。并且，由第1照相机101和第2照相机102同时进行拍摄，从图像传输部105进行第1图像和第2图像的传输。在步骤S410、S411中，图像获取部110获取由第1图像和第2图像构成的第2图像对。图像获取部110将第2图像发送给图案解码部111，并将第1图像和第2图像发送给预处理部113。
与第2次测量并行地开始对在第1次测量中取得的第1图像对进行图像处理。在步骤S402中，预处理部113对第1图像和第2图像进行平行化处理(校正)。平行化处理是指对一方或双方的图像进行几何变换，以使两张图像之间的对应点存在于图像中的同一水平行(或垂直行)上的处理。通过平行化处理，对极线与图像的水平行(或垂直行)平行，因此后级的对应点搜索的处理变得简单。另外，在从传感器单元10取入的图像的平行度足够高的情况下，可以省略平行化处理。
在步骤S403中，预处理部113对平行化后的第1图像和第2图像的各像素计算哈希特征量，将各像素的值置换为哈希特征量。哈希特征量表示以关注像素为中心的局部区域的亮度特征，这里，使用由8要素的位串构成的哈希特征量。这样，通过预先将各图像的亮度值转换为哈希特征量，后级的对应点搜索中的局部的亮度特征的相似度计算会极其高效。
在步骤S404中，图案解码部111分析第1图像并解码图案，由此获取第1图像上的多个点处的进深方向上的距离信息。
在步骤S405中，视差预测部112根据在步骤S404中取得的各点的距离信息来计算将各点投影到平行化后的第1图像的图像坐标系上时的二维坐标和将相同点投影到平行化后的第2图像的图像坐标系时的二维坐标，并计算两张图像之间的坐标之差。该差是预测视差。视差预测部112针对在步骤S404中取得了距离信息的所有点求取预测视差，并输出该数据作为参考视差图。
另外，针对第1图像的处理也可以从第1图像的传输完成的时刻(图5的α)开始，由此实现整体的处理时间的缩短。
当在第2次测量中取得的第2图像对的传输完成时，开始对第2图像对进行图像处理。在步骤S412中，预处理部113对第1图像和第2图像进行平行化处理(校正)。在步骤S413中，预处理部113对平行化后的第1图像和第2图像的各像素计算哈希特征量，将各像素的值置换为哈希特征量。在步骤S414中，图案解码部111分析第2图像并解码图案，由此获取基于第2图像的距离信息。然后，在步骤S415中，视差预测部112根据距离信息来计算预测视差。
理论上，在第1次(步骤S405)取得的预测视差和在第2次(步骤S415)取得的预测视差应该相同，但实际上不完全相同。这是因为：在第1次和第2次使用以不同的照相机(视点)拍摄的图像，因此图像的外观(即图像信息)存在差异。因此，也有可能在第1次和第2次中预测视差的值产生差，或者一次的视差的预测成功而另一次失败。因此，在步骤S420中，视差预测部112对第1次的预测视差和第2次的预测视差进行合成，求取合成预测视差。合成方法没有特别限定，例如，当在第1次和第2次双方取得了预测视差的情况下，将它们的平均值作为合成预测视差，在仅在第1次和第2次中的任意一次取得了预测视差的情况下，将该值直接作为合成预测视差即可。
在步骤S421中，搜索范围设定部115基于合成预测视差，对第1图像对和第2图像对分别设定对应点的搜索范围。搜索范围的大小是考虑预测的误差而决定的。例如，在预测的误差为±10像素的情况下，可以认为即使包含余量，将以预测视差为中心的±20像素左右设定为搜索范围也足够了。假设在水平行为640像素的情况下，只要能够将搜索范围缩小到±20像素(即40像素)，就能够将搜索处理简单地减少到搜索水平行全体的情况的1/16。
在步骤S422中，对应点搜索部116在第1图像对之间搜索对应点，求取各像素的视差。对应点搜索部116生成将视差信息与成功检测到对应点的点(像素的坐标)关联起来的视差数据。该信息是视差图1。同样地，在步骤S423中，对应点搜索部116在第2图像对之间搜索对应点，并生成视差图2。
在步骤S424中，视差图合成部114对从第1图像对取得的视差图1和从第2图像对取得的视差图2进行合成，生成合成视差图。合成方法没有特别限定，例如，当在视差图1和视差图2双方中取得了视差的情况下，将它们的平均值作为合成视差，当仅在视差图1和视差图2中的任意一方取得了视差的情况下，将该值直接作为合成视差即可。
在步骤S425中，视差图后处理部117对合成视差图进行校正。由于在通过对应点搜索而估计出的视差图中包含有错误测量点、测量遗漏等，因此根据周围像素的视差信息来进行错误测量点的校正、测量遗漏的补充。另外，步骤S424和S425的处理先进行哪个都可以。在步骤S426中，深度图生成部118将合成视差图的各像素的视差信息转换为三维信息(进深方向上的距离信息)，生成深度图。该深度图(三维点群数据)例如用于对象物12的形状识别、物体识别等。
根据以上所述的第1实施方式的结构和处理，与现有的一般的立体匹配相比，不仅能够大幅缩短搜索对应点所需的时间，而且能够提高对应点搜索的精度和可靠性。另外，由于利用了通过空间编码图案投影方式生成的预测视差，从而也能够期待对在立体匹配的情况下难以测量的部分进行补充的效果。此外，由于对从多个图像对取得的视差图进行合成，因此能够降低测量的偏差。因此，总的来说，能够稳定地得到高精度并且可靠性高的测量结果。
此外，通过根据第1图像和第2图像双方来预测视差，从而能够得到高精度的预测视差。并且，假使丢失了一个图像的信息，也能够使用另一个图像来预测视差的可能性变高。因此，能够更适当地设定对应点的搜索范围，能够进一步提高精度和鲁棒性。另外，通过在预测视差的生成和立体匹配中使图像共通化，能够削减拍摄和图像传输的次数，因此能够实现处理整体的高效化和高速化。另外，由于能够使用相同的照相机，因此也具有能够实现装置结构的简易化和小型化的优点。
＜第2实施方式＞
参照图6和图7对第2实施方式的测量处理的流程进行说明。图6是示出由图像处理装置11执行的处理的流程的流程图。图7是时序图。在第1实施方式中，对根据第1图像求出的预测视差和根据第2图像求出的预测视差进行合成，并基于合成预测视差来设定搜索范围，与此相对，在第2实施方式中，基于单独的预测视差来设定搜索范围(步骤S600、S610)。此外的处理与第1实施方式相同，因此标注与图4相同的标号并省略说明。
根据本实施方式的结构和处理，也能够得到与第1实施方式相同的作用效果。此外，在本实施方式的处理中，由于不进行预测视差的合成，因此如图7所示，能够在图像处理1完成之后(即，取得了第1图像对用的预测视差之后)立刻开始视差图1的生成处理。因此，与第1实施方式相比，能够缩短总的处理时间。
<第3实施方式>
在图8中示意性地示出了第3实施方式的三维测量***的传感器单元10的结构。本实施方式的传感器单元10具有以图案投射部80为中心地配置有四台照相机81、82、83、84的构造。
在测量处理中，在从图案投射部80向对象物12投影了图案照明的状态下，四台照相机81～84同时进行拍摄，取入视点互不相同的四张图像。在立体匹配中，使用从这四个图像中选出的图像对。图像对的组合有6种，可以选择其中的任意图像对，也可以选择两个以上的图像对。例如，可以优先选择水平行或垂直行与对极线平行的图像对，或者可以优先选择图像信息的缺损少的图像对。此外的结构和处理与上述实施方式相同，因此省略说明。
根据本实施方式的结构和处理，也能够得到与上述实施方式相同的作用效果。此外，在本实施方式中，由于能够实现多视点的立体测量，因此能够进一步提高测量的鲁棒性。此外，图8的结构是例示，图案投射部和照相机的配置、图案投射部的数量、照相机的数量等能够任意设计。
<第4实施方式>
参照图9和图10对第4实施方式的测量处理的流程进行说明。图9是示出由图像处理装置11执行的处理的流程的流程图。图10是时序图。在第1实施方式中，在相同的拍摄条件下进行第1次测量和第2次测量，与此相对，在第4实施方式中，在第1次测量和第2次测量中改变曝光时间。
具体而言，如图10所示，在第1次测量中，以“曝光时间1”进行基于第1照相机和第2照相机的拍摄，在第2次测量中，以“曝光时间2”进行基于第1照相机和第2照相机的拍摄(曝光时间2＞曝光时间1)。然后，如图9所示，图像处理装置11使用以曝光时间1拍摄的第1图像和第2图像的图像对(步骤S900、S901)来进行立体匹配，并且使用以曝光时间2拍摄的第1图像和第2图像的图像对(步骤S910、S911)来进行立体匹配，对所取得的两个视差图1和2进行合成并输出最终的测量结果。
在以较短的曝光时间1进行拍摄的情况下，能够降低光晕(所谓的泛白)，并且能够提高图像中的明部区域的灰度性。因此，为了取得镜面物体或明亮颜色的物体的三维信息(视差信息)，以曝光时间1进行拍摄的图像更适合。另一方面，在以较长的曝光时间2进行拍摄的情况下，能够提高暗部区域的灰度性，因此，为了取得低反射率的物体、成为阴影的部分的三维信息(视差信息)，以曝光时间2进行拍摄的图像更适合。因此，通过像本实施方式那样，对根据曝光时间1的图像对而取得的视差图1和根据曝光时间2的图像对而取得的视差图2进行合成，能够针对反射特性的差异或照明的状况等实现鲁棒的三维测量。另外，在图9的例子中，在视差的预测中使用了以曝光时间1进行拍摄的第1图像和以曝光时间2进行拍摄的第1图像这两个图像，但也可以与第1实施方式同样地在视差的预测中使用第1图像和第2图像这两个图像。此外，在本实施方式中也可以应用在第3实施方式中描述的设置有三台以上的照相机的结构。
＜第5实施方式＞
参照图11和图12对第5实施方式的测量处理的流程进行说明。图11是示出由图像处理装置11执行的处理的流程的流程图。图12是时序图。在第4实施方式中，基于合成预测视差，设定了搜索范围，与此相对，在第5实施方式中，基于单独的预测视差来设定搜索范围(步骤S1100、S1110)。此外的处理与第4实施方式相同，因此标注与图9相同的标号并省略说明。
根据本实施方式的结构和处理，也能够得到与第4实施方式相同的作用效果。此外，在本实施方式的处理中，由于不进行预测视差的合成，因此如图12所示，能够在图像处理1完成之后(即，取得了第1图像对用的预测视差之后)立刻开始视差图1的生成处理。因此，与第4实施方式相比，能够缩短总的处理时间。此外，在本实施方式中也可以应用在第3实施方式中描述的设置有三台以上的照相机的结构。
<第6实施方式>
在第4和第5实施方式中，使照相机的曝光条件改变，但也可以代替改变照相机的曝光条件，而是通过改变照明条件来进行同样的处理。即，在第1次测量中，将图案投射部103设定为第1明亮度而进行拍摄，在第2次测量中，将图案投射部103变更为第2明亮度而进行拍摄。此时，只要设定为“第1明亮度＜第2明亮度”，并在第1次测量和第2次测量中使照相机的曝光条件相同，就能够在第1次测量中取得适合于获取镜面物体或明亮颜色的物体的三维信息(视差信息)的图像，在第2次测量中取得适合于获取低反射率的物体或成为阴影的部分的三维信息(视差信息)的图像。因此，通过在各个图像对中进行立体匹配，对所取得的视差图进行合成，并生成最终的测量结果，由此能够针对反射特性的差异或照明的状况等实现鲁棒的三维测量。
作为对图案投射部103的明亮度进行控制的方法，具有控制点亮时间的方法、控制占空比的方法、控制点亮强度的方法等，可以使用任意方法。图13A～图13C示出了图案投射部103的驱动信号的例子。
<其他>
上述实施方式仅是例示性地对本发明的结构例进行说明。本发明不限于上述的具体方式，能够在其技术思想的范围内进行各种变形。例如，在上述实施方式中，例示了空间编码图案投影方式，但第2测量***的测距方式只要是立体匹配以外的方式即可，可以采用任何方式。此外，在上述实施方式中，在立体匹配中使用了哈希特征量，但在对应点的相似度评价中也可以使用其他方法。例如，作为相似度的评价指标，具有基于SAD(Sum ofAbsolute Difference：绝对差值和)、SSD(Sum of Squared Difference：差分平方和)、NC(Normalized Correlation：归一化相关)等的左右图像的像素的相似度计算方法。另外，在上述实施方式中，使用了在参考深度图的生成(视差的预测)和立体匹配中共用的照相机的图像，但也可以使用各自不同的三维测量用的照相机的图像。
<附记>
(1)一种图像处理装置(11)，其通过使用了图像对的立体匹配来生成深度图，该深度图是将距离信息与各像素的坐标关联起来的数据，该图像处理装置(11)的特征在于，具有：
图像获取单元(110)，其获取由从不同视点拍摄的第1图像和第2图像构成的图像对；
视差预测单元(112)，其通过与立体匹配不同的方式来预测上述第1图像与上述第2图像之间的视差；
设定单元(115)，其基于上述预测视差来设定立体匹配中的对应点的搜索范围；
视差图生成单元(116)，其限定在上述设定的搜索范围内搜索上述第1图像与上述第2图像之间的各像素的对应点，并基于该搜索结果，生成视差图，该视差图是视差信息与各像素的坐标关联起来的数据；
视差图合成单元(114)，其对根据多个图像对分别生成的多个视差图进行合成，由此生成合成视差图；以及
深度图生成单元(118)，其将上述合成视差图的视差信息转换为距离信息，并生成上述深度图。
标号说明
1：三维测量***统；10：传感器单元；11：图像处理装置；12：对象物；21：第1测量***；22：第2测量***。

Claims (8)

1.一种图像处理装置，其通过使用了图像对的立体匹配来生成深度图，该深度图是距离信息与各像素的坐标关联起来的数据，该图像处理装置的特征在于，具有：
图像获取单元，其获取由从不同视点拍摄的第1图像和第2图像构成的图像对；
视差预测单元，其通过与立体匹配不同的方式来预测所述第1图像与所述第2图像之间的视差；
设定单元，其基于预测的所述视差来设定立体匹配中的对应点的搜索范围；
视差图生成单元，其限定在所设定的所述搜索范围内搜索所述第1图像与所述第2图像之间的各像素的对应点，并基于该搜索的结果，生成视差图，该视差图是视差信息与各像素的坐标关联起来的数据；
视差图合成单元，其对根据多个图像对中的各个图像对生成的多个视差图进行合成，由此生成合成视差图；以及
深度图生成单元，其将所述合成视差图的视差信息转换为距离信息，生成所述深度图，
所述图像获取单元获取第1图像对和第2图像对，
所述视差预测单元根据所述第1图像对中的第1图像而生成第1预测视差，并且根据所述第2图像对中的第2图像而生成第2预测视差，
所述设定单元在所述第1图像对和所述第2图像对的搜索范围的设定中使用对所述第1预测视差和所述第2预测视差进行合成而得到的合成预测视差，或者，在所述第1图像对的搜索范围的设定中使用所述第1预测视差和所述第2预测视差中的一个预测视差，在所述第2图像对的搜索范围的设定中使用所述第1预测视差和所述第2预测视差中的另一个预测视差。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述视差预测单元根据由照相机拍摄的图像来生成所述预测视差，
所述第1预测视差和所述第2预测视差是根据改变照相机和/或拍摄条件进行拍摄得到的不同的图像而生成的。
3.根据权利要求1或2所述的图像处理装置，其特征在于，
所述多个图像对包含以不同的拍摄条件拍摄的两个以上的图像对。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述以不同的拍摄条件拍摄的两个以上的图像对包含改变曝光条件和/或照明条件进行拍摄而得到的图像对。
5.根据权利要求1或2所述的图像处理装置，其特征在于，
所述视差预测单元根据通过空间编码图案投影方式取得的距离信息来预测视差。
6.一种三维测量***，其特征在于，具有：
传感器单元，其具有至少两台照相机；以及
权利要求1至5中的任意一项所述的图像处理装置，其使用从所述传感器单元取入的图像来生成深度图。
7.一种计算机可读存储介质，其特征在于，存储有程序，该程序用于使计算机作为权利要求1至5中的任意一项所述的图像处理装置的各单元发挥功能。
8.一种图像处理方法，通过使用了图像对的立体匹配来生成深度图，该深度图是距离信息与各像素的坐标关联起来的数据，该图像处理方法的特征在于，具有以下步骤：
获取多个图像对，该多个图像对由从不同视点拍摄的第1图像和第2图像构成；
通过与立体匹配不同的方式，针对所述多个图像对中的各个图像对预测所述第1图像与所述第2图像之间的视差；
基于预测的所述视差来设定立体匹配中的对应点的搜索范围；
针对所述多个图像对中的各个图像对，限定在所设定的所述搜索范围内搜索所述第1图像与所述第2图像之间的各像素的对应点，并基于该搜索的结果，生成视差图，该视差图是视差信息与各像素的坐标关联起来的数据；
对根据多个图像对中的各个图像对生成的多个视差图进行合成，由此生成合成视差图；以及
将所述合成视差图的视差信息转换为距离信息，生成所述深度图，
所述多个图像对包含第1图像对和第2图像对，
在通过与立体匹配不同的方式预测所述视差的步骤中，根据所述第1图像对中的第1图像而生成第1预测视差，并且根据所述第2图像对中的第2图像而生成第2预测视差，
在设定立体匹配中的对应点的搜索范围的步骤中，在所述第1图像对和所述第2图像对的搜索范围的设定中使用对所述第1预测视差和所述第2预测视差进行合成而得到的合成预测视差，或者，在所述第1图像对的搜索范围的设定中使用所述第1预测视差和所述第2预测视差中的一个预测视差，在所述第2图像对的搜索范围的设定中使用所述第1预测视差和所述第2预测视差中的另一个预测视差。
CN201980054085.2A 2019-03-14 2019-03-14 图像处理装置和三维测量*** Active CN112602118B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/010590 WO2020183711A1 (ja) 2019-03-14 2019-03-14 画像処理装置及び３次元計測システム

Publications (2)

Publication Number Publication Date
CN112602118A CN112602118A (zh) 2021-04-02
CN112602118B true CN112602118B (zh) 2024-06-07

Family

ID=72426687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980054085.2A Active CN112602118B (zh) 2019-03-14 2019-03-14 图像处理装置和三维测量***

Country Status (5)

Country Link
US (1) US11803982B2 (zh)
EP (1) EP3832601A4 (zh)
JP (1) JP7078173B2 (zh)
CN (1) CN112602118B (zh)
WO (1) WO2020183711A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022070079A (ja) * 2020-10-26 2022-05-12 オムロン株式会社 制御装置、ロボット、制御方法、プログラム
JP2024014138A (ja) 2022-07-21 2024-02-01 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
EP4332499A1 (en) * 2022-08-30 2024-03-06 Canon Kabushiki Kaisha Three-dimensional measuring apparatus, three-dimensional measuring method, storage medium, system, and method for manufacturing an article
CN117367331B (zh) * 2023-12-04 2024-03-12 山西阳光三极科技股份有限公司 一种矿区地表形变的雷达监测方法、装置以及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102713509A (zh) * 2010-09-14 2012-10-03 株式会社理光 立体摄影装置、校正方法和程序
CN102790890A (zh) * 2011-05-17 2012-11-21 佳能株式会社 立体图像编码设备及其方法和摄像设备
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
KR101690645B1 (ko) * 2015-09-21 2016-12-29 경북대학교 산학협력단 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치
CN107735812A (zh) * 2015-07-02 2018-02-23 株式会社理光 视差图像生成设备、视差图像生成方法、视差图像生成程序、对象识别设备以及装置控制***
JP2018151999A (ja) * 2017-03-15 2018-09-27 日立オートモティブシステムズ株式会社 物体距離検出装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2953154B2 (ja) 1991-11-29 1999-09-27 日本電気株式会社 形状合成方法
GB2418314A (en) 2004-09-16 2006-03-22 Sharp Kk A system for combining multiple disparity maps
US7561731B2 (en) * 2004-12-27 2009-07-14 Trw Automotive U.S. Llc Method and apparatus for enhancing the dynamic range of a stereo vision system
JP4934701B2 (ja) 2009-06-30 2012-05-16 株式会社日立製作所 ステレオ画像処理装置およびステレオ画像処理方法
JP5158223B2 (ja) 2011-04-06 2013-03-06 カシオ計算機株式会社 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
US9762881B2 (en) * 2011-11-03 2017-09-12 Texas Instruments Incorporated Reducing disparity and depth ambiguity in three-dimensional (3D) images
JP5263437B2 (ja) 2012-09-07 2013-08-14 カシオ計算機株式会社 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
US9135710B2 (en) * 2012-11-30 2015-09-15 Adobe Systems Incorporated Depth map stereo correspondence techniques
EP2887311B1 (en) * 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
JP6548518B2 (ja) 2015-08-26 2019-07-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
CN112602117A (zh) * 2019-03-14 2021-04-02 欧姆龙株式会社 图像处理装置和三维测量***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102713509A (zh) * 2010-09-14 2012-10-03 株式会社理光 立体摄影装置、校正方法和程序
CN102790890A (zh) * 2011-05-17 2012-11-21 佳能株式会社 立体图像编码设备及其方法和摄像设备
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN107735812A (zh) * 2015-07-02 2018-02-23 株式会社理光 视差图像生成设备、视差图像生成方法、视差图像生成程序、对象识别设备以及装置控制***
KR101690645B1 (ko) * 2015-09-21 2016-12-29 경북대학교 산학협력단 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치
JP2018151999A (ja) * 2017-03-15 2018-09-27 日立オートモティブシステムズ株式会社 物体距離検出装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Accurate depth estimation using structured light and passive stereo disparity estimation;Qiang Li;2011 18th IEEE International Conference on Image Processing;文章全文 *
Hybrid approach for accurate depth acquisition with structured light and stereo camera;Sunghwan Choi;IEEE international Symposium on Broadband Multimedia Systems and Broadcasting;文章第1-4页 *

Also Published As

Publication number Publication date
EP3832601A1 (en) 2021-06-09
JP7078173B2 (ja) 2022-05-31
WO2020183711A1 (ja) 2020-09-17
US11803982B2 (en) 2023-10-31
US20220398760A1 (en) 2022-12-15
EP3832601A4 (en) 2022-03-16
CN112602118A (zh) 2021-04-02
JPWO2020183711A1 (ja) 2021-10-14

Similar Documents

Publication Publication Date Title
CN112602118B (zh) 图像处理装置和三维测量***
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
US10237532B2 (en) Scan colorization with an uncalibrated camera
US8718326B2 (en) System and method for extracting three-dimensional coordinates
EP3531066A1 (en) Three-dimensional scanning method including a plurality of lasers with different wavelengths, and scanner
CN113748313B (zh) 三维测量***及三维测量方法
JP7184203B2 (ja) 画像処理装置、３次元計測システム、画像処理方法
JP6009206B2 (ja) ３次元計測装置
WO2019125427A1 (en) System and method for hybrid depth estimation
JP7078172B2 (ja) 画像処理装置及び３次元計測システム
JP2014041074A (ja) 画像処理装置及び検査装置
EP3062516B1 (en) Parallax image generation system, picking system, parallax image generation method, and computer-readable recording medium
CN111373222A (zh) 光投射***
JP2021018219A (ja) ３次元形状計測システム、３次元形状計測方法、及び３次元形状計測プログラム
JP6570321B2 (ja) 情報処理装置、情報処理方法及びプログラム
EP3001141B1 (en) Information processing system and information processing method
JP2002206919A (ja) ３次元形状計測装置および３次元形状計測方法
JPH11183142A (ja) 三次元画像撮像方法及び三次元画像撮像装置
JP2024055569A (ja) ３次元計測装置、３次元計測方法、プログラム、システム、及び物品の製造方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant