JP2021192064A - 3次元計測システム及び3次元計測方法 - Google Patents
3次元計測システム及び3次元計測方法 Download PDFInfo
- Publication number
- JP2021192064A JP2021192064A JP2021155958A JP2021155958A JP2021192064A JP 2021192064 A JP2021192064 A JP 2021192064A JP 2021155958 A JP2021155958 A JP 2021155958A JP 2021155958 A JP2021155958 A JP 2021155958A JP 2021192064 A JP2021192064 A JP 2021192064A
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- dimensional
- unit
- parallax
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
まず、図1を用いて、本開示の一例が適用される場面の一例について説明する。図1は、本実施形態に係る3次元計測システム100の適用場面の一例の概略を模式的に示す平面図である。本実施形態に係る3次元計測システム100は、計測対象である対象物OBの3次元形状を計測するためのシステムである。
例えばアクティブワンショット方式による3次元計測であり、画像Img1,Img2の少なくも何れか一方から、計測光(パターン光)に含まれるパターンに応じた複数の対象画素の3次元位置を示す3次元点群を復元する。このとき、例えば、複数の対象画素は、画像Img1,Img2における画素単位よりも粗い密度で分布している。なお、ステレオカメラ方式とは異なる3次元計測方式としてパッシブ計測方式を用いる場合には、計測光の投射を行わない、すなわち3D用プロジェクタ110を備えなくともよい。
複数の第1特徴点(対象画素)について復元された3次元点群における各点(復元3次元点)の3次元座標を画像Img1,Img2(それらに対して必要に応じて適宜の処理が施された画像を含む。以下同様とする。)に2次元投影し、画像Img1,Img2のそれぞれにおける各第1特徴点の2次元座標を求め、その2次元座標から各第1特徴点の視差を算出する。これにより、複数の第1特徴点の間隔に応じた比較的粗い密度分布の視差マップが得られる。
ステレオカメラ方式による3次元計測であり、画像Img1,Img2の一方を基準画像とし且つ他方を比較画像とし、ステレオマッチングを行う。ここでは、まず、基準画像において、第2特徴点の所定の近傍位置に存在する第1特徴点の視差に基づいて、第2特徴点と対応点との視差の推定値を求める。それから、その第2特徴点の視差の推定値に基づいて、第2特徴点に対する対応点の探索領域を限定的に設定(すなわち、探索領域を狭い範囲に限定)する。そして、その探索領域においてステレオマッチングを行って、第2特徴点の視差を算出する。これにより、上記(2)で得られた比較的粗い密度分布の視差マップを補完するように、画像Img1,Img2の画素単位での比較的細かい密度分布の視差マップが得られる。なお、第2特徴点の視差を求めるための探索範囲は、各第1特徴点について得られた視差のうち1つの視差に基づいて設定してもよいし、各第1特徴点について得られた視差のうち複数の視差に基づいて設定してもよい(後述する図8の説明も参照されたい。)。
上記(1)乃至(3)で得られたそれぞれの視差マップを統合して統合視差マップを作成し、その統合視差マップに対して必要に応じて適宜のフィルタリング等の後処理を実施した後、視差が求められた各画素(上記(1)における第1特徴点と上記(3)における第2特徴点)の視差を深さ方向の距離に変換(いわゆる視差・デプス変換)することにより、対象物OBの3次元形状を特定する。
[ハードウェア構成]
次に、図2を用いて、本実施形態に係る3次元計測システム100のハードウェア構成の一例について説明する。図2は、本実施形態に係る3次元計測システム100のハードウェアの構成の一例を模式的に示す平面図である。
次に、図3を用いて、本実施形態に係る3次元計測システム100の機能構成の一例を説明する。図3は、本実施形態に係る3次元計測システム100の機能構成の一例を模式的に示す平面図である。
次いで、図4乃至図8を用いて、3次元計測システム100の動作の一例について説明する。図4は、本実施形態に係る3次元計測システム100の処理手順の一例を示すフローチャートであり、3次元計測システム100を用いた3次元計測方法の処理手順の一例を示すフローチャートでもある。また、図5は、本実施形態に係る3次元計測システム100の処理手順の一例におけるタイミングチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。さらに、以下に説明する各「時刻t」は、図5における処理の開始及び終了のタイミングを示す。
まず、3次元計測システム100のユーザは、3次元計測システム100を起動し、起動した3次元計測システム100に各種プログラム(制御プログラム、画像処理プログラム等)を実行させる。それから、コンピュータ300における制御部310は、以下の処理手順に従って、センサユニット200及びコンピュータ300における各動作を制御し、また、対象物OBの画像Img1,Img2の画像処理を行う。
まず、ステップS10では、必要に応じて対象物OBとセンサユニット200との相対的な配置を調整し、また、3D用プロジェクタ110からの3D用照明の投射条件、並びに、第1カメラ210及び第2カメラ220の撮像条件を設定した後、時刻t1における適宜のトリガ(タイミング信号)に基づいて、時刻t1から時刻t2において、3D用プロジェクタ110からパターン光を含む3D用照明を対象物OBへ投射する。
次に、ステップS20では、3D用照明が投射されている時刻t1から時刻t2までの間に、第1カメラ210及び第2カメラ220による対象物OBの撮像を行い、時刻t1から時刻t3において、それぞれ得られた画像Img1,Img2を第1カメラ210及び第2カメラ220から読み出す。続いて、時刻t3から時刻t5において、画像Img1,Img2を、それぞれ個別に連続して又は同時にコンピュータ300へ転送する。なお、図5においては、時刻t3から時刻t4の間に画像Img1を転送し,時刻t4から時刻t5の間に画像Img2を転送する場合について例示する。
次いで、ステップS30では、画像Img1,Img2の少なくとも何れか一方を用いて、時刻t4から時刻t6において、前記(1)の第1画像処理(例えばアクティブワンショット方式による3次元計測)を実行し、画像Img1,Img2の少なくも何れか一方から、計測光(パターン光)に含まれるパターンに応じた複数の第1特徴点の3次元位置を示す3次元点群を復元する。なお、図4及び図5においては、画像Img1を用いる場合について例示するが、画像Img2を用いてもよく、画像Img1,Img2の両方を用いてもよい。ここで、図6(A)及び図6(B)は、それぞれ、3次元計測システム100により対象物OBの一例(金属製のワーク)を撮像した画像Img1、及び、該画像Img1を用いてステップS30における第1画像処理を行って復元した3次元点群画像Img3D1を示す。
続いて、ステップS40では、時刻t6から時刻t7において、以下の処理を行う。すなわち、ここでは、まず、画像Img1,Img2の一般的な平行化処理を行い、平行化された画像Img1,Img2(平行化画像)を用いて、前記(2)の第2画像処理(復元3次元点群投影)を実行する。これにより、復元3次元点群における各第1特徴点(復元3次元点)の3次元座標(つまり図6(B)における各点の3次元座標)が画像Img1,Img2に2次元投影される。なお、画像Img1への2次元投影はステップS30における画像Img1の処理において、時刻t4から時刻t6の間に、実質的に同時に実行され得る。
次に、ステップS50では、画像Img1,Img2を用いて、ステップS40と同じく時刻t6から時刻t7において、前記の(3)第3画像処理(ステレオカメラ方式による3次元計測)を実行し、画像Img1,Img2(平行化処理を行った場合には、画像Img1’,Img2’)の一方を基準画像とし且つ他方を比較画像とし、基準画像における任意の第2特徴点とそれに対する比較画像における対応点とのステレオマッチングを行う。なお、画像Img2を基準画像とし、画像Img1を比較画像としてもよい。
それから、ステップS60では、時刻t7から時刻t8において、ステップS30,S50で得た視差情報を統合し、換言すれば、ステップS30で得た比較的粗い密度分布の視差マップとステップS50で得た比較的細かい密度分布の視差マップを統合して統合視差マップ(例えば、図8に示す全ての画素の視差が判明したマップ)を得る。次いで、その統合視差マップに対して必要に応じて適宜のフィルタリング等の後処理を実施した後、第1特徴点及び第2特徴点の全画素の視差を深さ方向の距離に変換(いわゆる視差・デプス変換)することにより、対象物OBの3次元形状を特定する。
以上のとおり、本実施形態に係る3次元計測システム及び3次元計測方法の一例は、ステレオカメラ方式とは異なる3次元計測方式による3次元計測と、ステレオマッチングによって対象物の3次元位置を求めることができるステレオカメラ方式による3次元計測を融合したハイブリッド3次元計測システム及びその方法を提供する。
以上、本開示の一例としての実施形態について詳細に説明してきたが、前述までの説明はあらゆる点において本開示の一例を示すに過ぎず、本開示の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
例えば、上記実施形態の動作例におけるステップS30における(1)第1画像処理においては、画像Img1,Img2のうち画像Img1のみを用いる場合について言及したが、(1)第1画像処理は、画像Img1,Img2のうち画像Img2のみを用いて実施してもよく、画像Img1,Img2の両方を用いて実施してもよい。
ここでは、図11(A)乃至(D)を用いて、センサユニット200における3D用プロジェクタ110並びに第1カメラ210及び第2カメラ220の相対的な幾何学的配置に係る構成例について説明する。
図11(A)は、センサユニット200の第1構成例を模式的に示す斜視図である。当該第1構成例は、第1カメラ210の光軸P21と第2カメラ220の光軸P22が同一平面P1上に配置され、3D用プロジェクタ110の光軸P11がその平面P1上に配置されないように構成されたものである。換言すれば、当該第1構成例では、3D用プロジェクタ110の光軸P11が、第1カメラ210の光軸P21及び第2カメラ220の光軸P22によって画定される仮想的な平面P1上の位置とは異なる位置に配置されるように構成される。また、当該第1構成例は、第1カメラ210の光軸P21と第2カメラ220の光軸P22との距離が、3D用プロジェクタ110の光軸P11と第1カメラ210の光軸P21との距離、及び、3D用プロジェクタ110の光軸P11と第2カメラ220の光軸P22との距離の何れとも同等となるように構成される。
図11(B)は、センサユニット200の第2構成例を模式的に示す斜視図である。当該第2構成例も、第1カメラ210の光軸P21と第2カメラ220の光軸P22が同一平面P1上に配置され、3D用プロジェクタ110の光軸P11がその平面P1上に配置されないように構成されたものである。換言すれば、当該第2構成例でも、3D用プロジェクタ110の光軸P11が、第1カメラ210の光軸P21及び第2カメラ220の光軸P22によって画定される仮想的な平面P1上の位置とは異なる位置に配置されるように構成される。また、当該第2構成例は、第1カメラ210の光軸P21と第2カメラ220の光軸P22との距離が、3D用プロジェクタ110の光軸P11と第1カメラ210の光軸P21との距離よりも長くなるように構成される。
図11(C)は、センサユニット200の第3構成例を模式的に示す斜視図である。当該第3構成例は、3D用プロジェクタ110の光軸P11が、第1カメラ210の光軸P21及び第2カメラ220の光軸P22によって画定される仮想的な平面P2上に(すなわち全て同一平面上に)配置されるように構成される。また、当該第3構成例は、第1カメラ210の光軸P21と第2カメラ220の光軸P22との距離が、3D用プロジェクタ110の光軸P11と第1カメラ210の光軸P21との距離、及び、3D用プロジェクタ110の光軸P11と第2カメラ220の光軸P22との距離の何れとも同等となるように構成される。
図11(D)は、センサユニット200の第4構成例を模式的に示す斜視図である。当該第4構成例も、3D用プロジェクタ110の光軸P11が、第1カメラ210の光軸P21及び第2カメラ220の光軸P22によって画定される仮想的な平面P2上に(すなわち全て同一平面P2上に)配置されるように構成される。また、当該第4構成例は、第1カメラ210の光軸P21と第2カメラ220の光軸P22との距離が、3D用プロジェクタ110の光軸P11と第1カメラ210の光軸P21との距離と同等になるように構成される。
次に、図12(A)及び(B)を用いて、センサユニット200に、通常照明光を対象物OBに投射するための2D用プロジェクタ120を加えて配置した構成例について説明する。このとおり、2D用プロジェクタ120は、本発明における「投射部」(「第2投射部」)の一例に相当し、3D用プロジェクタ110及び2D用プロジェクタ120は、本発明における「投射部」の一例に相当し、2D用プロジェクタ120を有するセンサユニット200も、本発明における「投射部」の一例に相当する。
図12(A)は、センサユニット200の第5構成例を模式的に示す斜視図である。当該第5構成例は、図11(B)に示す第2構成例に、2D用プロジェクタ120が追設された配置を有している。また、当該第5構成例は、第1カメラ210の光軸P21と第2カメラ220の光軸P22が同一平面P1上に配置され、3D用プロジェクタ110の光軸P11と2D用プロジェクタ120の光軸P12が、平面P1とは異なる同一平面P3上に配置されるように構成される。なお、平面P1と平面P3は、平行とされている。
図12(B)は、センサユニット200の第6構成例を模式的に示す斜視図である。当該第6構成例は、図11(C)に示す第3構成例に、2D用プロジェクタ120が追設された配置を有している。また、当該第6構成例は、2D用プロジェクタ120の光軸P12が、3D用プロジェクタ110の光軸P11、第1カメラ210の光軸P21、及び第2カメラ220の光軸P22によって画定される仮想的な平面P4上の位置に(すなわち全て同一平面P4上に)配置されるように、且つ、2D用プロジェクタ120が、3D用プロジェクタ110と第2カメラ220との間に配置されるように構成される。
なお、上記第1構成例乃至第6構成例におけるセンサユニット200の配置は、ステレオカメラ方式とは異なる3次元計測方式として三角測距を基本原理とする計測方式によって得た計測情報に基づいて、ステレオカメラ方式によるステレオマッチングを実施する際に有用な構成として例示した。
また、上記実施形態においては、例えば、第1カメラ210及び第2カメラ220のうちの一方(片方)を用い、アクティブワンショット方式による計測で測距した後に、第1特徴点の視差を求める構成について説明した。一方、更に他の3次元計測方式を用いた形態として、対象物OBにパターン光を投影した状態で第1カメラ210及び第2カメラ220の両方を用いて空間コードを特定することにより、第1特徴点の視差を求める第8構成例が挙げられる。当該第8構成例による計測は、具体的には、空間コード化パターン投影方式、及び/又は、時間コード化パターン投影方式によって実施することができる。
さらに、図13(A)乃至(C)を用いて、センサユニット200における3D用プロジェクタ110から投射される3D用照明の投射エリアS110に係る構成例について説明する。
図13(A)は、センサユニット200の第9構成例を模式的に示す平面図である。当該第9構成例は、3D用プロジェクタ110として、3D用照明の投射エリアS110が、第1カメラ210の視野角S210及び第2カメラ220の視野角S220の重複部分(共通視野)を覆うものを備える。当該第9構成例は、上述した実施形態における3次元計測システム100において、1度の3D用照明の投射時に画像Img1,Img2を撮像し、それらの画像Img1,Img2を用いてハイブリッド3次元計測を行う場合に特に好適である。
図13(B)は、センサユニット200の第10構成例を模式的に示す平面図である。当該第10構成例は、3D用プロジェクタ110として、3D用照明の投射エリアS110が、第1カメラ210の視野角S210及び第2カメラ220の視野角S220の何れか一方(単一視野)の全体を覆うものを備える。当該第10構成例は、上述した実施形態における3次元計測システム100において、アクティブワンショット方式で用いる画像を撮像する際に有用であり、この場合、ステレオカメラ方式で用いる画像は、異なる投射エリアの別の照明(例えば2D用プロジェクタ)で撮像することができる。
図13(C)は、センサユニット200の第11構成例を模式的に示す平面図である。当該第11構成例は、3D用プロジェクタ110として、3D用照明の投射エリアS110が、第1カメラ210の視野角S210及び第2カメラ220の視野角S220の両方の全体部分(複数視野)を覆うものを備える。当該第11構成例では、上述した実施形態における3次元計測システム100において、1度の3D用照明の投射時に画像Img1,Img2を撮像し、それらの画像Img1,Img2を用いてハイブリッド3次元計測を行う場合、及び、アクティブワンショット方式で用いる画像とステレオカメラ方式で用いる画像を別々に撮像する場合の何れにも好適に対応することができる。
上記実施形態においては、ステップS30において、画像Img1,Img2の少なくとも何れか一方を用いて、計測光(パターン光)に含まれるパターンに応じた複数の第1特徴点の3次元位置を示す3次元点群を復元したが、対象物OBの形状や計測条件によっては、第1特徴点の一部について3次元点群を復元することができない場合も想定される。そこで、当該第12構成例では、かかる場合に、例えば、3次元点群が復元された第1特徴点の領域に対応する第2特徴点については、ステレオマッチングにおける探索範囲を第1特徴点の視差に基づいて狭い範囲に設定する一方、3次元点群が復元されなかった第1特徴点の領域に対応する第2特徴点については、ステレオマッチングにおける探索範囲を予め定めた所定の範囲に設定するように構成する。なお、当該第12構成例におけるハード構成は、他の実施形態及び他の構成例と同等のものとすることができる。
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
互いに離間配置された第1撮像部(210)及び第2撮像部(220)を有しており、且つ、前記対象物(OB)における互いに異なる画像(Img1,Img2)を撮像する撮像部(200)と、
前記第1撮像部(210)及び前記第2撮像部(220)の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる3次元計測方式の距離情報又は距離を算出するための情報を用いることにより、前記画像における第1特徴点の視差(d0〜d3)を算出する第1算出部(350)と、
前記第1撮像部(210)及び前記第2撮像部(220)を用い、ステレオカメラ方式により、第2特徴点に対する対応点を探索し、該探索結果に基づいて前記第2特徴点の視差を算出し、前記第1特徴点の視差(d0〜d3)と前記第2特徴点の視差から前記対象物(OB)の3次元形状を特定する第2算出部(350)と、
を備え、
前記第2算出部(350)は、前記第2特徴点に対する前記対応点の探索範囲を前記第1特徴点の視差(d0〜d3)に基づいて設定する、
3次元計測システム(100)。
3次元形状を特定するために前記対象物(OB)に計測光を投射する投射部(200,110)を備える、
付記1記載の3次元計測システム(100)。
前記第1特徴点及び前記第2特徴点は、同一点であるか、又は、互いの近傍位置に存在する、
付記1又は2記載の3次元計測システム(100)。
前記ステレオカメラ方式とは異なる3次元計測方式は、前記撮像部(200)による1度の撮像により前記対象物(OB)の3次元情報を得るものである、
付記1乃至3の何れか記載の3次元計測システム(100)。
前記第2算出部(350)は、前記探索範囲を前記第1特徴点の視差(d0〜d3)に基づいて設定しない場合に比して、前記ステレオカメラ方式におけるマッチング度合いの指標の閾値を下げる、
付記1乃至4の何れか記載の3次元計測システム(100)。
前記第1算出部(350)は、前記第1特徴点の3次元位置を示す3次元点群を復元するものであり、
前記第2算出部(350)は、前記第1特徴点の一部について前記3次元点群が復元されなかった場合に、前記3次元点群が復元された前記第1特徴点の領域に対応する前記第2特徴点については、前記探索範囲を前記第1特徴点の視差(d0〜d3)に基づいて設定し、前記3次元点群が復元されなかった前記第1特徴点の領域に対応する前記第2特徴点については、前記探索範囲を予め定めた所定の範囲に設定する、
付記1乃至5の何れか記載の3次元計測システム。
前記第1算出部(350)が、前記第1特徴点の3次元位置を示す3次元点群を復元する第1画像処理部(351)と、復元された前記3次元点群における各第1特徴点の3次元座標を前記画像に2次元投影して前記各第1特徴点の2次元座標を求め、該2次元座標から前記各第1特徴点の視差(d0〜d3)を算出する第2画像処理部(352)とを有し、
前記第2算出部(350)が、前記第2特徴点の視差の推定値を、前記第1特徴点の視差(d0〜d3)から求め、前記第2特徴点の視差の推定値に基づいて前記対応点の探索領域を設定し、該探索領域において前記第2特徴点と前記対応点とのステレオマッチングを行うことにより、前記第2特徴点の視差を算出する第3画像処理部(353)と、前記第1特徴点の視差(d0〜d3)及び前記第2特徴点の視差に基づいて前記対象物(OB)の3次元形状を特定する第4画像処理部(354)とを有する、
付記1乃至6の何れか記載の3次元計測システム(100)。
前記第1撮像部(210)の光軸(P21)と前記第2撮像部(220)の光軸(P22)との距離が、前記投射部(110)の光軸(P11)と前記第1撮像部(210)の光軸(P21)又は前記第2撮像部(220)の光軸(P22)との距離と同等である、
付記2乃至7の何れか記載の3次元計測システム(100)。
前記第1撮像部(210)の光軸(P21)と前記第2撮像部(220)の光軸(P22)との距離が、前記投射部(110)の光軸(P11)と前記第1撮像部(210)の光軸(P21)又は前記第2撮像部(220)の光軸(P22)との距離よりも長い、
付記2乃至7の何れか記載の3次元計測システム(100)。
前記投射部(110)の光軸(P11)と前記第1撮像部(210)の光軸(P21)と前記第2撮像部(220)の光軸(P22)が同一平面(P2)上に配置される、
付記2乃至9の何れか記載の3次元計測システム(100)。
前記第1撮像部(210)の光軸(P21)と前記第2撮像部(220)の光軸(P22)が同一平面(P1)上に配置され、前記投射部(110)の光軸(P11)が該平面(P1)上に配置されない、
付記2乃至9の何れか記載の3次元計測システム(100)。
前記投射部(200,120)は、前記計測光とは異なる通常照明光を前記対象物(OB)に投射する、
付記2乃至11の何れか記載の3次元計測システム(100)。
互いに離間配置された第1撮像部(210)及び第2撮像部(220)を有する撮像部(200)と、第1算出部(350)と、第2算出部(350)とを備える3次元計測システム(100)を用い、
前記撮像部(200)が、前記対象物(OB)における互いに異なる画像(Img1,Img2)を撮像するステップと、
前記第1算出部(350)が、前記第1撮像部(210)及び前記第2撮像部(220)の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる3次元計測方式の距離情報又は距離を算出するための情報を用いることにより、前記画像における第1特徴点の視差(d0〜d3)を算出するステップと、
前記第2算出部(350)が、前記第1撮像部(210)及び前記第2撮像部(220)を用い、ステレオカメラ方式により、第2特徴点に対する対応点を探索し、該探索結果に基づいて前記第2特徴点の視差を算出し、前記第1特徴点の視差(d0〜d3)及び前記第2特徴点の視差から前記対象物(OB)の3次元形状を特定するステップと、
を含み、
前記対象物(OB)の3次元形状を特定するステップにおいては、前記第2算出部(350)が、前記第2特徴点に対する前記対応点の探索範囲を前記第1特徴点の視差(d0〜d3)に基づいて設定する、
3次元計測方法。
Claims (10)
- 3次元形状を特定するために対象物に計測光を投射する単一の投射部と、
互いに離間配置された第1撮像部及び第2撮像部を有しており、且つ、前記対象物における互いに異なる画像を一時に撮像する撮像部と、
前記第1撮像部及び前記第2撮像部により撮像した前記対象物の画像の少なくとも何れか一方を用い、パターン投影方式に基づく画像処理により、前記対象物の画像における第1特徴点の視差を算出する第1算出部と、
前記第1撮像部及び前記第2撮像部により撮像した前記対象物の画像の両方を用い、ステレオカメラ方式に基づく画像処理により、前記対象物の画像における第2特徴点に対する対応点を探索し、該探索結果に基づいて前記第2特徴点の視差を算出し、前記第1特徴点の視差及び前記第2特徴点の視差から前記対象物の3次元形状を特定する第2算出部と、
を備え、
前記第1算出部は、前記第1特徴点の3次元位置を示す3次元点群を復元するものであり、
前記第2算出部は、前記第1特徴点の一部について前記3次元点群が復元されなかった場合に、前記3次元点群が復元された前記第1特徴点の領域に対応する前記第2特徴点については、前記対応点の探索範囲を前記第1特徴点の視差に基づいて設定し、前記3次元点群が復元されなかった前記第1特徴点の領域に対応する前記第2特徴点については、前記対応点の探索範囲を予め定めた所定の範囲に設定する、
3次元計測システム。 - 前記第1特徴点及び前記第2特徴点は、同一点であるか、又は、互いの近傍位置に存在する、
請求項1記載の3次元計測システム。 - 前記第2算出部は、前記探索範囲を前記第1特徴点の視差に基づいて設定しない場合に比して、前記ステレオカメラ方式におけるマッチング度合いの指標の閾値を下げる、
請求項1又は2記載の3次元計測システム。 - 前記第1算出部が、前記第1特徴点の3次元位置を示す3次元点群を復元する第1画像処理部と、復元された前記3次元点群における各第1特徴点の3次元座標を前記画像に2次元投影して前記各第1特徴点の2次元座標を求め、該2次元座標から前記各第1特徴点の視差を算出する第2画像処理部とを有し、
前記第2算出部が、前記第2特徴点の視差の推定値を、前記第1特徴点の視差から求め、前記第2特徴点の視差の推定値に基づいて前記対応点の探索領域を設定し、該探索領域において前記第2特徴点と前記対応点とのステレオマッチングを行うことにより、前記第2特徴点の視差を算出する第3画像処理部と、前記第1特徴点の視差及び前記第2特徴点の視差に基づいて前記対象物の3次元形状を特定する第4画像処理部とを有する、
請求項1乃至3の何れか1項記載の3次元計測システム。 - 前記第1撮像部の光軸と前記第2撮像部の光軸との距離が、前記単一の投射部の光軸と前記第1撮像部の光軸又は前記第2撮像部の光軸との距離と同等である、
請求項1乃至4の何れか1項記載の3次元計測システム。 - 前記第1撮像部の光軸と前記第2撮像部の光軸との距離が、前記単一の投射部の光軸と前記第1撮像部の光軸又は前記第2撮像部の光軸との距離よりも長い、
請求項1乃至4の何れか1項記載の3次元計測システム。 - 前記単一の投射部の光軸と前記第1撮像部の光軸と前記第2撮像部の光軸が同一平面上に配置される、
請求項1乃至6の何れか1項記載の3次元計測システム。 - 前記第1撮像部の光軸と前記第2撮像部の光軸が同一平面上に配置され、前記単一の投射部の光軸が該平面上に配置されない、
請求項1乃至6の何れか1項記載の3次元計測システム。 - 前記単一の投射部は、前記計測光とは異なる通常照明光を前記対象物に投射する光源を含む、
請求項1乃至8の何れか1項記載の3次元計測システム。 - 3次元形状を特定するために対象物に計測光を投射する単一の投射部と、互いに離間配置された第1撮像部及び第2撮像部を有する撮像部と、第1算出部と、第2算出部とを備える3次元計測システムを用い、
前記撮像部が、前記第1撮像部及び前記第2撮像部により前記対象物における互いに異なる画像を一時に撮像するステップと、
前記第1算出部が、前記第1撮像部及び前記第2撮像部により撮像した前記対象物の画像の少なくとも何れか一方を用い、パターン投影方式に基づく画像処理により、前記画像における第1特徴点の視差を算出するステップと、
前記第2算出部が、前記第1撮像部及び前記第2撮像部により撮像した前記対象物の画像の両方を用い、ステレオカメラ方式に基づく画像処理により、前記対象物の画像における第2特徴点に対する対応点を探索し、該探索結果に基づいて前記第2特徴点の視差を算出し、前記第1特徴点の視差及び前記第2特徴点の視差から前記対象物の3次元形状を特定するステップと、
を含み、
前記対象物の3次元形状を特定するステップにおいては、
前記第1算出部が、前記第1特徴点の3次元位置を示す3次元点群を復元し、
前記第2算出部が、前記第1特徴点の一部について前記3次元点群が復元されなかった場合に、前記3次元点群が復元された前記第1特徴点の領域に対応する前記第2特徴点については、前記対応点の探索範囲を前記第1特徴点の視差に基づいて設定し、前記3次元点群が復元されなかった前記第1特徴点の領域に対応する前記第2特徴点については、前記対応点の探索範囲を予め定めた所定の範囲に設定する、
3次元計測方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021155958A JP7282317B2 (ja) | 2018-02-14 | 2021-09-24 | 3次元計測システム及び3次元計測方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018023744A JP7253323B2 (ja) | 2018-02-14 | 2018-02-14 | 3次元計測システム及び3次元計測方法 |
JP2021155958A JP7282317B2 (ja) | 2018-02-14 | 2021-09-24 | 3次元計測システム及び3次元計測方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018023744A Division JP7253323B2 (ja) | 2018-02-14 | 2018-02-14 | 3次元計測システム及び3次元計測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021192064A true JP2021192064A (ja) | 2021-12-16 |
JP7282317B2 JP7282317B2 (ja) | 2023-05-29 |
Family
ID=67619431
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018023744A Active JP7253323B2 (ja) | 2018-02-14 | 2018-02-14 | 3次元計測システム及び3次元計測方法 |
JP2021155958A Active JP7282317B2 (ja) | 2018-02-14 | 2021-09-24 | 3次元計測システム及び3次元計測方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018023744A Active JP7253323B2 (ja) | 2018-02-14 | 2018-02-14 | 3次元計測システム及び3次元計測方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11302022B2 (ja) |
EP (1) | EP3754295B1 (ja) |
JP (2) | JP7253323B2 (ja) |
CN (1) | CN111566437B (ja) |
WO (1) | WO2019160032A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111829456A (zh) * | 2019-04-19 | 2020-10-27 | 株式会社三丰 | 三维形状测定装置以及三维形状测定方法 |
EP4009274A4 (en) * | 2019-09-10 | 2023-08-02 | OMRON Corporation | IMAGE PROCESSING DEVICE, THREE-DIMENSIONAL MEASUREMENT SYSTEM, AND IMAGE PROCESSING METHOD |
TWI748696B (zh) | 2019-11-18 | 2021-12-01 | 德商博斯特比勒費爾德有限公司 | 用於決定印刷機之印刷參數的方法及測試平台 |
US20210156881A1 (en) * | 2019-11-26 | 2021-05-27 | Faro Technologies, Inc. | Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking |
EP4131166A4 (en) * | 2020-03-27 | 2023-05-10 | Panasonic Intellectual Property Management Co., Ltd. | THREE-DIMENSIONAL MODEL GENERATION METHOD AND THREE-DIMENSIONAL MODEL GENERATION DEVICE |
WO2021202526A1 (en) * | 2020-03-30 | 2021-10-07 | Sg Gaming, Inc. | Gaming state object tracking |
CN112118438B (zh) * | 2020-06-30 | 2022-04-05 | 中兴通讯股份有限公司 | 摄像***、移动终端以及三维图像获取方法 |
JP7415028B2 (ja) | 2020-09-28 | 2024-01-16 | ファナック株式会社 | 撮像条件調整装置、及び撮像条件調整方法 |
US11252386B1 (en) * | 2020-10-23 | 2022-02-15 | Himax Technologies Limited | Structured-light scanning system and method |
US11677921B2 (en) * | 2021-01-02 | 2023-06-13 | Dreamvu Inc. | System and method for generating dewarped image using projection patterns captured from omni-directional stereo cameras |
TWI762182B (zh) * | 2021-02-05 | 2022-04-21 | 德制國際有限公司 | 自動加工方法及自動加工系統 |
CN113763545A (zh) * | 2021-09-22 | 2021-12-07 | 拉扎斯网络科技(上海)有限公司 | 图像确定方法、装置、电子设备和计算机可读存储介质 |
WO2023139254A1 (en) * | 2022-01-24 | 2023-07-27 | Trinamix Gmbh | Enhanced material detection by stereo beam profile analysis |
CN116481456B (zh) * | 2023-06-25 | 2023-09-08 | 湖南大学 | 基于光度立体视觉的单相机三维形貌与变形测量方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160205378A1 (en) * | 2015-01-08 | 2016-07-14 | Amir Nevet | Multimode depth imaging |
JP2017517737A (ja) * | 2014-06-11 | 2017-06-29 | ソフトキネティク センサーズ エヌブイ | Tofカメラシステムおよび該システムにより距離を測定するための方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6028672A (en) * | 1996-09-30 | 2000-02-22 | Zheng J. Geng | High speed three dimensional imaging method |
JPH0942940A (ja) * | 1995-08-03 | 1997-02-14 | Canon Inc | 3次元物体の形状計測方法及び装置 |
JP4232167B1 (ja) | 2007-08-27 | 2009-03-04 | 三菱電機株式会社 | 対象特定装置、対象特定方法および対象特定プログラム |
JP4752918B2 (ja) | 2009-01-16 | 2011-08-17 | カシオ計算機株式会社 | 画像処理装置、画像照合方法、および、プログラム |
US9215441B2 (en) * | 2011-02-17 | 2015-12-15 | Konica Minolta, Inc. | Image processing apparatus, non-transitory computer readable recording medium, and image processing method |
JP2012247364A (ja) * | 2011-05-30 | 2012-12-13 | Panasonic Corp | ステレオカメラ装置、ステレオカメラシステム、プログラム |
WO2012172761A1 (ja) * | 2011-06-17 | 2012-12-20 | パナソニック株式会社 | ステレオ画像処理装置およびステレオ画像処理方法 |
JP5769248B2 (ja) * | 2011-09-20 | 2015-08-26 | Necソリューションイノベータ株式会社 | ステレオマッチング処理装置、ステレオマッチング処理方法、及び、プログラム |
JP2013156109A (ja) * | 2012-01-30 | 2013-08-15 | Hitachi Ltd | 距離計測装置 |
JP6182866B2 (ja) * | 2012-03-21 | 2017-08-23 | 株式会社リコー | 校正装置、距離計測装置及び車両 |
JP5773944B2 (ja) * | 2012-05-22 | 2015-09-02 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
CN103900494B (zh) * | 2014-03-31 | 2016-06-08 | 中国科学院上海光学精密机械研究所 | 用于双目视觉三维测量的同源点快速匹配方法 |
CN104268880A (zh) * | 2014-09-29 | 2015-01-07 | 沈阳工业大学 | 基于特征和区域匹配相结合的深度信息获取方法 |
US9794543B2 (en) * | 2015-03-02 | 2017-10-17 | Ricoh Company, Ltd. | Information processing apparatus, image capturing apparatus, control system applicable to moveable apparatus, information processing method, and storage medium of program of method |
US10853625B2 (en) * | 2015-03-21 | 2020-12-01 | Mine One Gmbh | Facial signature methods, systems and software |
US9694498B2 (en) * | 2015-03-30 | 2017-07-04 | X Development Llc | Imager for detecting visual light and projected patterns |
JP6397801B2 (ja) * | 2015-06-30 | 2018-09-26 | 日立オートモティブシステムズ株式会社 | 物体検知装置 |
US10455216B2 (en) * | 2015-08-19 | 2019-10-22 | Faro Technologies, Inc. | Three-dimensional imager |
US9858672B2 (en) | 2016-01-15 | 2018-01-02 | Oculus Vr, Llc | Depth mapping using structured light and time of flight |
JP2018023726A (ja) | 2016-06-30 | 2018-02-15 | 株式会社サンセイアールアンドディ | 遊技機 |
CN106355570B (zh) | 2016-10-21 | 2019-03-19 | 昆明理工大学 | 一种结合深度特征的双目立体视觉匹配方法 |
-
2018
- 2018-02-14 JP JP2018023744A patent/JP7253323B2/ja active Active
-
2019
- 2019-02-14 US US16/963,248 patent/US11302022B2/en active Active
- 2019-02-14 CN CN201980007572.3A patent/CN111566437B/zh active Active
- 2019-02-14 WO PCT/JP2019/005332 patent/WO2019160032A1/ja unknown
- 2019-02-14 EP EP19753905.9A patent/EP3754295B1/en active Active
-
2021
- 2021-09-24 JP JP2021155958A patent/JP7282317B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017517737A (ja) * | 2014-06-11 | 2017-06-29 | ソフトキネティク センサーズ エヌブイ | Tofカメラシステムおよび該システムにより距離を測定するための方法 |
US20160205378A1 (en) * | 2015-01-08 | 2016-07-14 | Amir Nevet | Multimode depth imaging |
Also Published As
Publication number | Publication date |
---|---|
JP7282317B2 (ja) | 2023-05-29 |
EP3754295A4 (en) | 2021-10-27 |
EP3754295B1 (en) | 2023-07-19 |
EP3754295A1 (en) | 2020-12-23 |
WO2019160032A1 (ja) | 2019-08-22 |
JP2019138822A (ja) | 2019-08-22 |
US20210358157A1 (en) | 2021-11-18 |
CN111566437A (zh) | 2020-08-21 |
CN111566437B (zh) | 2021-10-29 |
JP7253323B2 (ja) | 2023-04-06 |
US11302022B2 (en) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021192064A (ja) | 3次元計測システム及び3次元計測方法 | |
JP6426968B2 (ja) | 情報処理装置およびその方法 | |
JP5870273B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
US9014433B2 (en) | Measurement apparatus, information processing apparatus, information processing method, and storage medium | |
JP6363863B2 (ja) | 情報処理装置および情報処理方法 | |
US8447099B2 (en) | Forming 3D models using two images | |
WO2012096747A1 (en) | Forming range maps using periodic illumination patterns | |
JP6091658B2 (ja) | 情報処理装置及び情報処理方法及びプログラム | |
JP6172432B2 (ja) | 被写体識別装置、被写体識別方法および被写体識別プログラム | |
JP4701848B2 (ja) | 画像マッチング装置、画像マッチング方法および画像マッチング用プログラム | |
US11348271B2 (en) | Image processing device and three-dimensional measuring system | |
JP6285686B2 (ja) | 視差画像生成装置 | |
JP2015121524A (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
JP2009186287A (ja) | 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム | |
JP7298687B2 (ja) | 物体認識装置及び物体認識方法 | |
JP2019120590A (ja) | 視差値算出装置、視差値算出方法及びプログラム | |
KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
JP6388806B2 (ja) | 射影画像生成装置と射影画像生成プログラムと射影画像生成方法 | |
JP6867766B2 (ja) | 情報処理装置およびその制御方法、プログラム | |
JPWO2019187216A1 (ja) | 物体識別装置、物体識別方法、及び制御プログラム | |
JP6061631B2 (ja) | 計測装置、情報処理装置、計測方法、情報処理方法、および、プログラム | |
JP2024092691A (ja) | 3次元情報処理装置および3次元情報処理方法 | |
CN117635675A (zh) | 多目相机的同名点配对方法 | |
KR20150120544A (ko) | 심도 확장을 통한 능동형 스테레오 비전 3차원 데이터의 정밀도 개선 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230430 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7282317 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |