JP7371443B2 - 三次元計測装置 - Google Patents
三次元計測装置 Download PDFInfo
- Publication number
- JP7371443B2 JP7371443B2 JP2019195349A JP2019195349A JP7371443B2 JP 7371443 B2 JP7371443 B2 JP 7371443B2 JP 2019195349 A JP2019195349 A JP 2019195349A JP 2019195349 A JP2019195349 A JP 2019195349A JP 7371443 B2 JP7371443 B2 JP 7371443B2
- Authority
- JP
- Japan
- Prior art keywords
- event data
- unit
- brightness
- measurement
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 claims description 148
- 238000000034 method Methods 0.000 claims description 71
- 238000003384 imaging method Methods 0.000 claims description 64
- 230000010363 phase shift Effects 0.000 claims description 29
- 230000003287 optical effect Effects 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 7
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
- G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
計測対象物(R)に対して所定の縞パターンを投影する投影部(20)と、
前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部(30)と、
前記撮像部の撮像画像から求められる輝度情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部(40)と、
を備える三次元計測装置(10)であって、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
前記撮像素子は、明るくなる輝度変化の場合にプラス輝度変化のイベントデータを出力し、暗くなる輝度変化の場合にマイナス輝度変化のイベントデータを出力するように構成され、
前記計測部は、前記撮像画像における画素単位での前記プラス輝度変化のイベントデータの出力と前記マイナス輝度変化のイベントデータの出力との時間差に基づいて前記輝度情報を求めることを特徴とする。
計測対象物(R)に対して所定の縞パターンを投影する投影部(20)と、
前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部(30)と、
前記撮像部の撮像画像から求められる輝度情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部(40)と、
を備える三次元計測装置(10)であって、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
前記投影部は、単位時間内に複数回発光される短パルス発光を利用して前記所定の縞パターンを投影し、
前記計測部は、前記撮像画像における画素単位での前記イベントデータの前記単位時間当たりの出力回数に基づいて前記輝度情報を求めることを特徴とする。
計測対象物(R)に対して光切断法用のパターンを投影する投影部(20)と、
前記所定のパターンが投影された前記計測対象物を撮像する撮像部(30)と、
前記撮像部により撮像される前記計測対象物の三次元形状を計測する計測部(40)と、
を備える三次元計測装置(10)であって、
前記光切断法用のパターンは、第1の方向において輝度が一定の割合で増加するように変化し前記第1の方向に直交する第2の方向において輝度が変化しないように投影され、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから撮像画像を生成し、
前記計測部は、前記計測対象物を撮像した前記撮像画像において同時間帯に出力される前記イベントデータの位置に基づいて当該計測対象物の三次元形状を光切断法により計測することを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。
以下、本発明の三次元計測装置を具現化した第1実施形態について、図面を参照して説明する。
本実施形態に係る三次元計測装置10は、計測対象物Rの三次元形状を計測する装置であって、図1に示すように、計測対象物Rに対して位相シフト法用の所定の縞パターンを投影する投影部20と、所定の縞パターンが投影された計測対象物を撮像する撮像部30と、この撮像画像から計測対象物の三次元形状を計測する計測部40と、を備えるように構成されている。このように構成される三次元計測装置10は、例えば、ロボットのハンドに組み付けられることで、ハンドに対して高速に相対移動することになるワーク等の計測対象物Rの三次元形状を計測する。
I(x,y,n)=a(x,y)cos{θ(x,y)+2πn/N}+b(x,y)
・・・(1)
ここで、点(x,y)は、格子画像内の1点で、a(x,y)は、輝度振幅、b(x,y)は、背景輝度を示し、θ(x,y)は、n=0の格子の位相を示し、N個の格子画像の輝度値I(x,y,n)から求めたθ(x,y)に応じて点(x,y)までの距離zを測定する。
本実施形態では、高速に相対移動する計測対象物Rを精度良く撮像するための撮像部として、イベントカメラを採用している。このような構成では、輝度変化があった画素に対応するイベントデータが出力され、そのイベントデータには輝度値が含まれないため、位相シフト法に必要な輝度値(I(x,y,0)、I(x,y,1)、I(x,y,2))を直接取得できない。
次に、本第2実施形態に係る三次元計測装置について、図面を参照して説明する。
本第2実施形態では、投影部20が単位時間内に複数回発光される短パルス発光を利用して上記所定の縞パターンを投影する点が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
次に、本第3実施形態に係る三次元計測装置について、図面を参照して説明する。
本第3実施形態では、光切断法を利用して計測対象物の三次元形状を計測する点が、上記第1実施形態と主に異なる。したがって、第1実施形態と実質的に同一の構成部分には、同一符号を付し、その説明を省略する。
投影部20において、R色発光状態、G色発光状態、B色発光状態が所定の周期で繰り返されている状態で、例えば、R色を発光する際、R色発光開始のタイミングからR色発光終了のタイミングまでの時間が長くなるほどR色が明るくなる。この投影状態に応じて光を受光する撮像部30の撮像素子では、発光状態ごとに確保される単位時間内において、R色発光開始のタイミングでプラス輝度変化のイベントデータが出力され、R色発光終了のタイミングでマイナス輝度変化のイベントデータが出力される。
(1)三次元計測装置10は、ロボットのハンドに組み付けられた状態で移動して、相対移動する計測対象物の三次元形状を計測することに限らず、例えば、固定状態で使用されて、搬送ライン上を移動する計測対象物の三次元形状を計測してもよい。
20…投影部
30…撮像部
40…計測部
R…計測対象物
Claims (5)
- 計測対象物に対して所定の縞パターンを投影する投影部と、
前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部と、
前記撮像部の撮像画像から求められる輝度情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部と、
を備える三次元計測装置であって、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
前記撮像素子は、明るくなる輝度変化の場合にプラス輝度変化のイベントデータを出力し、暗くなる輝度変化の場合にマイナス輝度変化のイベントデータを出力するように構成され、
前記計測部は、前記撮像画像における画素単位での前記プラス輝度変化のイベントデータの出力と前記マイナス輝度変化のイベントデータの出力との時間差に基づいて前記輝度情報を求めることを特徴とする三次元計測装置。 - 計測対象物に対して所定の縞パターンを投影する投影部と、
前記所定の縞パターンが投影された前記計測対象物を撮像する撮像部と、
前記撮像部の撮像画像から求められる輝度情報を利用して位相シフト法により前記計測対象物の三次元形状を計測する計測部と、
を備える三次元計測装置であって、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから前記撮像画像を生成し、
前記投影部は、単位時間内に複数回発光される短パルス発光を利用して前記所定の縞パターンを投影し、
前記計測部は、前記撮像画像における画素単位での前記イベントデータの前記単位時間当たりの出力回数に基づいて前記輝度情報を求めることを特徴とする三次元計測装置。 - 計測対象物に対して光切断法用のパターンを投影する投影部と、
前記所定のパターンが投影された前記計測対象物を撮像する撮像部と、
前記撮像部により撮像される前記計測対象物の三次元形状を計測する計測部と、
を備える三次元計測装置であって、
前記光切断法用のパターンは、第1の方向において輝度が一定の割合で増加するように変化し前記第1の方向に直交する第2の方向において輝度が変化しないように投影され、
前記撮像部は、受光した際に輝度変化のあった画素に対応して当該画素の位置が特定される二次元点データを含めたイベントデータを出力する撮像素子を備えて、前記撮像素子から出力されるイベントデータから撮像画像を生成し、
前記計測部は、前記計測対象物を撮像した前記撮像画像において同時間帯に出力される前記イベントデータの位置に基づいて当該計測対象物の三次元形状を光切断法により計測することを特徴とする三次元計測装置。 - 前記投影部は、前記単位時間内に複数回発光される短パルス発光を利用して前記所定の縞パターンを投影する状態と前記単位時間内に1回発光される単パルス発光を利用して前記所定の縞パターンを投影する状態とを切り替え可能に構成され、
前記撮像素子は、明るくなる輝度変化の場合にプラス輝度変化のイベントデータを出力し、暗くなる輝度変化の場合にマイナス輝度変化のイベントデータを出力するように構成され、
前記計測部による前回の計測結果とより過去の計測結果との差に基づいて前記撮像部に
対する前記計測対象物の相対距離変化が所定距離以上であるか否かについて判定する判定部を備え、
前記判定部により前記相対距離変化が前記所定距離未満であると判定されると、
前記投影部は、前記短パルス発光を利用して前記所定の縞パターンを投影し、
前記計測部は、前記撮像画像における画素単位での前記イベントデータの前記単位時間当たりの出力回数に基づいて前記輝度情報を求め、
前記判定部により前記相対距離変化が前記所定距離以上であると判定されると、
前記投影部は、前記単パルス発光を利用して前記所定の縞パターンを投影し、
前記計測部は、前記撮像画像における画素単位での前記プラス輝度変化のイベントデータの出力と前記マイナス輝度変化のイベントデータの出力との時間差に基づいて前記輝度情報を求めることを特徴とする請求項2に記載の三次元計測装置。 - 前記投影部は、前記光切断法用のパターンを投影する状態と位相シフト法用の所定の縞パターンを投影する状態とを切り替え可能に構成され、
前記撮像素子は、明るくなる輝度変化の場合にプラス輝度変化のイベントデータを出力し、暗くなる輝度変化の場合にマイナス輝度変化のイベントデータを出力するように構成され、
前記計測部による前回の計測結果とより過去の計測結果との差に基づいて前記撮像部に対する前記計測対象物の相対距離変化が所定距離以上であるか否かについて判定する判定部を備え、
前記判定部により前記相対距離変化が前記所定距離以上であると判定されると、
前記投影部は、前記光切断法用のパターンを投影し、
前記計測部は、前記計測対象物を撮像した撮像画像において同時間帯に出力される前記イベントデータの位置に基づいて当該計測対象物の三次元形状を光切断法により計測し、
前記判定部により前記相対距離変化が前記所定距離未満であると判定されると、
前記投影部は、前記位相シフト法用の所定の縞パターンを投影し、
前記計測部は、前記撮像画像における画素単位での前記プラス輝度変化のイベントデータの出力と前記マイナス輝度変化のイベントデータの出力との時間差に基づいて求められる輝度情報を利用して位相シフト法により前記計測対象物の三次元形状を計測することを特徴とする請求項3に記載の三次元計測装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019195349A JP7371443B2 (ja) | 2019-10-28 | 2019-10-28 | 三次元計測装置 |
EP20882065.4A EP4053499A4 (en) | 2019-10-28 | 2020-10-27 | DEVICE FOR THREE-DIMENSIONAL MEASURING |
PCT/JP2020/040263 WO2021085419A1 (ja) | 2019-10-28 | 2020-10-27 | 三次元計測装置 |
CN202080064477.XA CN114424020A (zh) | 2019-10-28 | 2020-10-27 | 三维测量装置 |
US17/764,505 US20220349707A1 (en) | 2019-10-28 | 2020-10-27 | Three-dimensional measurement device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019195349A JP7371443B2 (ja) | 2019-10-28 | 2019-10-28 | 三次元計測装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021067644A JP2021067644A (ja) | 2021-04-30 |
JP7371443B2 true JP7371443B2 (ja) | 2023-10-31 |
Family
ID=75637844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019195349A Active JP7371443B2 (ja) | 2019-10-28 | 2019-10-28 | 三次元計測装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220349707A1 (ja) |
EP (1) | EP4053499A4 (ja) |
JP (1) | JP7371443B2 (ja) |
CN (1) | CN114424020A (ja) |
WO (1) | WO2021085419A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111629862B (zh) * | 2017-12-25 | 2023-04-04 | 株式会社尼康 | 加工***、形状测定探针、形状算出装置及存储介质 |
EP4019891A1 (en) * | 2020-12-22 | 2022-06-29 | Faro Technologies, Inc. | Three-dimensional scanner with event camera |
JP7401024B2 (ja) | 2021-03-30 | 2023-12-19 | 株式会社デンソーウェーブ | 三次元計測装置 |
WO2023089788A1 (ja) * | 2021-11-19 | 2023-05-25 | ファナック株式会社 | 三次元計測装置 |
JP2023133723A (ja) * | 2022-03-14 | 2023-09-27 | 株式会社デンソーウェーブ | 三次元計測装置 |
WO2024014561A1 (ja) * | 2022-07-15 | 2024-01-18 | 国立大学法人奈良先端科学技術大学院大学 | 波長時間変調のイベント計測による分光計測装置及び分光計測方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2887009A1 (en) | 2013-12-23 | 2015-06-24 | Universität Zürich | Method for reconstructing a surface using spatially structured light and a dynamic vision sensor |
WO2018195669A1 (en) | 2017-04-28 | 2018-11-01 | The Governing Council Of The University Of Toronto | Method and system for pixel-wise imaging |
CN109458928A (zh) | 2018-10-29 | 2019-03-12 | 西安知微传感技术有限公司 | 基于扫描振镜和事件相机激光线扫描3d检测方法及*** |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4670341B2 (ja) * | 2004-12-22 | 2011-04-13 | パナソニック電工株式会社 | 3次元形状計測方法並びに3次元形状計測装置、3次元形状計測用プログラム |
JP4801457B2 (ja) * | 2006-02-02 | 2011-10-26 | 株式会社リコー | 表面欠陥検査装置、表面欠陥検査方法及び表面欠陥検査プログラム |
TW200803482A (en) * | 2006-06-01 | 2008-01-01 | Micro Nits Co Ltd | Image processing method of indicator input system |
DE102011086318A1 (de) * | 2011-11-14 | 2013-05-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Positionsbestimmung eines Objekts mittels Erfassung eines Positionsmusters durch optischen Sensor |
WO2015036592A1 (en) | 2013-09-16 | 2015-03-19 | Chronocam | Dynamic, single photodiode pixel circuit and operating method thereof |
JP6062523B1 (ja) * | 2015-11-27 | 2017-01-18 | Ckd株式会社 | 三次元計測装置 |
US10659764B2 (en) * | 2016-06-20 | 2020-05-19 | Intel Corporation | Depth image provision apparatus and method |
JP6353573B1 (ja) * | 2017-03-02 | 2018-07-04 | Ckd株式会社 | 三次元計測装置 |
JP6975106B2 (ja) * | 2018-07-31 | 2021-12-01 | 株式会社デンソーアイティーラボラトリ | 3次元形状計測システム、3次元形状計測方法、及び3次元形状計測プログラム |
-
2019
- 2019-10-28 JP JP2019195349A patent/JP7371443B2/ja active Active
-
2020
- 2020-10-27 CN CN202080064477.XA patent/CN114424020A/zh active Pending
- 2020-10-27 WO PCT/JP2020/040263 patent/WO2021085419A1/ja unknown
- 2020-10-27 EP EP20882065.4A patent/EP4053499A4/en active Pending
- 2020-10-27 US US17/764,505 patent/US20220349707A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2887009A1 (en) | 2013-12-23 | 2015-06-24 | Universität Zürich | Method for reconstructing a surface using spatially structured light and a dynamic vision sensor |
WO2018195669A1 (en) | 2017-04-28 | 2018-11-01 | The Governing Council Of The University Of Toronto | Method and system for pixel-wise imaging |
CN109458928A (zh) | 2018-10-29 | 2019-03-12 | 西安知微传感技术有限公司 | 基于扫描振镜和事件相机激光线扫描3d检测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
JP2021067644A (ja) | 2021-04-30 |
CN114424020A (zh) | 2022-04-29 |
US20220349707A1 (en) | 2022-11-03 |
WO2021085419A1 (ja) | 2021-05-06 |
EP4053499A1 (en) | 2022-09-07 |
EP4053499A4 (en) | 2023-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7371443B2 (ja) | 三次元計測装置 | |
JP6038415B1 (ja) | 3次元画像計測装置及び方法 | |
US10412352B2 (en) | Projector apparatus with distance image acquisition device and projection mapping method | |
JP6601790B2 (ja) | リアルタイム計測投影装置及び三次元投影計測装置 | |
JP7244013B2 (ja) | エピポーラ飛行時間撮像のための方法 | |
JP6353573B1 (ja) | 三次元計測装置 | |
WO2016131036A1 (en) | Imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor | |
US11425357B2 (en) | Method for epipolar time of flight imaging | |
WO2018001252A1 (zh) | 一种投射单元及包括该单元的拍摄装置、处理器、成像设备 | |
JP2020144136A (ja) | 深度感知システムおよび方法 | |
KR101562467B1 (ko) | 스마트 폰을 이용한 3차원 형상 측정 장치 | |
JP2016217833A (ja) | 画像処理システム及び画像処理方法 | |
US20200018592A1 (en) | Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor | |
JPH1194520A (ja) | 実時間レンジファインダ | |
JP2016122186A (ja) | 投影装置及び投影方法 | |
WO2023176127A1 (ja) | 三次元計測装置 | |
JP3672731B2 (ja) | レンジファインダ装置 | |
JP7401024B2 (ja) | 三次元計測装置 | |
Chen et al. | A light modulation/demodulation method for real-time 3d imaging | |
WO2023084790A1 (ja) | 3次元計測システム、並びにその制御方法及び制御プログラム | |
JP7176969B2 (ja) | 検査装置 | |
TWI638566B (zh) | 一種拍攝方法及其成像方法、裝置和設備 | |
Gong et al. | Improving 4-D shape measurement by using projector defocusing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230623 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231002 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7371443 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |