TWI679397B - 三維形狀測量系統、探測器、攝像裝置、電腦裝置以及測量時間設定方法 - Google Patents

三維形狀測量系統、探測器、攝像裝置、電腦裝置以及測量時間設定方法 Download PDF

Info

Publication number
TWI679397B
TWI679397B TW108111545A TW108111545A TWI679397B TW I679397 B TWI679397 B TW I679397B TW 108111545 A TW108111545 A TW 108111545A TW 108111545 A TW108111545 A TW 108111545A TW I679397 B TWI679397 B TW I679397B
Authority
TW
Taiwan
Prior art keywords
measurement
detector
dimensional shape
error
exposure time
Prior art date
Application number
TW108111545A
Other languages
English (en)
Other versions
TW201947186A (zh
Inventor
和澄南
Minami WAZUMI
木村和哉
Kazuya Kimura
早川雅之
Masayuki Hayakawa
Original Assignee
日商歐姆龍股份有限公司
Omron Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商歐姆龍股份有限公司, Omron Corporation filed Critical 日商歐姆龍股份有限公司
Application granted granted Critical
Publication of TWI679397B publication Critical patent/TWI679397B/zh
Publication of TW201947186A publication Critical patent/TW201947186A/zh

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042Calibration or calibration artifacts
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/093Digital circuits for control of exposure time
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • G05D3/12Control of position or direction using feedback
    • G05D3/14Control of position or direction using feedback using an analogue comparing device
    • G05D3/1481Control of position or direction using feedback using an analogue comparing device with discrete position sensor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供一種即便於探測器中產生位置偏離,亦可高精度地測量被測量對象的三維形狀的技術。設定曝光時間(步驟11),進行多次探測器的位置測量(步驟12)。算出多個圖案的平均次數中的位置測量誤差(步驟13)。算出測量時間與已算出的定位誤差的對應表(步驟14)。使用所準備的測量時間與手抖誤差的對應表,算出設定曝光時間內的測量時間與(手抖誤差+定位誤差)的對應表(步驟15)。對於設定候補的所有曝光時間,重覆步驟11~步驟15,算出測量時間與位置測量誤差的對應表(步驟16)。設定位置測量誤差變成最小的曝光時間與平均次數(步驟17)。

Description

三維形狀測量系統、探測器、攝像裝置、電腦裝置以及測量時間設定方法
本發明是有關於一種三維形狀測量系統和測量時間設定方法。
先前,提出有一種三維形狀測量系統,其使用探測器對被測量對象的三維形狀進行測量,所述探測器包括具有對被測量對象表面照射雷射的雷射照射部及拍攝已照射至被測量對象表面上的雷射的雷射攝像部的雷射探測器,以及與該雷射探測器的位置關係已被固定的多個發光二極體(Light Emitting Diode,LED)的標識器(例如,參照專利文獻1)。該三維形狀測量系統包括檢測標識器的x方向的位置的第一攝像裝置、檢測z方向的位置的第二攝像裝置及檢測y方向的位置的第三攝像裝置,使各標識器發光,根據利用第一攝像裝置~第三攝像裝置拍攝標識器所得的圖像,算出探測器的位置姿勢。於該三維形狀測量系統中,將保持第一攝像裝置與第二攝像裝置的第一相機單元及保持第三攝像裝置的第二相機單元以大致正交的方式配置,藉此減少縱深(y方向)的測量誤差。
另外,作為於探測器的結構上減少手抖的影響的技術,提出有如下的三維形狀測量系統,其使用具有已被配置成固定的位置關係的多個標識器、接觸被測量對象的觸控筆及拍攝被測量對象的三維測量區域的副攝像部的探測器,對被測量對象的三維形狀進行測量(例如,參照專利文獻2)。此處,已知探測器中的各標識器和觸控筆的與被測量對象的接觸部的位置關係,另外,亦已知觸控筆的接觸部與副攝像部的位置關係。利用主攝像部拍攝進行發光的多個標識器,並於處理部中測量探測器的三維位置與姿勢,藉此可確定觸控筆的接觸部的三維位置及觸控筆的方向。於處理部中,算出副攝像部的攝像區域,並且算出包含已被指定的三維測量點的幾何形狀的交叉或角度・面積,根據探測器的三維位置姿勢測量值,將該些三維測量值結合,藉此測量三維形狀。
此處,於所述先前的技術中,存在因保持探測器的用戶的手抖等而在探測器中產生位置偏離的情況。因此,有時於探測器的位置姿勢的測定中產生誤差,進而產生三維形狀測量的精度下降這一不良情況。
[現有技術文獻]
[專利文獻]
[專利文獻1]日本專利第6043974號公報
[專利文獻2]日本專利特開2015-190927號公報
[發明所欲解決之課題]
本發明是鑒於如上所述的問題而成者,其目的在於提供一種即便於在探測器中產生位置偏離的情況下,亦可高精度地測量被測量對象的三維形狀的技術。
[解決課題之手段]
用於解決所述課題的本發明是一種三維形狀測量系統,包括:
時機控制部,輸出用於同步的控制訊號;
非接觸三維形狀測量感測器,不接觸被測量對象,而與所述控制訊號同步地測量該被測量對象的三維形狀;
探測器,具有所述非接觸三維形狀測量感測器,於所述三維形狀的測量時,相對於所述被測量對象,保持在所述非接觸三維形狀測量感測器能夠測量該被測量對象的形狀的位置;
多個標識器,配置於所述探測器上,與所述控制訊號同步地進行發光;
測量設定部,設定與攝像相關的曝光時間及攝像的次數;
攝像部,於所述曝光時間內接收來自包含所述多個標識器的攝像對象的光,藉此拍攝包含該多個標識器的圖像,於利用所述非接觸三維形狀測量感測器測量所述被測量對象的三維形狀時,在所述曝光時間內,與所述控制訊號同步地對包含所述多個標識器的所述圖像拍攝所述次數;
處理部,自藉由所述攝像部所拍攝的多個所述圖像中提取所述多個標識器的位置,根據與該多個標識器的位置關係相關的資訊,測量所述探測器的於世界座標系中的位置姿勢;以及
三維形狀轉換處理部,根據利用所述非接觸三維形狀測量感測器測量三維形狀時的所述探測器的位置姿勢,將由所述非接觸三維形狀測量感測器所測量的對於所述探測器所定義的探測器座標系中的所述被測量對象的三維形狀轉換成所述世界座標系中的所述被測量對象的三維形狀,並生成表達世界座標系中的該被測量對象的三維形狀的資訊,
所述測量設定部變更所述曝光時間及所述攝像的次數的任一個,並算出根據進行了變更時的所述攝像及所述探測器的位置姿勢的測量的結果的所述探測器的位置測量誤差,
針對多種曝光時間及攝像的次數進行該位置測量誤差的算出,且
自所獲得的多個位置測量誤差中,設定位置測量誤差已變小時的曝光時間及攝像的次數。
於本發明中,設為藉由測量設定部來變更曝光時間及攝像的次數的任一個,並算出根據進行了變更時的測量及經保持的攝像結果的探測器的位置測量誤差,針對多種曝光時間及攝像的次數進行該測量誤差的算出,且自所獲得的多個位置測量誤差中,設定位置測量誤差已變小時的曝光時間及攝像的次數。於探測器的位置測量誤差中,包含由探測器的位置偏離所產生的誤差(手抖誤差)及與探測器的位置偏離無關地產生的誤差(定位誤差),但藉由將攝像部的曝光時間及攝像的次數設定成探測器的位置測量誤差已變小時的曝光時間及攝像的次數,即便於在探測器中產生位置偏離的情況下,亦可高精度地測量被測量對象的三維形狀。作為探測器的位置測量誤差已變小時,包含該位置測量誤差已變成最小時、該位置測量誤差已變成規定值以下時,但並不限定於此。另外,亦可設為對針對多種曝光時間及攝像的次數進行計算所獲得的多個位置測量誤差的值進行內插、或外插,藉此設定如位置測量誤差變成最小或規定值以下的曝光時間及攝像的次數。
此處,於由經保持的探測器的位置偏離所產生的誤差中,包含因由用戶實際握持探測器所引起的手抖而產生的誤差,但亦包含因保持探測器的保持元件的位置偏離而產生的誤差。另一方面,與探測器的位置偏離無關地產生的誤差是於如假設以不產生手抖等位置偏離的方式固定了探測器的狀態般,可無視位置偏離的影響的狀態下產生的誤差。另外,於探測器的保持形態中,如上所述,並不限定於用戶的握持,亦包含利用如機械臂或保持工具般的保持元件的保持。另外,所謂曝光時間,是指構成攝像部的攝像元件接收來自攝像對象的光的時間,曝光時間可藉由機械式或電子式的快門來調整,但曝光時間的調整方法並不限定於此。
另外,於本發明中,亦可設為當設定所述曝光時間時,根據由所述攝像部所拍攝的所述多個標識器的圖像的畫素值,設定該曝光時間。
據此,事先根據標識器的圖像的畫素值來設定曝光時間,藉此只要僅設定進行平均化時的攝像次數即可,因此可縮短設定所需要的時間。另外,若於用戶使用系統的現場事先設定,則可於照明條件等系統的使用環境下設定最合適的曝光時間,並進行高精度測量。
另外,於本發明中,亦可設為當設定所述曝光時間時,於以包含所述多個標識器的圖像的畫素值不飽和的方式所設定的曝光時間內,藉由所述攝像部來拍攝包含所述多個標識器的圖像,並以所拍攝的包含該多個標識器的圖像的畫素值的最大值變成畫素值的灰階的80%至100%的方式設定所述曝光時間。
另外,於本發明中,亦可設為所述攝像部根據已拍攝的圖像中的過去的時間點的所述探測器的位置,於拍攝時推斷所述標識器可能存在的區域並將其輸出至所述處理部中,且
所述處理部根據所述區域的圖像資料,測量所述探測器的位置姿勢。
根據由所述攝像部所拍攝的圖像中的過去的時間點的所述探測器的位置資訊,於拍攝時推斷可能存在所述標識器的區域並獲得該區域的圖像資料的處理可於攝像部中實施,亦可於處理部中實施。
亦可設為所述攝像部削減已拍攝的圖像資料的資料量後將所述圖像資料輸出至所述處理部中,且
所述處理部根據資料量已被削減的所述圖像資料,測量所述探測器的位置姿勢。
削減由所述攝像部所拍攝的圖像資料的資料量的處理可於攝像部中實施,亦可於處理部中實施。
另外,於本發明中,亦能夠以一致地規定所述探測器的姿勢、且該標識器彼此不在同一平面上的方式配置所述多個標識器。
若如此設定,則於利用攝像部拍攝了多個標識器的情況下,可減少各標識器的位置的測量誤差,可提昇探測器的位置測量的精度,並提昇被測量對象的三維形狀的測量精度。
另外,本發明是一種探測器,用於所述三維形狀測量系統,其中,
以一致地規定所述探測器的姿勢、且該標識器彼此不在同一平面上的方式配置所述多個標識器。
若使用此種探測器,則於利用攝像部拍攝了標識器的情況下,可減少各標識器的位置的測量誤差,可提昇探測器的位置姿勢測量的精度,並提昇被測量對象的三維形狀的測量精度。
另外,本發明是一種攝像裝置,用於所述三維形狀測量系統,所述攝像裝置包括:
所述攝像部、所述處理部及所述測量設定部。
若使用此種攝像裝置,則即便於在探測器中產生位置偏離的情況下,亦可高精度地測量被測量對象的三維形狀。
另外,本發明是一種電腦裝置,用於所述三維形狀測量系統,所述電腦裝置包括:
所述處理部、所述三維形狀轉換處理部及所述時機控制部。
若使用此種電腦裝置,則即便於在探測器中產生位置偏離的情況下,亦可高精度地測量被測量對象的三維形狀。
此處,電腦裝置是至少包含中央處理單元(Central Processing Unit,CPU)、隨機存取記憶體(Random Access Memory,RAM)、唯讀記憶體(Read Only Memory,ROM)及硬碟(Hard Disk,HD)等儲存裝置,且CPU執行自ROM等中讀出的程式的裝置,但並不限於單一的電腦裝置,亦可包含分擔功能來協作的多個電腦裝置。
另外,本發明是一種測量時間設定方法,於三維形狀測量系統中,設定包含曝光時間與次數的測量探測器的位置姿勢時的測量時間,所述三維形狀測量系統包括:所述探測器,與控制訊號同步地測量被測量對象的三維形狀;以及非接觸探測器定位感測器,當根據由攝像部所拍攝的圖像,測量所述探測器的位置姿勢時,將使用在規定的所述曝光時間內拍攝了所述規定的所述次數的所述圖像來測量所述探測器的位置姿勢的處理加以平均化,所述攝像部藉由在所述曝光時間內接收來自攝像對象的光而進行拍攝,且與所述控制訊號同步地拍攝包含設置於所述探測器上並與所述控制訊號同步地進行發光的多個標識器的所述圖像,所述測量時間設定方法包括:
第一步驟,設定所述攝像部的曝光時間;
第二步驟,多次測量所述探測器的位置姿勢;
第三步驟,算出多個圖案的所述次數中的位置測量誤差,所述位置測量誤差包含由所述探測器的位置偏離所產生的誤差以及與位置偏離無關地產生的誤差;
第四步驟,算出取決於所述次數的所述探測器的所述測量時間與所述探測器的所述位置測量誤差的對應關係;
對於設定候補的所有曝光時間,重覆所述第一步驟、第二步驟、第三步驟及第四步驟的步驟;以及
根據取決於所述曝光時間及所述次數的所述探測器的所述測量時間與所述探測器的所述位置測量誤差的對應關係,設定所述探測器的所述位置測量誤差已變小時的所述曝光時間及所述次數的步驟。
根據本發明,可提供一種測量時間設定方法,其藉由設定探測器的位置測量誤差已變小時的曝光時間及攝像的次數,即便於在探測器中產生位置偏離的情況下,亦可高精度地測量被測量對象的三維形狀。作為探測器的位置測量誤差已變小時,包含該位置測量誤差已變成最小時、該位置測量誤差已變成規定值以下時,但並不限定於此。另外,亦可設為對針對多種曝光時間及攝像的次數進行計算所獲得的多個位置測量誤差的值進行內插、或外插,藉此設定如位置測量誤差變成最小或規定值以下的曝光時間及攝像的次數。
另外,於本發明中,亦可設為所述第二步驟是於已將所述探測器固定在固定元件上的狀態下,測量所述探測器的位置姿勢。
若如此設定,則當製造三維形狀系統時,可於已將探測器固定在固定元件上的狀態下,設定可高精度地測量被測量對象的三維形狀的曝光時間與攝像的次數。
作為固定元件,只要是以於可無視由探測器的保持所引起的位置偏離的狀態下不移動的方式進行固定的元件即可。
另外,於本發明中,亦可設為所述第二步驟是於用戶已保持所述探測器的狀態下,測量所述探測器的位置姿勢。
若如此設定,則於用戶使用三維形狀測量系統的情況下,可於用戶已實際保持探測器的狀態下,設定可高精度地測量被測量對象的三維形狀的曝光時間與攝像的次數。
此處,用戶保持探測器的情況包括用戶直接握持探測器的情況及用戶經由保持元件而保持探測器的情況。
另外,本發明是一種測量時間設定方法,於三維形狀測量系統中,設定包含曝光時間與次數的測量探測器的位置姿勢時的測量時間,所述三維形狀測量系統包括:所述探測器,與控制訊號同步地測量被測量對象的三維形狀;以及非接觸探測器定位感測器,當根據由攝像部所拍攝的圖像,測量所述探測器的位置姿勢時,將使用在規定的所述曝光時間內拍攝了規定的所述次數的所述圖像來測量所述探測器的位置姿勢的處理加以平均化,所述攝像部藉由在所述曝光時間內接收來自攝像對象的光而進行拍攝,且與所述控制訊號同步地拍攝包含設置於所述探測器上並與所述控制訊號同步地進行發光的多個標識器的所述圖像,所述測量時間設定方法包括:
藉由已被設定成規定的曝光時間的所述攝像部來多次測量所述探測器的位置姿勢的步驟;
算出多個圖案的所述次數中的包含由所述探測器的位置偏離所產生的誤差以及與位置偏離無關地產生的誤差的位置測量誤差的步驟;
算出取決於所述次數的所述探測器的所述測量時間與所述探測器的所述位置測量誤差的對應關係的步驟;以及
根據取決於所述次數的所述探測器的所述測量時間與所述探測器的所述位置測量誤差的對應關係,設定所述探測器的所述位置測量誤差已變小時的所述次數的步驟。
根據本發明,於事先知道最合適的曝光時間的情況下,將該曝光時間用作規定的曝光時間,藉此只要僅設定進行平均化時的攝像的次數即可,因此可縮短設定所需要的時間。另外,若於用戶使用系統的現場事先設定,則可於照明條件等系統的使用環境下設定最合適的曝光時間,並進行高精度測量。作為探測器的位置測量誤差已變小時,包含該位置測量誤差已變成最小時、該位置測量誤差已變成規定值以下時,但並不限定於此。另外,亦可設為對針對多種曝光時間及攝像的次數進行計算所獲得的多個位置測量誤差的值進行內插、或外插,藉此設定如位置測量誤差變成最小或規定值以下的曝光時間及攝像的次數。
另外,於本發明中,亦可設為所述規定的曝光時間對應於由所述攝像部所拍攝的圖像內的所述標識器的畫素值來設定。
根據本發明,可根據標識器的圖像的畫素值,事先設定曝光時間。
亦可設為當設定所述曝光時間時,於以所述標識器的圖像的畫素值不飽和的方式進行了設定的曝光時間內,藉由所述攝像裝置來拍攝包含所述標識器的圖像,並以所拍攝的該標識器的圖像的畫素值的最大值變成畫素值的灰階的80%至100%的方式設定所述曝光時間。
[發明的效果]
根據本發明,可提供一種於三維形狀測量系統中,即便於在探測器中產生位置偏離的情況下,亦可高精度地測量被測量對象的三維形狀的技術。
[應用例]
以下,一面參照圖式一面對本發明的應用例進行說明。本發明例如應用於如圖1所示的三維形狀測量系統1。
於此種三維形狀測量系統1中,用戶握持探測器2,朝向被測量對象6來測量被測量對象6的三維形狀。利用接收自設置於探測器2上的非接觸三維形狀測量感測器7照射,並已由被測量對象6的表面反射的光為止的光的飛行時間,測量與被測量對象6的距離,藉此測量被測量對象6的三維形狀。與該被測量對象6的三維形狀的測量同步地,藉由攝像裝置3(具體而言,攝像裝置3中所包含的攝像部13)來拍攝包含配置於探測器2上的多個標識器12、…12的圖像。由於事先知道相對於探測器2的多個標識器12、…12的配置,因此對包含多個標識器12、…12的圖像進行處理後提取各標識器12的位置,並算出該些標識器的位置關係,藉此可測量相對於攝像裝置3的探測器2的位置姿勢。由探測器2的非接觸三維形狀測量感測器7所測量的被測量對象6的三維形狀是相對於針對探測器2所定義的探測器座標系者。探測器2的相對於攝像裝置3的位置姿勢是相對於世界座標系者。利用非接觸三維形狀測量感測器7的被測量對象6的三維形狀的測量與利用攝像裝置3的探測器2的位置姿勢的測量同步地進行,因此可自探測器座標系轉換成世界座標系,而可算出世界座標系中的被測量對象6的三維形狀。將藉由使探測器2朝向被測量對象6的不同的區域所測量的被測量對象6的不同的區域的三維形狀於世界座標系中結合,藉此可測量相對於將該些區域結合而成的區域的被測量對象6的三維形狀。當藉由探測器2來測量被測量對象6的三維形狀時,如上所述,用戶握持探測器2,使非接觸三維形狀測量感測器7位於朝向被測量對象6的欲進行測量的區域的位置。此時,若產生用戶的手抖等位置偏離,則於根據由攝像裝置3拍攝的包含多個標識器12、…12的圖像所測量的探測器2的位置姿勢中亦產生誤差(手抖誤差),三維形狀測量的精度下降。另外,於測量探測器2的位置姿勢的情況下,亦產生與如所述般的位置偏離無關的由攝像裝置3內部的雜訊或攝像元件的偏差等所產生的誤差(定位誤差)。
另外,於三維形狀測量系統1中,設定包含利用攝像裝置3進行拍攝時的曝光時間以及為了將與自所拍攝的圖像資料中提取的多個標識器12、…12的位置相關的資訊平均化而進行拍攝的次數(平均次數)的測量時間。此處,曝光時間是構成攝像裝置3的攝像元件接收來自攝像對象的光的時間,限定曝光時間的方法並無特別限定。若設想用戶實際進行測量的情況,則如圖5(a)所示,若相對於特定的曝光時間,增加平均次數,則定位誤差被平均化,另一方面,因用戶握持探測器2的時間變長,故存在手抖誤差增加的傾向。因此,存在包含手抖誤差與定位誤差兩者的探測器的位置測量誤差變成最小的測量時間。另外,如圖5(b)所示,位置測量誤差與測量時間的關係亦根據曝光時間而改變。本發明是著眼於此種關係,藉由對曝光時間與平均次數進行掃描來設定位置測量誤差變成最小的曝光時間及平均次數,藉此提昇三維形狀測量的精度者。再者,於圖5(a)及圖5(b)中,橫軸中所示的測量時間實際上根據取得離散的值的次數來算出,因此變成離散的值。圖5(a)、圖5(b)中所示的曲線是將此種離散的值連接的曲線。
另外,三維形狀測量系統1於製造時,即便於在已固定探測器2的狀態下,探測器的位置測量誤差不包含手抖誤差,僅包含定位誤差的情況下,亦事先取得測量時間與手抖誤差的對應關係,並利用該對應關係來設定位置測量誤差變成最小的曝光時間及平均次數。另外,於用戶使用三維形狀測量系統進行測量的情況下,先設置如測量時間設定模式般的特別的模式,在用戶與測量時同樣地已保持探測器的狀態下,設定位置測量誤差變成最小的曝光時間及平均次數。另外,於測量被測量對象6的三維形狀的情況中,有使探測器2靜止的情況及使探測器2等速地移動的情況,即便於各個情況下,亦可設定位置測量誤差變成最小的曝光時間及平均次數。另外,於事先知道最合適的曝光時間的情況下,亦可於將曝光時間設定成最合適的時間後,算出多次的平均次數中的位置測量誤差,並設定位置測量誤差變成最小的平均次數。
[實施例1]
以下,使用圖式對本發明的實施例的三維形狀測量系統1進行更詳細的說明。
<系統結構>
圖1是表示本實施例的三維形狀測量系統1的整體結構的概略的圖。圖2是三維形狀測量系統的功能方塊圖。
如圖1所示,本實施例的三維形狀測量系統1包括:探測器2、攝像裝置3、與探測器2及攝像裝置3連接的個人電腦(Personal Computer,PC)4以及與PC 4連接的顯示器5。
繼而,對圖2中所示的各功能塊進行說明。
三維形狀測量系統1主要包括:非接觸三維形狀測量感測器7、非接觸探測器定位感測器8、三維形狀轉換處理部9、時機控制部10、輸出部11。而且,非接觸探測器定位感測器8包括:進行發光的多個標識器12、…12,攝像部13,處理部14及測量設定部15。非接觸三維形狀測量感測器7不接觸被測量對象6而測量其三維形狀。非接觸三維形狀測量感測器7例如利用朝被測量對象6照射光,並接收已由被測量對象6的表面反射的光為止的光的飛行時間,測量與被測量對象6的距離,藉此測量被測量對象6的三維形狀。具體而言,非接觸三維形狀測量感測器7與標識器12、…12一同包含在探測器2中。攝像部13拍攝包含多個標識器12、…12的圖像,具體而言,攝像部13包含在攝像裝置3中。時機控制部10對非接觸三維形狀測量感測器7,標識器12、…12,攝像部13及三維形狀轉換處理部9輸出時機控制訊號。非接觸三維形狀測量感測器7按照該時機控制訊號,測量被測量對象6的三維形狀。另外,多個標識器12、…12按照該時機控制訊號進行發光,攝像部13拍攝包含按照該時機控制訊號進行了發光的多個標識器12、…12的圖像。三維形狀轉換處理部9按照來自時機控制部10的訊號,對自非接觸探測器定位感測器8與非接觸三維形狀測量感測器7所接收的資料進行轉換、結合處理,而算出三維形狀資料。處理部14對由攝像部13所拍攝的包含多個標識器12、…12的圖像進行處理,並提取標識器12、…12的位置,且算出與標識器12、…12的位置關係相關的資訊。多個標識器12、…12被配置於探測器2的規定位置上,因此根據事先知道的多個標識器12、…12的位置關係與自由攝像部13所拍攝的圖像中提取的多個標識器12、…12的位置關係,算出對於攝像部13所定義的世界座標系中的探測器2的位置姿勢。被非接觸三維形狀測量感測器7測量的被測量對象6的三維形狀是對於具有非接觸三維形狀測量感測器7的探測器2所定義的探測器座標系中的三維形狀。如上所述,利用非接觸三維形狀測量感測器的被測量對象6的三維形狀的測量及利用攝像部13的包含多個標識器12、…12的圖像的拍攝與時機控制訊號同步地進行,因此可知測量被測量對象6的三維形狀時的探測器的位置姿勢。即,探測器座標系中的被測量對象6的三維形狀與此時的探測器2的於世界座標系中的位置姿勢經由時機控制訊號而建立了關聯。因此,於三維形狀轉換處理部9中,可將由非接觸三維形狀測量感測器7所測量的探測器座標系中的被測量對象6的三維形狀轉換成世界座標系中的三維形狀,於世界座標系中,與由目前為止的測量取得並表達鄰接或重疊的區域的三維形狀的資訊進行結合,而生成表達被測量對象6的三維形狀的資訊。而且,具體而言,包含CPU、RAM、ROM及HD等儲存裝置的PC 4包括:處理部14、三維形狀轉換處理部9及時機控制部10。另外,具體而言,輸出部11包含在顯示器5中。另外,攝像裝置3亦能夠以包含攝像部13與處理部14的方式構成。
另外,測量設定部15如後述般,對攝像部的曝光時間或平均次數進行掃描來測量探測器2的位置姿勢,並以位置測量誤差變成最小的方式設定測量時間。再者,於圖2中,測量設定部15與處理部14分開設置,但亦可包含於處理部14內。
根據圖3的流程圖對利用本實施例的三維形狀測量系統的三維形狀測量的程序的概略進行說明。
首先,自時機控制部10中輸出控制進行測量的時機的時機控制訊號(步驟1)。按照該時機控制訊號,測量探測器2的位置姿勢(步驟2),並且測量被測量對象6的三維形狀(步驟3)。此時,作為步驟3,測量非接觸三維形狀測量感測器7的視場範圍內的被測量對象6的三維形狀。於步驟2中,多個標識器12、…12與該三維形狀的測量同步地進行發光,根據包含該些標識器12、…12的圖像來測量探測器2的位置姿勢。然後,根據該些資訊進行三維形狀轉換處理(步驟4)。此時,由於探測器2的位置正被測量,因此可將對於探測器2所定義的探測器座標系中的被測量對象6的三維形狀,即由非接觸三維形狀測量感測器7所測量的被測量對象6的三維形狀轉換成世界座標系中的三維形狀。如此,藉由結合已被轉換成世界座標系中的三維形狀的被測量對象6的三維形狀,而可獲得表達世界座標系中的被測量對象6的三維形狀的資訊。然後,將表達由三維形狀轉換處理所算出的三維形狀的資訊以圖像的形式輸出至顯示器5等中(步驟5)
對步驟2的探測器2的位置姿勢測量處理進行具體說明。配置於探測器2上的多個標識器12、…12按照步驟1的時機控制訊號進行發光。於攝像部13中,按照該時機控制訊號,拍攝包含探測器2的進行發光的多個標識器12、…12的圖像。藉由對包含多個標識器12、…12的圖像進行處理,而提取各標識器12的輪廓並決定中心,算出中心相互的距離、由將中心間連結的線所形成的形狀等位置關係。由於已知探測器2中的多個標識器12、…12的配置,且事先知道多個標識器12、…12相互的位置關係,因此可藉由該些資訊與根據所述圖像所算出的資訊,測量對於經固定的攝像部13所定義的世界座標系中的探測器2的位置姿勢。作為自包含多個標識器12、…12的圖像的攝像結果中提取多個標識器12、…12的位置,並根據與該些多個標識器12、…12的位置關係相關的資訊,測量世界座標系中的探測器2的位置姿勢的方法,並不限定於所述方法。此時,於攝像部13中,將基於由測量設定部15所設定的曝光時間的包含多個標識器12、…12的圖像的攝像重覆由測量設定部15所設定的次數。對藉由如所述般拍攝多次所獲得的多個圖像重覆所述測量處理來加以平均化,藉此可將誤差平均化,減少誤差的影響。作為誤差,探測器2有因用戶的手抖等位置偏離而產生的誤差、或者與探測器2的位置偏離無關地因雜訊或攝像元件的特性的偏差等而產生的誤差。於處理部14中將與經測量的探測器2的位置姿勢相關的資訊發送至三維形狀轉換處理部9中。
對步驟3的被測量對象6的三維形狀測量處理進行具體說明。於已將探測器2保持在非接觸三維形狀測量感測器7能夠測量被測量對象6的三維形狀的位置上的狀態下,非接觸三維形狀測量感測器7按照時機控制訊號對被測量對象6進行測量。作為被測量對象6的三維形狀的測量,例如可藉由根據朝被測量對象6發射的雷射光等訊號由被測量對象6表面反射後被接收為止的飛行時間,測量自非接觸三維形狀測量感測器至被測量對象6的表面為止的距離來進行,但三維形狀的測量方法並不限定於此。可於已將探測器2相對於被測量對象6保持在固定的位置上的狀態下測量被測量對象6的三維形狀,並變更探測器2的相對於被測量對象6的位置,重覆被測量對象6的三維形狀的測量,藉此測量被測量對象6的更大的範圍的三維形狀。非接觸三維形狀測量感測器7將經測量的被測量對象6的三維形狀資料發送至三維形狀轉換處理部9中。
對步驟4的三維形狀轉換處理進行具體說明。自非接觸三維形狀測量感測器7將對於探測器2所定義的探測器座標系中的被測量對象6的三維形狀資料輸出至三維形狀轉換處理部中。另外,自處理部14將世界座標系中的探測器2的位置姿勢資料輸出至三維形狀轉換處理部中。所述探測器座標系中的被測量對象6的三維形狀測量與世界座標系中的探測器2的位置姿勢測量根據時機控制訊號而同步地進行,因此經由來自時機控制部10的與測量時機相關的資訊而相互建立了關聯,可自探測器座標系朝世界座標系中的三維形狀資料進行轉換。如所述般進行了轉換的三維形狀資料因世界座標系中的相互的位置關係已被確定,故於三維形狀轉換處理部9中,與由目前為止的測量所取得的鄰接或相互重疊的區域的三維形狀資料進行結合,藉此可生成世界座標系中的被測量對象6的三維形狀資料。
根據圖4中所示的流程圖對在製造時實施所述測量時間設定方法的情況進行說明。於此情況下,探測器2於已被固定並保持在規定的位置上的狀態實施以下的處理。藉由如所述般將探測器2設為已被固定並保持在規定的位置上的狀態,可排除由因手抖等所引起的探測器2的位置偏離所產生的影響。於製造時先進行測量時間設定,藉此可獲得曝光時間與平均次數的既定值,即便於在現場的測量時不進行測量時間設定的情況下,亦可利用該既定值進行測量。
首先,設定成作為設定候補的曝光時間中的一個曝光時間(步驟11),進行多次探測器的位置姿勢測量(步驟12)。然後,針對已測量的探測器位置,算出多個圖案的平均次數中的定位誤差(步驟13)。此時,由於探測器2已被固定,因此作為位置測量誤差所算出的誤差僅為定位誤差。此處,例如測量時間由測量時間=(曝光時間+(攝像部(相機)13的畫素資料的)轉送時間)×平均次數來表示。然後,針對已算出定位誤差的所有圖案,根據曝光時間與平均次數來算出測量時間(步驟14)。繼而,算出測量時間與已算出的定位誤差的對應表(步驟15)。將表示測量時間與定位誤差的對應關係的對應表的例子示於表1中。當於製造時實施的情況下,由於事先知道如所述般被固定並保持的探測器2的位置,因此可算出作為相對於事先知道的位置的誤差的定位誤差。而且,事先取得如表2所示的表示測量時間與手抖誤差的對應關係的對應表。測量時間與手抖誤差的對應表可使用已實際進行的實驗資料,亦可基於模擬(simulation)。使用測量時間與定位誤差的對應表及測量時間與手抖誤差的對應表,算出如表3所示的經設定的曝光時間內的測量時間與包含手抖誤差及定位誤差的位置測量誤差的對應表(步驟16)。此處,作為包含手抖誤差與定位誤差的兩者的誤差的位置測量誤差由手抖誤差與定位誤差來決定,但並不僅限於該些誤差的單純的相加。如表3所示,根據手抖誤差ve1與定位誤差pe1,藉由算出式E而將位置測量誤差e1作為E(ve1,pe1)來算出。作為算出式,除單純的相加以外,可使用平方和的平方根(Square Root of Sum of Squares,SRSS)或均方根(Root Mean Square,RMS)。而且,對於設定候補的所有曝光時間,重覆步驟11~步驟16,算出測量時間與包含手抖誤差及定位誤差的位置測量誤差的對應表(步驟17)。然後,自其中設定包含手抖誤差及定位誤差的位置測量誤差變成最小的曝光時間與平均次數(步驟18)。

表1 表2

表3
圖5(a)中表示測量時間與探測器2的包含手抖誤差及定位誤差的位置測量誤差的對應關係,圖5(b)中表示變更了設定曝光時間時的測量時間與探測器2的包含手抖誤差及定位誤差的位置測量誤差的對應關係。此處,為虛線是表示測量時間與手抖誤差的對應關係,細實線是表示曝光時間A的情況下的測量時間與定位誤差的對應關係,粗實線是表示該情況下的測量時間與探測器2的位置測量誤差(手抖誤差+定位誤差)的對應關係的圖。另外,為一點鏈線是表示曝光時間B的情況下的測量時間與定位誤差的對應關係,兩點鏈線是表示該情況下的測量時間與探測器2的位置測量誤差(手抖誤差+定位誤差)的對應關係的圖。此處,作為位置測量誤差,將由手抖誤差與定位誤差的單純相加所得者作為例子進行了說明,但如上所述,位置測量誤差並不限定於單純相加。如圖5(a)所示,通常若平均次數增加,則定位誤差被平均化,相對於此,若測量時間變長,則於手中握持的時間亦變長,因此存在手抖誤差變大的傾向。因此,存在作為手抖誤差與定位誤差的合計的探測器2的位置測量誤差變成最小的測量時間。另外,如圖5(b)所示,表示測量時間與定位誤差的關係的圖亦對應於曝光時間而改變,因此探測器2的位置測量誤差變成最小的測量時間亦不同。因此,可藉由一面變更曝光時間設定一面重覆步驟11~步驟16的處理,而於步驟18中設定包含手抖誤差及定位誤差的位置測定誤差變成最小的曝光時間與平均次數。
[實施例2]
於本實施例中,根據圖6中所示的流程圖,對藉由設置如測量時間設定模式般的特別的模式而使用戶於使用時實施的測量時間設定進行說明。此處,對結合用戶使探測器2靜止來測量的被測量對象6的三維形狀的情況(戳記式等)進行說明。再者,作為初始設定,理想的是先實施實施例1中所說明的製造時的設定。
首先,開始測量時間設定模式,用戶保持探測器2,並與實際的測量時同樣地使其靜止。其後,於處理部14中,將作為設定候補的曝光時間中的一個設定成曝光時間(步驟21)。然後,於用戶握持探測器2,並使其靜止的狀態下多次測量探測器位置姿勢(步驟22)。針對已測量的探測器位置,算出多個圖案的平均次數中的位置測量誤差(步驟23)。於此情況下,所算出的位置測量誤差無法如實施例1般,分離成手抖誤差與定位誤差,但於概念上包含基於經保持的探測器2的位置偏離(手抖等)的手抖誤差、及即便探測器2靜止亦產生的定位誤差。繼而,針對已算出位置測量誤差的所有圖案,根據曝光時間與平均次數來算出測量時間(步驟24)。然後,算出測量時間與已算出的位置測量誤差的對應表(步驟25)。然後,對於設定候補的所有曝光時間,重覆步驟21~步驟25,算出測量時間與位置測量誤差的對應表(步驟26)。然後,自其中設定包含手抖誤差及定位誤差的位置測量誤差變成最小的曝光時間與平均次數(步驟27)。
[實施例3]
於本實施例中,根據圖7中所示的流程圖,對與實施例2同樣地藉由設置如測量時間設定模式般的特別的模式而使用戶於使用時實施的測量時間設定進行說明。但是,於本實施例中,對使探測器2移動來測量被測量對象6的三維形狀的情況進行說明。此處,作為初始設定,亦理想的是先實施實施例1中所說明的製造時的設定。
首先,開始測量時間設定模式,用戶保持探測器2,並與實際的測定時同樣地使其等速地移動。其後,於處理部14中,將作為設定候補的曝光時間中的一個設定成曝光時間(步驟31)。然後,於用戶握持探測器2,並使其等速地移動的狀態下多次測量探測器位置姿勢(步驟32)。針對已測量的探測器位置,算出多個圖案的平均次數中的位置測量誤差(步驟33)。於此情況下,所算出的位置測量誤差無法如實施例1般,分離成手抖誤差與定位誤差,但於概念上包含基於經保持的探測器2的位置偏離(手抖等)的手抖誤差及即便探測器2未進行位置偏離亦產生的定位誤差。繼而,針對已算出位置測量誤差的所有圖案,根據曝光時間與平均次數來算出測量時間(步驟34)。然後,算出測量時間與已算出的位置測量誤差的對應表(步驟35)。然後,對於設定候補的所有曝光時間,重覆步驟31~步驟35,算出測量時間與位置測量誤差的對應表(步驟36)。然後,自其中設定位置測量誤差變成最小的曝光時間與平均次數(步驟37)。
[實施例4]
於本實施例中,對在已知定位精度,即位置測量的精度變成最佳的最合適的曝光條件的情況下,於非接觸探測器定位感測器8的測量時間設定中並非如實施例1~實施例3般對曝光時間進行掃描,而是於測量時間設定的最初使用圖像來設定成最合適的曝光條件的方法進行說明。
根據圖8中所示的流程圖對本實施例的曝光時間設定方法進行說明。
首先,於剛開始非接觸探測器定位感測器8的測量時間設定之後,將攝像部的曝光時間設定成初始曝光時間(步驟41),使探測器2的標識器12發光,並進行拍攝(步驟42)。然後,判斷所拍攝的圖像內的標識器12的畫素值是否飽和(步驟43)。當於步驟43中,所拍攝的圖像內的標識器12的畫素值飽和時,縮短曝光時間,重覆步驟41~步驟43。當於步驟43中,所拍攝的圖像內的標識器12的畫素值未飽和時,以標識器畫素值的最大值變成最合適的畫素值的方式設定曝光時間(步驟44)。此處,以作為最合適的畫素值,變成灰階的80%至100%的方式設定曝光時間。
根據圖9對在藉由所述程序來設定曝光時間的情況下,於製造時設定測量時間的方法進行說明。
首先,進行多次探測器2的位置姿勢測量(步驟51)。然後,針對已測量的探測器位置,算出平均次數中的定位誤差(步驟52)。然後,針對已算出定位誤差的所有圖案,根據曝光時間與平均次數來算出測量時間(步驟53)。繼而,算出測量時間與已算出的定位誤差的對應表(步驟54)。然後,使用事先已取得的測量時間與手抖誤差的對應表,算出經設定的曝光時間內的測量時間與包含手抖誤差及定位誤差的位置測量誤差的對應表(步驟55)。然後,根據所述對應表,設定位置測量誤差變成最小的平均次數(步驟56)。
根據圖10對在藉由所述程序來設定曝光時間的情況下,用戶於使用時設定測量時間的方法進行說明。
首先,開始測量時間設定模式,用戶握持探測器2,並使其變成與實際的測定時相同的狀態,即靜止或等速移動。其後,用戶保持探測器2,在與實際的測定時相同的狀態下多次測量探測器位置姿勢(步驟61)。針對已測量的探測器位置,算出多個圖案的平均次數中的位置測量誤差(步驟62)。此處,所算出的位置測量誤差亦無法如實施例1般,分離成手抖誤差與定位誤差,但於概念上包含基於經保持的探測器的位置偏離(手抖等)的手抖誤差及即便探測器2靜止亦產生的定位誤差。繼而,針對已算出位置測量誤差的所有圖案,根據曝光時間與平均次數來算出測量時間(步驟63)。然後,算出測量時間與已算出的位置測量誤差的對應表(步驟64)。然後,根據所述對應表,設定位置測量誤差變成最小的平均次數(步驟65)。
[實施例5]
本實施例是關於三維形狀測量系統的非接觸探測器定位感測器8的標識器12、…12。
如圖11(a)所示,當配置於z方向上的攝像元件拍攝多個標識器12、…12時,於三維位置姿勢推斷中,根據於x方向或y方向上產生的視差,推斷因投影而失去的z方向的位置資訊,因此與x方向或y方向的推斷誤差相比,z方向的推斷誤差產生得大。因此,當如圖11(a)所示於長方形的四個頂點及與長邊平行的對稱軸上的兩點這樣的同一平面上的位置上配置有多個標識器12、…12時,標識器12、…12的位置推斷誤差範圍變成影線部分。相對於此,將中央的兩個標識器配置於並非與配置有其他標識器的平面相同的平面上的位置上。藉由如所述般將標識器12、…12立體地配置於探測器上,而於z方向上產生幾何約束,如由圖11(b)的影線部分所示般,可減小標識器12、…12的三維位置姿勢的推斷誤差。即,可減小探測器2的位置姿勢的推斷誤差,可高精度地進行被測量對象的三維形狀測量。
[實施例6]
本實施例是關於自攝像部13轉送至處理部14的拍攝標識器12所得的圖像資料。
於攝像部13中,拍攝包含標識器12的整個視場的圖像。其中,若根據過去的標識器12的位置資訊,僅將存在標識器12的區域的畫素資料轉送至處理部14中,則可削減被轉送的資料量。若可如所述般削減被轉送的資料量,則可減少轉送資料的時間或資料的處理所需要的時間,可藉由處理的高速化來提昇定位精度。
具體而言,如圖12所示,事先掌握Δt間的攝像圖像上的最大標識器變化量Δx,於在時刻t時所拍攝的圖像中,僅將相對於自在時刻(t-Δt)時所拍攝的圖像中提取的標識器像(由帶點的圓表示)的座標,半徑為Δx以下的區域(由虛線表示)的畫素資料轉送至處理部中。若如此設定,則於時刻t時所拍攝的標識器像(由塗黑的圓表示)可存在於由虛線所表示的轉送區域中,因此於處理部14中,可自已被轉送的資料中提取時刻t時的標識器12的座標。
再者,所述圖像資料的削減處理於攝像部13中實施,但並不限定於此。即,作為具體的結構,亦可於攝像裝置3或與其連接的PC 4的任一個中實施。
[實施例7]
本實施例是關於自攝像部13轉送至處理部14的拍攝標識器12所得的圖像資料。
於本實施例中,於攝像部13中削減已拍攝的圖像的畫素值的資料量,藉此削減朝處理部14中轉送的資料量。若可如所述般削減被轉送的資料量,則可減少轉送資料的時間或資料的處理所需要的時間,可藉由處理的高速化來提昇定位精度。
具體而言,如圖13所示,當已被拍攝的圖像資料的畫素值由8位元(bit)表達時,根據事先設定的臨限值,將8位元轉換成2位元。事先求出可確保探測器的定位精度的程度的值作為此處的臨限值。若如此設定,則可藉由已被拍攝的圖像的灰階下降而削減被轉送的資料量,可藉由處理的高速化來提昇定位精度。
並不限定於如所述般對畫素值設定臨限值的情況,亦可對畫素值的空間的變化量或時間的變化量設定臨限值。
再者,所述圖像資料的削減處理於攝像部13中實施,但並不限定於此。即,作為具體的結構,亦可於攝像裝置3或與其連接的PC 4的任一個中實施。
再者,以下為了可對本發明的構成要件與實施例的結構進行對比,附加圖式的符號來記載本發明的構成要件。
<發明1>
一種三維形狀測量系統(1),包括:
時機控制部(10),輸出用於同步的控制訊號;
非接觸三維形狀測量感測器(7),不接觸被測量對象,而與所述控制訊號同步地測量該被測量對象的三維形狀;
探測器(2),具有所述非接觸三維形狀測量感測器(7),於所述三維形狀的測量時,相對於所述被測量對象(6),保持在所述非接觸三維形狀測量感測器(7)能夠測量該被測量對象(6)的形狀的位置;
多個標識器(12、…12),配置於所述探測器(2)上,與所述控制訊號同步地進行發光;
測量設定部(15),設定與攝像相關的曝光時間及攝像的次數;
攝像部(13),其是於所述曝光時間內接收來自包含所述多個標識器(12、…12)的攝像對象的光,藉此拍攝包含該多個標識器(12、…12)的圖像的攝像部(13),於利用所述非接觸三維形狀測量感測器(7)測量所述被測量對象(6)的三維形狀時,在規定的所述曝光時間內,與所述控制訊號同步地對包含所述多個標識器(12、…12)的所述圖像拍攝所述次數;
處理部(14),自藉由所述攝像部(13)所拍攝的多個所述圖像中提取所述多個標識器(12、…12)的位置,根據與該多個標識器(12、…12)的位置關係相關的資訊,測量所述探測器(2)的於世界座標系中的位置姿勢;以及
三維形狀轉換處理部(9),根據利用所述非接觸三維形狀測量感測器(7)測量三維形狀時的所述探測器(2)的位置姿勢,將由所述非接觸三維形狀測量感測器(7)所測量的對於所述探測器(2)所定義的探測器座標系中的所述被測量對象(6)的三維形狀轉換成所述世界座標系中的所述被測量對象(6)的三維形狀,並生成表達所述世界座標系中的該被測量對象(6)的三維形狀的資訊,
所述測量設定部(15)變更所述曝光時間及所述攝像的次數的任一個,並算出根據進行了變更時的所述攝像及所述探測器的位置姿勢的測量的結果的所述探測器的位置測量誤差,
針對多種曝光時間及攝像的次數進行該位置測量誤差的算出,且
自所獲得的多個位置測量誤差中,設定位置測量誤差已變小時的曝光時間及攝像的次數。
<發明2>
如第1發明中記載的三維形狀測量系統(1),其中當設定所述曝光時間時,根據由所述攝像部(13)所拍攝的包含所述多個標識器(12、…12)的圖像的畫素值,設定該曝光時間。
<發明3>
如第2發明中記載的三維形狀測量系統(1),其中當設定所述曝光時間時,於以包含所述多個標識器(12、…12)的圖像的畫素值不飽和的方式所設定的曝光時間內,藉由所述攝像部來拍攝包含所述多個標識器(12、…12)的圖像,並以所拍攝的該標識器(12、…12)的圖像的畫素值的最大值變成畫素值的灰階的80%至100%的方式設定所述曝光時間。
<發明4>
如第1發明至第3發明的任一項中記載的三維形狀測量系統(1),其中所述攝像部(13)根據已拍攝的圖像中的過去的時間點的所述探測器(2)的位置,於拍攝時推斷所述標識器(12)可能存在的區域並將其輸出至所述處理部(14)中,且
所述處理部(14)根據所述區域的圖像資料,測量所述探測器(2)的位置姿勢。
<發明5>
如第1發明至第3發明的任一項中記載的三維形狀測量系統(1),其中所述攝像部(13)削減已拍攝的圖像資料的資料量後將所述圖像資料輸出至所述處理部(14)中,且
所述處理部(14)根據資料量已被削減的所述圖像資料,測量所述探測器(2)的位置姿勢。
<發明6>
如第1發明中記載的三維形狀測量系統(1),其中以一致地規定所述探測器(2)的姿勢、且該標識器(12、…12)彼此不在同一平面上的方式配置所述多個標識器(12、…12)。
<發明7>
一種探測器(2),其是用於如第1發明至第5發明的任一項中記載的三維形狀測量系統(1)的所述探測器(2),其中,
以一致地規定所述探測器(2)的姿勢、且該標識器(12、…12)彼此不在同一平面上的方式配置所述多個標識器(12、…12)。
<發明8>
一種攝像裝置(3),其是用於如第1發明至第6發明的任一項中記載的三維形狀測量系統(1)的攝像裝置(3),包括:
所述攝像部(13)、所述處理部(14)及所述測量設定部(15)。
<發明9>
一種電腦裝置(4),其是用於如第1發明至第6發明的任一項中記載的三維形狀測量系統(1)的電腦裝置(4),包括:
所述處理部(14)、所述三維形狀轉換處理部(9)及所述時機控制部(10)。
<發明10>
一種測量時間設定方法,其是於三維形狀測量系統(1)中,設定包含曝光時間與次數的測量探測器(2)的位置姿勢時的測量時間的測量時間設定方法,所述三維形狀測量系統(1)包括:所述探測器(2),與控制訊號同步地測量被測量對象(6)的三維形狀;以及非接觸探測器定位感測器(8),當根據由攝像部(13)所拍攝的圖像,測量所述探測器(2)的位置姿勢時,將使用在規定的所述曝光時間內拍攝了規定的所述次數的所述圖像來測量所述探測器(2)的位置姿勢的處理加以平均化,所述攝像部(13)藉由在所述曝光時間內接收來自攝像對象的光而進行拍攝,且與所述控制訊號同步地拍攝包含設置於所述探測器(2)上並與所述控制訊號同步地進行發光的多個標識器(12、…12)的所述圖像,所述測量時間設定方法包括:
第一步驟(S11),設定所述攝像部(13)的曝光時間;
第二步驟(S12),多次測量所述探測器(2)的位置姿勢;
第三步驟(S13),算出多個圖案的所述次數中的位置測量誤差,所述位置測量誤差包含由所述探測器(2)的位置偏離所產生的誤差以及與位置偏離無關地產生的誤差;
第四步驟(S16),算出取決於所述次數的所述探測器的所述測量時間與所述探測器(2)的所述位置測量誤差的對應關係;
對於設定候補的所有曝光時間,重覆所述第一步驟、第二步驟、第三步驟及第四步驟的步驟(S17);以及
根據取決於所述曝光時間及所述次數的所述探測器的所述測量時間與所述探測器的所述位置測量誤差的對應關係,設定所述探測器的所述位置測量誤差已變小時的所述曝光時間及所述次數的步驟(S18)。
<發明11>
如第10發明中記載的測量時間設定方法,其中所述第二步驟是於已將所述探測器固定在固定元件上的狀態下,測量所述探測器的位置姿勢(S12)。
<發明12>
如第10發明中記載的測量時間設定方法,其中所述第二步驟是於用戶已保持所述探測器(2)的狀態下,測量所述探測器的位置姿勢(S22、S32)。
<發明13>
一種測量時間設定方法,其是於三維形狀測量系統(1)中,設定包含曝光時間與次數的測量探測器(2)的位置姿勢時的測量時間的測量時間設定方法,所述三維形狀測量系統(1)包括:所述探測器(2),與控制訊號同步地測量被測量對象(6)的三維形狀;以及非接觸探測器定位感測器(8),當根據由攝像部(13)所拍攝的圖像,測量所述探測器(2)的位置姿勢時,將使用在規定的所述曝光時間內拍攝了規定的所述次數的所述圖像來測量所述探測器(2)的位置姿勢的處理加以平均化,所述攝像部(13)藉由在所述曝光時間內接收來自攝像對象的光而進行拍攝,且與所述控制訊號同步地拍攝包含設置於所述探測器(2)上並與所述控制訊號同步地進行發光的多個標識器(12)的所述圖像,所述測量時間設定方法包括:
藉由已被設定成規定的曝光時間的所述攝像部(13)來多次測量所述探測器(2)的位置姿勢的步驟(S51);
算出多個圖案的所述次數中的包含由所述探測器(2)的位置偏離所產生的誤差以及與位置偏離無關地產生的誤差的位置測量誤差的步驟(S52);
算出取決於所述次數的所述探測器(2)的所述測量時間與所述探測器(2)的所述位置測量誤差的對應關係的步驟(S55);以及
根據取決於所述次數的所述探測器(2)的所述測量時間與所述探測器(2)的位置測量誤差的對應關係,設定所述探測器(2)的位置測量誤差已變小時的所述次數的步驟(S56)。
<發明14>
如第13發明中記載的測量時間設定方法,其中所述規定的曝光時間對應於由所述攝像部(13)所拍攝的圖像內的所述多個標識器(12、…12)的畫素值來設定(S41~S44)。
1‧‧‧三維形狀測量系統
2‧‧‧探測器
3‧‧‧攝像裝置
4‧‧‧個人電腦
5‧‧‧顯示器
6‧‧‧被測量對象
7‧‧‧非接觸三維形狀測量感測器
8‧‧‧非接觸探測器定位感測器
9‧‧‧三維形狀轉換處理部
10‧‧‧時機控制部
11‧‧‧輸出部
12‧‧‧標識器
13‧‧‧攝像部
14‧‧‧處理部
15‧‧‧測量設定部
S1~S5、S11~S18、S21~S27、S31~S37、S41~S44、S51~S56、S61~S65‧‧‧步驟
圖1是表示於本發明的實施例中通用的三維形狀測量系統的概略的整體結構圖。
圖2是於本發明的實施例中通用的三維形狀測量系統的功能方塊圖。
圖3是於本發明的實施例中通用的三維形狀測量程序的流程圖。
圖4是本發明的實施例1中的測量時間設定方法的流程圖。
圖5(a)及圖5(b)是表示測量時間與探測器的位置測量誤差的對應關係的圖。
圖6是本發明的實施例2中的測量時間設定方法的流程圖。
圖7是本發明的實施例3中的測量時間設定方法的流程圖。
圖8是本發明的實施例4中的曝光時間設定方法的流程圖。
圖9是本發明的實施例4中的測量時間設定方法的流程圖。
圖10是本發明的實施例4中的測量時間設定方法的流程圖。
圖11(a)及圖11(b)是說明本發明的實施例5中的標識器部的配置的圖。
圖12是表示本發明的實施例6中的轉送圖像資料的概念圖。
圖13是說明本發明的實施例7中的轉送圖像資料的結構的圖。

Claims (14)

  1. 一種三維形狀測量系統,包括:
    時機控制部,輸出用於同步的控制訊號;
    非接觸三維形狀測量感測器,不接觸被測量對象,而與所述控制訊號同步地測量所述被測量對象的三維形狀;
    探測器,具有所述非接觸三維形狀測量感測器,於所述三維形狀的測量時,相對於所述被測量對象,保持在所述非接觸三維形狀測量感測器能夠測量所述被測量對象的形狀的位置;
    多個標識器,配置於所述探測器上,與所述控制訊號同步地進行發光;
    測量設定部,設定與攝像相關的曝光時間及攝像的次數;
    攝像部,於所述曝光時間內接收來自包含所述多個標識器的攝像對象的光,藉此拍攝包含所述多個標識器的圖像,於利用所述非接觸三維形狀測量感測器測量所述被測量對象的三維形狀時,在所述曝光時間內,與所述控制訊號同步地對包含所述多個標識器的所述圖像拍攝所述次數;
    處理部,自藉由所述攝像部所拍攝的多個所述圖像中提取所述多個標識器的位置,根據與所述多個標識器的位置關係相關的資訊,測量所述探測器的於世界座標系中的位置姿勢;以及
    三維形狀轉換處理部,根據利用所述非接觸三維形狀測量感測器測量三維形狀時的所述探測器的位置姿勢,將由所述非接觸三維形狀測量感測器所測量的對於所述探測器所定義的探測器座標系中的所述被測量對象的三維形狀轉換成所述世界座標系中的所述被測量對象的三維形狀,並生成表達所述世界座標系中的所述被測量對象的三維形狀的資訊,
    所述測量設定部變更所述曝光時間及所述攝像的次數的任一個,並算出根據進行了變更時的所述攝像及所述探測器的位置姿勢的測量的結果的所述探測器的位置測量誤差,
    針對多種曝光時間及攝像的次數進行所述位置測量誤差的算出,且
    自所獲得的多個位置測量誤差中,設定位置測量誤差已變小時的曝光時間及攝像的次數。
  2. 如申請專利範圍第1項所述的三維形狀測量系統,其中當設定所述曝光時間時,根據由所述攝像部所拍攝的包含所述多個標識器的圖像的畫素值,設定所述曝光時間。
  3. 如申請專利範圍第2項所述的三維形狀測量系統,其中當設定所述曝光時間時,於以包含所述多個標識器的圖像的畫素值不飽和的方式所設定的曝光時間內,藉由所述攝像部來拍攝包含所述多個標識器的圖像,並以所拍攝的包含所述多個標識器的圖像的畫素值的最大值變成畫素值的灰階的80%至100%的方式設定所述曝光時間。
  4. 如申請專利範圍第1項至第3項中任一項所述的三維形狀測量系統,其中所述攝像部根據已拍攝的圖像中的過去的時間點的所述探測器的位置,於拍攝時推斷所述標識器可能存在的區域並將其輸出至所述處理部中,且
    所述處理部根據所述區域的圖像資料,測量所述探測器的位置姿勢。
  5. 如申請專利範圍第1項至第3項中任一項所述的三維形狀測量系統,其中所述攝像部削減已拍攝的圖像資料的資料量後將所述圖像資料輸出至所述處理部中,且
    所述處理部根據資料量已被削減的所述圖像資料,測量所述探測器的位置姿勢。
  6. 如申請專利範圍第1項所述的三維形狀測量系統,其中以一致地規定所述探測器的姿勢、且所述標識器彼此不在同一平面上的方式配置所述多個標識器。
  7. 一種探測器,用於如申請專利範圍第1項至第5項中任一項所述的三維形狀測量系統,其中,
    以一致地規定所述探測器的姿勢、且所述標識器彼此不在同一平面上的方式配置所述多個標識器。
  8. 一種攝像裝置,用於如申請專利範圍第1項至第6項中任一項所述的三維形狀測量系統,所述攝像裝置包括:
    所述攝像部、所述處理部及所述測量設定部。
  9. 一種電腦裝置,用於如申請專利範圍第1項至第6項中任一項所述的三維形狀測量系統,所述電腦裝置包括:
    所述處理部、所述三維形狀轉換處理部及所述時機控制部。
  10. 一種測量時間設定方法,於三維形狀測量系統中,設定包含曝光時間與次數的測量探測器的位置姿勢時的測量時間,所述三維形狀測量系統包括:所述探測器,與控制訊號同步地測量被測量對象的三維形狀;以及非接觸探測器定位感測器,當根據由攝像部所拍攝的圖像,測量所述探測器的位置姿勢時,將使用在規定的所述曝光時間內拍攝了規定的所述次數的所述圖像來測量所述探測器的位置姿勢的處理加以平均化,所述攝像部藉由在所述曝光時間內接收來自攝像對象的光而進行拍攝,且與所述控制訊號同步地拍攝包含設置於所述探測器上並與所述控制訊號同步地進行發光的多個標識器的所述圖像,
    所述測量時間設定方法包括:
    第一步驟,設定所述攝像部的曝光時間;
    第二步驟,多次測量所述探測器的位置姿勢;
    第三步驟,算出多個圖案的所述次數中的位置測量誤差,所述位置測量誤差包含由所述探測器的位置偏離所產生的誤差以及與位置偏離無關地產生的誤差;
    第四步驟,算出取決於所述次數的所述探測器的所述測量時間與所述探測器的所述位置測量誤差的對應關係;
    對於設定候補的所有曝光時間,重覆所述第一步驟、第二步驟、第三步驟及第四步驟的步驟;以及
    根據取決於所述曝光時間及所述次數的所述探測器的所述測量時間與所述探測器的所述位置測量誤差的對應關係,設定所述探測器的所述位置測量誤差已變小時的所述曝光時間及所述次數的步驟。
  11. 如申請專利範圍第10項所述的測量時間設定方法,其中所述第二步驟是於已將所述探測器固定在固定元件上的狀態下,測量所述探測器的位置姿勢。
  12. 如申請專利範圍第10項所述的測量時間設定方法,其中所述第二步驟是於用戶已保持所述探測器的狀態下,測量所述探測器的位置姿勢。
  13. 一種測量時間設定方法,於三維形狀測量系統中,設定包含曝光時間與次數的測量探測器的位置姿勢時的測量時間,所述三維形狀測量系統包括:所述探測器,與控制訊號同步地測量被測量對象的三維形狀;以及非接觸探測器定位感測器,當根據由攝像部所拍攝的圖像,測量所述探測器的位置姿勢時,將使用在規定的所述曝光時間內拍攝了規定的所述次數的所述圖像來測量所述探測器的位置姿勢的處理加以平均化,所述攝像部藉由在所述曝光時間內接收來自攝像對象的光而進行拍攝,且與所述控制訊號同步地拍攝包含設置於所述探測器上並與所述控制訊號同步地進行發光的多個標識器的所述圖像,
    所述測量時間設定方法包括:
    藉由已被設定成規定的曝光時間的所述攝像部來多次測量所述探測器的位置姿勢的步驟;
    算出多個圖案的所述次數中的包含由所述探測器的位置偏離所產生的誤差以及與位置偏離無關地產生的誤差的位置測量誤差的步驟;
    算出取決於所述次數的所述探測器的所述測量時間與所述探測器的所述位置測量誤差的對應關係的步驟;以及
    根據取決於所述次數的所述探測器的所述測量時間與所述探測器的所述位置測量誤差的對應關係,設定所述探測器的所述位置測量誤差已變小時的所述次數的步驟。
  14. 如申請專利範圍第13項所述的測量時間設定方法,其中所述規定的曝光時間對應於由所述攝像部所拍攝的圖像內的所述多個標識器的畫素值來設定。
TW108111545A 2018-05-02 2019-04-01 三維形狀測量系統、探測器、攝像裝置、電腦裝置以及測量時間設定方法 TWI679397B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-088540 2018-05-02
JP2018088540A JP7124424B2 (ja) 2018-05-02 2018-05-02 3次元形状計測システム及び計測時間設定方法

Publications (2)

Publication Number Publication Date
TWI679397B true TWI679397B (zh) 2019-12-11
TW201947186A TW201947186A (zh) 2019-12-16

Family

ID=66092024

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108111545A TWI679397B (zh) 2018-05-02 2019-04-01 三維形狀測量系統、探測器、攝像裝置、電腦裝置以及測量時間設定方法

Country Status (5)

Country Link
EP (1) EP3564618B1 (zh)
JP (1) JP7124424B2 (zh)
KR (1) KR102196286B1 (zh)
CN (1) CN110440686B (zh)
TW (1) TWI679397B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020125649A1 (de) 2020-10-01 2022-04-07 Wenzel Metrology Gmbh Verfahren zum Bestimmen der Geometrie eines Objektes sowie optische Messvorrichtung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998005157A2 (en) * 1996-07-12 1998-02-05 Real-Time Geometry Corporation High accuracy calibration for 3d scanning and measuring systems
WO2016172411A1 (en) * 2015-04-24 2016-10-27 Faro Technologies, Inc. Two-camera triangulation scanner with detachable coupling mechanism
WO2017220786A1 (en) * 2016-06-24 2017-12-28 3Shape A/S 3d scanner using a structured beam of probe light

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6043974B2 (ja) 1984-05-18 1985-10-01 松下電器産業株式会社 調理器
JPH11264722A (ja) * 1998-03-17 1999-09-28 Yuusuke Nonomura 3次元計測装置
JP2000039310A (ja) 1998-07-22 2000-02-08 Sanyo Electric Co Ltd 形状測定方法および形状測定装置
JP2001074428A (ja) * 1999-09-03 2001-03-23 Sanyo Electric Co Ltd 形状測定装置の校正方法及び校正治具
JP2002048520A (ja) 2000-08-02 2002-02-15 Sanyo Electric Co Ltd 形状測定装置及び形状測定方法
JP4136859B2 (ja) 2003-01-10 2008-08-20 キヤノン株式会社 位置姿勢計測方法
JP2007319938A (ja) * 2006-05-30 2007-12-13 Toyota Motor Corp ロボット装置及び物体の三次元形状の取得方法
JP4940800B2 (ja) 2006-07-12 2012-05-30 オムロン株式会社 変位センサ
EP2400261A1 (de) * 2010-06-21 2011-12-28 Leica Geosystems AG Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
US8638450B2 (en) * 2010-08-04 2014-01-28 Boulder Innovation Group Inc. Methods and systems for realizing reduced complexity in three-dimensional digitizer systems
CN102155923B (zh) * 2011-03-17 2013-04-24 北京信息科技大学 基于立体靶标的拼接测量方法及***
EP2511656A1 (de) * 2011-04-14 2012-10-17 Hexagon Technology Center GmbH Vermessungssystem zur Bestimmung von 3D-Koordinaten einer Objektoberfläche
CN103267491B (zh) * 2012-07-17 2016-01-20 深圳大学 自动获取物体表面完整三维数据的方法及***
JP6325871B2 (ja) 2014-03-28 2018-05-16 株式会社キーエンス 光学式座標測定装置
JP6321441B2 (ja) * 2014-05-07 2018-05-09 株式会社ミツトヨ 三次元測定システム、三次元測定方法、および、被測定体
BR112017002129B1 (pt) * 2014-08-04 2022-01-04 Nissan Motor Co., Ltd Aparelho de cálculo de autoposição e método de cálculo de autoposição
US20170299379A1 (en) * 2016-04-15 2017-10-19 Lockheed Martin Corporation Precision Hand-Held Scanner

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998005157A2 (en) * 1996-07-12 1998-02-05 Real-Time Geometry Corporation High accuracy calibration for 3d scanning and measuring systems
WO2016172411A1 (en) * 2015-04-24 2016-10-27 Faro Technologies, Inc. Two-camera triangulation scanner with detachable coupling mechanism
WO2017220786A1 (en) * 2016-06-24 2017-12-28 3Shape A/S 3d scanner using a structured beam of probe light

Also Published As

Publication number Publication date
EP3564618B1 (en) 2022-05-11
CN110440686A (zh) 2019-11-12
JP2019194540A (ja) 2019-11-07
KR20190126706A (ko) 2019-11-12
JP7124424B2 (ja) 2022-08-24
CN110440686B (zh) 2021-03-19
EP3564618A1 (en) 2019-11-06
TW201947186A (zh) 2019-12-16
KR102196286B1 (ko) 2020-12-29

Similar Documents

Publication Publication Date Title
JP5132832B1 (ja) 計測装置および情報処理装置
US10979694B2 (en) Information processing apparatus, method, and storage medium
JP6092530B2 (ja) 画像処理装置、画像処理方法
JP6503906B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6282098B2 (ja) キャリブレーション装置及び方法
JP2012123781A (ja) 情報処理装置、情報処理システム及び情報処理方法
WO2004044522A1 (ja) 3次元形状計測方法およびその装置
JP6338369B2 (ja) 情報処理装置および情報処理方法
JP2009288235A (ja) 物体の姿勢を求める方法及び装置
JP2012042396A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP6735615B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
TWI672937B (zh) 三維影像處理之裝置及方法
JP2016527478A (ja) 三次元撮影装置、三次元画像の作成方法、および、三次元撮影装置の設定方法
JP6282377B2 (ja) 3次元形状計測システムおよびその計測方法
US11259000B2 (en) Spatiotemporal calibration of RGB-D and displacement sensors
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
TWI679397B (zh) 三維形狀測量系統、探測器、攝像裝置、電腦裝置以及測量時間設定方法
WO2021193672A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置
JP6486083B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2018009927A (ja) 画像処理装置、画像処理方法及びプログラム
JP2020186944A (ja) 位置姿勢推定装置及び位置姿勢推定方法
JP2013037012A (ja) 計測装置、情報処理装置、計測方法、情報処理方法、および、プログラム
WO2023095375A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置
JP2018044863A (ja) 計測装置、計測方法、システム及び物品の製造方法
TWI439659B (zh) Measurement of three - dimensional coordinates