JP2009509778A - 生産機械におけるカメラの校正方法及びシステム - Google Patents

生産機械におけるカメラの校正方法及びシステム Download PDF

Info

Publication number
JP2009509778A
JP2009509778A JP2008531685A JP2008531685A JP2009509778A JP 2009509778 A JP2009509778 A JP 2009509778A JP 2008531685 A JP2008531685 A JP 2008531685A JP 2008531685 A JP2008531685 A JP 2008531685A JP 2009509778 A JP2009509778 A JP 2009509778A
Authority
JP
Japan
Prior art keywords
camera
machine
calibration object
tool
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2008531685A
Other languages
English (en)
Inventor
ヤーン、ディルク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of JP2009509778A publication Critical patent/JP2009509778A/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/401Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37009Calibration of vision system, camera, adapt light level

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Machine Tool Sensing Apparatuses (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)
  • General Factory Administration (AREA)

Abstract

本発明は生産機械の作業室(10)におけるカメラ(12)の校正のための方法及びシステムに関する。その際校正対象(24)が機械の作業室(10)内の異なる位置に動かされ、カメラ(12)によって撮影され、校正対象(24)のパラメータがカメラ(12)の相応の撮像に関係付けられる。確定されたデータを介してカメラ(12)のパラメータが決定される。カメラ(12)の特に精密なパラメータを得るため、本発明によれば作業室(10)内の校正対象(24)の異なる位置が機械の測定システムを利用して決定され、その際カメラ(12)のパラメータの確定が機械の測定システムのデータを考慮して実行される。

Description

本発明は、請求項1ないし9の上位概念に示されるような種類の生産機械におけるカメラを校正するための方法およびシステムに関する。
生産機械の内部には、生産プロセスを監視したり生産プロセスに対するパラメータを確定するため、このようなカメラが広い利用範囲に使用される。ここでは模範的に、衝突監視、部品識別、部品測定、又は部品位置識別が挙げられ、その際そのため1つ又は複数のカメラが生産機械の内部に配置されている。機械の作業室に配置されたカメラによってこのような監視機能や識別機能を十分に信頼できるようにかつ精密に実施し得るようにするためには、カメラの機械に関係する位置及びカメラの内部パラメータができるだけ正確に決定され得なければならない。言い換えれば、カメラの内在的及び外在的パラメータが正確に知られているほど、カメラによって撮影される画像ないしフィルム映像がより精密かつ信頼性をもって評価され得る。ここで内在的パラメータとは、そのレンズの焦点距離のようなカメラ固有のデータ又はセンサのパラメータを意味する。これに対し外在的パラメータとは生産機械の作業室内のカメラの位置ないし座標及び方位を意味する。
カメラの外在的パラメータを確定するため、今日行われている校正方法においては、その形態において、またその寸法において既知の校正対象が機械の作業室内の異なる位置に手動で動かされ、その際カメラによって撮影される。校正対象の各位置のパラメータは、カメラのパラメータを決定するため、十分に情報ないしデータが存在するまでカメラの相応する撮像に関係付けられる。校正対象の情報ないしパラメータ及びそれぞれ関係付けられたカメラの撮像は、今日では通常、例えばダイレクト・リニア・トランスフォーメイション(Direct Linear Transformation:DLT)等の方法に基くアルゴリズムで計算される。
本発明の課題は、冒頭に述べたような方法及びシステムを改善し、カメラの内在的及び外在的パラメータの正確な決定を実施し得るようにすることにある。
この課題は本発明に従えば、請求項1ないし9の特徴を有する生産機械におけるカメラの校正のための方法及びシステムによって達成される。本発明の目的にかない且つありきたりでない発展形態を持った有利な構成は、従属請求項に記載されている。
本発明に従う方法においては、機械の作業室内の校正対象の異なる位置が、機械のいずれにしろ存在する測定システムを利用して決定される。カメラの位置及び特に外在的パラメータの確定はその際、機械の測定システムのデータを考慮して行われる。生産機械ないし工作機械は、その運動軸に通常そのような測定システムを備え、その測定システムによって1つ又は複数の機械軸に沿う調整が確定され得る。異なる座標系、例えば機械座標系又は工具座標系への変換は、機械内の既知の依存性に基いて行われる。
本発明によれば、それゆえ校正対象の位置決めは従来のように手動で行われるのではなく、むしろ機械のいずれにしろ存在する測定システムを用いて行われる。そのため、機械の作業室内の異なる位置を機械軸ないし工具の調整運動を検出する測定システムを介して確定し得るようにするため、校正対象は好ましくは生産機械の可動機械軸又は工具ないし工具取付具に配置される。生産機械はそのため少なくとも1つの調節及び測定可能な軸を有しなければならないが、その軸に基いて機械の作業室内の校正対象の異なる位置が精密に決定され得ることは明らかである。現今通常の加工センタにおいてはこの精度は経験上μm領域にあり、その結果生産機械の測定システムはカメラの校正のために十分な精度を供給することができる。したがって機械軸を介しての校正対象の極めて精密な位置決定に基いて、カメラの校正のために必要な撮像は、測定システムを介して検出されるパラメータに関して極めて精密な方法でもたらされる。測定システムを介して検出されるパラメータは、カメラの位置の確定の際共に入り込み、その結果生産機械内のカメラの極めて精密な校正が実現される。
校正対象が生産機械の工具ないし工具取付具に固定されると、測定法の開始前に工具ないし工具取付具の零点(ツール中心点:Tool-Center-Point(TCP))に関係する校正対象の零点が決定される。このようにして、校正対象の零点(それはカメラの所属の撮像に基き位置決定のために必要である)が、工具ないし工具取付具の零点を介して簡単に決定され得る。言い換えれば、工具ないし工具取付具の零点に対する校正対象の零点は一度決定されなければならないだけである。
カメラの特に正確な校正は、校正対象が機械の作業室内のカメラの検出領域の異なる終位置に動かされると得ることができる。これによって、カメラの検出領域に関して、最大距離における位置パラメータが機械の作業室内で確定され、それによって測定システムに基く誤差を最小化することができる。
校正対象のパラメータのカメラの相応の撮像への関係付けを、生産機械の制御部ないしその測定システムと好ましくは直接接続されている評価手段によって実行することが特に有利であることが示された。その際カメラの位置の確定は計算手段を介して有利に実行され、その計算手段は評価手段のデータに依拠し、例えばダイレクト・リニア・トランスフォーメイション(DLT)又は類似の計算法を介してカメラの位置を確定する。
本発明の他の利点、特徴及び詳細は、以下の有利な実施例の説明および図から明らかにされる。図は生産機械の作業室内のカメラを校正するための方法の経過及びそれに使用されるシステムの概略を示す。
例えば4軸式加工センタとして形成された生産機械ないし工作機械の作業室10内にカメラ12が配置され、その撮像が監視、部品識別、部品位置識別、部品測定、衝突監視等において使用される。カメラ12の撮像(画像又はフィルム映像であってよい)の助けを借りて、生産機械により加工される製品についての十分に精密ないし正確な情報及びパラメータが確定され得るようにするため、カメラ12の生産機械に関係する位置及びカメラ12の内在的パラメータが正確に知られていなければならない。レンズの焦点距離のようなカメラ固有の特性又はカメラ12のセンサのパラメータを示すカメラ12の内在的パラメータのほかに、特にカメラ12の外在的パラメータがカメラ12によって求められた撮像の高い精度のために特に重要である。この外在的パラメータを確定する際、特に生産機械ないしその作業室10に関係するカメラ12の位置が重要である。
カメラ12を精密に校正し得る、ないしそのパラメータを確定し得るようにするため、カメラは機械の作業室10内のある箇所に配置され、そこでカメラはその後の生産プロセスにおいてその監視機能ないし識別機能を果たすべきである。生産機械の作業室10内には作業台14が概略的に示され、その上には後に加工すべき製品が適切なチャック部材16によって固定することができる。作業台14はこの実施例では通常の方法で、直角座標系18によって示されているように、3つの機械軸に沿って移動することができる。
さらに作業室10内には工具20を保持しかつ駆動する工具取付具22が認められ、この工具取付具は本実施例においては同様に座標系18内に存在する工具軸に沿って運ばれ得る。図に再度単独に図示された工具20には、本実施例ではいわゆるマーカーとして形成された校正対象24が固定され、その形態及び寸法差は正確に知られている。言い換えれば、校正対象24は生産機械の可動の機械軸ないし工具軸に固定される。本実施例において予定されている工具20への固定の代わりに、校正対象24を作業台14又は他の可動の機械軸に固定することも可能である。
生産機械の制御システム26は、機械座標系及び工具座標系を含み、それらによって例えば作業台12ないし工具20の動きは正確に確定することができる。校正対象24の工具20ないし工具取付具22への固定後、制御システム26の工具座標系によって決定される工具の零点(ツール中心点:Tool-Center-Point(TCP))に対する校正対象24のあらかじめ定義された零点が決定され得る。言い換えれば、工具20の零点の位置を介して、制御システム26の工具座標系によって確定されて、校正対象24の零点も知られている。このことは、工具20ないし工具取付具22の零点に関係して校正対象24の移動によって生じる。そこで制御システム26の操作ユニット28を介して、カメラ12の校正を能動化することができる。そのため制御システム26を介して校正対象24が少なくとも1つの工具軸ないし機械軸に沿って機械の作業室10内の異なる位置にもたらされ、その際これらの位置ないし校正対象24のパラメータは工具座標系を用いて確定される。特に精密な校正を達成するため、校正対象24は生産機械内のカメラ12の検出領域の終位置にまで動かされる。校正対象24の各位置に対応するパラメータは、制御システム26の評価手段28によってカメラ12のそれぞれ所属の撮像に関係付けられ、相応に蓄積される。その際カメラ12の各撮影にぴったり合うように、工具の対応する零点(ツール中心点(TCP))及びしたがって校正対象24の零点の位置も読み出され、再処理のため蓄積される。この過程は、十分に情報が集められるまでの間繰り返される。
十分に情報が評価手段28によって集められた後、評価手段28ないし制御システム26に所属される計算手段30を介して、カメラ12の内在的及び特に外在的パラメータを決定することができる。計算手段30内のカメラ12のパラメータの確定は、校正対象24の異なる位置に対し行われる撮影の考慮のもとに、そのため工具座標系ないし機械座標系を介して確定される工具20の零点及び工具20の零点の校正対象24の零点に対する知られた移動の考慮のもとに行われる。計算手段30内の計算は、その際既知のアルゴリズムに基いて、例えばダイレクト・リニア・トランスフォーメーション(DLT)等のような既知の方法を考慮して行われ、その際工具座標系及び機械座標系の変換が制御システム26から読み出され計算に共に入り込むと、カメラ12の外在的パラメータの結果は機械座標系におけるカメラの位置を記述する。
カメラ12の確定された外在的及び内在的パラメータは、操作ユニット32に表示されるか、又は相応に制御システム26に蓄積されるようにすることができる。もちろん、カメラ12のパラメータの計算を制御システム26ないし計算手段30の外部で行うことも可能である。
したがって生産機械の機械軸及び工具軸ないし所属の機械座標系及び工具座標系の極めて高い精度によって、機械座標系内で校正対象24の位置及び終局的にカメラ12の位置もが極めて精密に決定されることが可能となり、その結果生産機械の作業室10内におけるカメラ12の正確な校正が実現される。
本発明による生産機械の作業室内のカメラを校正するための方法ないしシステムの概略図である。
符号の説明
10 作業室
12 カメラ
14 作業台
16 制御システム
18 座標系
20 工具
22 工具取付具
24 校正対象
26 制御システム
28 評価手段
30 計算手段
32 操作ユニット

Claims (13)

  1. 生産機械におけるカメラ(12)の校正のための方法であって、
    a)校正対象(24)が機械内の異なる位置に動かされ、
    b)校正対象(24)が各位置においてカメラ(12)によって撮影され、
    c)校正対象(24)のパラメータがカメラ(12)の相応の撮像に関係付けられ、
    d)カメラ(12)のパラメータがステップc)において得られたデータによって確定される
    方法において、
    ・ステップa)に従う校正対象(24)の位置が機械の測定システムを利用して決定され、
    ・ステップd)に従うカメラ(12)のパラメータの確定が機械の測定システムのデータを考慮して実行される
    ことを特徴とする生産機械におけるカメラの校正方法。
  2. 校正対象(24)がステップa)の実行前に生産機械の可動の機械軸に配置されることを特徴とする請求項1記載の方法。
  3. 校正対象(24)がステップa)の実行前に機械の工具(20)ないし工具取付具(22)に固定されることを特徴とする請求項1又は2記載の方法。
  4. 工具(20)ないし工具取付具(22)の零点に関係して校正対象(24)の零点が決定されることを特徴とする請求項3記載の方法。
  5. 校正対象(24)のパラメータがステップc)に従って工具(20)ないし工具取付具(22)の零点に依存して決定されることを特徴とする請求項4記載の方法。
  6. 校正対象(24)がステップa)において機械内のカメラ(12)の検出領域の異なる終位置に動かされることを特徴とする請求項1〜5のいずれか1つに記載の方法。
  7. 校正対象(24)のパラメータの相応するカメラの撮像への関係付けが評価手段(28)によって実行されることを特徴とする請求項1〜6のいずれか1つに記載の方法。
  8. ステップd)に従うカメラ(12)のパラメータの確定が、機械の機械座標系ないし工具座標系のデータを考慮して実行されることを特徴とする請求項1〜7のいずれか1つに記載の方法。
  9. 生産機械におけるカメラ(12)の校正のためのシステムであって、
    a)機械内の異なる位置に動かし得る校正対象(24)、
    b)機械内の各位置における校正対象(24)を撮影し得るカメラ(12)、
    c)校正対象(24)のパラメータをカメラ(12)の相応の撮像に関係付ける評価手段(28)
    を有するシステムにおいて、
    ・校正対象(24)の位置を決定し得る機械の測定システムが設けられ、
    ・評価手段(28)が機械の測定システムと接続されている
    ことを特徴とする生産機械におけるカメラの校正システム。
  10. 計算手段が設けられ、この計算手段を介してカメラ(12)のパラメータが評価手段(28)のデータによって確定されることを特徴とする請求項9記載のシステム。
  11. 計算手段(30)が評価手段(28)と接続されていることを特徴とする請求項10記載のシステム。
  12. 校正対象(24)が生産機械の可動の機械軸に配置されていることを特徴とする請求項10又は11記載のシステム。
  13. 校正対象(24)が生産機械の工具(20)ないし工具取付具(22)に固定されていることを特徴とする請求項10〜12のいずれか1つに記載のシステム。
JP2008531685A 2005-09-26 2006-09-19 生産機械におけるカメラの校正方法及びシステム Abandoned JP2009509778A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005045854A DE102005045854B3 (de) 2005-09-26 2005-09-26 Verfahren und System zur Kalibrierung einer Kamera in Produktionsmaschinen
PCT/EP2006/066493 WO2007036457A2 (de) 2005-09-26 2006-09-19 Verfahren und system zur kalibrierung einer kamera in produktionsmaschinen

Publications (1)

Publication Number Publication Date
JP2009509778A true JP2009509778A (ja) 2009-03-12

Family

ID=37887269

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008531685A Abandoned JP2009509778A (ja) 2005-09-26 2006-09-19 生産機械におけるカメラの校正方法及びシステム

Country Status (5)

Country Link
US (1) US20080218592A1 (ja)
JP (1) JP2009509778A (ja)
CN (1) CN101273384A (ja)
DE (1) DE102005045854B3 (ja)
WO (1) WO2007036457A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010276603A (ja) * 2009-05-29 2010-12-09 Mori Seiki Co Ltd キャリブレーション方法及びキャリブレーション装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7502068B2 (en) * 2004-06-22 2009-03-10 International Business Machines Corporation Sensor for imaging inside equipment
US8406922B2 (en) * 2009-07-31 2013-03-26 Fanuc Robotics America, Inc. System and method for setting the tool center point of a robotic tool
US20120057024A1 (en) * 2010-09-07 2012-03-08 General Electric Company System and method for monitoring component wear
US9505130B2 (en) * 2012-07-13 2016-11-29 General Electric Company System and method for performing remote welding operations on an apparatus
DE102014213518A1 (de) * 2014-07-11 2016-01-14 Trumpf Werkzeugmaschinen Gmbh + Co. Kg Verfahren, Bearbeitungsmaschine und Computerprogrammprodukt zum bildbasierten Platzieren von Werkstückbearbeitungsvorgängen
US20160191901A1 (en) 2014-12-24 2016-06-30 3M Innovative Properties Company 3d image capture apparatus with cover window fiducials for calibration
US10828716B2 (en) 2017-06-19 2020-11-10 Lincoln Global, Inc. Systems and methods for real time, long distance, remote welding
DE102018101162B4 (de) 2018-01-19 2023-09-21 Hochschule Reutlingen Messsystem und Verfahren zur extrinsischen Kalibrierung
DE102022110111A1 (de) * 2022-04-27 2023-11-02 TRUMPF Werkzeugmaschinen SE + Co. KG Verfahren zum Überprüfen der Kalibrierung eines Bildverarbeitungssystems einer Blechbearbeitungsmaschine
DE102022129462B3 (de) 2022-11-08 2023-11-09 Göpel electronic GmbH Anordnung zur Kalibrierung eines Kamerasystems, Kalibrierkörper und Verfahren zur Durchführung der Kalibrierung

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2690603B2 (ja) * 1990-05-30 1997-12-10 ファナック株式会社 視覚センサのキャリブレーション方法
JP2686351B2 (ja) * 1990-07-19 1997-12-08 ファナック株式会社 視覚センサのキャリブレーション方法
JP3394322B2 (ja) * 1994-05-19 2003-04-07 ファナック株式会社 視覚センサを用いた座標系設定方法
US7362969B2 (en) * 2001-05-29 2008-04-22 Lucent Technologies Inc. Camera model and calibration procedure for omnidirectional paraboloidal catadioptric cameras
US6516248B2 (en) * 2001-06-07 2003-02-04 Fanuc Robotics North America Robot calibration system and method of determining a position of a robot relative to an electrically-charged calibration object
AU2003239171A1 (en) * 2002-01-31 2003-09-02 Braintech Canada, Inc. Method and apparatus for single camera 3d vision guided robotics
DE10345743A1 (de) * 2003-10-01 2005-05-04 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Bestimmen von Position und Orientierung einer Bildempfangseinrichtung
DE102004007829B4 (de) * 2004-02-18 2007-04-05 Isra Vision Systems Ag Verfahren zur Bestimmung von zu inspizierenden Bereichen
JP4191080B2 (ja) * 2004-04-07 2008-12-03 ファナック株式会社 計測装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010276603A (ja) * 2009-05-29 2010-12-09 Mori Seiki Co Ltd キャリブレーション方法及びキャリブレーション装置

Also Published As

Publication number Publication date
WO2007036457A2 (de) 2007-04-05
CN101273384A (zh) 2008-09-24
DE102005045854B3 (de) 2007-04-12
US20080218592A1 (en) 2008-09-11
WO2007036457A3 (de) 2007-06-28

Similar Documents

Publication Publication Date Title
JP2009509778A (ja) 生産機械におけるカメラの校正方法及びシステム
CN110834322B (zh) 具有辅助测量位置坐标确定***的机器人***
CN107883867B (zh) 测量***
US7952728B2 (en) Robot-controlled optical measurement array, and method and auxiliary mechanism for calibrating said measurement array
JP6407812B2 (ja) ワーク原点を取得可能な工作機械制御システムおよびワーク原点設定方法
JP4267005B2 (ja) 計測装置及びキャリブレーション方法
CA2765626C (en) Calibration method for a measuring system
US20180178339A1 (en) Measurement, calibration and compensation system and method for machine tool
JP6496338B2 (ja) 工作機械の制御システム
KR102091917B1 (ko) 기어 기구의 조립 장치 및 조립 방법
US7405388B2 (en) Video centerscope for machine alignment
KR20060132713A (ko) 공간 내 물체의 위치를 측정하는 방법
JP2012213840A (ja) 工作機械
WO2012035883A1 (ja) 加工方法
JPH1063317A (ja) ロボット−視覚センサシステムにおける座標系結合方法
KR100925647B1 (ko) 원통 내면에 오일 그루브를 가공하는 가공툴의 위치보정용센싱장치 및 이를 이용한 가공툴의 위치보정방법
JPH09253979A (ja) 刃先位置計測装置
JP5088186B2 (ja) ロボット装置及びロボット装置の制御方法
JP2017142617A (ja) 切削加工機と位置補正の要否の判別方法
JP5337330B2 (ja) 切削機械及びその加工位置補正方法
JP7343349B2 (ja) ロボット、測定用治具、およびツール先端位置の決定方法
WO2020049973A1 (ja) 加工装置、加工装置の制御方法および加工装置の制御プログラム
JP5389995B1 (ja) 計測システム及びその計測システムを備えた工作機械
JP7477633B2 (ja) ロボットシステム
US20170328706A1 (en) Measuring apparatus, robot apparatus, robot system, measuring method, control method, and article manufacturing method

Legal Events

Date Code Title Description
A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20100526