JP6863954B2 - カメラ校正装置及びカメラ校正方法 - Google Patents
カメラ校正装置及びカメラ校正方法 Download PDFInfo
- Publication number
- JP6863954B2 JP6863954B2 JP2018213798A JP2018213798A JP6863954B2 JP 6863954 B2 JP6863954 B2 JP 6863954B2 JP 2018213798 A JP2018213798 A JP 2018213798A JP 2018213798 A JP2018213798 A JP 2018213798A JP 6863954 B2 JP6863954 B2 JP 6863954B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate system
- machine
- camera
- image
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
- B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
- B23Q17/22—Arrangements for observing, indicating or measuring on machine tools for indicating or measuring existing or desired position of tool or work
- B23Q17/2233—Arrangements for observing, indicating or measuring on machine tools for indicating or measuring existing or desired position of tool or work for adjusting the tool relative to the workpiece
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
- G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
- G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
- G01B21/042—Calibration or calibration artifacts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
- G01B5/004—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Machine Tool Sensing Apparatuses (AREA)
- Numerical Control (AREA)
Description
しかしながら、この手法では、工作機械毎に校正器具を機械座標が既知である既定の場所に設置するための専用の治具が必要となる。また、治具を用いて校正器具を規定の場所に設置するための労力が必要となる。
一方、特許文献2は、テーブル可動型3軸機や主軸のみ可動型3軸機等の工作機械に適用できるが、キャリブレーションするための撮像対象部材等の校正器具と、校正器具をテーブル等に固定するための冶具が必要になり、手間と費用がかかる。
[第1の実施形態]
第1の実施形態について説明する。第1の実施形態を説明する前に、カメラ座標系Σcと、画像座標系Σiと、チェッカーボード座標系Σbと、機械座標系Σmについて図1A、図1B及び図1Cを参照して説明する。図1Aは、カメラ座標系Σcと画像座標系Σiの関係を示す図である。図1Bは、チェッカーボード座標系Σbの一例を示す図である。図1Cは、機械座標系Σmの一例を示す図である。
図1Bに示すように、チェッカーボード座標系Σbは、例えばチェッカーボードの模様の左下を原点Obとし、原点Obからチェッカーボード面に垂直な方向をZb軸、原点Obからチェッカーボード面上の右方向をXb軸、原点Obからチェッカーボード面上の上方向をYb軸とする3次元座標系である。
歪曲収差のない理想的なレンズの場合、工作機械の機械座標系Σmの座標(Xm,Ym,Zm)で表される空間上の点は、式(1)のように線形変換で画像座標系Σiの(x,y)に投影されることが知られている。
なお、実際のレンズには径方向と接線方向の歪曲収差がある。例えば、レンズの径方向の歪曲収差(radial distortion)を考慮する場合、画像座標(x、y)は式(2)のような非線形変換により歪められる。
そうすることで、チェッカーボード座標系Σbとカメラ座標系Σcとの関係を得ることができる。具体的には、チェッカーボード座標系Σbの座標(Xb,Yb,Zb)で表される空間上の点は、式(3)により線形変換することで、カメラ座標系Σcの座標(Xc,Yc,Zc)で表すことができる。
さらに、カメラ校正装置100は、第3段階として機械座標が既知の1点を撮像して得た画像から、カメラの内部パラメータ及び式(3)に基づいて、機械座標が既知の1点のチェッカーボード座標系Σbの座標(Xtb,Ytb,Ztb)を算出する。他方、この点の機械座標が既知であることからこの点の機械座標系Σmの座標(Xtm,Ytm,Ztm)とすると、機械座標系Σmに対するカメラ座標系Σcの位置関係tを求める。
以上により、工作機械上に設定された機械座標系Σmと、工作機械に設置されたカメラのカメラ座標系Σcとの関係をキャリブレーションすることができる。
このように、第1の実施形態では、機械座標系Σmに対するカメラ座標系Σcの姿勢及び位置関係は、チェッカーボードに設定されたチェッカーボード座標系Σbを介して算出される。
以下に、第1実施形態について詳細に説明する。
第1の実施形態に係るカメラ校正装置100は、プロセッサ等の制御部10と、ハードディスク装置等の記憶部20とを有するコンピュータである。また、カメラ校正装置100は、入出力デバイス及び通信インタフェース等の外部装置とのインタフェース機能を有する。これにより、カメラ校正装置100は、有線又は無線を介して、外部の数値制御装置150に接続される。なお、カメラ校正装置100は、ネットワークを介して、数値制御装置150に接続されても良い。
工作機械200は、例えば、テーブル可動型3軸機であり、加工機(工具主軸装置)210と、テーブル220と、カメラ230とを有する。工作機械200は、数値制御装置150に接続される。
制御部10は、例えば、プロセッサ等であり、カメラ校正装置100の各部の動作を制御する。また、制御部10は、カメラ校正処理に基づいて、工作機械200の動作も制御する。
機械座標計測部11は、加工機210に配置されたタッチプローブ240がタッチしたタッチ点の機械座標を含む信号を数値制御装置150を介して受信し、タッチしたタッチ点の機械座標を取得する。機械座標計測部11は、タッチ点の機械座標を、記憶部20の計測値データ22の格納領域に記憶する。
画像取得部12は、カメラ230が撮像した画像を取得する。画像取得部12は、取得した画像を、記憶部20の画像データ21の格納領域に記憶する。
校正部13は、取得したタッチ点の機械座標及び画像を用いて、工作機械200上に設定された機械座標系Σmと、工作機械に設置されたカメラ230のカメラ座標系Σcとの間の姿勢R及び位置関係tを算出する。
記憶部20は、ハードディスク装置やメモリ等であり、カメラ校正処理のプログラムを記憶するとともに、カメラ230により撮像された画像を記憶する画像データ21の格納領域、タッチ点の機械座標を記憶する計測値データ22の格納領域、及び姿勢R及び位置関係t等の校正データを記憶する校正データ23の格納領域を有する。
なお、制御部10、機械座標計測部11、画像取得部12及び校正部13の動作の詳細な説明については後述する。
例えば、機械座標計測部11は、キーボード等の入力装置を介して入力された、オペレータ等の指示によりカメラ校正処理が実行された場合、図3に示すように、数値制御装置150を介して加工機210を機械座標系ΣmのZm軸の負の方向(すなわち、テーブル220の方向)に移動させ、チェッカーボード250上の任意の位置にタッチプローブ240をタッチさせる。機械座標計測部11は、タッチプローブ240がタッチしたタッチ点TPの機械座標を含む信号をタッチプローブ240から受信し、タッチ点TPの機械座標を取得する。機械座標計測部11は、タッチ点TPの機械座標系Σmの機械座標(Xtm,Ytm,Ztm)をチェッカーボード250上の機械座標の既知の1点として、記憶部20の計測値データ22の格納領域に記憶する。
そして、画像取得部12は、タッチプローブ240がテーブル220をタッチした時のチェッカーボード250を撮像させる撮像指示をカメラ230に出力する。画像取得部12は、タッチプローブ240がチェッカーボード250をタッチした時に、カメラ230により撮像されたタッチプローブ240及びチェッカーボード250の画像300−1をカメラ230から取得し、記憶部20の画像データ21の格納領域に記憶する。その後、機械座標計測部11は、加工機210をZm軸の正の方向(すなわち、テーブル220から離れる方向)に移動させ、元の位置に復帰させる。
前述したように、校正部13は、当業者にとって公知の方法(例えば、Tsaiの方法)により、画像300−1から、カメラの内部パラメータK及びチェッカーボード座標系Σbとカメラ座標系Σcとの間の姿勢Rc及び位置関係tcを求める。
これにより、式(3)で示したように、チェッカーボード座標系Σbの座標(Xb,Yb,Zb)で表される空間上の点は、式(3)により線形変換することで、カメラ座標系Σcの座標(Xc,Yc,Zc)で表すことができる。
また、カメラの内部パラメータKを用いることで、チェッカーボード座標系Σbの座標(Xb,Yb,Zb)で表される空間上の点は、線形変換で画像座標系Σiの(x,y)に投影することができる。
校正部13は、チェッカーボード座標系Σbとカメラ座標系Σcとの間の姿勢Rc及び位置関係tcを算出するために、画像300−1から、例えば、当業者にとって公知のPnP問題に対するMoreno-Noguer et al., "Accurate Non-Iterative O(n) Solution to the PnP Problem", Proceedings of the IEEE International Conference on Computer Vision (ICCV), Oct. 2007)の方法(以下、「Moreno−Noguerの方法」とも称される)を用いて、チェッカーボード座標系Σbとカメラ座標系Σcとの間の姿勢Rc及び位置関係tcを算出しても良い。
制御部10は、カメラ校正処理において、図5に示すように、数値制御装置150を介して機械座標系ΣmのXm軸及びYm軸の各方向にテーブル220を移動量dの距離移動させ、画像取得部12は、各方向に移動したチェッカーボード250の状態を撮像させる撮像指示を、カメラ230に出力する。
なお、Xm軸方向に移動したチェッカーボード250aの画像300−2、及びYm軸方向に移動したチェッカーボード250bの画像300−3には、タッチプローブ240の先端が撮像されていなくても良い。
図6は、3つの画像300−1、300−2、及び300−3におけるチェッカーボード250、250a、250bの位置関係の一例を示す図である。なお、図6では、チェッカーボード250の特徴点A、Bに対応するチェッカーボード250aの特徴点をA1、B1で示し、チェッカーボード250bの特徴点をA2、B2で示す。
なお、機械座標系Σmに対するチェッカーボード座標系Σbの姿勢Rbは、R=Rc・Rbという関係から算出することができる。
次に、校正部13は、機械座標系Σmとカメラ座標系Σcとの間の位置関係tを算出するために、記憶部20の計測値データ22の格納領域から、機械座標系Σmのタッチ点TPの機械座標を読み込み、読み込んだタッチ点TPの機械座標と、内部パラメータK、姿勢Rc、位置関係tc及び姿勢Rとを用いて、機械座標系Σmに対するカメラ座標系Σcの位置関係tを算出する。
また、校正部13は、図4に示した画像300を用いて、タッチプローブ240の先端円の中心を通り、画像300−1から算出したタッチプローブ240の軸方向の破線で示した直線と、タッチプローブ240の先端の円周との交点を、画像座標系Σiにおけるタッチ点TPの座標(xt,yt)として取得する。そして、校正部13は、式(5)を用いて、画像座標系Σiにおけるタッチ点TPの座標(xt,yt)を、チェッカーボード座標系Σbにおけるタッチ点TPの座標(Xtb,Ytb,Ztb)に変換する。
t=Rc・tb+tc (7)
校正部13は、算出した位置関係tを、記憶部20の校正データ23の格納領域に記憶する。
以上により、第3段階として、機械座標系Σmとカメラ座標系Σcとの間の位置関係tを求めることができる。
以上、第1の実施形態に係るカメラ校正装置100の構成について説明した。
図7は、第1の実施形態に係るカメラ校正装置100におけるカメラ校正処理の一例を示す図である。図7に示した処理は、例えば、オペレータ等によるカメラ校正装置100の入力装置の操作により実行される。なお、図7に示した処理を実行するにあたり、オペレータ等は、図2に示すように、テーブル220にチェッカーボード250を任意の位置に任意の姿勢で配置する。
以上、第1の実施形態について説明した。
第1の実施形態に係るカメラ校正装置100は、基準位置にあるチェッカーボード250の画像300−1と、Xm軸方向に移動させたチェッカーボード250aの画像300−2と、Ym軸方向に移動させたチェッカーボード250bの画像300−3との3つの画像を用いて、特徴点A、B等の複数の特徴点の位置の変化から機械座標系Σmに対するカメラ座標系Σcの姿勢Rを算出したが、これに限定されない。例えば、第1の実施形態の変形例1として、カメラ校正装置100は、1つの特徴点の位置の変化から姿勢Rを算出しても良い。
第1の実施形態に係るカメラ校正装置100は、機械座標系ΣmのXmYm平面とチェッカーボード座標系ΣbのXbYb平面とが必ずしも平行とは限らないことから、Xm軸及びYm軸の各方向にテーブル220を移動させたが、これに限定されない。例えば、第1の実施形態の変形例2として、カメラ校正装置100は、機械座標系ΣmのXmYm平面とチェッカーボード座標系ΣbのXbYb平面とが互いに平行な場合、Xm軸又はYm軸のいずれか1方向にテーブル220を移動させるだけでも良い。
次に第2の実施形態について説明する。第2の実施形態では、カメラ校正装置は、チェッカーボードに替えて、テーブル上の溝やキズ、模様又はコーナー点等を校正に使用する複数の特徴点を含むパターンとして用いる点が、第1の実施形態と異なる。
これにより、第2の実施形態の第1段階では、カメラ校正装置100Aは、機械座標の既知の1点と複数の特徴点を撮像して得た画像を取得する。
そして、カメラ校正装置100Aは、第2段階として、後述するように、機械座標が既知の1点と複数の特徴点を撮像して得た画像と、工作機械の2方向の直線軸移動とその際に撮像して得た画像との各画像における複数の特徴点の画像座標系Σiの座標を用いて、第1の実施形態と同様に、消失点を用いる方法により機械座標系Σmに対するカメラ座標系Σcの姿勢Rを求める。
以上により、工作機械上に設定された機械座標系Σmと、工作機械に設置されたカメラのカメラ座標系Σcとの関係をキャリブレーションすることができる。
以下に、第2実施形態について説明する。
第2の実施形態に係るカメラ校正装置100Aは、第1の実施形態に係るカメラ校正装置100と同様の構成を備える。
なお、図8に示すように、テーブル220には、テーブル座標系Σtが設定される。
機械座標計測部11及び画像取得部12は、第1の実施形態における機械座標計測部11及び画像取得部12と同等の機能を有する。
例えば、機械座標計測部11は、テーブル220上の任意の位置にタッチプローブ240をタッチさせ、タッチプローブ240がタッチしたタッチ点TPの機械座標を取得する。また、画像取得部12は、タッチプローブ240がテーブル220をタッチした時のテーブル220の画像300a−1を取得する。
制御部10は、カメラ校正処理において、図9に示すように、機械座標系ΣmのXm軸及びYm軸の各方向にテーブル220を移動量dの距離移動させ、画像取得部12は、Xm軸方向に移動したテーブル220aの画像300a−2と、Ym軸方向に移動したテーブル220bの画像300a−3を取得する。
図9は、Xm軸及びYm軸の各方向に移動したテーブル220の一例を示す図である。図9では、図5と同様に、基準位置にあるテーブル220を破線で示し、Xm軸及びYm軸の各方向に移動量dの距離移動したテーブル220を、テーブル220a、220bで示す。また、図9では、Xm軸及びYm軸の各方向に移動した特徴点D、F、Eを、特徴点D1、E1、F1及び特徴点D2、E2、F2で示す。
校正部13aは、算出した消失点Vx、Vyと、内部パラメータKとから、式(4)を用いて、機械座標系Σmに対するカメラ座標系Σcの姿勢Rを構成する行ベクトルrx、ry、rzを算出することができる。
校正部13aは、図9に示した特徴点D、D1、D2の平面と、特徴点E、E1、E2の平面と、特徴点F、F1、F2の平面との3つの平面の座標系と、カメラ座標系Σcとの間の位置関係tD、tE、tFを算出する。なお、位置関係tDを算出する場合について説明するが、位置関係tE、tFについても同様に算出される。
ここで、特徴点D1、E1、F1は、特徴点D、E、FがXm軸方向に移動したものであり、特徴点D2、E2、F2は、特徴点D、E、FがYm軸方向に移動したものであるとから、特徴点D、D1、D2の平面と、特徴点E、E1、E2の平面と、特徴点F、F1、F2の平面は、機械座標系ΣmのXmYm平面に平行な平面である。ただし、テーブル220上の平面と機械座標系ΣmのXmYm平面と平行でない限り、特徴点D、D1、D2の平面と、特徴点E、E1、E2の平面と、特徴点F、F1、F2の平面は、Zm軸方向の位置が互いに異なる。
t=Rc・tt+tD (11)
校正部13aは、算出した位置関係tを、記憶部20の校正データ23の格納領域に記憶する。
以上により、第3段階として、機械座標系Σmに対するカメラ座標系Σcの位置関係tを求めることができる。
以上、第2の実施形態に係るカメラ校正装置100Aの構成について説明した。
図10は、第2の実施形態に係るカメラ校正装置100Aにおけるカメラ校正処理の一例を示す図である。図10に示した処理は、複数の特徴点D、E、Fをチェッカーボードとして用いる点が、図7に示した第1の実施形態の処理と異なる。
図10に示した処理は、例えば、オペレータ等によるカメラ校正装置100Aの入力装置の操作により実行される。
以上、第2の実施形態について説明した。
第2の実施形態に係るカメラ校正装置100Aは、公知の手法により、予め内部パラメータK及び歪曲収差係数κ1、κ2を算出し、記憶部20に記憶したが、これに限定されない。例えば、第2の実施形態の変形例1として、カメラ校正装置100Aは、テーブル220上のキズ等の複数の特徴点をチェッカーボードと見立て、公知の手法により内部パラメータK及び歪曲収差係数κ1、κ2を算出しても良い。
この場合、カメラ校正装置100Aは、テーブル220を機械座標系ΣmのXmYm平面上の様々な位置に移動させた3以上の複数の画像を取得することが好ましい。
第2の実施形態に係るカメラ校正装置100Aは、テーブル220上の複数の特徴点D、E、Fを検出したが、これに限定されない。例えば、第2の実施形態の変形例2として、カメラ校正装置100Aは、機械座標系ΣmのXmYm平面とテーブル座標系ΣtのXtYt平面とが互いに平行な場合、1つの特徴点を用いるだけで良い。
次に第3の実施形態について説明する。第3の実施形態では、カメラ校正装置は、工作機械に含まれるカメラとして3Dカメラを用いる点が、第1の実施形態と異なる。これにより、第3の実施形態では、カメラ校正装置は、カメラ座標系Σcから見たタッチプローブ240の先端の位置を直接取得できるため、タッチプローブ240の先端の機械座標が既知の場合、チェッカーボード250へのタッチ動作が不要となる。このため、以下では、タッチ点の代わりに、タッチプローブ240の先端の位置は、「先端位置」ともいう。
したがって、第3の実施形態の第3段階では、カメラ校正装置100Bは、先端位置の機械座標系Σmの機械座標(Xtm,Ytm,Ztm)と、カメラ座標系Σcの座標(Xtc,Ytc,Ztc)とは、式(12)のように関係付けられるため、チェッカーボード座標系Σbを経由せず、機械座標系Σmに対するカメラ座標系Σcの位置関係tを求めることができる。
また、カメラ校正装置100Bは、第1の実施形態と同様に、第2段階として、機械座標系ΣmのXm軸方向に移動したチェッカーボード250aの画像300b−2と、Ym軸方向に移動したチェッカーボード250bの画像300b−3とを用いて、機械座標系Σmに対するカメラ座標系Σcの姿勢Rを求める。
以上により、工作機械上に設定された機械座標系Σmと、工作機械に設置されたカメラのカメラ座標系Σcとの関係をキャリブレーションすることができる。
以下に、第3実施形態について説明する。
工作機械200は、加工機210と、テーブル220と、カメラ230aとを有する。
機械座標計測部11及び画像取得部12は、第1の実施形態における機械座標計測部11及び画像取得部12と同等の機能を有する。
より具体的には、上述したように、校正部13bは、第3段階において、先端位置SPの機械座標系Σmの機械座標(Xtm,Ytm,Ztm)と、カメラ230aにより撮像された画像から取得した先端位置SPのカメラ座標系Σcの座標(Xtc,Ytc,Ztc)とから、式(12)を用いて、機械座標系Σmに対するカメラ座標系Σcの位置関係tを算出する。
以上、第3の実施形態に係るカメラ校正装置100Bの構成について説明した。
図12は、第3の実施形態に係るカメラ校正装置100Bにおけるカメラ校正処理の一例を示す図である。図12に示した処理のうち、図7に示したステップと同様の処理については、同じステップ番号を付し、詳細な説明は省略する。
図12に示した処理は、例えば、オペレータ等によるカメラ校正装置100Bの入力装置の操作により実行される。なお、図12に示した処理を実行するにあたり、オペレータ等は、図11に示すように、テーブル220にチェッカーボード250を任意の位置に任意の姿勢で配置する。
ステップS3において、校正部13bは、第1の実施形態におけるステップ3に記載した処理において、ステップS2をステップS2aに読み替え、画像300−1を画像300b−1に読み替えた動作と同様の処理を行い、内部パラメータK及びチェッカーボード座標系Σbに対するカメラ座標系Σcの姿勢Rc及び位置関係tcを算出する。
ステップS5において、校正部13bは、第1の実施形態におけるステップS4に記載した処理において、画像300−1を画像300b−1に、画像300−2を画像300b−2に、画像300−3を画像300b−3にそれぞれ読み替えた動作と同様の処理を行い、機械座標系Σmに対するカメラ座標系Σcの姿勢Rを算出し、算出した姿勢Rを記憶部20の校正データ23の格納領域に記憶する。
以上、第3の実施形態について説明した。
次に第4の実施形態について説明する。第4の実施形態では、工作機械は、テーブルが固定して配置され、工具主軸のみ可動する可動型3軸機(主軸が機械座標系ΣmのXmYmZm方向に移動可能)であるという点が、第1の実施形態と異なる。また、第4の実施形態では、加工機に配置されたタッチプローブの先端を特徴点とするため、機械座標系Σmとカメラ座標系Σcとの姿勢R及び位置関係tを求めるために、4つの画像が必要となる点が、第1の実施形態と異なる。
これにより、カメラ校正装置100Cは、第2段階として、後述するように、工作機械の2方向の直線軸移動により撮像して得た4つ画像を用いて、機械座標系Σmに対するカメラ座標系Σcの姿勢Rを求める。
なお、第4の実施形態における第1段階及び第3段階は、第1の実施形態と同様であり詳細な説明は省略する。
以上により、工作機械上に設定された機械座標系Σmと、工作機械に設置されたカメラのカメラ座標系Σcとの関係をキャリブレーションすることができる。
以下に、第4実施形態について説明する。
一方、工作機械200は、例えば、工具主軸のみ可動する可動型3軸機であり、加工機210a(工具主軸装置)と、テーブル220cと、カメラ230とを有する。
テーブル220cは、例えば、工作機械200に固定して配置され、上面に加工対象のワークが配置される。
機械座標計測部11及び画像取得部12は、第1の実施形態における機械座標計測部11及び画像取得部12と同等の機能を有する。
校正部13cは、第1の実施形態における校正部13と同等の機能を有する。ただし、校正部13cは、上述したように、加工機210aに配置されたタッチプローブ240の先端位置SPを1つの特徴点をとするため、第2段階において、4つの異なる位置で撮像された4つの画像を用いて機械座標系Σmに対するカメラ座標系Σcの姿勢Rを算出する点が、第1の実施形態における校正部13と異なる。
画像取得部12は、図14に示すように、破線で示した加工機210aの基準位置と、加工機210aが機械座標系ΣmのZm軸方向の高さを一定にしてXmYm平面上を移動した3つの位置とのそれぞれで、撮像された加工機210aのタッチプローブ240を含む4つ画像を、カメラ230から取得する。
図14は、カメラ校正処理における加工機210aの動作の一例を示す図である。図14では、基準位置にある加工機210aを破線で示す。画像取得部12は、カメラ230により撮像された基準位置にあるタッチプローブ240の画像300c−2を取得する。そして、図14に示すように、制御部10は、基準位置にある加工機210aを、テーブル220cに対して機械座標系ΣmのXm軸方向に移動量dの距離移動させ、画像取得部12は、カメラ230により撮像されたタッチプローブ240の画像300c−3を取得する。
次に、制御部10は、加工機210aを、現在の位置からYm軸方向に移動量dの距離移動させ、画像取得部12は、カメラ230により撮像されたタッチプローブ240の画像300c−4を取得する。そして、制御部10は、加工機210aを、現在の位置からXm軸方向に移動量−dの距離を移動させ、画像取得部12は、カメラ230により撮像されたタッチプローブ240の画像300c−5を取得する。
以上、第4の実施形態に係るカメラ校正装置100Cの構成について説明した。
図16は、第4の実施形態に係るカメラ校正装置100Cにおけるカメラ校正処理の一例を示す図である。図16に示した処理のうち、図7に示したステップと同様の処理については、同じステップ番号を付し、詳細な説明は省略する。
以上、第4の実施形態について説明した。
[第5の実施形態]
これにより、第5の実施形態の第1段階では、カメラ校正装置100Dは、タッチプローブ240の先端位置である機械座標の既知の1点と、先端位置とチェッカーボード250の画像を取得する点が、第1の実施形態と異なる。
さらに、カメラ校正装置100Dは、第3段階として、後述するように、機械座標が既知の1点とその点を撮像して得た画像、及び工作機械の2方向の直線軸移動とその際に撮像して得た画像と、機械座標系Σmに対するカメラ座標系Σcの姿勢Rとを用いて、機械座標系Σmに対するカメラ座標系Σcの位置関係tを求めることができる。
このように、第5の実施形態では、機械座標系Σmに対するカメラ座標系Σcの姿勢及び位置は、テーブルに設定されたテーブル座標系Σtを介して算出される。
以下に、第5実施形態について説明する。
第5の実施形態に係るカメラ校正装置100Dは、第1の実施形態に係るカメラ校正装置100と同様の構成を備える。
機械座標計測部11及び画像取得部12は、第1の実施形態における機械座標計測部11及び画像取得部12と同等の機能を有する。
例えば、機械座標計測部11は、基準位置にある加工機210aのタッチプローブ240が検出した先端位置SPの機械座標の機械座標を取得する。また、画像取得部12は、先端位置SPの機械座標を検出した時のタッチプローブ240及びチェッカーボード250の画像300d−1を取得する。
制御部10は、カメラ校正処理において、図18に示すように、基準位置にある加工機210aを、機械座標系ΣmのYm軸及びZm軸の各方向に移動量dの距離移動させ、画像取得部12は、各方向に移動した加工機210aのチェッカーボード250の画像300d−2及び画像300d−3を取得する。
図18は、カメラ校正処理における加工機210aの動作の一例を示す図である。図18では、基準位置に位置する加工機210aを破線で示す。
なお、Ym軸方向に移動したチェッカーボード250の画像300d−2、及びZm軸方向に移動したチェッカーボード250の画像300d−3には、タッチプローブ240の先端が撮像されていなくても良い。
次に、校正部13dは、第1段階で検出された先端位置SPの機械座標系Σmの機械座標(Xtm,Ytm,Ztm)に基づいて、画像300d−2及び画像300d−3が撮像された時の先端位置SPの機械座標(Xtm,Ytm+d,Ztm)、(Xtm,Ytm,Ztm+d)を取得する。また、校正部13dは、取得した3つ画像300d−1、画像300d−2及び300d−3から、図4の場合と同様に、先端位置SPの画像座標系Σiの座標(xt0,yt0)、(xt1,yt1)、(xt2,yt2)を取得する。なお、(xt0,yt0)は、画像300d−1における先端位置SPの座標を示し、(xt1,yt1)は、画像300d−2における先端位置SPの座標を示し、(xt2,yt2)は、画像300d−3における先端位置SPの座標を示す。
以上、第5の実施形態に係るカメラ校正装置100Dの構成について説明した。
図19は、第5の実施形態に係るカメラ校正装置100Dにおけるカメラ校正処理の一例を示す図である。図19示した処理のうち、図7に示したステップと同様の処理については、同じステップ番号を付し、詳細な説明は省略する。
以上、第5の実施形態について説明した。
第5の実施形態に係るカメラ校正装置100Dは、加工機210aの側面にチェッカーボード250を配置したが、これに限定されない。例えば、第5の実施形態の変形例として、チェッカーボード250は、加工機210aの工具取り付け位置に配置されても良い。
この場合、カメラ校正装置100Dは、チェッカーボード250上の1点(工具主軸線とチェッカーボード座標系ΣbのXbYb平面との交点)の機械座標が既知であるとして、チェッカーボード250のXbYb平面の姿勢を算出する。
<システム構成の自由度>
上述した実施形態では、カメラ校正装置100が数値制御装置150と独立して配置されるケースを例示して説明したが、これに限られない。カメラ校正装置100は、カメラ校正装置100の機能を適宜複数のサーバに分散する、分散処理システムとしても良い。また、クラウド上で仮想サーバ機能等を利用して、カメラ校正装置100の各機能を実現しても良い。また、カメラ校正装置100の一部の機能を数値制御装置150が備えるようにしても良い。
第1の実施形態及び第4の実施形態では、カメラ230は、加工機210(210a)とは異なる工作機械200内の固定位置に配置されたが、これに限定されない。例えば、カメラ230は、加工機210(210a)に配置されても良い。この場合、カメラ230は、テーブル220及びチェッカーボード250とともにタッチプローブ240の先端を撮像できる加工機210(210a)の位置に配置されることが好ましい。
これにより、カメラ230は、チェッカーボード250をZm軸方向から撮像することから、カメラ校正装置100(100C)は、チェッカーボード250における複数の特徴点を精度良く算出できる。
第1の実施形態、第3の実施形態から第5の実施形態では、カメラ校正装置100(100B、100C、100D)は、内部パラメータ及びチェッカーボード座標系Σbに対するカメラ座標系Σcの姿勢Rc及び位置関係tcを算出したが、これに限定されない。カメラ校正装置100(100B、100C、100D)は、カメラ校正処理前に、公知の手法により、テーブル220又は加工機210aに配置されたチェッカーボード等の画像から、予め内部パラメータK及びチェッカーボード座標系Σbに対するカメラ座標系Σcの姿勢Rc及び位置関係tcを算出しても良い。
これにより、カメラ校正装置100(100B、100C、100D)は、カメラ校正処理の処理時間を短縮することができる。
20 記憶部
11 機械座標計測部
12 画像取得部
13 校正部
100 カメラ校正装置
150 数値制御装置
200 工作機械
Claims (7)
- 工作機械に含まれる撮像手段を校正するカメラ校正装置であって、
前記工作機械は、
機械座標が既知である1点を取得する取得手段と、
前記機械座標が既知である1点、及び、校正に使用する特徴を含むパターンを撮像する撮像手段と、
機械座標系の直交する2方向にテーブル又は主軸を直線移動させる駆動機構とを備え、
前記校正に使用する特徴を含むパターンは、前記駆動機構の移動に際して前記撮像手段に対して相対移動可能、かつ、視認可能であるような位置に、前記機械座標系に対して任意の位置姿勢で配置され、
前記機械座標が既知である1点、及び、前記校正に使用する特徴を含むパターンを撮像した画像と、
前記駆動機構が機械座標系の直交する2方向に前記テーブル又は前記主軸を直線移動させ、その際に撮像して得た前記校正に使用する特徴を含むパターン又は/及び前記機械座標が既知の1点を撮像した画像と、を用い、
機械座標系と前記校正に使用する特徴を含むパターンの位置姿勢関係を算出することにより、
機械座標系とカメラ座標系との位置姿勢関係を示す外部パラメータを算出するカメラ校正装置。 - 前記校正に使用する特徴を含むパターンには、チェッカーボードやドットパターンの校正器具を含む請求項1に記載のカメラ校正装置。
- 前記校正に使用する特徴を含むパターンには、前記テーブル上のキズ、コーナー点、模様を含む請求項1に記載のカメラ校正装置。
- 前記校正に使用する特徴を含むパターンが形成する平面と、機械座標系の平面とが平行である場合、1方向の前記駆動機構の動作により前記撮像手段の前記外部パラメータを算出する請求項1から請求項3のいずれか1項に記載のカメラ校正装置。
- 前記撮像手段は、3Dカメラである請求項1から請求項4のいずれか1項に記載のカメラ校正装置。
- 前記校正に使用する特徴を含むパターンは、前記主軸の側面又は前記主軸の工具取り付け位置に配置される請求項1から請求項4のいずれか1項に記載のカメラ校正装置。
- コンピュータにより実現され工作機械に含まれる撮像手段を校正するカメラ校正方法であって、
前記工作機械は、
機械座標が既知である1点を取得する取得手段と、
前記機械座標が既知である1点、及び、校正に使用する特徴を含むパターンを撮像する撮像手段と、
機械座標系の直交する2方向にテーブル又は主軸を直線移動させる駆動機構とを備え、
前記校正に使用する特徴を含むパターンは、前記駆動機構の移動に際して前記撮像手段に対して相対移動可能、かつ、視認可能であるような位置に、前記機械座標系に対して任意の位置姿勢で配置され、
前記機械座標が既知である1点、及び、前記校正に使用する特徴を含むパターンを撮像した画像と、
前記駆動機構が機械座標系の直交する2方向に前記テーブル又は前記主軸を直線移動させ、その際に撮像して得た前記校正に使用する特徴を含むパターン又は/及び前記機械座標が既知の1点を撮像した画像と、を用い、
機械座標系と前記校正に使用する特徴を含むパターンの位置姿勢関係を算出することにより、
機械座標系とカメラ座標系との位置姿勢関係を示す外部パラメータを算出するカメラ校正方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018213798A JP6863954B2 (ja) | 2018-11-14 | 2018-11-14 | カメラ校正装置及びカメラ校正方法 |
US16/592,073 US11403780B2 (en) | 2018-11-14 | 2019-10-03 | Camera calibration device and camera calibration method |
CN201911099906.2A CN111193862B (zh) | 2018-11-14 | 2019-11-12 | 照相机校正装置以及照相机校正方法 |
DE102019217430.2A DE102019217430A1 (de) | 2018-11-14 | 2019-11-12 | Kamerakalibrierungsvorrichtung und Kamerakalibrierungsverfahren |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018213798A JP6863954B2 (ja) | 2018-11-14 | 2018-11-14 | カメラ校正装置及びカメラ校正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020080105A JP2020080105A (ja) | 2020-05-28 |
JP6863954B2 true JP6863954B2 (ja) | 2021-04-21 |
Family
ID=70469472
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018213798A Active JP6863954B2 (ja) | 2018-11-14 | 2018-11-14 | カメラ校正装置及びカメラ校正方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11403780B2 (ja) |
JP (1) | JP6863954B2 (ja) |
CN (1) | CN111193862B (ja) |
DE (1) | DE102019217430A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7232071B2 (ja) * | 2019-02-12 | 2023-03-02 | 株式会社ディスコ | 加工装置におけるカメラの位置ずれ検出方法 |
DE102021105293A1 (de) | 2021-03-04 | 2022-09-08 | Carl Zeiss Industrielle Messtechnik Gmbh | Koordinatenmessgerät und Verfahren zum Kalibrieren eines Koordinatenmessgeräts |
CN117157668A (zh) * | 2021-03-29 | 2023-12-01 | 哈曼国际工业有限公司 | 对dvs与相机之间的统一标定板进行角点检测的方法 |
CN114152860B (zh) * | 2021-11-05 | 2023-11-10 | 深圳橙子自动化有限公司 | 探针校准方法和装置、电子设备及存储介质 |
CN114178907A (zh) * | 2021-12-10 | 2022-03-15 | 上海诺倬力机电科技有限公司 | 数控机床视觉定位***和方法 |
JP2023167388A (ja) * | 2022-05-12 | 2023-11-24 | 株式会社キーエンス | 画像測定装置 |
DE102022117311A1 (de) * | 2022-07-12 | 2024-01-18 | Krones Aktiengesellschaft | Verfahren zum Ermitteln einer Belegungssituation von Behältern in einer Anlage und Vorrichtung dazu |
CN116485918B (zh) * | 2023-06-25 | 2023-09-08 | 天府兴隆湖实验室 | 一种标定方法、***及计算机可读存储介质 |
CN117351091A (zh) * | 2023-09-14 | 2024-01-05 | 成都飞机工业(集团)有限责任公司 | 一种相机阵列标定装置及其使用方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100189178B1 (ko) * | 1995-05-19 | 1999-06-01 | 오우라 히로시 | 패널 화질 검사 장치 및 화질 보정 방법 |
JP3531674B2 (ja) | 2001-08-07 | 2004-05-31 | 株式会社ファースト | キャリブレーション方法、位置決め方法、位置決め装置、キャリブレーションプログラム、及び位置決めプログラム |
JP4681856B2 (ja) | 2004-11-24 | 2011-05-11 | アイシン精機株式会社 | カメラの校正方法及びカメラの校正装置 |
US7136524B1 (en) * | 2005-09-16 | 2006-11-14 | Proximex Corporation | Robust perceptual color identification |
JP2009100342A (ja) | 2007-10-18 | 2009-05-07 | Sanyo Electric Co Ltd | カメラ校正装置及び方法、並びに、車両 |
JP4555876B2 (ja) | 2008-05-30 | 2010-10-06 | 株式会社日本自動車部品総合研究所 | 車載カメラのキャリブレーション方法 |
EP2413282B1 (en) | 2009-03-26 | 2013-04-10 | Aisin Seiki Kabushiki Kaisha | Camera calibrator |
US8310539B2 (en) | 2009-05-29 | 2012-11-13 | Mori Seiki Co., Ltd | Calibration method and calibration device |
JP2013096863A (ja) * | 2011-11-01 | 2013-05-20 | Shimadzu Corp | キャリブレーション方法および基板検査装置 |
CN103185546A (zh) * | 2011-12-30 | 2013-07-03 | 鸿富锦精密工业(深圳)有限公司 | 宽度量测方法及*** |
JP6174906B2 (ja) * | 2013-05-23 | 2017-08-02 | 中村留精密工業株式会社 | 機械の自己診断及び機械精度の補正方法 |
US9269149B2 (en) * | 2014-05-08 | 2016-02-23 | Orbotech Ltd. | Calibration of a direct-imaging system |
KR102149276B1 (ko) * | 2014-10-23 | 2020-08-28 | 한화테크윈 주식회사 | 영상 정합 방법 |
JP6527178B2 (ja) | 2017-01-12 | 2019-06-05 | ファナック株式会社 | 視覚センサのキャリブレーション装置、方法及びプログラム |
US10839557B1 (en) * | 2018-04-03 | 2020-11-17 | A9.Com, Inc. | Camera calibration for augmented reality |
US20210356849A1 (en) * | 2020-05-12 | 2021-11-18 | Ditto Products Llc | Image projecting systems and methods |
-
2018
- 2018-11-14 JP JP2018213798A patent/JP6863954B2/ja active Active
-
2019
- 2019-10-03 US US16/592,073 patent/US11403780B2/en active Active
- 2019-11-12 DE DE102019217430.2A patent/DE102019217430A1/de active Pending
- 2019-11-12 CN CN201911099906.2A patent/CN111193862B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US11403780B2 (en) | 2022-08-02 |
CN111193862A (zh) | 2020-05-22 |
DE102019217430A1 (de) | 2020-05-14 |
US20200151907A1 (en) | 2020-05-14 |
JP2020080105A (ja) | 2020-05-28 |
CN111193862B (zh) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6863954B2 (ja) | カメラ校正装置及びカメラ校正方法 | |
US11049280B2 (en) | System and method for tying together machine vision coordinate spaces in a guided assembly environment | |
JP4021413B2 (ja) | 計測装置 | |
JP6025386B2 (ja) | 画像計測装置、画像計測方法及び画像計測プログラム | |
US8520067B2 (en) | Method for calibrating a measuring system | |
CN108965690B (zh) | 图像处理***、图像处理装置及计算机可读存储介质 | |
US20130010070A1 (en) | Information processing apparatus and information processing method | |
JP2017118396A (ja) | デプスカメラの内部パラメータを算出するプログラム、装置及び方法 | |
JP6129058B2 (ja) | 教示点補正装置および教示点補正方法 | |
JP3138080B2 (ja) | 視覚センサの自動キャリブレーション装置 | |
JP6885856B2 (ja) | ロボットシステムおよびキャリブレーション方法 | |
CN113870366B (zh) | 基于位姿传感器的三维扫描***的标定方法及其标定*** | |
Mu et al. | Calibration of a flexible measurement system based on industrial articulated robot and structured light sensor | |
JPWO2018043524A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
WO2018168757A1 (ja) | 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム | |
JP7427370B2 (ja) | 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体 | |
WO2015159835A1 (ja) | 画像処理装置、画像処理方法、プログラム | |
KR20130075712A (ko) | 레이저비전 센서 및 그 보정방법 | |
Tian et al. | A study on three-dimensional vision system for machining setup verification | |
JP6628170B1 (ja) | 計測システム及び計測方法 | |
JP2005186193A (ja) | ロボットのキャリブレーション方法および三次元位置計測方法 | |
JP4240215B2 (ja) | ビデオ式3次元位置計測装置およびビデオ式伸び計並びにビデオ式幅計 | |
TWI397668B (zh) | 影像校正系統及方法 | |
JP7509918B2 (ja) | 画像処理システム及び画像処理方法 | |
Bauer et al. | Accuracy Analysis of Alignment Methods based on Reference Features for Robot-Based Optical Inspection Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200410 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200714 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201120 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210302 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210401 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6863954 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |