JP2012112911A - キャリブレーション用校正治具、校正治具を備えた３次元計測システム - Google Patents

Abstract

【課題】低コストで取り扱いが容易な３次元計測システムにおけるキャリブレーション用校正治具であって、対象物を両面から三次元計測する場合にも精度高く簡易にキャリブレーションを行うことができるキャリブレーション用校正治具を提供する。
【解決手段】本発明による校正治具は、３次元計測システムに用いられる校正治具であって、二つの平面を有する本体にキャリブレーションの基準となるキャリブレーションパターンとして、一又は二以上の角錐台形状の貫通穴を形成することで両平面にキャリブレーションパターンが形成されていることを特徴とする。
【選択図】図１

Description

本発明は、複数のカメラを用いた対象物の両面からの３次元計測に先立ち、キャリブレーションするために用いるキャリブレーション用校正治具と、その校正治具を備えた３次元計測システムに関するものである。

現在、さまざまな分野において複数のカメラを用いた３次元計測システムが利用されている。計測対象物を複数のカメラで撮影して撮影された画像を画像処理して、その対象物の形状、寸法などを計測する。こうした３次元計測を行うためには、計測前にカメラをキャリブレーションしておく必要がある。このキャリブレーションを行うために、通常、キャリブレーション板、キャリブレーション用シートといった校正治具が用いられており、あらかじめ位置が既知である複数の特徴点を有する校正治具を撮影し、撮影した画像から特徴点を検出することで、キャリブレーションを行っている。

たとえば、特許文献１には、キャリブレーションを行うための校正装置として平板と穴あき板と複数の校正ポールとからなる校正テーブルが開示されている。

また、３次元計測を行うためのキャリブレーション用の校正治具として格子状のキャリブレーションパターンが印刷された２種類の透明シートを所定間隔に隔てて平行に配置し、撮像するキャリブレーション方法が特許文献２に開示されている。

特開平８−８６６１３号公報 特開２００６−２５０８８９号公報

特許文献１の構成では、両面から対象物を撮像する必要がある場合、両面のカメラ（ステレオカメラ）同士が共通の三次元座標系で計測できる必要がある。しかし、本校正テーブルでは、片側からの計測のみを前提としているため、校正ポールが設置される面とは反対面のキャリブレーションを行うことができない。また、校正ポールを任意の位置に設置できるためにカメラの位置に応じて、校正ポールを適宜設置できる一方、カメラの位置に応じてどの位置に校正ポールを設置すればキャリブレーションに必要な特徴点を撮像できるのか、撮像できないのかの判断が難しく、容易にキャリブレーションを行うことができないという問題がある。

また、特許文献２に開示された方法でも、同様に、対象物を両面から三次元計測する必要がある場合、つまり、カメラから対象物への方向（視線方向）が正反対である場合、両面からキャリブレーションを行うことができない。

これらのキャリブレーション用校正冶具は、複雑な構造を持っており、取り扱い時の衝撃などでずれが生じる可能性がある。また、これらのキャリブレーション用校正冶具は、どちらも複数の奥行きを持つ点を同時に観測できるという特徴がある。また、一度で撮影するのではなく、複数の位置に置いたキャリブレーションパターンを用いる場合もあり、その場合は複数の撮影が必要で、キャリブレーション用校正冶具の移動の作業が必要である。さらに、観測対象の空間が狭隘な場合には作業が困難であるという問題がある。

一方、工場の生産ラインや検査ラインで利用される３次元計測システムは、特に薬や機械部品といった平面物などを製造するラインにおいて、対象物を片面（１８０度）だけでなく、両面（３６０度）の３次元計測を実施する必要がある。しかし、従来の方法では、カメラの視線方向が正反対となる場合におけるキャリブレーションを行うことは困難である。

本発明は、上述した従来技術の課題に鑑みてなされたもので、対象物を両面から３次元計測を実施する必要がある場合でも効率的で精度よくキャリブレーションを行うことができると共に、安価で取り扱いが容易なキャリブレーション用校正治具を提供することを目的とする。

上記目的を達成するために、本発明では、３次元計測システムにおけるキャリブレーション用の校正治具であって、互いに平行な二つの平面を有する本体と、平面に形成されるキャリブレーションの基準となるキャリブレーションパターンとを有し、
キャリブレーションパターンは、一又は二以上の角錐台形状の貫通穴により両平面に形成されているキャリブレーション用校正冶具を提案する。

また、上記構成において、さらにキャリブレーションパターンとして貫通穴は、前記本体に二以上形成し、同じ平面に少なくとも角錐底面をなす開口部と角錐上面を成す開口部を有するように形成されたキャリブレーション用校正治具を提案する。

また、本発明では、互いに平行な二つの平面を有する本体に一又は二以上の角錐台形状の貫通穴により両平面にキャリブレーションパターンが形成されたキャリブレーション用校正治具と、キャリブレーション用校正治具に形成された一又は二以上の角錐台形状の貫通穴を含む画像を撮影する二以上のカメラと、複数のカメラが撮影した複数の画像に基づいて３次元空間の座標系と撮影面の座標系との変換係数である３次元計測用のパラメータを算出する計測処理装置とを有する３次元計測システムを提案する。

さらに、上記構成において、第一のカメラ及び第二のカメラは、前記キャリブレーション用校正治具の第一の平面側からキャリブレーションパターンを撮影し、第三のカメラ及び第四のカメラは第一の平面の反対面である第二の平面側からキャリブレーションパターンを撮影する３次元計測システムを提案する。

また、本発明の３次元計測装置において、計測処理装置は、二以上のカメラが撮影した複数の画像から、角錐台の頂点をなす特徴点を抽出し、抽出された特徴点の画像上の座標に基づいて、一のカメラの座標系を基準座標系として、他のカメラの座標系への変換パラメータを算出する。

また、本発明では、上記構成において、さらにキャリブレーション用校正治具は、貫通穴が平板に二以上形成されており、同じ平面に少なくとも角錐底面をなす開口部と角錐上面を成す開口部を有している。計測処理装置は、二以上のカメラが撮影した画像各々において、角錐台の頂点であって第一の平面にある特徴点と第二の平面にある特徴点を抽出し、抽出された特徴点の画像上の座標に基づいて３次元計測用のパラメータを算出する。

本発明によれば、対象物を両面から３次元計測を実施する場合でも効率的で精度よくキャリブレーションを行うことができると共に、安価で取り扱いが容易なキャリブレーション用校正治具を提供することができる。

また、本発明によれば、キャリブレーション校正治具に設けられた貫通穴の境界線を使うことにより、特徴点の数を増やすことができる。個々の特徴点の二次元座標の観測には誤差が含まれるため、特徴点の数を増やすことはキャリブレーションの誤差を統計的に下げる効果がある。

本発明に係る実施例１における三次元計測システムを示す図面 実施例１におけるカメラの計測画像であって、（ａ）カメラ１ａ、（ｂ）カメラ１ｂ、（ｃ）カメラ１ｃ、（ｄ）カメラ１ｄの計測画像 実施例１において計測処理装置６で行われる計測処理を示すフローチャート 本発明に係る実施例２における三次元計測システムを示す図面 実施例２におけるカメラの計測画像であって、（ａ）カメラ１ａ、（ｂ）カメラ１ｂ、（ｃ）カメラ１ｃ、（ｄ）カメラ１ｄの計測画像 実施例２において計測処理装置６で行われる計測処理を示すフローチャート 実施例２において計測処理装置６で行われる他の計測処理を示すフローチャート

（第一の実施形態）
以下、図面を参照して本発明の第一の実施形態について説明する。図１は、第一の実施形態における三次元計測システム１０を示すシステム構成図である。三次元計測システム１０は、カメラ１ａ、１ｂ、１ｃ、１ｄの４台のカメラとキャリブレーション用校正治具２と、各カメラに接続された計測処理装置３で構成されている。

カメラ１ａ及び１ｂは、キャリブレーション用校正治具２の上部に配置され、カメラ１ｃ及び１ｄは、キャリブレーション用校正治具２の下部に配置され、それぞれ２台でステレオカメラを構成しており、キャリブレーション校正治具２を撮像できるように配置されている。校正治具２の両側に各２台ずつのカメラを配置することで、両側でそれぞれ三次元計測を行うことを可能としている。各カメラで撮像された計測画像は、有線又は無線により接続された計測処理装置３に送信され、計測処理される。なお、オンラインで計測処理装置３が必ずしも接続されている必要はなく、一旦カメラ内部又は外部の記憶媒体に計測画像を記録しておき、別途計測処理装置で計測処理を行うことも可能である。

キャリブレーション用校正治具２は、図１に示すように一定の厚みを有する平面板であり、二つの角錐台形状の貫通穴を形成することにより、互いに平行な二つの平面両面に、キャリブレーションの基準となるキャリブレーションパターンを有している。このように貫通穴の片側である角錐台底面が他方の角錐台上面と比較して広くなっているため、角錐台上面の穴の頂点は板のどちらの側からの視点であってもカメラが撮像することが可能となる。

また、二つの角錐台形状の貫通穴は、キャリブレーション用校正治具２の同じ平面に、一方の貫通穴は角錐台底面をなす開口部、他方の貫通穴は角錐台上面をなす開口部を有するように形成されている。図２は、カメラの計測画像例を示すものであって、（ａ）カメラ１ａ、（ｂ）カメラ１ｂ、（ｃ）カメラ１ｃ、（ｄ）カメラ１ｄの計測画像を示している。二つの貫通穴を互い違いに形成することで、両側に存在している特徴点、つまり奥行きのある特徴点のパターンを図２で示されているように、４台のカメラそれぞれで撮像することが可能となる。従って、本構成の校正治具は、４台のカメラのキャリブレーションを同時に行うことができ、全てのカメラが未校正である場合に、特に有効である。

キャリブレーション用校正治具２は、たとえばアルミニウム製が考えられるが、材料はこれに限らず容易に変形しない材料であればよい。校正治具に形成される貫通穴は、図１では、三角錐台の貫通穴が開示されているが、角錐台形状であればよく、三角錐台に限らず、四角錐台や五角錐台でもよい。穴の数は面の両側にそれぞれ１以上の角錐台上面部があるようにする必要があるが、穴の数は多くてもよい。また、形成される貫通穴である角錐台は、角錐台上面にある頂点が両側のカメラで撮像できるように形成するが、すべてのカメラにおいてキャリブレーションを行うために十分な数の頂点が観測できればよいので、必ずしもすべての頂点が観測される必要はない。ただし、観測できない頂点がある場合にはどの頂点が観測されたものかを判定する手段が必要になる。

計測処理装置３は、カメラ１ａ、１ｂ、１ｃ、１ｄに接続されており、カメラが撮像した校正治具の開口部の計測画像を処理し、処理結果をもとに、開口部の頂点をなす特徴点の位置を検出する。検出した特徴点を基準として、カメラの内部パラメータなどをキャリブレーションする。計測処理装置６は、図示しないが、画像処理や変換行列を算出するための処理部となるＣＰＵ、画像や三次元座標を記憶するためのメモリ、カメラと接続するためのインターフェース、画像を表示するためのディスプレイなどを備えた、たとえば、パーソナルコンピュータなど、周知のもので構成される。

計測処理装置３で行われる計測処理を、図３のフローチャートを用いて詳細に説明する。本フローチャートは、未校正のカメラのキャリブレーションデータを求めるための処理を示している。まず、カメラ１ａ〜ｄから計測処理装置３の図示しないインターフェースを介して計測画像を受信する。たとえば、図２に示すような計測画像が受信される。受信した計測画像の処理は、計測画像ごとに独立してＣＰＵなどの制御部において、以下に説明するような処理が行われる。

まず、各カメラの計測画像には、貫通穴の稜線が投影されているため、各計測画像におけるエッジ（輪郭）を画像処理にて検出し、穴の部分と板の部分との境界線を求める。さらに、境界線を直線補間して線分を表す直線の式を求める。このような方法をとるのは、貫通穴の頂点自体を幾何学的に厳密な頂点として加工することが難しいこと、また直線補間により画像中の複数の点の情報を用いて計算することができるために計測誤差を小さくすることができるからである。また、たとえ、精密な工作によって正確な座標を持つ頂点を形成できたとしても、画像に反映できる精度には限界があるため、正確な座標値を出すためには直線の交点として計算するほうが精度を高めることができる。

次に、制御部は隣接する直線の交点として頂点の二次元座標(U,V)を計算する。画像中の各頂点の二次元の位置関係から、それぞれの頂点がキャリブレーション用校正治具２のどの穴の頂点に相当するかを判定する。このとき、カメラとキャリブレーション用校正治具２のおおまかな位置姿勢から予め記憶されている計測画像内の各頂点の相対的な位置関係を読みだして頂点の番号付けを行う。このとき、単なる頂点同士の相対的な位置関係ではなく、まず各境界線がどの穴に属するかの対応付けをしたのち、各境界線上の交点の位置関係から頂点の番号付けを行う処理をする。

この処理の結果、あらかじめ設計値としてメモリに保存されている各頂点の３次元座標(X,Y,Z)と計測画像から抽出した(U,V)の組ができる。そこで、これらの値を用いて各カメラのキャリブレーション用校正治具２に固定されたXYZ座標系に対する変換行列のパラメータを計算できる。このパラメータは、次のような式であらわされる。

なお、h_ijはカメラパラメータである。この中には、カメラ座標系のワールド座標系に対する回転・平行移動を表す外部パラメータと撮像された画像が画素に射影される変換を表す内部パラメータが含まれている。

このような計測処理を行って、計測画像から３次元座標への変換行列を各カメラにおいて算出することで、二次元である計測画像から三次元復元を行うことが可能となり、三次元計測を可能としている。

（第二の実施形態）
図４は、第二の実施形態における三次元計測システム１０を示している。本三次元計測システムは、キャリブレーション用校正治具１２の構成が異なる以外のシステム構成は、第一の実施形態における三次元計測システムと同様の構成であるため説明を省略する。本キャリブレーション用校正治具１２には、一つの角錐台形状の貫通穴が形成されている。図４の例では、校正治具の上面に貫通穴の角錐台底面を形成する開口部、下面に角錐台上面を形成する開口部があるが、これに限らず、逆に貫通穴の角錐台底面を形成する開口部が下面であってもかまわない。キャリブレーション用校正治具１２は、一つの貫通穴で形成されているため、キャリブレーション用校正治具２と比較して、加工がより容易である。

図５は、本実施形態における三次元計測システム１０において、各カメラの計測画像例を示すものであって、（ａ）カメラ１ａ、（ｂ）カメラ１ｂ、（ｃ）カメラ１ｃ、（ｄ）カメラ１ｄの計測画像を示している。貫通穴が一つであるため、両側に存在している特徴点、つまり奥行きのある特徴点のパターンを図５で示されているように、カメラ１ａ及び１ｂ、つまり校正治具の上側に配置されたカメラからのみ計測可能である。従って、片側のカメラ２台が既に校正済みである場合に、本校正治具は有効である。

図６は、本実施形態において計測処理装置３で行われる計測処理を示すフローチャートである。本フローチャートは、キャリブレーション用校正冶具１２の表側のカメラ対１aおよび１ｂの各カメラが校正ずみであり、かつ１ａおよび１ｂの相対的な位置姿勢関係、およびキャリブレーション校正冶具１２の裏側のカメラ対１ｃおよび１ｄの各カメラが校正ずみであり、かつ１ｃおよび１ｄの相対的な位置姿勢関係が既知で、各カメラ対において三次元計測を可能にするためのパラメータが計算できている場合の処理を示している。まず、カメラ１ａ〜ｄから計測処理装置３の図示しないインターフェースを介して計測画像を受信する。たとえば、図５に示すような計測画像が受信される。受信した計測画像の処理は、計測画像ごとに独立してＣＰＵなどの制御部において、以下に説明するような処理が行われる。

まず、各カメラの計測画像には、貫通穴の稜線が投影されているため、各計測画像におけるエッジ（輪郭）を画像処理にて検出し、穴の部分と板の部分との境界線を求める。さらに、境界線を直線補間して線分を表す直線の式を求める。

次に、制御部は隣接する直線の交点として頂点の二次元座標(U,V)を計算する。さらに、表側左カメラの頂点に対応する表側右カメラの頂点を探索し、すでに得られているキャリブレーションパラメータを使い、頂点の表側ステレオカメラ座標系における三次元座標を計算する。

次に、頂点の二次元あるいは三次元の相対的な位置関係から頂点の番号付けを行う。この場合も、未校正の場合と同様に、境界線ごとの位置関係から境界線と穴の対応付けを行い、その結果をもとに計測された頂点とキャリブレーション用校正治具２の頂点の対応付けを行う処理をする。その後、計算された頂点とメモリに保存されている穴の頂点の三次元座標がもっとも一致するようにキャリブレーション用校正治具２の座標系と表側ステレオカメラ座標系の間の変換行列を計算する。

裏側のカメラについても同様の計算を行いキャリブレーション用校正治具２の座標系と裏側ステレオカメラ座標系の間の変換行列を計算する。

また、図７は、計測処理装置３で行われる、他の方法の計測処理を示すフローチャートである。図７に示すように、図６で頂点の三次元座標計算の後に行っていた頂点の番号付けを二次元の画像の段階で行ってもよい。この場合、三次元座標計算の段階ではすでに左右間の画像で対応する頂点が特定されているので、探索の処理が不要になる。本実施形態では貫通穴は一つだけ形成した例を開示したが、より多くの貫通穴がある冶具や、両面に角錐台上面を持つような冶具を、片側のカメラ２台が校正済みの場合に当然適用することができる。

図６および図７ではあらかじめ保存された頂点の三次元座標値と計測された三次元座標値との間の変換行列を計算するが、表側で計測された頂点の三次元座標値と裏面で計測された頂点の座標値間の変換行列を計算することも可能である。この方法によっても表側と裏側の計測結果を統合して一つの座標系における表裏の計測結果を得ることができる。この構成を用いる場合には、図６および図７で参照するキャリブレーション校正冶具の頂点の三次元座標値は不要となる。

本発明によるキャリブレーション用校正治具及び三次元計測システムは、物品製造工場の生産ラインや検査ラインであって、特に薬包や機械部品など平面物を両面から３次元計測を実施する必要のある生産ラインにて用いることができる。

１０ 三次元計測システム
１ａ、１ｂ、１ｃ、１ｄ カメラ
２、１２ キャリブレーション用校正治具
３ 計測処理装置

Claims (6)

1. ３次元計測システムにおけるキャリブレーション用の校正治具であって、
   互いに平行な二つの平面を有する本体と、前記平面に形成されるキャリブレーションの基準となるキャリブレーションパターンとを有し、
   前記キャリブレーションパターンは、一又は二以上の角錐台形状の貫通穴により両平面に形成されていること、を特徴とするキャリブレーション用校正冶具。
2. 前記キャリブレーションパターンとして貫通穴は、前記本体に二以上形成されており、同じ平面に少なくとも角錐底面をなす開口部と角錐上面を成す開口部を有することを特徴とする請求項１記載のキャリブレーション用校正治具。
3. 互いに平行な二つの平面を有する本体に一又は二以上の角錐台形状の貫通穴により両平面にキャリブレーションパターンが形成されたキャリブレーション用校正治具と、
   前記キャリブレーション用校正治具に形成された一又は二以上の角錐台形状の貫通穴を含む画像を撮影する二以上のカメラと、
   前記複数のカメラが撮影した複数の画像に基づいて３次元空間の座標系と撮影面の座標系との変換係数である３次元計測用のパラメータを算出する計測処理装置と、
   を有する３次元計測システム。
4. 第一のカメラ及び第二のカメラは、前記キャリブレーション用校正治具の第一の平面側からキャリブレーションパターンを撮影し、第三のカメラ及び第四のカメラは前記第一の平面の反対面である第二の平面側からキャリブレーションパターンを撮影することを特徴とする請求項３記載の３次元計測システム。
5. 前記計測処理装置は、二以上のカメラが撮影した複数の画像から、前記角錐台の頂点をなす特徴点を抽出し、抽出された特徴点の画像上の座標に基づいて、一のカメラの座標系を基準座標系として、他のカメラの座標系への変換パラメータを算出することを特徴とする請求項３記載の３次元計測システム。
6. 前記キャリブレーション用校正治具には、貫通穴が平板に二以上形成されており、同じ平面に少なくとも角錐底面をなす開口部と角錐上面を成す開口部を有しており、
   前記計測処理装置は、前記二以上のカメラが撮影した画像各々において、前記角錐台の頂点であって第一の平面にある特徴点と第二の平面にある特徴点を抽出し、抽出された特徴点の画像上の座標に基づいて前記３次元計測用のパラメータを算出する請求項３記載の３次元計測システム。