JP6108383B2 - 配管位置計測システム及び配管位置計測方法 - Google Patents

Description

本発明は、配管の三次元位置を計測するのに好適な配管位置計測システムに関する。

従来、化学プラント等に設けられている配管の三次元位置を計測するためには、スキャンニングを利用した固定型の計測器が使用されている。しかしながら、従来の計測器では、計測に必要なその他の機器を必要としており重装備になっていた。このため、現場での作業を考えると手軽に計測できる携帯型の配管位置計測システムが望まれていた。
一方、近年市販されたキネクト（登録商標）（以下、三次元計測器という）は低価格かつ手軽に三次元計測ができるため、世界的に注目集めている。この三次元計測器を化学プラントなどに設けられている配管の三次元位置の計測に利用できれば、配管の計測器として、携帯性に優れた計測システムとなる。

従来、他の三次元計測手法としては、レーザ光をスリットを介して測定対象物に照射する光切断法が知られており、非常に高精度な計測が可能である。本願発明者らは、三次元磁気センサと組み合わせることで計測器自体の位置を検出し、測定対象物の三次元計測が可能な、ハンドスキャンタイプの計測器を開発した。
光切断法に係わる技術としては特許文献１が報告されている。特許文献１には、ＣＣＤカメラからの画像信号からレーザ輝線の座標をリアルタイムに演算するレーザ位置検出回路と、トンネルにレーザスリット光又はスポット光を照射するレーザ投光器と、このレーザ投光器により対象物の表面に照射された光を撮像する撮像装置と、所定のエリアに磁界ベクトルを形成するトランスミッタと、ＣＣＤカメラにより撮像された画像データをＰＣが処理し易いように変換するイメージプロセッサと、レーザ投光器に配置された磁気センサ、ＣＣＤカメラに配置された磁気センサの信号から三次元位置情報及び姿勢情報を検出するまたレーザ位置検出回路と、データに基づいて、トンネルの三次元画像を再生するパーソナルコンピュータ（ＰＣ）を備えて構成された技術が開示されている。

しかしながら、この計測器では磁気を用いるため、周辺に金属が多い化学プラント等の現場環境では利用できないことが予想される。
一方、上述した三次元計測器は、リアルタイムで対象の三次元形状を検出できることから、三次元計測器を手中に保持して画角を移動させた場合に、三次元計測器から見た対象物の三次元位置を追跡することが可能である。また、対象物が動いていない場合には、対象物から見た三次元計測器の移動方向および姿勢を検出できるので磁気センサに代って用いることが可能となる。
上述した三次元計測器に係る技術としては、特許文献２が報告されている。特許文献２には、コヒーレント光を放射して点群パターンを投影するプロジェクタと、基準面の上に投影される点群パターンの参照画像を取り込むイメージセンサーと、イメージセンサー取り込んだ参照画像をメモリに保存するように構成された技術が開示されている。
また、非特許文献１には、上述した三次元計測器により被写体までの距離の求め方について開示されている。

特開２００８−１４８８２公報 米国特許出願２０１００２２５７４６号

トランジスタ技術２０１２年８月Ｐ６２〜Ｐ６８

しかしながら、三次元計測器から得られる三次元点群データには、約数ｍｍのばらつきがあり、計測精度が著しく低いので、実際に、配管を対象にした三次元位置計測に利用することができないといった問題があった。
そこで、三次元計測器の欠点であったばらつきを解消し、高精度な位置および姿勢検出が可能になる携帯型の配管位置計測システムの提供が切望されている。
本発明は、上記に鑑みてなされたもので、その目的としては、三次元計測器の欠点であったばらつきを解消し、高精度な位置および姿勢検出が可能になる携帯型の配管位置計測システムを提供することにある。

上記課題を解決するため、請求項１記載の発明は、管体にランダムな赤外帯域の光点を投光し、前記管体により反射された反射光を撮像して三次元点群データを取得する三次元計測器と、前記三次元計測器に配置され、前記管体にスリットレーザ光を投光する投光手段と、前記三次元計測器に配置され、前記管体により反射された反射光を可視帯域で撮像し、前記スリットレーザ光による輝点を含む画像データを取得する撮像手段と、前記三次元計測器により取得された前記三次元点群データを表示する表示手段と、前記三次元点群データからレーザ輝線領域の抽出を行う抽出手段と、前記抽出手段により抽出された前記レーザ輝線領域の前記三次元点群データを切り出し、該切り出した前記三次元点群データと前記撮像手段により取得された前記スリットレーザ光による輝点を含む画像データから光切断法の原理を利用して算出した高精度実座標データとをマッチング処理して三次元計測器の座標系が一致した高精度実座標データを取得するマッチング手段と、前記表示手段に表示された前記レーザ輝線領域の前記三次元点群データを、前記マッチング手段により取得された高精度実座標データに差し換えて表示する差し換え処理手段と、を備えたことを特徴とする管***置計測システムである。

本発明によれば、表示された三次元点群データに対してレーザ輝線の三次元点群データを切り出し、該切り出した三次元点群データと取得されたスリットレーザ光による輝点を含む画像データから光切断法の原理を利用して算出した高精度実座標データとをマッチング処理して三次元計測器と座標系が一致した高精度三次元座標データを取得し、表示されたレーザ輝線の三次元点群データを、取得された高精度三次元座標データ差し換えて表示することで、三次元計測器に一体に組み合わせが可能で、三次元計測器の欠点であったばらつきを解消し、高精度な位置および姿勢検出が可能になる。

本発明の実施形態に係る配管位置計測システム１の構成を示す図である。 図１に示すスリットレーザ光投光器１０の内部構成を示す図である。 図１に示すプロジェクタ１６の構成を示す図である。 本発明の実施形態に係る配管位置計測システム１の動作を説明するためのフローチャートである。 図１に示す三次元計測器１４で取得された三次元点群データを示す図である。 図５に示す画像データからレーザ光による輝点部分を抽出したことを示す図である。 プロジェクタと赤外線カメラとの間隔ｄおよび深度Ｚについて説明するための図である。 カメラの光学系において深度Ｚｄを求めるための説明図である。 配管に投光されたスリットレーザ光の様子の写真を示す図である。 光切断法で得られる画像データから光切断法の原理を利用して算出した高精度実座標データを示す図である。 （ａ）〜（ｃ）マッチング処理の前後の状態を模式的に示した説明図である。 （ａ）（ｂ）はＩＣＰアルゴリズムの代表的な一手法について説明するための説明図である。 （ａ）は高解像度カメラ１２のカメラ座標系、（ｂ）は三次元計測器１４のワールド座表系を示す図である。 レーザシート３０を測定対象の上方から照射し、物体表面上に現れる曲線を計測する場合の説明図である。 キャリブレーション時の説明図であり、レーザシート３０面上にマーク（方眼紙）の刻んであるキャリブレーションシート４０を設置したことを示す説明図である。 横方向に配置されている２本の配管を示す図である。 （ａ）（ｂ）は三次元計測器１４により得られた三次元点群データＤ１，Ｄ２を示す図である。 重複領域を用いて連結された点群データを示す図である。 三次元計測器の座標系（Ｘ，Ｙ，Ｚ）と光切断法で取得する高精度実座標系（ｘ’，ｙ’）の関係を示す図である。 実際の計測作業において、配管の計測したい箇所にスリットレーザ光投光器１０からのスリットレーザ光を投光した様子と三次元計測器の一例を示す図である。 ステップＳ５０での差し換え処理によって、得られた三次元点群データの一例を示す図である。

本実施形態によれば、三次元計測器は、測定される点群の位置には約数ｍｍのばらつきがあるので、誤差１ｍｍ以下の精度を有するスリットレーザ光を用いる光切断法と組み合わせることで、欠点であったばらつきを解消し、高精度な位置および姿勢検出が可能になることを特徴とする。
詳しくは、三次元計測器で得られた、点群データ内のレーザ輝線の三次元点群データを、スリットレーザ光が投光されている箇所の計測結果に置き換える処理を行い、スリットレーザ光による計測結果を利用した高精度な計測を実現することができる。その際に、スリットレーザ光投光器の位置および姿勢は三次元計測器で得られた点群データより算出する。

以下、本発明の実施形態に係る配管位置計測システム１について、図面を参照して説明する。
図１は、本発明の実施形態に係る配管位置計測システム１の構成を示す図である。
図１に示すスリットレーザ光投光器１０は、図２に示すように、可視光帯域の半導体レーザ素子１０ｂと、スリット１０ａとを有し、半導体レーザ素子１０ｂから出射されたコヒーレント光であるレーザ光１０ｃがスリット１０ａを通過する過程で回折され、スリット１０ａの開口方向（長手方向）と直交方向に所定の角度αの広がりを有するビーム光、すなわち、スリットレーザ光１０ｄがスリット１０ａから放射される。スリットレーザ光投光器１０は、パーソナルコンピュータ２２から制御信号をケーブル１０ｚを介して受信するＩ／Ｆユニットなどを備えて構成される。
なお、スリットレーザ光投光器１０は、図１に示すように、三次元計測器１４の筐体に一体として固定する。

図１に示す高解像度カメラ１２は、数百万画素の解像度を有するカメラであり、被写体からの光を撮像レンズ１２ａで受光し、撮像レンズ１２ａによって結像された撮像対象の光学像をアナログ電気信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの画像センサと、アナログ電気信号をＡ／Ｄ変換してデジタル信号であるフレーム画像に対して各種画像処理を行うＩＳＰ（Image Signal Processor）などから構成される画像処理ユニットと、フレーム画像や各種画像処理済みフレーム画像、その他のデータ及び制御信号などをパーソナルコンピュータ２２との間でケーブル１２ｚを介して送受信するＩ／Ｆユニットなどを備えて構成される。
なお、高解像度カメラ１２は、図１に示すように、三次元計測器１４の筐体に一体として固定する。

図１に示す三次元計測器１４は、プロジェクタ１６と、ＲＧＢカラーカメラ１８と、赤外線カメラ２０を備えている。
プロジェクタ１６は、図３に示すように、光源となる赤外帯域の光を発光する高輝度赤外線ＬＥＤ１６ｂと、高輝度赤外線ＬＥＤ１６ｂから発光された赤外線光を略並行なビーム光に変換するレンズ１６ｃと、レンズ１６ｃからのビーム光の照度むらを抑制し均質な光に調整する光拡散素子（ディフーザ）１６ｄと、複数のマイクロレンズを配置し、複数のマイクロレンズにより複数のランダムな光点を形成するマイクロレンズアレー１６ｅと、マイクロレンズアレー１６ｅにより形成された点光を所定の角度βの広がりを有する複数の点光として前方に投光するレンズ１６ａとを備えて構成される。

ＲＧＢカラーカメラ１８は、数百万画素の解像度を有する可視光帯域のＲＧＢカラーカメラであり、被写体からの光を撮像レンズ１８ａで受光し、撮像レンズ１８ａによって結像された撮像対象の光学像をアナログ電気信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの画像センサと、アナログ電気信号をＡ／Ｄ変換してデジタル信号であるフレーム画像に対して各種画像処理を行うＩＳＰ（Image Signal Processor）などから構成される画像処理ユニットとを備えて構成される。

赤外線カメラ２０は、低解像度を有する赤外帯域のカメラであり、被写体から反射された点光である赤外光を撮像レンズ２０ａで受光し、撮像レンズ２０ａによって結像された撮像対象の光学像をアナログ電気信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの画像センサと、アナログ電気信号をＡ／Ｄ変換してデジタル信号であるフレーム画像に対して各種画像処理を行うＩＳＰ（Image Signal Processor）などから構成される画像処理ユニットとを備えている。
なお、三次元計測器１４は、プロジェクタ１６と、ＲＧＢカラーカメラ１８と、赤外線カメラ２０に対して入出力する制御信号および画像データをパーソナルコンピュータ２２との間でケーブル１４ｚを介して送受信するＩ／Ｆユニットなどを備えて構成される。
パーソナルコンピュータ２２は、ＯＳおよびアプリケーションソフトウエアを記憶するハードディスクと、プログラムを実行するＣＰＵと、画像データや処理データを記憶するＲＡＭと、ＶＲＡＭ上に展開されている画像データを表示するモニタ上の表示画面２２ｍと、外部とのデータの送受信を行うＩ／Ｆ部とを備えている。

以下に光切断法による装置のキャリブレーション方法について説明する。本キャリブレーションは一度行うと高解像度カメラとレーザ面の位置関係が変更されなければ、再度行う必要はない。
図１３は、高解像度カメラ１２のカメラ座標系（図１３（ａ））と、三次元計測器１４のワールド座表系（図１３（ｂ））の関係を示す図である。
ここで、本実施形態に用いる座標系を以下のように分けることとする。
（１）三次元計測器は実座標系（ｘ，ｙ，ｚ）で固定されている。
（２）高解像度カメラを用いた光切断法で取得される高精度実座標系（ｘ’，ｙ’，０）はレーザ面と一致している。本実施形態において「高精度実座標系（あるいは座標データ）」とは、光切断法により取得される座標系（あるいは座標データ）を意味し、具体的には誤差１ｍｍ以下の高精度の位置データであり、三次元計測器（誤差は約数ｍｍ）と比較して十分に高精度である。
（３）高解像度カメラは画像上の座標として（ｕ，ｖ）を用いる。
上記（１）（２）は実座標であり、（２）はスリット（平面）上に存在するためにｚ＝０で無視できる。（２）の座標系をマッチング処理によって、（１）の座標系に一致させる。
一般的に、カメラ座標（ｕ，ｖ）とワールド座標（実座標：三次元計測器１４に固定された座標系）の関係は以下の式で表される。

図１４に示すようにレーザシート３０を測定対象の上方（紙面上方）から照射し、物体表面上に現れる曲線を計測する場合、レーザシート３０面上に座標軸を置けばｚ＝一定により式（１）は、

と簡単化できる。これが、レーザシート３０上のワールド座標（ｘ，ｙ）とカメラ（画像データ）座標（ｕ，ｖ）の関係式となる。式（２）の係数ｋ１１〜ｋ３２までを次のキャリブレーション処理によって求める。

キャリブレーション処理では、式（２）の係数を求めるために、予め座標が既知であるワールド座標（ｘ，ｙ）とカメラ座標（ｕ，ｖ）の複数の組み合わせを式（２）に代入し、係数ｋ１１〜ｋ３２を算出する。
式（２）より、

次いで、ｓを消去して、

これを変形して、

となる。

図１９および図１５に示すように、レーザシート３０面上にマーク（方眼紙）の刻んであるキャリブレーションシート４０を設置する。例えば高解像度カメラ１２で前方に設置されたキャリブレーションシート４０を撮影する。
パーソナルコンピュータ２２の表示画面２２ｍ上にはキャリブレーションシート４０の画像データが表示されている。この表示画面２２ｍ上の所望の位置にマウス２４の操作に応じてカーソルを移動させ、当該位置に対して、マウス２４でクリック操作することでカメラ座標（ｕｉ，ｖｉ）を読み取る。また、レーザシート３０面上の座標（ｘｉ，ｙｉ）も読み取る。この処理を繰り返し、所望領域を示す４点の座標を読み取り、式（５）に代入する。
なお、可能な限り広い範囲で４点を指示する方が望ましい、これらのデータより、以下の行列を作成し、ｋ１１〜ｋ３２を計算する。

式（４）を変形して、

となる。式（７）を行列で表すと、

となる。よってワールド座標（ｘ’，ｙ’）は、

となる。

式（９）が、カメラ座標（ｕ，ｖ）からワールド座標（ｘ’，ｙ’）への変換式であり，この手続きが光切断法の原理である。三次元計測器１４の赤外線カメラ２０で対象を撮影し、対象に照射されたスリットレーザ光による曲線の画像データ（ｕｉ，ｖｉ）を読み取り、式（９）にカメラ座標（ｕｉ，ｖｉ）を代入してワールド座標（ｘｉ’，ｙｉ’）を計算する。このワールド座標（ｘｉ’，ｙｉ’）が光切断法による計測結果（高精度実座標データ）となる。計測作業では、スリットレーザ光投光器１０と高解像度カメラ１２とが三次元計測器１４に配置されている状態で、配管の計測したい箇所にスリットレーザ光投光器１０からのスリットレーザ光を投光することで計測を行う。そのときの様子を図２０に示す。なお、図２０は実際の計測作業において、配管の計測したい箇所にスリットレーザ光投光器１０からのスリットレーザ光を投光した様子と三次元計測器の一例を示す図である。

次に、図４に示すフローチャートを参照して、本発明の実施形態に係る配管位置計測システム１の動作を説明する。なお、パーソナルコンピュータ２２は、電源が投入されると例えばハードディスクに記憶されているオペレーティングシステムＯＳがＣＰＵによりＲＡＭ上ブートされて起動され、次いで、このＯＳ上で複数種類のアプリケーションソフトウエアが実行可能になる。
図４に示すフローチャートで示されるプログラムをＯＳ上でＣＰＵが実行することで、配管位置計測システム１が動作するように構成されている。
また、後述するステップＳ１０〜Ｓ２０は、三次元計測器１４を動作するための専用のアプリケーションソフトウエアのプログラムを示している。一方、後述するステップＳ３０〜Ｓ７０は、三次元計測器１４を動作するための専用のアプリケーションソフトウエアとは別のアプリケーションソフトウエアのプログラムを示しており、両方のアプリケーションソフトウエアは、ＣＰＵにより並列処理されるようにＯＳの管理下で実行される。

まず、ステップＳ１０では、ＣＰＵは、三次元点群データの取得処理を行う。すなわち、三次元計測器１４を動作するための専用のアプリケーションソフトウエアのプログラムをＯＳ上で実行する。
詳しくは、ＣＰＵは、投光開始信号をＩ／Ｆ部からケーブル１４ｚを介して三次元計測器１４に設けられたプロジェクタ１６に送信する。投光開始指示を受信した三次元計測器１４は、プロジェクタ１６に設けられた高輝度赤外線ＬＥＤ１６ｂに電源を投入する。これに応じて、高輝度赤外線ＬＥＤ１６ｂが発光し、高輝度赤外線ＬＥＤ１６ｂからの赤外線光をレンズ１６ｃにより略並行なビーム光に変換し、レンズ１６ｃからのビーム光の照度むらを光拡散素子１６ｄにより抑制し均質な光に調整する。次いで、光拡散素子１６ｄにより抑制された均質な光がマイクロレンズアレー１６ｅに入射され、複数のマイクロレンズにより複数のランダムな光点が形成され、複数の点光を所定の角度βの広がりを有する複数の点光としてレンズ１６ａから前方に投光される。

次いで、ＣＰＵは、撮像開始信号をＩ／Ｆ部からケーブル１４ｚを介して三次元計測器１４に設けられた赤外線カメラ２０に送信する。撮像開始指示を受信した三次元計測器１４は、赤外線カメラ２０を起動する。このとき、プロジェクタ１６から投光され、被写体から反射された点光である赤外光を撮像レンズ２０ａで受光し、撮像レンズ２０ａによって結像された撮像対象の光学像を画像センサによりアナログ電気信号に変換し、アナログ電気信号を画像処理ユニットによりＡ／Ｄ変換してデジタル信号であるフレーム画像に対して、画像処理ユニットにより各種画像処理を行う。次いで、画像処理ユニットから出力される画像データをＩ／Ｆユニットからケーブル１４ｚを介してパーソナルコンピュータ２２に送信する。
これにより、三次元計測器１４から出力される画像データをパーソナルコンピュータ２２のＩ／Ｆ部からＲＡＭ上に取得し、ＲＡＭからＶＲＡＭ上に画像データを展開することで表示画面２２ｍ上に表示することができる。三次元計測器１４から取得して表示画面２２ｍ上に表示される画像データは、図５に示すような三次元点群データである。
図５は、管体から取得した三次元点群データを示す図であり、データ数は約２５０，０００個であり、個々の三次元点群データは（ｘ，ｙ，ｚ）座標と、管体表面のＲＧＢカラーデータからなる。

次いで、ステップＳ２０では、ＣＰＵは、レーザ輝線部の抽出処理をＲＡＭ上で行う。すなわち、三次元計測器１４からＲＡＭ上に取得した三次元点群データには、後述するスリットレーザ光投光器１０から投光されるスリットレーザ光の輝線として例えば赤色輝線が含まれている。そこで、例えば赤色輝線の色成分を利用して、三次元計測器１４から取得したＲＡＭ上にある三次元点群データに対して、赤色輝線の色成分のみを有する三次元点群データを抽出してＲＡＭ上の他の記憶エリアに記憶する。色の他に輝度による抽出も可能である。この抽出処理の結果、図６に示すような点群データを取得できる。
図６は、図５に示す三次元点群データの内のレーザ軌跡部分（赤色）を抽出した三次元点群データであり、三次元計測器１４により得られた三次元点群データには、約数ｍｍのばらつきがあり、本来、直線や円弧になる部分のデータに乱れがあることを確認できる。

次に、被写体までの距離の求め方について説明する。なお、被写体までの距離の求め方は、以下のよういな周知の手法（非特許文献１）が知られている。
ここで、ＣＰＵは三次元計測器１４により得られたＲＡＭ上の三次元点群データに対して、所定の画像数の小領域（Ｎｘ×Ｎｙ画素）を定め、水平にずれた位置についての相互相関値を算出し、最も高い相関値を示すシフト量を求め、求めたシフト量から位置を算出する。
例えば、被写体の位置がスクリーン位置に近い程、水平シフト量は小さくなり、逆に三次元計測器１４に近い程、水平シフト量は大きくなる。そこで、赤外線カメラ２０から得られたＲＡＭ上の三次元点群データに基づいて、小領域（Ｎｘ×Ｎｙ画素）で構成されるブロック単位で、元のランダムドットパターンが水平方向にどの程度シフトしたかを求めれば、数学的にそのブロックの深度（Ｚ値）を取得することができる。

図７に示すように、プロジェクタ１６と赤外線カメラ２０とは間隔ｄだけ離れている。図８に示すように、カメラの光学系において、Ｌ離れた距離でＬｘの幅がＮｘ画像になるように作られている場合、被写体までの距離Ｚｄ、部分パターンの本来のビット位置をｘ０、シフトしたビット位置をｘ１とすれば、幾何学的な相似関係から、以下の式が成り立つ。

これにより、被写体までの距離Ｚｄを求めることができる。

一方、ステップＳ３０では、ＣＰＵは、レーザ輝線の取得処理を行う。
詳しくは、ＣＰＵは、投光開始信号をＩ／Ｆ部からケーブル１０ｚを介してＩ／Ｆユニットに送信し、スリットレーザ光投光器１０を起動する。
スリットレーザ光投光器１０は、図２に示すように、可視光帯域の半導体レーザ素子１０ｂを発光させ、半導体レーザ素子１０ｂから出射されたレーザ光１０ｃがスリット１０ａを通過する過程で回折され、スリット１０ａからスリットレーザ光１０ｄを被写体である配管に放射する。
次いで、ＣＰＵは、撮像開始信号をＩ／Ｆ部からケーブル１２ｚを介してＩ／Ｆユニットに送信し、高解像度カメラ１２を起動する。
高解像度カメラ１２は、被写体からの光を撮像レンズ１２ａで受光し、撮像レンズ１２ａによって結像された撮像対象の光学像を画像センサによりアナログ電気信号に変換し、アナログ電気信号を画像処理ユニットによりＡ／Ｄ変換してデジタル信号であるフレーム画像を出力し、フレーム画像をＩ／Ｆユニットからケーブル１２ｚを介してパーソナルコンピュータ２２に送信する。
これにより、高解像度カメラ１２から出力されるフレーム画像を画像データとしてＩ／Ｆ部からＲＡＭ上に取得しＶＲＡＭ上に展開することができる。高解像度カメラ１２から取得した画像データは、図９に示すようなレーザ輝線を含む画像データであり、この画像データはパーソナルコンピュータ２２の表示画面２２ｍに表示される。なお、図９は、配管に投光されたスリットレーザ光の様子を示す図である。

次いで、ステップＳ４０では、ＣＰＵは、高解像度カメラ１２からＲＡＭ上に得られた画像データに対して、三次元実座標への変換処理をＲＡＭ上で行う。前述の式（９）が、カメラ座標（ｕ，ｖ）からワールド座標（ｘ’，ｙ’）への変換式である。三次元計測器１４の赤外線カメラ２０で対象を撮影し、対象に照射されたスリットレーザ光による曲線の画像データ（ｕｉ，ｖｉ）を読み取り、式（９）にカメラ座標（ｕｉ，ｖｉ）を代入してワールド座標（ｘｉ’，ｙｉ’）を計算する。このワールド座標（ｘｉ’，ｙｉ’）が光切断法による計測結果（高精度実座標データ）となる。計測作業では、スリットレーザ光投光器１０と高解像度カメラ１２とが三次元計測器１４に配置されている状態で、配管の計測したい箇所にスリットレーザ光投光器１０からのスリットレーザ光を投光することで計測を行う。ＣＰＵは、撮影されたＲＡＭ上の画像データから、輝度とレーザ色を考慮してレーザ輝線の位置（ｕｉ，ｖｉ）を抽出し，高精度実座標データ（ｘ’，ｙ’）を算出しＲＡＭ上に記憶する。三次元計測器の座標（ｘ，ｙ，ｚ）と光切断法による座標データの関係を（ｘ，ｙ，０）を図１９に示す。
なお、ステップＳ１０〜Ｓ２０およびステップＳ３０〜Ｓ４０は、上述したようにＣＰＵにより並列処理されることとする。

ここで、図１０は、高解像度カメラ１２で得られる画像データから光切断法の原理を利用して算出した高精度実座標データのイメージを示す図であり、座標系が傾いている。三次元計測器１４の座標系（図６参照）と、高解像度カメラ１２で得られる座標系（図１０参照）の原点位置および傾きが必ずしも一致していないことを示している。
また、図６および図１０は説明のために、二次元で示しているが三次元であっても、その方法は拡張できるものである。図１０の時点で、最小自乗法に従った近似により、円弧より、円全体の位置や形状を算出することも可能である。

ここで、ステップＳ４０において、ＣＰＵは、マッチング処理に利用されるＩＣＰ（Iterative Closet Point）アルゴリズムについて説明する。
三次元計測器１４から出力されＲＡＭ上に得られた三次元点群データは、ばらつきが多く不連続である。一方、高解像度カメラ１２（光切断法）により取得された画像データから光切断法の原理を利用して算出してＲＡＭ上に得られた高精度実座標データは、高精度かつ連続的である。
そこで、三次元計測器１４から得られた三次元点群データのうちレーザ輝線領域のみ、光切断法により取得されたデータにＲＡＭ上で置き換えればよい。しかし、三次元計測器１４により得られた三次元点群データと、光切断法により取得されたデータとでは、座標系の原点位置および傾きが必ずしも一致していないため、回転処理と平行移動処理が必要である。
そこで、ＩＣＰアルゴリズムを利用して、高解像度カメラ１２（光切断法）により取得された画像データから光切断法の原理を利用して算出してＲＡＭ上に得られた高精度実座標データ（図１１（ａ））に対して、ＣＰＵがＲＡＭ上で回転処理および平行移動処理を行い、回転処理および平行移動処理後に得られたＲＡＭ上の高精度実座標データを三次元点群データの当該レーザ輝線領域のデータ（図１１（ｂ））とマッチング処理し、マッチング結果（図１１（ｃ））を得て、ＲＡＭ上で置き換え処理を行い、回転処理および平行移動処理後に得られた高精度実座標データを、管体の位置データとして扱う。これにより、数ｍｍ程度低精度であつた三次元点群データが、レーザ輝線領域のみ高精度実座標データ（回転処理および平行移動処理後）に置き換わるので、高精度の位置データをＲＡＭ上に取得することができる。

ここで、ＩＣＰアルゴリズムの代表的な一手法について説明する。
図１２において、高解像度カメラ１２を用いて光切断法に従ってＲＡＭ上に得られた高精度実座標データ（図１２（ａ））内に存在する輝点による軌跡上の点（１〜ｎ）を抽出する。まず、ＣＰＵは１番目の点に最も近い点を三次元計測器１４から得られたＲＡＭ上の三次元点群データ（図１２（ｂ））の中から探す。その時の距離をＬｌとする。同じ処理を２番目の点以降について行い、距離Ｌ２〜Ｌｎを求め、これらの合計を評価値θとする。高解像度カメラ１２を用いて光切断法に従って得られたＲＡＭ上の高精度実座標データの傾きおよび位置を変更しながら、上述の処理を繰り返し、評価値θが最も小さくなる位置と姿勢を検出することでマッチングを行う。

ステップＳ５０では、ＣＰＵは、差し換え処理をＲＡＭ上で行う。ＲＡＭ上にある三次元点群データ内のレーザ輝線箇所を、マッチング処理により取得された高精度実座標データに差し換える。差し換え処理によってＲＡＭ上に得られた結果画像データをＶＲＡＭ上に展開して表示画面２２ｍ上に表示する。
これにより、誤差数ミリ程度の低精度であつた三次元点群データが、レーザ輝線領域のみ高精度実座標データ（回転処理および平行移動処理後）に置き換わるので、誤差１ｍｍ以下の高精度の位置データを取得することができる。図２１にステップＳ５０での差し換え処理によって、表示画面２２ｍ上に表示された三次元点群データの例を示す。

次いで、ステップＳ６０では、ＣＰＵは、画角の移動か否かを判断する。すなわち、ＣＰＵはＲＡＭ上にある時刻Ｔ１の三次元点群データと時刻Ｔ２の三次元点群データとを画素単位で比較し、一致した画素の割合が第１基準値以下の場合に画角が移動したこととみなす判断を行う。さらに、ＣＰＵは画角の移動があったと見なした後に、再度、同様の判断処理を行い、一致した画素の割合が第２基準値以上の場合に画角の移動が停止したこととみなす判断を行う。なお、画素単位の比較に代わって、複数の画素を有するブロックの平均値を比較してもよい。
ここで、画角の移動がまったくない場合にはステップＳ１０およびステップ３０に処理を戻す（Ｓ６０でＮ）。一方、画角の移動があってから画角の移動が停止状態になった場合にはステップＳ７０に進む。

次に、図１６を参照して、配管の位置計測について説明する。
図１６に示すように、横方向に配置されている２本の配管位置を計測する場合について考える。この場合の計測は２回にわけ、それぞれ点線内の領域について計測する。２回の計測（撮影）では、計測器を平行に移動する必要はないが、図１６に示すように、移動量を検出するために必ず重複領域を設ける必要がある。それぞれの計測において、三次元計測器１４により得られた三次元点群データＤ１、Ｄ２を図１７に示す。図１７において、斜線領域は２枚の画像（点群）間での重複領域を示す。この重複領域を自動的に探す方法は数多く提案（情報処理学会報告ＩＰＳＪ ＳＩＧ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｖｏｌ２００９ ＣＶＩＭ １６８．Ｎｏ２３など）されており、その方法の説明を省略する。

ステップＳ７０では、ＣＰＵは、連結処理をＲＡＭ上で行う。すなわち、ＲＡＭ上の記憶エリアに記憶した時刻Ｔ１の三次元点群データＤ１と別の記憶エリアに記憶した時刻Ｔ２の三次元点群データＤ２との重複領域を探し、両者の重複領域が重なるように、三次元点群データＤ１と三次元点群データＤ２とをＲＡＭ上で合成して連結し、連結実座標データを生成する。
図１８は、重複領域を用いて連結された点群データを示す図である。連結後にスリットレーザ光が照射された箇所のデータを用いることで配管の傾き、および位置、各配管の位置関係を正確に測定できる。
本実施形態では、三次元点群データＤ１、Ｄ２にはスリットレーザ光が投光されており、スリットレーザ光が投光されている箇所は光切断法の原理により高精度に測定される。
これにより、誤差数ｍｍ程度の低精度であつた三次元点群データが、レーザ輝線領域のみ高精度実座標データ（回転処理および平行移動処理後）に置き換わるので、誤差１ｍｍ以下の高精度の位置データを取得することができる。

１…配管位置計測システム、１０…スリットレーザ光投光器、１０ａ…スリット、１０ｂ…半導体レーザ素子、１０ｃ…レーザ光、１０ｄ…スリットレーザ光、１２…高解像度カメラ、１２ａ…撮像レンズ、１４…三次元計測器、１６…プロジェクタ、１８…ＲＧＢカラーカメラ、１８ａ…撮像レンズ、２０…赤外線カメラ、２２…パーソナルコンピュータ、２２ｍ…表示画面、２４…マウス、３０…レーザシート、４０…キャリブレーションシート

Claims (6)

1. 管体にランダムな赤外帯域の光点を投光し、前記管体により反射された反射光を撮像して三次元点群データを取得する三次元計測器と、
   前記三次元計測器に配置され、前記管体にスリットレーザ光を投光する投光手段と、
   前記三次元計測器に配置され、前記管体により反射された反射光を可視帯域で撮像し、前記スリットレーザ光による輝点を含む画像データを取得する撮像手段と、
   前記三次元計測器により取得された前記三次元点群データを表示する表示手段と、
   前記三次元点群データからレーザ輝線領域の抽出を行う抽出手段と、
   前記抽出手段により抽出された前記レーザ輝線領域の前記三次元点群データを切り出し、該切り出した前記三次元点群データと前記撮像手段により取得された前記スリットレーザ光による輝点を含む画像データから光切断法の原理を利用して算出した高精度実座標データとをマッチング処理して三次元計測器の座標系が一致した高精度実座標データを取得するマッチング手段と、
   前記表示手段に表示された前記レーザ輝線領域の前記三次元点群データを、前記マッチング手段により取得された高精度実座標データに差し換えて表示する差し換え処理手段と、を備えたことを特徴とする管***置計測システム。
2. 前記マッチング手段は、前記撮像手段により取得された画像データから光切断法の原理を利用して算出した高精度実座標データ内に存在する複数の輝点に対して、前記三次元計測器により取得された前記三次元点群データの中の最も近い夫々の点とがなす距離を求め、高精度実座標データの傾きおよび位置を変更しながら、夫々の距離の合計を示す評価値が最も小さくなる位置と姿勢を検出するようにしてマッチング処理を行う、ことを特徴とする請求項１記載の管***置計測システム。
3. 前記三次元計測器により取得される前記三次元点群データに関する画角の移動があったか否かを判断する画角移動判断手段と、
   前記画角移動判断手段により画角の移動があったと判断された場合に、前記三次元計測器により取得された異なる画角の前記三次元点群データに重複領域が存在するときには、当該重複領域を連結して連結実座標データを生成する連結処理手段を備えることを特徴とする請求項１記載の管***置計測システム。
4. 管体にランダムな赤外帯域の光点を投光し、前記管体により反射された反射光を撮像して三次元点群データを取得する三次元計測器と、
   前記三次元計測器に配置され、前記管体にスリットレーザ光を投光する投光手段と、
   前記三次元計測器に配置され、前記管体により反射された反射光を可視帯域で撮像し、前記スリットレーザ光による輝点を含む画像データを取得する撮像手段と、
   前記三次元計測器により取得された前記三次元点群データを表示する表示手段と、を備えたシステムの管***置計測方法であって、
   前記表示手段に表示された前記三次元点群データに対してレーザ輝線領域の三次元点群データを検出する検出ステップと、
   前記検出ステップにより検出された三次元点群データと前記撮像手段により取得された前記スリットレーザ光による輝点を含む画像データから光切断法の原理を利用して算出した高精度実座標データとをマッチング処理して三次元計測器と座標系が一致した高精度実座標データを取得するマッチングステップと、
   前記表示手段に表示された前記レーザ輝線領域の前記三次元点群データを、前記マッチングステップにより取得された高精度実座標データに差し換えて表示する差し換え処理ステップと、を含むことを特徴とする管***置計測方法。
5. 前記マッチングステップは、前記撮像手段により取得された画像データから光切断法の原理を利用して算出した高精度実座標データ内に存在する複数の輝点に対して、前記三次元計測器により取得された前記三次元点群データの中の最も近い夫々の点とがなす距離を求め、高精度実座標データの傾きおよび位置を変更しながら、夫々の距離の合計を示す評価値が最も小さくなる位置と姿勢を検出するようにしてマッチング処理を行う、ことを特徴とする請求項４記載の管***置計測方法。
6. 前記三次元計測器により取得される前記三次元点群データに関する画角の移動があったか否かを判断する画角移動判断ステップと、
   前記画角移動判断ステップにより画角の移動があったと判断された場合に、前記三次元計測器により取得された異なる画角の前記三次元点群データに重複領域が存在するときには、当該重複領域を連結して連結実座標データを生成する連結処理ステップを備えることを特徴とする請求項４記載の管***置計測方法。

Images