JP2022098073A - 三次元形状計測方法、三次元形状計測装置およびロボットシステム - Google Patents

Abstract

【課題】装置の大型化を抑制することのできる三次元形状計測方法、三次元形状計測装置およびロボットシステムを提供すること。【解決手段】三次元形状計測方法は、カメラを用いて対象物の深度を計測する深度計測ステップと、前記カメラを用いて前記対象物の輪郭形状を検出する輪郭検出ステップと、前記深度および前記輪郭形状に基づいて前記対象物の物体認識を行う物体認識ステップと、を含み、前記深度計測ステップにおける前記カメラの解像度が前記輪郭検出ステップにおける前記カメラの解像度よりも低い。【選択図】図２

Description

本発明は、三次元形状計測方法、三次元形状計測装置およびロボットシステムに関する。

例えば、カメラを用いて対象物の三次元形状を計測する方法として、特許文献１に記載されているようなストラクチャードライト方式が知られている。ストラクチャードライト方式とは、対象物Ｘに対してパターン光をずらしながら複数回投影し、その都度、パターン光が投影された対象物を含む領域をカメラで撮像し、得られた複数の撮像画像に基づいて対象物Ｘの三次元形状計測を行う方式である。

特開２０１７－７５８８７号公報

ここで、例えばロボットの分野においては、上述したようなストラクチャードライト方式による対象物の形状認識に加えて、対象物の色情報が必要となる場合がある。そのような場合には、上記のカメラとは別に対象物の色情報を取得するためのカメラを別途配置する方法がある。しかしながら、このような方法では装置の大型化を招くおそれがある。

本発明の三次元形状計測方法は、カメラを用いて対象物の深度を計測する深度計測ステップと、
前記カメラを用いて前記対象物の輪郭形状を検出する輪郭検出ステップと、
前記深度および前記輪郭形状に基づいて前記対象物の物体認識を行う物体認識ステップと、を含み、
前記深度計測ステップにおける前記カメラの解像度が前記輪郭検出ステップにおける前記カメラの解像度よりも低い。

本発明の三次元形状計測装置は、カメラを用いて対象物の深度を計測し、前記カメラを用いて前記対象物の輪郭形状を検出し、前記深度および前記輪郭形状に基づいて前記対象物の物体認識を行い、
前記深度を計測する際の前記カメラの解像度が前記輪郭形状を検出する際の前記カメラの解像度よりも低い。

本発明のロボットシステムは、上述の三次元形状計測装置と、
ロボットと、
前記三次元形状計測装置の計測結果に基づいて前記ロボットの駆動を制御するロボット制御装置と、を備える。

第１実施形態に係るロボットシステムの全体構成を示す図である。 三次元形状計測装置の全体構成を示す図である。 投影部により投影されるパターン光の一例を示す平面図である。 ビニング機能について説明する図である。 対象物の一例を示す図である。 ビニング機能について説明する図である。 三次元形状計測装置の処理工程を示すタイミングチャートである。 第２実施形態に係る三次元形状計測装置の構成を示す図である。 三次元形状計測装置の処理工程を示すタイミングチャートである。 第３実施形態に係る三次元形状計測装置の構成を示す図である。 三次元形状計測装置の処理工程を示すタイミングチャートである。 第４実施形態に係る三次元形状計測装置の処理工程を示すタイミングチャートである。

以下、本発明の三次元形状計測方法、三次元形状計測装置およびロボットシステムを添付図面に示す実施形態に基づいて詳細に説明する。

図１は、第１実施形態に係るロボットシステムの全体構成を示す図である。図２は、三次元形状計測装置の全体構成を示す図である。図３は、投影部により投影されるパターン光の一例を示す平面図である。図４は、ビニング機能について説明する図である。図５は、対象物の一例を示す図である。図６は、ビニング機能について説明する図である。図７は、三次元形状計測装置の処理工程を示すタイミングチャートである。

図１に示すロボットシステム１は、ロボット２と、レーザー光ＬＬを用いて対象物Ｘの物体認識を行う三次元形状計測装置４と、三次元形状計測装置４の計測結果に基づいてロボット２の駆動を制御するロボット制御装置５と、ロボット制御装置５と通信可能なホストコンピューター６と、を有する。これら各部は、有線または無線により通信可能とされている。通信は、インターネットのようなネットワークを介してなされてもよい。

－ロボット－
ロボット２は、例えば、精密機器やこれを構成する部品の給材、除材、搬送および組立等の作業を行うロボットである。ただし、ロボット２の用途としては、特に限定されない。ロボット２は、６軸ロボットであり、床、天井等に固定されたベース２１と、ベース２１に連結されたロボットアーム２２と、を有する。

ロボットアーム２２は、ベース２１に対して第１軸Ｏ１まわりに回動自在に連結された第１アーム２２１と、第１アーム２２１に対して第２軸Ｏ２まわりに回動自在に連結された第２アーム２２２と、第２アーム２２２に対して第３軸Ｏ３まわりに回動自在に連結された第３アーム２２３と、第３アーム２２３に対して第４軸Ｏ４まわりに回動自在に連結された第４アーム２２４と、第４アーム２２４に対して第５軸Ｏ５まわりに回動自在に連結された第５アーム２２５と、第５アーム２２５に対して第６軸Ｏ６まわりに回動自在に連結された第６アーム２２６と、を有する。第６アーム２２６には、ロボット２に実行させる作業に応じたエンドエフェクター２４が装着されている。

また、ロボット２は、ベース２１に対して第１アーム２２１を回動させる第１駆動装置２５１と、第１アーム２２１に対して第２アーム２２２を回動させる第２駆動装置２５２と、第２アーム２２２に対して第３アーム２２３を回動させる第３駆動装置２５３と、第３アーム２２３に対して第４アーム２２４を回動させる第４駆動装置２５４と、第４アーム２２４に対して第５アーム２２５を回動させる第５駆動装置２５５と、第５アーム２２５に対して第６アーム２２６を回動させる第６駆動装置２５６と、を有する。第１～第６駆動装置２５１～２５６は、それぞれ、例えば、モーターと、モーターの駆動を制御するコントローラーと、モーターの回転量を検出するエンコーダーと、を有する。第１～第６駆動装置２５１～２５６の駆動は、ロボット制御装置５によって独立して制御される。

ロボット２としては、特に限定されず、例えば、ロボットアーム２２が有するアームの数が１本～５本であってもよいし、７本以上であってもよい。また、例えば、ロボット２の種類は、スカラロボットや、２つのロボットアーム２２を有する双腕ロボットであってもよい。また、床、天井等に固定されない自走式のロボットであってもよい。

－ロボット制御装置－
ロボット制御装置５は、ホストコンピューター６からロボット２の位置指令を受け、各アーム２２１～２２６が位置指令に応じた位置となるように第１～第６駆動装置２５１～２５６の駆動をそれぞれ独立して制御する。ロボット制御装置５は、例えば、コンピューターから構成され、情報を処理するプロセッサー（ＣＰＵ）と、プロセッサーに通信可能に接続されたメモリーと、外部インターフェースと、を有する。メモリーにはプロセッサーにより実行可能な各種プログラムが保存され、プロセッサーは、メモリーに記憶された各種プログラム等を読み込んで実行する。

－三次元形状計測装置－
三次元形状計測装置４は、３Ｄ点群データに基づいて対象物Ｘの三次元形状を測定すると共に２Ｄ画像に基づいて対象物Ｘの輪郭形状を取得する。図２に示すように、三次元形状計測装置４は、対象物Ｘにレーザー光ＬＬにより形成したパターン光ＰＬを投影する投影部４１と、対象物Ｘを撮像する撮像部４６と、これら各部の駆動を制御する制御装置４７と、を有する。また、制御装置４７は、撮像部４６で取得した画像に基づいて対象物Ｘの三次元形状を計測する三次元形状計測部４７１と、撮像部４６で取得した画像に基づいて対象物Ｘの輪郭形状を検出する輪郭検出部４７２と、を有する。

三次元形状計測装置４は、ロボット２の第５アーム２２５に固定されている。投影部４１は、第５アーム２２５の先端側に向けてレーザー光ＬＬを出射する。また、撮像部４６は、第５アーム２２５の先端側を向き、パターン光ＰＬの照射範囲を含む領域を撮像する。第５アーム２２５の先端側にエンドエフェクター２４が位置する関係は、第５アーム２２５以外の第１～第４アーム２２１～２２４、第６アーム２２６がどのような姿勢の際にも維持される。そのため、第５アーム２２５に三次元形状計測装置４を固定することにより、三次元形状計測装置４は、常に、エンドエフェクター２４の先端側にレーザー光ＬＬを出射することができると共に、エンドエフェクター２４の先端側を撮像することができる。したがって、エンドエフェクター２４により対象物Ｘを把持しようとするときの姿勢、つまり、エンドエフェクター２４が対象物Ｘに対して如何なる姿勢で対向しても、当該姿勢において対象物Ｘに向けてレーザー光ＬＬを出射することができると共に、対象物Ｘを撮像することができる。

なお、三次元形状計測装置４の配置は、特に限定されず、例えば、第１～第４アーム２２１～２２４や第６アーム２２６に固定されていてもよい。また、三次元形状計測装置４は、ロボットアーム２２以外の場所、例えば、ベース２１、床、天井、壁等の可動しない部位に固定されていてもよい。

投影部４１は、対象物Ｘに向けてレーザー光ＬＬを照射することにより、対象物Ｘに対し図３に示す縞状のパターン光ＰＬを投影する。投影部４１は、図２に示すように、レーザー光ＬＬを出射するレーザー光源４２と、レーザー光源４２から出射されたレーザー光ＬＬが通過する複数のレンズを含む光学系４３と、光学系４３を通過したレーザー光ＬＬを対象物Ｘに向けて走査する光走査部４４と、を有する。レーザー光源４２としては、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ）、外部共振器型垂直面発光レーザー（ＶＥＣＳＥＬ）等の半導体レーザーを用いることができる。

光学系４３は、レーザー光源４２から出射されるレーザー光ＬＬを対象物Ｘ付近に集光する集光レンズ４３１と、集光レンズ４３１によって集光されたレーザー光ＬＬを揺動軸Ｊと平行な方向すなわち図２の紙面奥行き方向に延びるライン状とするロッドレンズ４３２と、を有する。光走査部４４は、揺動軸Ｊまわりに回動するミラー４４１を有し、このミラー４４１でレーザー光ＬＬを反射することにより、ライン状のレーザー光ＬＬを面状に走査する。これにより、簡単な構成で対象物Ｘ上にパターン光ＰＬを投影することができる。光走査部４４としては、特に限定されず、例えば、ＭＥＭＳ（Micro Electro Mechanical Systems）、ガルバノミラー、ポリゴンミラー等を用いることができる。

投影部４１としては、対象物Ｘ上にパターン光ＰＬを投影することができれば、特に限定されない。例えば、ロッドレンズ４３２ではなく、ＭＥＭＳやガルバノミラーを用いて線状のレーザー光ＬＬをライン状に拡散してもよい。つまり、２つの光走査部４４を用いてレーザー光ＬＬを二次元走査してもよい。また、例えば、２軸自由度を有するジンバル型の１つのＭＥＭＳを用いてレーザー光ＬＬを二次元走査してもよい。

撮像部４６は、対象物Ｘを撮像する。撮像部４６は、ＣＭＯＳイメージセンサー、ＣＣＤイメージセンサー等の撮像素子４６２および撮像素子４６２に集光させる集光レンズ４６３を備えたカメラとしてのモノクロカメラ４６１で構成されている。このように、モノクロカメラ４６１を用いることにより、例えば、ＲＧＢカラーカメラを用いた場合と比較して装置の小型化や高感度化を図ることができる。なお、モノクロカメラ４６１とは、実質的に単色の色で表現され、光度以外の情報を有さない画像（以下「モノクロ画像」とも言う）しか取得することのできないカメラを意味する。モノクロカメラ４６１で取得した画像は、三次元形状計測部４７１および輪郭検出部４７２に送信される。

制御装置４７は、例えば、コンピューターから構成され、情報を処理するプロセッサー（ＣＰＵ）と、プロセッサーに通信可能に接続されたメモリーと、外部インターフェースと、を有する。メモリーにはプロセッサーにより実行可能な各種プログラムが記憶されており、プロセッサーは、メモリーに記憶された各種プログラム等を読み込んで実行することができる。

制御装置４７は、ストラクチャードライト方式を用いた位相シフト法により対象物Ｘの三次元形状を計測する。位相シフト法によれば、対象物Ｘの深度を精度よく計測することができるため、対象物Ｘの三次元形状を精度よく計測することができる。具体的には、制御装置４７は、ミラー４４１の揺動と同期させてレーザー光源４２からレーザー光ＬＬを出射し、図３に示すような輝度値の明暗で表現した縞模様のパターン光ＰＬを対象物Ｘ上にπ／２ずつ位相をずらして４回投影し、その都度、パターン光ＰＬが投影された対象物Ｘを含む領域をモノクロカメラ４６１で撮像するように各部の駆動を制御する。三次元形状計測部４７１は、モノクロカメラ４６１で撮像された４枚の画像Ｄ１に基づいて３Ｄ点群データを生成し、生成した３Ｄ点群データに基づいて対象物Ｘの三次元形状計測を行う。具体的には、対象物Ｘの姿勢、空間座標等を含む三次元情報を算出する。以下では、対象物Ｘの深度に基づいて三次元形状を計測する工程を「深度計測ステップ」とも言う。

対象物Ｘの三次元形状を計測する方法としては、モノクロカメラ４６１を用いる方法であれば、特に限定されない。例えば、本実施形態では、パターン光ＰＬを対象物Ｘ上にπ／２ずつ位相をずらして４回投影しているが、位相のずらし幅や投影回数は、特に限定されない。また、本実施形態では、１つの波長を有するパターン光ＰＬを用いる「単数周期位相シフト法」を用いているが、これに限定されず、異なる周期を有する複数のパターン光ＰＬを用いる「複数周期位相シフト法」を用いてもよい。位相シフト法においては、パターン光ＰＬの周期が長い程、計測レンジが拡大するが深度分解能が低下し、パターン光ＰＬの周期が短い程、計測レンジが縮小するが深度分解能が向上する。そこで、複数周期位相シフト法を用いることにより、広い計測レンジと高い深度分解能との両立を図ることができる。複数周期位相シフト法としては、特に限定されず、例えば、複数周期で周期毎に複数回計測する手法であってもよいし、複数周期で周期毎に異なった回数計測する手法であってもよい。また、位相シフト法以外の方法で対象物Ｘの三次元形状を計測してもよい。

また、制御装置４７は、対象物Ｘの輪郭形状を検出する。具体的には、制御装置４７は、ミラー４４１の揺動と同期させてレーザー光源４２からレーザー光ＬＬを出射し、レーザー光ＬＬをベタに走査することにより対象物Ｘに光を照射し、光が照射された状態の対象物Ｘをモノクロカメラ４６１で撮像するように各部の駆動を制御する。これにより、光が照射された状態の対象物Ｘを含む画像Ｄ２が得られる。輪郭検出部４７２は、画像Ｄ２に基づいて対象物Ｘの輪郭形状を検出する。以下では、対象物Ｘの輪郭形状を検出する工程を「輪郭検出ステップ」とも言う。

以上のように、１台のモノクロカメラ４６１で対象物Ｘの三次元形状および輪郭形状を取得することにより、例えば、複数のカメラを用いる場合と比べて三次元形状計測装置４の小型化を図ることができる。

ここで、深度計測ステップでの三次元形状認識では、モノクロカメラ４６１に高い解像度がそれほど要求されない。必要以上に高い解像度のモノクロカメラ４６１を用いてしまうと、撮像素子４６２の画素サイズが小さくなり、その分、感度が低下して露光時間が長くなる。そのため、深度計測ステップにかかる時間が長くなる。一方、輪郭検出ステップでは、モノクロカメラ４６１の解像度が高い程、対象物Ｘの輪郭形状を鮮明に検出することができる。このように、深度計測ステップと輪郭検出ステップとでは、モノクロカメラ４６１に求められる最適な解像度が異なる。そこで、本実施形態では、深度計測ステップと輪郭検出ステップとでモノクロカメラ４６１の解像度を変化させ、それぞれのステップで最適な解像度となるようにする。

具体的には、深度計測ステップにおけるモノクロカメラ４６１の解像度を輪郭検出ステップにおけるモノクロカメラ４６１の解像度よりも低くする。これにより、深度計測ステップおよび輪郭検出ステップをそれぞれ精度よく行いつつ、画像Ｄ１を取得するのにかかる時間を短くし深度計測ステップにかかる時間を短縮することができる。なお、モノクロカメラ４６１の解像度を変化させる方法としては、特に限定されないが、モノクロカメラ４６１が有するビニング機能を用いることが好ましい。ビニング機能とは、撮像素子４６２内の隣り合う画素のいくつかをひとまとめにして１つの画素として扱う機能を意味する。これにより、解像度を簡単に変更することができる。

本実施形態の深度計測ステップでは、例えば、図４に示すように、隣り合う２×２、計４つの画素Ｐｘを１つの画素Ｐｘ’として扱う。これにより、１画素あたりの受光面積を仮想的に大きくすることができるため感度を高めることができる。そのため、モノクロカメラ４６１の露光時間をより短くすることができ、画像Ｄ１を取得するのにかかる時間がより短くなる。

なお、１つの画素Ｐｘ’として取り扱う画素Ｐｘの数や配置としては、特に限定されず、深度計測ステップにおいて求められるモノクロカメラ４６１の解像度や対象物Ｘの形状に基づいて適宜設定することができる。例えば、図５に示すように対象物Ｘが長尺状の場合等、細長い輪郭を検出する場合には、図６に示すように、対象物Ｘの延在方向に隣り合う２×１、計２つの画素Ｐｘを１つの画素Ｐｘ’として扱ってもよい。これにより、対象物Ｘの幅方向（短手方向）の解像度を落とすことなく延在方向（長手方向）の解像度を落とすことができる。このように、対象物Ｘの形状によって画素Ｐｘ’のアスペクト比を設定し、縦横の解像度を異ならせてもよい。

一方、輪郭検出ステップでは、ビニング機能を用いずに１つの画素Ｐｘをそのまま１つの画素として扱う。つまり、ネイティブ解像度で画像Ｄ２を取得する。これにより、高解像度の画像Ｄ２が得られ、対象物Ｘの輪郭形状を精度よく取得することができる。

制御装置４７は、深度計測ステップで計測された対象物Ｘの三次元形状と、輪郭検出ステップで取得された対象物Ｘの輪郭形状と、に基づいて対象物Ｘの物体認識を行う。つまり、対象物Ｘの姿勢や位置を認識する。このように、対象物Ｘの三次元形状を表す３Ｄデータと対象物Ｘの輪郭形状を表す２Ｄデータとに基づくことにより、いずれか一方に基づく場合と比較してより精度よく対象物Ｘの物体認識を行うことができる。なお、以下では、対象物Ｘの物体認識を行う工程を「物体認識ステップ」とも言う。そして、制御装置４７は、対象物Ｘの物体認識結果をホストコンピューター６に送信する。ホストコンピューター６は、受け取った対象物Ｘの物体認識結果に基づいて、ロボット２の位置指令を生成し、ロボット制御装置５に送信する。

なお、本実施形態では、三次元形状計測部４７１および輪郭検出部４７２が制御装置４７に内蔵されているが、これに限定されず、例えば、少なくとも一方がホストコンピューター６やロボット制御装置５に内蔵されていてもよい。

また、深度計測ステップと輪郭検出ステップとの順番としては、特に限定されないが、図７に示すように、深度計測ステップを輪郭検出ステップよりも先に開始することが好ましい。図７では、まず、深度計測ステップを開始し、画像Ｄ１の取得が完了した後、モノクロカメラ４６１の解像度を変更した上で輪郭検出ステップを開始する。そして、モノクロカメラ４６１で画像Ｄ２を取得しつつ、画像Ｄ１に基づいて対象物Ｘの三次元形状を計測する。つまり、画像Ｄ２の取得と対象物Ｘの三次元形状計測とを並行して行う。その後、画像Ｄ２の取得が完了した後に画像Ｄ２に基づいて対象物Ｘの輪郭形状を取得する。三次元形状計測部４７１が対象物Ｘの三次元形状を計測するのにかかる処理時間の方が、輪郭検出部４７２が対象物Ｘの輪郭形状を取得するのにかかる処理時間よりも長くなり易い。そのため、このような順番とすることにより、全体にかかる処理時間を短縮することができる可能性がある。

なお、図７では、三次元形状計測が終了した後に対象物Ｘの輪郭形状の検出を開始しているが、これに限定されず、三次元形状計測が終了するのを待たずに輪郭形状の検出を開始してもよい。

以上、ロボットシステム１について説明した。このようなロボットシステム１で行われる三次元形状計測方法は、前述したように、カメラとしてのモノクロカメラ４６１を用いて対象物Ｘの深度を計測する深度計測ステップと、モノクロカメラ４６１を用いて対象物Ｘの輪郭形状を検出する輪郭検出ステップと、深度および輪郭形状に基づいて対象物Ｘの物体認識を行う物体認識ステップと、を含む。そして、深度計測ステップにおけるモノクロカメラ４６１の解像度が輪郭検出ステップにおけるモノクロカメラ４６１の解像度よりも低い。このような方法によれば、１台のモノクロカメラ４６１で対象物Ｘの三次元形状および輪郭形状を取得することができるため、複数台のカメラを用いる場合と比べて三次元形状計測装置４の小型化を図ることができる。また、深度計測ステップと輪郭検出ステップとでモノクロカメラ４６１の解像度を変更することにより、深度計測ステップおよび輪郭検出ステップをそれぞれ精度よく行いつつ、画像Ｄ１を取得するのにかかる時間を短くし深度計測ステップにかかる時間を短縮することができる。

また、前述したように、モノクロカメラ４６１は、ビニング機能を有し、ビニング機能により解像度を変更する。これにより、簡単な構成で解像度を変更することができる。

また、前述したように、深度計測ステップでは、ストラクチャードライト方式により深度を計測する。これにより、対象物Ｘの深度を精度よく計測することができる。

また、前述したように、深度計測ステップは、輪郭検出ステップよりも先に開始される。これにより、物体認識全体にかかる処理時間を短縮することができる可能性がある。

また、前述したように、三次元形状計測装置４は、カメラとしてのモノクロカメラ４６１を用いて対象物Ｘの深度を計測し、モノクロカメラ４６１を用いて対象物Ｘの輪郭形状を検出し、深度および輪郭形状に基づいて対象物Ｘの物体認識を行う。そして、深度を計測する際のモノクロカメラ４６１の解像度が輪郭形状を検出する際のモノクロカメラ４６１の解像度よりも低い。このような構成によれば、１台のモノクロカメラ４６１で対象物Ｘの三次元形状および輪郭形状を取得することができるため、複数台のカメラを用いる場合と比べて三次元形状計測装置４の小型化を図ることができる。また、深度計測ステップと輪郭検出ステップとでモノクロカメラ４６１の解像度を変更することにより、深度計測ステップおよび輪郭検出ステップをそれぞれ精度よく行いつつ、画像Ｄ１を取得するのにかかる時間を短くし深度計測ステップにかかる時間を短縮することができる。

また、前述したように、ロボットシステム１は、三次元形状計測装置４と、ロボット２と、三次元形状計測装置４の計測結果に基づいてロボット２の駆動を制御するロボット制御装置５と、を備える。そのため、ロボットシステム１は、三次元形状計測装置４の効果を享受することができる。つまり、１台のモノクロカメラ４６１で対象物Ｘの三次元形状および輪郭形状を取得することができるため、複数台のカメラを用いる場合と比べてロボットシステム１の小型化を図ることができる。また、深度計測ステップと輪郭検出ステップとでモノクロカメラ４６１の解像度を変更することにより、深度計測ステップおよび輪郭検出ステップをそれぞれ精度よく行いつつ、画像Ｄ１を取得するのにかかる時間を短くし深度計測ステップにかかる時間を短縮することができる。

＜第２実施形態＞
図８は、第２実施形態に係る三次元形状計測装置の構成を示す図である。図９は、三次元形状計測装置の処理工程を示すタイミングチャートである。

本実施形態のロボットシステム１は、三次元形状計測装置４の構成が異なること以外は、前述した第１実施形態のロボットシステム１と同様である。以下の説明では、本実施形態に関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図８および図９において、前述した実施形態と同様の構成については、同一符号を付している。

図８に示す三次元形状計測装置４は、前述した第１実施形態の構成に加えてさらに照明４５を有する。照明４５は、例えば、ＬＥＤである。図９に示すように、照明４５は、輪郭検出ステップにおいて対象物Ｘに光Ｌを照射する。前述した第１実施形態では、輪郭検出ステップにおいてレーザー光ＬＬを走査することにより対象物Ｘに光Ｌを照射しているが、取得された画像Ｄ２にレーザー光ＬＬの照射に起因するスペックルノイズが生じるおそれがある。そこで、本実施形態の輪郭検出ステップにおいては、レーザー光ＬＬを対象物Ｘに走査するのではなく、照明４５から対象物Ｘに向けて光Ｌを照射する。これにより、画像Ｄ２のスペックルノイズを低減することができる。

このような第２実施形態によっても前述した第１実施形態と同様の効果を発揮することができる。

＜第３実施形態＞
図１０は、第３実施形態に係る三次元形状計測装置の構成を示す図である。図１１は、三次元形状計測装置の処理工程を示すタイミングチャートである。

本実施形態のロボットシステム１は、三次元形状計測装置４の構成が異なること以外は、前述した第１実施形態のロボットシステム１と同様である。以下の説明では、本実施形態に関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図１０および図１１において、前述した実施形態と同様の構成については、同一符号を付している。

図１０に示す三次元形状計測装置４は、前述した第２実施形態と同様に輪郭検出ステップにおいて対象物Ｘに光を照射する照明４５を有する。照明４５は、互いに波長の異なる光を出射する複数の光源を有し、これら光源から時分割で対象物Ｘに向けて光を出射する。本実施形態の照明４５は、３つの光源４５ｒ、４５ｇ、４５ｂを有する。光源４５ｒは、赤色光Ｌｒを対象物Ｘに向けて出射し、光源４５ｇは、緑色光Ｌｇを対象物Ｘに向けて出射し、光源４５ｂは、青色光Ｌｂを対象物Ｘに向けて出射する。これにより、後述するように、輪郭検出ステップにおいてフルカラーの画像Ｄ２ｑを生成することができる。これら各光源４５ｒ、４５ｇ、４５ｂとしては、特に限定されないが、例えば、ＬＥＤを用いることができる。

ただし、照明４５が有する光源の波長（出射する光の色）や数としては、特に限定されない。また、照明４５としては、例えば、白色光を出射する光源と、光源から出射された白色光を赤色光Ｌｒ、緑色光Ｌｇおよび青色光Ｌｂに時分割するカラーホイールと、を組合せた構成となっていてもよい。

制御装置４７は、輪郭検出ステップにおいて、対象物Ｘの輪郭形状に加えて対象物Ｘの色情報を取得する。具体的には、制御装置４７は、図１１に示すように、照明４５から赤色光Ｌｒ、緑色光Ｌｇ、青色光Ｌｂを時分割で順に出射し、その都度、対象物Ｘを含む領域をモノクロカメラ４６１で撮像するように各部の駆動を制御する。これにより、赤色光Ｌｒが照射された対象物Ｘの画像Ｄ２ｒ、緑色光Ｌｇが照射された対象物Ｘの画像Ｄ２ｇおよび青色光Ｌｂが照射された対象物Ｘの画像Ｄ２ｂが得られる。なお、画像Ｄ２ｒでは、赤色光Ｌｒが散乱する部分ほど白く映り、画像Ｄ２ｇでは、緑色光Ｌｇが散乱する部分ほど白く映り、画像Ｄ２ｂでは、青色光Ｌｂが散乱する部分ほど白く映る。

輪郭検出部４７２は、画像Ｄ２ｒに赤色を当てはめた画像と、画像Ｄ２ｇに緑色を当てはめた画像と、画像Ｄ２ｂに青色を当てはめた画像と、を合成してフルカラーの画像Ｄ２ｑを生成する。そして、輪郭検出部４７２は、画像Ｄ２ｑに基づいて対象物Ｘの輪郭形状を検出すると共に、対象物Ｘの色情報を取得する。なお、色情報は、例えば、形状が同じで色だけが異なる複数の対象物Ｘの中から、特定の色の対象物Ｘを選択するために用いられる。

このように、画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂを合成して生成されたフルカラーの画像Ｄ２ｑは、例えば、ベイヤー配列のＲＧＢカラーカメラを用いて取得されたフルカラーの画像と比べて解像度が高く擬色の発生も少ない。したがって、より鮮明な画像Ｄ２ｑが得られ、対象物Ｘの輪郭形状および色情報を精度よく取得することができる。

なお、高精度の画像Ｄ２ｑを得るために、画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂのホワイトバランスを等しくすることが好ましい。画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂのホワイトバランスを等しくするために、例えば、画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂ毎のモノクロカメラ４６１の露光時間を等しくし、赤色光Ｌｒ、緑色光Ｌｇ、青色光Ｌｂ毎に輝度を調節してもよいし、反対に、赤色光Ｌｒ、緑色光Ｌｇ、青色光Ｌｂの輝度を等しくし、画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂ毎にモノクロカメラ４６１の露光時間を調整してもよい。これら２つの方法の中でも画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂ毎のモノクロカメラ４６１の露光時間を等しくする前者を用いることが好ましく、これにより、画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂを取得するのにかかる時間を短く抑えることができる。

以上のように、本実施形態の輪郭検出ステップでは、輪郭形状と共に対象物Ｘの色情報を取得する。これにより、対象物Ｘの物体認識の精度がより高まる。

また、前述したように、輪郭検出ステップでは、波長の異なる複数の光である赤色光Ｌｒ、緑色光Ｌｇ、青色光Ｌｂを対象物Ｘに順に照射し、各赤色光Ｌｒ、緑色光Ｌｇ、青色光Ｌｂが照射された対象物Ｘをモノクロカメラ４６１で撮像することにより得られた複数の画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂを合成することにより色情報を取得する。画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂを合成して得られる画像Ｄ２ｑは、例えば、カラーカメラで撮像された画像と比べて高解像度で擬色の発生が少ない。そのため、対象物Ｘの輪郭形状および色情報を精度よく取得することができる。

また、前述したように、輪郭検出ステップでは、複数の光として、赤色光Ｌｒ、緑色光Ｌｇおよび青色光Ｌｂを用いる。これにより、フルカラーの画像Ｄ２ｑが得られ、対象物Ｘの色情報をより正確に取得することができる。

このような第３実施形態によっても前述した第１実施形態と同様の効果を発揮することができる。

＜第４実施形態＞
図１２は、第４実施形態に係る三次元形状計測装置の処理工程を示すタイミングチャートである。

本実施形態のロボットシステム１は、輪郭検出ステップにおいてもモノクロカメラ４６１の解像度を変更すること以外は、前述した第３実施形態のロボットシステム１と同様である。以下の説明では、本実施形態に関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図１２において、前述した実施形態と同様の構成については、同一符号を付している。

本実施形態では、輪郭検出ステップにおいて、画像Ｄ２ｇの解像度を画像Ｄ２ｒ、Ｄ２ｂの解像度よりも高く設定する。例えば、図１２に示す処理工程では画像Ｄ２ｒ、Ｄ２ｂの解像度を深度計測ステップと同様の解像度（図４参照）、つまりネイティブ解像度の１／４とし、画像Ｄ２ｇを取得する際の解像度をネイティブ解像度としている。そして、画像Ｄ１を取得した後に、まず、画像Ｄ２ｒ、Ｄ２ｂを取得し、その後にモノクロカメラ４６１の解像度を切り替えた上で画像Ｄ２ｇを取得することによりモノクロカメラ４６１の解像度の切り替えが１回で済み、処理全体にかかる時間を短縮することができる。画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂを合成して画像Ｄ２ｑを生成する際は、画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂの解像度を揃えるために、例えば、画像Ｄ２ｒ、Ｄ２ｂに対して線形補正等による補間処理を行えばよい。

このように、画像Ｄ２ｇの解像度を画像Ｄ２ｒ、Ｄ２ｂの解像度よりも高く設定するのは、人間の眼が赤色、緑色および青色の中で緑色の輝度変化（解像度）に最も敏感であるためである。そのため、画像Ｄ２ｑの視覚的な解像度が高められ、対象物Ｘの色情報をより精度よく取得することができる。また、画像Ｄ２ｒ、Ｄ２ｂの解像度を低くすることにより、画像Ｄ２ｒ、Ｄ２ｂを取得する際のモノクロカメラ４６１の感度を高めることができるため、画像Ｄ２ｒ、Ｄ２ｂを取得する際の露光時間を短くすることができる。そのため、画像Ｄ２ｑを高品質に保ちつつ、処理全体にかかる時間を短縮することができる。

ただし、画像Ｄ１、Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂの解像度や取得順としては、特に限定されず、例えば、画像Ｄ１の解像度を画像Ｄ２ｒ、Ｄ２ｂよりもさらに低くしてもよい。また、画像Ｄ２ｒ、Ｄ２ｂの前に画像Ｄ２ｇを取得してもよい。

以上のように、本実施形態の三次元形状計測装置４では、緑色光Ｌｇが照射された対象物Ｘを撮像することにより得られる画像Ｄ２ｇの解像度は、赤色光Ｌｒが照射された対象物Ｘを撮像することにより得られる画像Ｄ２ｒの解像度および青色光Ｌｂが照射された対象物Ｘを撮像することにより得られる画像Ｄ２ｂの解像度よりも高い。これにより、高品質な画像Ｄ２ｑを得つつ、処理全体にかかる時間を短縮することができる。

このような第４実施形態によっても前述した第１実施形態と同様の効果を発揮することができる。

以上、本発明の三次元形状計測方法、三次元形状計測装置およびロボットシステムを図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物が付加されていてもよい。

１…ロボットシステム、２…ロボット、２１…ベース、２２…ロボットアーム、２２１…第１アーム、２２２…第２アーム、２２３…第３アーム、２２４…第４アーム、２２５…第５アーム、２２６…第６アーム、２４…エンドエフェクター、２５１…第１駆動装置、２５２…第２駆動装置、２５３…第３駆動装置、２５４…第４駆動装置、２５５…第５駆動装置、２５６…第６駆動装置、４…三次元形状計測装置、４１…投影部、４２…レーザー光源、４３…光学系、４３１…集光レンズ、４３２…ロッドレンズ、４４…光走査部、４４１…ミラー、４５…照明、４５ｂ…光源、４５ｇ…光源、４５ｒ…光源、４６…撮像部、４６１…モノクロカメラ、４６２…撮像素子、４６３…集光レンズ、４７…制御装置、４７１…三次元形状計測部、４７２…輪郭検出部、５…ロボット制御装置、６…ホストコンピューター、Ｄ１…画像、Ｄ２…画像、Ｄ２ｂ…画像、Ｄ２ｇ…画像、Ｄ２ｑ…画像、Ｄ２ｒ…画像、Ｊ…揺動軸、Ｌ…光、ＬＬ…レーザー光、Ｌｂ…青色光、Ｌｇ…緑色光、Ｌｒ…赤色光、Ｏ１…第１軸、Ｏ２…第２軸、Ｏ３…第３軸、Ｏ４…第４軸、Ｏ５…第５軸、Ｏ６…第６軸、ＰＬ…パターン光、Ｐｘ…画素、Ｐｘ’…画素、Ｘ…対象物

Claims (10)

1. カメラを用いて対象物の深度を計測する深度計測ステップと、
   前記カメラを用いて前記対象物の輪郭形状を検出する輪郭検出ステップと、
   前記深度および前記輪郭形状に基づいて前記対象物の物体認識を行う物体認識ステップと、を含み、
   前記深度計測ステップにおける前記カメラの解像度が前記輪郭検出ステップにおける前記カメラの解像度よりも低いことを特徴とする三次元形状計測方法。
2. 前記カメラは、ビニング機能を有し、
   前記ビニング機能により前記解像度を変更する請求項１に記載の三次元形状計測方法。
3. 前記輪郭検出ステップでは、前記輪郭形状と共に前記対象物の色情報を取得する請求項１または２に記載の三次元形状計測方法。
4. 前記カメラは、モノクロカメラであり、
   前記輪郭検出ステップでは、波長の異なる複数の光を前記対象物に順に照射し、各前記光が照射された前記対象物を前記モノクロカメラで撮像することにより得られた複数の画像を合成することにより前記色情報を取得する請求項１ないし３のいずれか１項に記載の三次元形状計測方法。
5. 前記輪郭検出ステップでは、前記複数の光として、赤色光、緑色光および青色光を用いる請求項１ないし４のいずれか１項に記載の三次元形状計測方法。
6. 前記緑色光が照射された前記対象物を撮像することにより得られる前記画像の解像度は、前記赤色光が照射された前記対象物を撮像することにより得られる前記画像の解像度および前記青色光が照射された前記対象物を撮像することにより得られる前記画像の解像度よりも高い請求項５に記載の三次元形状計測方法。
7. 前記深度計測ステップでは、ストラクチャードライト方式により前記深度を計測する請求項１ないし６のいずれか１項に記載の三次元形状計測方法。
8. 前記深度計測ステップは、前記輪郭検出ステップよりも先に開始される請求項１ないし７のいずれか１項に記載の三次元形状計測方法。
9. カメラを用いて対象物の深度を計測し、前記カメラを用いて前記対象物の輪郭形状を検出し、前記深度および前記輪郭形状に基づいて前記対象物の物体認識を行い、
   前記深度を計測する際の前記カメラの解像度が前記輪郭形状を検出する際の前記カメラの解像度よりも低いことを特徴とする三次元形状計測装置。
10. 請求項９に記載の三次元形状計測装置と、
    ロボットと、
    前記三次元形状計測装置の計測結果に基づいて前記ロボットの駆動を制御するロボット制御装置と、を備えるロボットシステム。

Images