JP2022098072A - 三次元形状計測方法、三次元形状計測装置およびロボットシステム - Google Patents

Abstract

【課題】装置の大型化を抑制することのできる三次元形状計測方法、三次元形状計測装置およびロボットシステムを提供すること。
【解決手段】三次元形状計測方法は、モノクロカメラを用いて対象物の深度を計測する深度計測ステップと、前記モノクロカメラを用いて前記対象物の色情報を取得する色情報取得ステップと、前記深度および前記色情報に基づいて前記対象物の物体認識を行う物体認識ステップと、を含み、前記色情報取得ステップでは、波長の異なる複数の光を前記対象物に順に照射し、前記複数の光が照射された状態の前記対象物を前記モノクロカメラで撮像することにより得られた複数の画像を合成することにより前記色情報を取得する。
【選択図】図２

Description

本発明は、三次元形状計測方法、三次元形状計測装置およびロボットシステムに関する。

例えば、カメラを用いて対象物の三次元形状を計測する方法として、特許文献１に記載されているようなストラクチャードライト方式が知られている。ストラクチャードライト方式とは、対象物Ｘに対してパターン光をずらしながら複数回投影し、その都度、パターン光が投影された対象物を含む領域をカメラで撮像し、得られた複数の撮像画像に基づいて対象物Ｘの三次元形状計測を行う方式である。このようなストラクチャードライト方式においては、画素サイズや解像度の観点からカメラとしてモノクロカメラを用いることが一般的である。

特開２０１７－７５８８７号公報

ここで、例えばロボットの分野においては、上述したようなストラクチャードライト方式による対象物の形状認識に加えて、対象物の色情報が必要となる場合がある。そのような場合には、上記のモノクロカメラとは別に対象物の色情報を取得するためのカラーカメラを別途配置する方法や、１台のカラーカメラで三次元形状の計測と色情報の取得とを行う方法がある。しかしながら、いずれの方法によっても装置の大型化を招くおそれがある。

本発明の三次元形状計測方法は、モノクロカメラを用いて対象物の深度を計測する深度計測ステップと、
前記モノクロカメラを用いて前記対象物の色情報を取得する色情報取得ステップと、
前記深度および前記色情報に基づいて前記対象物の物体認識を行う物体認識ステップと、を含み、
前記色情報取得ステップでは、波長の異なる複数の光を前記対象物に順に照射し、前記複数の光が照射された状態の前記対象物を前記モノクロカメラで撮像することにより得られた複数の画像を合成することにより前記色情報を取得する。

本発明の三次元形状計測装置は、モノクロカメラを用いて対象物の深度を計測し、前記モノクロカメラを用いて前記対象物の色情報を取得し、前記深度および前記色情報に基づいて前記対象物の物体認識を行い、
前記色情報を、波長の異なる複数の光を前記対象物に順に照射し、前記複数の光が照射された状態の前記対象物を前記モノクロカメラで撮像することにより得られた複数の画像を合成することにより取得する。

本発明のロボットシステムは、上述した三次元形状計測装置と、
ロボットと、
前記三次元形状計測装置の計測結果に基づいて前記ロボットの駆動を制御するロボット制御装置と、を備える。

第１実施形態に係るロボットシステムの全体構成を示す図である。 三次元形状計測装置の全体構成を示す図である。 投影部により投影されるパターン光の一例を示す平面図である。 三次元形状計測装置の処理工程を示すタイミングチャートである。 第２実施形態に係る三次元形状計測装置の構成を示す図である。 第３実施形態に係る三次元形状計測装置の構成を示す図である。 第４実施形態に係る三次元形状計測装置の構成を示す図である。 第５実施形態に係る三次元形状計測装置で用いるビニング機能について説明する図である。

以下、本発明の三次元形状計測方法、三次元形状計測装置およびロボットシステムを添付図面に示す実施形態に基づいて詳細に説明する。

図１は、第１実施形態に係るロボットシステムの全体構成を示す図である。図２は、三次元形状計測装置の全体構成を示す図である。図３は、投影部により投影されるパターン光の一例を示す平面図である。図４は、三次元形状計測装置の処理工程を示すタイミングチャートである。

図１に示すロボットシステム１は、ロボット２と、レーザー光ＬＬを用いて対象物Ｘの物体認識を行う三次元形状計測装置４と、三次元形状計測装置４の計測結果に基づいてロボット２の駆動を制御するロボット制御装置５と、ロボット制御装置５と通信可能なホストコンピューター６と、を有する。これら各部は、有線または無線により通信可能とされている。通信は、インターネットのようなネットワークを介してなされてもよい。

－ロボット－
ロボット２は、例えば、精密機器やこれを構成する部品の給材、除材、搬送および組立等の作業を行うロボットである。ただし、ロボット２の用途としては、特に限定されない。ロボット２は、６軸ロボットであり、床、天井等に固定されたベース２１と、ベース２１に連結されたロボットアーム２２と、を有する。

ロボットアーム２２は、ベース２１に対して第１軸Ｏ１まわりに回動自在に連結された第１アーム２２１と、第１アーム２２１に対して第２軸Ｏ２まわりに回動自在に連結された第２アーム２２２と、第２アーム２２２に対して第３軸Ｏ３まわりに回動自在に連結された第３アーム２２３と、第３アーム２２３に対して第４軸Ｏ４まわりに回動自在に連結された第４アーム２２４と、第４アーム２２４に対して第５軸Ｏ５まわりに回動自在に連結された第５アーム２２５と、第５アーム２２５に対して第６軸Ｏ６まわりに回動自在に連結された第６アーム２２６と、を有する。第６アーム２２６には、ロボット２に実行させる作業に応じたエンドエフェクター２４が装着されている。

また、ロボット２は、ベース２１に対して第１アーム２２１を回動させる第１駆動装置２５１と、第１アーム２２１に対して第２アーム２２２を回動させる第２駆動装置２５２と、第２アーム２２２に対して第３アーム２２３を回動させる第３駆動装置２５３と、第３アーム２２３に対して第４アーム２２４を回動させる第４駆動装置２５４と、第４アーム２２４に対して第５アーム２２５を回動させる第５駆動装置２５５と、第５アーム２２５に対して第６アーム２２６を回動させる第６駆動装置２５６と、を有する。第１～第６駆動装置２５１～２５６は、それぞれ、例えば、モーターと、モーターの駆動を制御するコントローラーと、モーターの回転量を検出するエンコーダーと、を有する。第１～第６駆動装置２５１～２５６の駆動は、ロボット制御装置５によって独立して制御される。

ロボット２としては、特に限定されず、例えば、ロボットアーム２２が有するアームの数が１本～５本であってもよいし、７本以上であってもよい。また、例えば、ロボット２の種類は、スカラロボットや、２つのロボットアーム２２を有する双腕ロボットであってもよい。また、床、天井等に固定されない自走式のロボットであってもよい。

－ロボット制御装置－
ロボット制御装置５は、ホストコンピューター６からロボット２の位置指令を受け、各アーム２２１～２２６が位置指令に応じた位置となるように第１～第６駆動装置２５１～２５６の駆動をそれぞれ独立して制御する。ロボット制御装置５は、例えば、コンピューターから構成され、情報を処理するプロセッサー（ＣＰＵ）と、プロセッサーに通信可能に接続されたメモリーと、外部インターフェースと、を有する。メモリーにはプロセッサーにより実行可能な各種プログラムが保存され、プロセッサーは、メモリーに記憶された各種プログラム等を読み込んで実行する。

－三次元形状計測装置－
三次元形状計測装置４は、３Ｄ点群データに基づいて対象物Ｘの三次元形状を測定すると共に２Ｄカラー画像に基づいて対象物Ｘの輪郭形状および色情報を取得する。図２に示すように、三次元形状計測装置４は、対象物Ｘを含む領域にレーザー光ＬＬにより形成したパターン光ＰＬを投影する投影部４１と、対象物Ｘを含む領域に赤色光Ｌｒ、緑色光Ｌｇおよび青色光Ｌｂを時分割で照射する照明４５と、対象物Ｘを含む領域を撮像した画像を取得する撮像部４６と、これら各部の駆動を制御する制御装置４７と、を有する。また、制御装置４７は、撮像部４６で取得した画像に基づいて対象物Ｘの三次元形状を計測する三次元形状計測部４７１と、撮像部４６で取得した画像に基づいて対象物Ｘの輪郭形状および色情報を取得する輪郭・色情報取得部４７２と、を有する。

三次元形状計測装置４は、ロボット２の第５アーム２２５に固定されている。投影部４１および照明４５は、第５アーム２２５の先端側すなわちエンドエフェクター２４側に向けてパターン光ＰＬ、赤色光Ｌｒ、緑色光Ｌｇおよび青色光Ｌｂを出射する。また、撮像部４６は、第５アーム２２５の先端側を向き、パターン光ＰＬ、赤色光Ｌｒ、緑色光Ｌｇおよび青色光Ｌｂの照射範囲を含む領域を撮像する。

第５アーム２２５の先端側にエンドエフェクター２４が位置する関係は、第５アーム２２５以外の第１～第４アーム２２１～２２４、第６アーム２２６がどのような姿勢の際にも維持される。そのため、第５アーム２２５に三次元形状計測装置４を固定することにより、三次元形状計測装置４は、常に、エンドエフェクター２４の先端側にパターン光ＰＬ、赤色光Ｌｒ、緑色光Ｌｇおよび青色光Ｌｂを出射することができると共に、エンドエフェクター２４の先端側を撮像することができる。したがって、エンドエフェクター２４により対象物Ｘを把持しようとするときの姿勢、つまり、エンドエフェクター２４が対象物Ｘに対して如何なる姿勢で対向しても、当該姿勢において対象物Ｘに向けてパターン光ＰＬ、赤色光Ｌｒ、緑色光Ｌｇおよび青色光Ｌｂを出射することができると共に、対象物Ｘを撮像することができる。

なお、三次元形状計測装置４の配置は、特に限定されず、例えば、第１～第４アーム２２１～２２４や第６アーム２２６に固定されていてもよい。また、三次元形状計測装置４は、ロボットアーム２２以外の場所、例えば、ベース２１、床、天井、壁等の可動しない部位に固定されていてもよい。

投影部４１は、対象物Ｘに向けてレーザー光ＬＬを照射することにより、対象物Ｘに対し図３に示す縞状のパターン光ＰＬを投影する。投影部４１は、図２に示すように、レーザー光ＬＬを出射するレーザー光源４２と、レーザー光源４２から出射されたレーザー光ＬＬが通過する複数のレンズを含む光学系４３と、光学系４３を通過したレーザー光ＬＬを対象物Ｘに向けて走査する光走査部４４と、を有する。レーザー光源４２としては、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ）、外部共振器型垂直面発光レーザー（ＶＥＣＳＥＬ）等の半導体レーザーを用いることができる。

光学系４３は、レーザー光源４２から出射されるレーザー光ＬＬを対象物Ｘ付近に集光する集光レンズ４３１と、集光レンズ４３１によって集光されたレーザー光ＬＬを揺動軸Ｊと平行な方向すなわち図２の紙面奥行き方向に延びるライン状とするロッドレンズ４３２と、を有する。光走査部４４は、揺動軸Ｊまわりに回動するミラー４４１を有し、このミラー４４１でレーザー光ＬＬを反射することにより、ライン状のレーザー光ＬＬを面状に走査する。これにより、簡単な構成で対象物Ｘ上にパターン光ＰＬを投影することができる。光走査部４４としては、特に限定されず、例えば、ＭＥＭＳ（Micro Electro Mechanical Systems）、ガルバノミラー、ポリゴンミラー等を用いることができる。

投影部４１としては、対象物Ｘ上にパターン光ＰＬを投影することができれば、特に限定されない。例えば、ロッドレンズ４３２ではなく、ＭＥＭＳやガルバノミラーを用いて線状のレーザー光ＬＬをライン状に拡散してもよい。つまり、２つの光走査部４４を用いてレーザー光ＬＬを二次元走査してもよい。また、例えば、２軸自由度を有するジンバル型の１つのＭＥＭＳを用いてレーザー光ＬＬを二次元走査してもよい。

照明４５は、互いに波長の異なる光を出射する複数の光源を有し、これら光源から時分割で対象物Ｘに向けて光を出射する。本実施形態の照明４５は、３つの光源４５ｒ、４５ｇ、４５ｂを有する。光源４５ｒは、赤色光Ｌｒを対象物Ｘに向けて出射し、光源４５ｇは、緑色光Ｌｇを対象物Ｘに向けて出射し、光源４５ｂは、青色光Ｌｂを対象物Ｘに向けて出射する。これにより、後述するように、フルカラーの画像Ｄ２ｑを生成することができる。これら各光源４５ｒ、４５ｇ、４５ｂとしては、特に限定されないが、例えば、ＬＥＤを用いることができる。これにより、照明４５の装置構成が簡単となる。また、省電力駆動が可能となる。ただし、照明４５が有する光源の波長（出射する光の色）や数としてとしては、特に限定されない。また、照明４５としては、例えば、白色光を出射する光源と、光源から出射された白色光を赤色光Ｌｒ、緑色光Ｌｇおよび青色光Ｌｂに時分割するカラーホイールと、を組合せた構成となっていてもよい。

撮像部４６は、対象物Ｘにパターン光ＰＬが投影されている状態および対象物Ｘに赤色光Ｌｒ、緑色光Ｌｇ、青色光Ｌｂが照射されている状態を撮像する。撮像部４６は、ＣＭＯＳイメージセンサー、ＣＣＤイメージセンサー等の撮像素子４６２および撮像素子４６２に集光させる集光レンズ４６３を備えたモノクロカメラ４６１で構成されている。モノクロカメラ４６１とは、実質的に単色の色で表現され、光度以外の情報を有さない画像（以下「モノクロ画像」とも言う）しか取得することのできないカメラを意味する。モノクロカメラ４６１で取得した画像は、三次元形状計測部４７１および輪郭・色情報取得部４７２に送信される。

前述したように、輪郭・色情報取得部４７２は、撮像部４６で取得した画像に基づいて対象物Ｘの輪郭形状および色情報を取得する。色情報を取得するためには、モノクロカメラ４６１ではなくＲＧＢカラーカメラを用いた方が効率的であるかもしれない。しかしながら、一般的に広く用いられているベイヤー配列のＲＧＢカラーカメラを用いた場合、モノクロカメラ４６１と同じ解像度で同じ明るさの画像を同じ露光時間で撮像するためには、モノクロカメラ４６１の４倍の画素数あるいは４倍の画素サイズが必要となり、その分、撮像素子および集光レンズが大型化し、モノクロカメラ４６１を用いた場合と比べて装置の大型化を招くといった問題がある。本実施形態のように三次元形状計測装置４をロボットアーム２２に搭載する場合等、配置スペースが限られた使用方法では大きな問題となる。つまり、モノクロカメラ４６１を用いることにより装置の小型を図ることができ、限られた配置スペースにも搭載し易い三次元形状計測装置４となる。

制御装置４７は、例えば、コンピューターから構成され、情報を処理するプロセッサー（ＣＰＵ）と、プロセッサーに通信可能に接続されたメモリーと、外部インターフェースと、を有する。メモリーにはプロセッサーにより実行可能な各種プログラムが記憶されており、プロセッサーは、メモリーに記憶された各種プログラム等を読み込んで実行することができる。

制御装置４７は、ストラクチャードライト方式、具体的には位相シフト法を用いて対象物Ｘの三次元形状を計測する。位相シフト法によれば、対象物Ｘの深度を精度よく計測することができるため、対象物Ｘの三次元形状を精度よく計測することができる。具体的には、制御装置４７は、ミラー４４１の揺動と同期させてレーザー光源４２からレーザー光ＬＬを出射し、図３に示すような輝度値の明暗で表現した縞模様のパターン光ＰＬを対象物Ｘ上にπ／２ずつ位相をずらして４回投影し、その都度、パターン光ＰＬが投影された対象物Ｘを含む領域をモノクロカメラ４６１で撮像するように各部の駆動を制御する。三次元形状計測部４７１は、モノクロカメラ４６１で撮像された４枚の画像Ｄ１に基づいて３Ｄ点群データを生成し、生成した３Ｄ点群データに基づいて対象物Ｘの三次元形状計測を行う。具体的には、対象物Ｘの姿勢、空間座標等を含む三次元情報を算出する。以下では、対象物Ｘの深度に基づいて三次元形状を計測する工程を「深度計測ステップ」とも言う。

対象物Ｘの三次元形状を計測する方法としては、モノクロカメラ４６１を用いる方法であれば、特に限定されない。例えば、本実施形態では、パターン光ＰＬを対象物Ｘ上にπ／２ずつ位相をずらして４回投影しているが、位相のずらし幅や投影回数は、特に限定されない。また、本実施形態では、１つの波長を有するパターン光ＰＬを用いる「単数周期位相シフト法」を用いているが、これに限定されず、異なる周期を有する複数のパターン光ＰＬを用いる「複数周期位相シフト法」を用いてもよい。位相シフト法においては、パターン光ＰＬの周期が長い程、計測レンジが拡大するが深度分解能が低下し、パターン光ＰＬの周期が短い程、計測レンジが縮小するが深度分解能が向上する。そこで、複数周期位相シフト法を用いることにより、広い計測レンジと高い深度分解能との両立を図ることができる。複数周期位相シフト法としては、特に限定されず、例えば、複数周期で周期毎に複数回計測する手法であってもよいし、複数周期で周期毎に異なった回数計測する手法であってもよい。また、ストラクチャードライト方式以外の方法で対象物Ｘの三次元形状を計測してもよい。

また、制御装置４７は、対象物Ｘの輪郭形状および色情報を取得する。具体的には、制御装置４７は、照明４５から赤色光Ｌｒ、緑色光Ｌｇ、青色光Ｌｂを時分割で順に出射し、その都度、対象物Ｘを含む領域をモノクロカメラ４６１で撮像するように各部の駆動を制御する。これにより、赤色光Ｌｒが照射された状態の対象物Ｘを含む画像Ｄ２ｒ、緑色光Ｌｇが照射された状態の対象物Ｘを含む画像Ｄ２ｇおよび青色光Ｌｂが照射された状態の対象物Ｘを含む画像Ｄ２ｂが得られる。なお、画像Ｄ２ｒでは、赤色光Ｌｒが散乱する部分ほど白く映り、画像Ｄ２ｇでは、緑色光Ｌｇが散乱する部分ほど白く映り、画像Ｄ２ｂでは、青色光Ｌｂが散乱する部分ほど白く映る。

輪郭・色情報取得部４７２は、画像Ｄ２ｒに赤色を当てはめた画像と、画像Ｄ２ｇに緑色を当てはめた画像と、画像Ｄ２ｂに青色を当てはめた画像と、を合成してフルカラーの画像Ｄ２ｑを生成する。そして、輪郭・色情報取得部４７２は、画像Ｄ２ｑに基づいて対象物Ｘの輪郭形状を取得すると共に、対象物Ｘの色情報を取得する。なお、色情報は、例えば、形状が同じで色だけが異なる複数の対象物Ｘの中から、特定の色の対象物Ｘを選択するために用いられる。以下では、対象物Ｘの輪郭形状および色情報を取得する工程を「輪郭・色情報取得ステップ」とも言う。

このように、画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂを合成して生成されたフルカラーの画像Ｄ２ｑは、例えば、前述したベイヤー配列のＲＧＢカラーカメラを用いて取得されたフルカラーの画像と比べて解像度が高く擬色の発生も少ない。したがって、より鮮明な画像Ｄ２ｑが得られ、対象物Ｘの輪郭形状および色情報を精度よく取得することができる。

なお、高精度の画像Ｄ２ｑを得るために、画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂのホワイトバランスを等しくすることが好ましい。画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂのホワイトバランスを等しくするために、例えば、画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂ毎のモノクロカメラ４６１の露光時間を等しくし、赤色光Ｌｒ、緑色光Ｌｇ、青色光Ｌｂ毎に輝度を調節してもよいし、反対に、赤色光Ｌｒ、緑色光Ｌｇ、青色光Ｌｂの輝度を等しくし、画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂ毎にモノクロカメラ４６１の露光時間を調整してもよい。これら２つの方法の中でも画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂ毎のモノクロカメラ４６１の露光時間を等しくする前者を用いることが好ましく、これにより、画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂを取得するのにかかる時間を短く抑えることができる。

また、制御装置４７は、深度計測ステップにより計測された対象物Ｘの三次元形状と、輪郭・色情報取得ステップにより取得された対象物Ｘの輪郭形状および色情報と、に基づいて対象物Ｘの物体認識を行う。このように、対象物Ｘの三次元形状を表す三次元データと対象物Ｘの輪郭形状を表す二次元データとに基づくことにより、いずれか一方に基づく場合と比較してより精度よく対象物Ｘの物体認識を行うことができる。以下では、対象物Ｘの物体認識を行う工程を「物体認識ステップ」とも言う。そして、制御装置４７は、対象物Ｘの物体認識結果をホストコンピューター６に送信する。ホストコンピューター６は、受け取った対象物Ｘの物体認識結果に基づいて、ロボット２の位置指令を生成し、ロボット制御装置５に送信する。

なお、深度計測ステップと輪郭・色情報取得ステップとの順番は、特に限定されないが、図４に示すように、深度計測ステップを輪郭・色情報取得ステップよりも先に開始することが好ましい。

具体的には、まず、深度計測ステップを開始し、画像Ｄ１の取得が完了した後、輪郭・色情報取得ステップを開始する。そして、モノクロカメラ４６１で画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂを取得しつつ、画像Ｄ１に基づいて対象物Ｘの三次元形状を計測する。つまり、画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂの取得と対象物Ｘの三次元形状計測とを並行して行う。その後、画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂの取得が完了した後に、画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂに基づいて対象物Ｘの輪郭形状および色情報を取得する。三次元形状計測部４７１が対象物Ｘの三次元形状を計測するのにかかる処理時間の方が、輪郭・色情報取得部４７２が対象物Ｘの輪郭形状および色情報を取得するのにかかる処理時間よりも長くなり易い。そのため、このような順番とすることにより、全体にかかる処理時間を短縮することができる可能性がある。

なお、図４では、三次元形状計測が終了した後に対象物Ｘの輪郭形状および色情報の取得を開始しているが、これに限定されず、三次元形状計測が終了するのを待たずに輪郭形状および色情報の取得を開始してもよい。

以上、ロボットシステム１について説明した。このようなロボットシステム１で行われる三次元形状計測方法は、前述したように、モノクロカメラ４６１を用いて対象物Ｘの深度を計測する深度計測ステップと、モノクロカメラ４６１を用いて対象物Ｘの色情報を取得する色情報取得ステップとしての輪郭・色情報取得ステップと、深度および色情報に基づいて対象物Ｘの物体認識を行う物体認識ステップと、を含む。そして、輪郭・色情報取得ステップでは、波長の異なる複数の光である赤色光Ｌｒ、緑色光Ｌｇ、青色光Ｌｂを対象物Ｘに順に照射し、各赤色光Ｌｒ、緑色光Ｌｇ、青色光Ｌｂが照射された状態の対象物Ｘをモノクロカメラ４６１で撮像することにより得られた複数の画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂを合成することにより色情報を取得する。

このような方法によれば、１台のモノクロカメラ４６１で対象物Ｘの三次元形状、輪郭形状および色情報を取得することができるため、例えば、モノクロカメラ４６１とカラーカメラとを１台ずつ用いる場合や１台のカラーカメラを用いる場合と比べてロボットシステム１の小型化を図ることができる。また、画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂを合成して得られる画像Ｄ２ｑは、カラーカメラで撮像された画像と比べて高解像度で擬色の発生が少ない。そのため、対象物Ｘの輪郭形状および色情報を精度よく取得することができる。

また、前述したように、深度計測ステップでは、ストラクチャードライト方式により対象物Ｘの深度を計測する。これにより、対象物Ｘの深度を精度よく計測することができる。

また、前述したように、深度計測ステップでは、レーザー光源４２からレーザー光ＬＬを出射し、レーザー光ＬＬをミラー４４１で走査することにより、対象物Ｘ上に所定のパターンを有するパターン光ＰＬを投影する。これにより、簡単な構成で対象物Ｘ上にパターン光ＰＬを投影することができる。

また、前述したように、輪郭・色情報取得ステップでは、複数の光として、赤色光Ｌｒ、緑色光Ｌｇおよび青色光Ｌｂを用いる。これにより、フルカラーの画像Ｄ２ｑが得られ、対象物Ｘの色情報をより正確に取得することができる。

また、前述したように、赤色光Ｌｒ、緑色光Ｌｇおよび青色光Ｌｂの光源４５ｒ、４５ｇ、４５ｂは、ＬＥＤである。これにより、装置構成が簡単となる。また、省電力駆動が可能となる。

また、前述したように、深度計測ステップは、輪郭・色情報取得ステップよりも先に開始される。これにより、物体認識全体にかかる処理時間を短縮することができる可能性がある。

また、前述したように、三次元形状計測装置４は、モノクロカメラ４６１を用いて対象物Ｘの深度を計測し、モノクロカメラ４６１を用いて対象物Ｘの色情報を取得し、深度および色情報に基づいて対象物Ｘの物体認識を行う。また、色情報を、波長の異なる複数の光である赤色光Ｌｒ、緑色光Ｌｇ、青色光Ｌｂを対象物Ｘに順に照射し、各赤色光Ｌｒ、緑色光Ｌｇ、青色光Ｌｂが照射された状態の対象物Ｘをモノクロカメラ４６１で撮像することにより得られた複数の画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂを合成することにより取得する。

このような構成によれば、１台のモノクロカメラ４６１で対象物Ｘの三次元形状、輪郭形状および色情報を取得することができるため、例えば、モノクロカメラ４６１とカラーカメラとを１台ずつ用いる場合や１台のカラーカメラを用いる場合と比べて三次元形状計測装置４の小型化を図ることができる。また、画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂを合成して得られる画像Ｄ２ｑは、カラーカメラで撮像された画像と比べて高解像度で擬色の発生が少ない。そのため、対象物Ｘの輪郭形状および色情報を精度よく取得することができる。

また、前述したように、ロボットシステム１は、三次元形状計測装置４と、ロボット２と、三次元形状計測装置４の計測結果に基づいてロボット２の駆動を制御するロボット制御装置５と、を備える。そのため、三次元形状計測装置４の効果を享受することができる。つまり、１台のモノクロカメラ４６１で対象物Ｘの三次元形状、輪郭形状および色情報を取得することができるため、例えば、モノクロカメラ４６１とカラーカメラとを１台ずつ用いる場合や１台のカラーカメラを用いる場合と比べてロボットシステム１の小型化を図ることができる。また、画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂを合成して得られる画像Ｄ２ｑは、カラーカメラで撮像された画像と比べて高解像度で擬色の発生が少ない。そのため、対象物Ｘの輪郭形状および色情報を精度よく取得することができる。

＜第２実施形態＞
図５は、第２実施形態に係る三次元形状計測装置の構成を示す図である。

本実施形態のロボットシステム１は、三次元形状計測装置４の構成が異なること以外は、前述した第１実施形態のロボットシステム１と同様である。以下の説明では、本実施形態に関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図５において、前述した実施形態と同様の構成については、同一符号を付している。

図５に示す三次元形状計測装置４では、レーザー光源４２が照明４５を兼ねている。具体的には、レーザー光源４２は、赤色レーザー光ＬＬｒを出射する赤色レーザー光源４２ｒと、緑色レーザー光ＬＬｇを出射する緑色レーザー光源４２ｇと、青色レーザー光ＬＬｂを出射する青色レーザー光源４２ｂと、を有する。そして、深度計測ステップでは、赤色レーザー光ＬＬｒ、緑色レーザー光ＬＬｇおよび青色レーザー光ＬＬｂの全てを用いて対象物Ｘ上にパターン光ＰＬを投影する。一方、輪郭・色情報取得ステップでは、赤色レーザー光ＬＬｒ、緑色レーザー光ＬＬｇおよび青色レーザー光ＬＬｂを時分割でそれぞれベタに走査することにより対象物Ｘに赤色光Ｌｒ、緑色光Ｌｇ、青色光Ｌｂを照射する。このような構成によれば、前述した第１実施形態のように、深度計測ステップで用いる光源と輪郭・色情報取得ステップで用いる光源とを別々に設けた構成と比べて三次元形状計測装置４の小型化、軽量化および低コスト化を図ることができる。

以上のように、本実施形態の三次元形状計測装置４においては、輪郭・色情報取得ステップでは、レーザー光源４２を用いて光を照射する。このような構成によれば、前述した第１実施形態のようにレーザー光源４２と照明４５とを別々に設けた構成と比べて三次元形状計測装置４の小型化、軽量化および低コスト化を図ることができる。

このような第２実施形態によっても前述した第１実施形態と同様の効果を発揮することができる。

＜第３実施形態＞
図６は、第３実施形態に係る三次元形状計測装置の構成を示す図である。

本実施形態のロボットシステム１は、三次元形状計測装置４の構成が異なること以外は、前述した第１実施形態のロボットシステム１と同様である。以下の説明では、本実施形態に関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図６において、前述した実施形態と同様の構成については、同一符号を付している。

図６に示す三次元形状計測装置４の投影部４１０は、光源４２０と、光源４２０から出射された光が通過するレンズを含む光学系４３０と、光学系４３０を通過した光を対象物Ｘに向けて反射させるＤＭＤ４４０（デジタルミラーデバイス）と、ＤＭＤ４４０で反射した光を拡大する拡大レンズ４００と、を有する。ＤＭＤ４４０は、姿勢が変化する複数のミラー４４０１を有し、各ミラー４４０１の姿勢を制御することにより、所望のパターンの光を対象物Ｘ上に投影することができる。光源４２０は、赤色光Ｌｒを出射する赤色光源４２０ｒと、緑色光Ｌｇを出射する緑色光源４２０ｇと、青色光Ｌｂを出射する青色光源４２０ｂと、を有する。

光源４２０は、前述した第２実施形態と同様に、深度計測ステップおよび輪郭・色情報取得ステップの両方で用いられる。深度計測ステップでは、赤色光Ｌｒ、緑色光Ｌｇおよび青色光Ｌｂの全てを用い、当該光をＤＭＤ４４０で反射させて対象物Ｘ上にパターン光ＰＬを投影する。一方、輪郭・色情報取得ステップでは、赤色光Ｌｒ、緑色光Ｌｇおよび青色光Ｌｂを時分割で出射し、それぞれをＤＭＤ４４０で反射させて対象物Ｘ上にベタに投影する。このような構成によれば、前述した第１実施形態のように深度計測ステップで用いる光源と輪郭・色情報取得ステップで用いる光源とを別々に設けた構成と比べて三次元形状計測装置４の小型化を図ることができる。

なお、本実施形態では、光源４２０が、赤色光Ｌｒを出射する赤色光源４２０ｒと、緑色光Ｌｇを出射する緑色光源４２０ｇと、青色光Ｌｂを出射する青色光源４２０ｂと、を有するが、これに限定されず、例えば、白色光を出射する光源と、光源から出射された白色光を赤色光Ｌｒ、緑色光Ｌｇおよび青色光Ｌｂに時分割するカラーホイールと、を組合せた構成となっていてもよい。この場合、深度計測ステップでは、赤色光Ｌｒ、緑色光Ｌｇおよび青色光Ｌｂの全てを用い、当該光をＤＭＤ４４０で反射させて対象物Ｘ上にパターン光ＰＬを投影する。一方、輪郭・色情報取得ステップでは、カラーホイールを回転させて赤色光Ｌｒ、緑色光Ｌｇおよび青色光Ｌｂを時分割で出射し、それぞれをＤＭＤ４４０で反射させて対象物Ｘ上にベタに投影する。

このような第３実施形態によっても前述した第１実施形態と同様の効果を発揮することができる。

＜第４実施形態＞
図７は、第４実施形態に係る三次元形状計測装置の構成を示す図である。

本実施形態のロボットシステム１は、三次元形状計測装置４の構成が異なること以外は、前述した第１実施形態のロボットシステム１と同様である。以下の説明では、本実施形態に関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図７において、前述した実施形態と同様の構成については、同一符号を付している。

図７に示す三次元形状計測装置４の照明４５は、前述した第１実施形態で用いた原色系光源に加えて、さらに補色系光源を有する。具体的には、照明４５は、原色系光源として、赤色光Ｌｒを出射する光源４５ｒと、緑色光Ｌｇを出射する光源４５ｇと、青色光Ｌｂを出射する光源４５ｂと、を有する。また、照明４５は、補色系光源として、赤色の補色であるシアン光Ｌｃを出射する光源４５ｃと、緑色の補色であるマゼンタ光Ｌｍを出射する光源４５ｍと、青色の補色であるイエロー光Ｌｙを出射する光源４５ｙと、を有する。

制御装置４７は、照明４５から赤色光Ｌｒ、緑色光Ｌｇ、青色光Ｌｂ、シアン光Ｌｃ、マゼンタ光Ｌｍおよびイエロー光Ｌｙを時分割によって順に出射し、その都度、対象物Ｘをモノクロカメラ４６１で撮像するように各部の駆動を制御する。これにより、赤色光Ｌｒが照射された状態の対象物Ｘを含む画像Ｄ２ｒ、緑色光Ｌｇが照射された状態の対象物Ｘを含む画像Ｄ２ｇ、青色光Ｌｂが照射された状態の対象物Ｘを含む画像Ｄ２ｂ、シアン光Ｌｃが照射された状態の対象物Ｘを含む画像Ｄ２ｃ、マゼンタ光Ｌｍが照射された状態の対象物Ｘを含む画像Ｄ２ｍおよびイエロー光Ｌｙが照射された状態の対象物Ｘを含む画像Ｄ２ｙが得られる。

輪郭・色情報取得部４７２は、対応する色スケールを当てはめた画像Ｄ２ｒ、Ｄ２ｇ、Ｄ２ｂ、Ｄ２ｃ、Ｄ２ｍ、Ｄ２ｙを合成することによりフルカラーの画像Ｄ２ｑを生成する。そして、輪郭・色情報取得部４７２は、画像Ｄ２ｑに基づいて対象物Ｘの輪郭形状を取得すると共に、対象物Ｘの色情報を取得する。このように、原色系である赤色光Ｌｒ、緑色光Ｌｇ、青色光Ｌｂに加えて補色系であるシアン光Ｌｃ、マゼンタ光Ｌｍ、イエロー光Ｌｙを用いることにより、得られる画像Ｄ２ｑがより鮮明かつ忠実となる。そのため、より精度よく、対象物Ｘの色情報を取得することができる。

以上のように、本実施形態の三次元形状計測装置４においては、輪郭・色情報取得ステップでは、複数の光として、さらに、シアン光、マゼンタ光およびイエロー光を用いる。これにより画像Ｄ２ｑがより鮮明かつ忠実となる。そのため、より精度よく対象物Ｘの色情報を取得することができる。

このような第４実施形態によっても前述した第１実施形態と同様の効果を発揮することができる。

＜第５実施形態＞
図８は、第５実施形態に係る三次元形状計測装置で用いるビニング機能について説明する図である。

本実施形態のロボットシステム１は、深度計測ステップと輪郭・色情報取得ステップとでモノクロカメラ４６１の解像度を変化させること以外は、前述した第１実施形態のロボットシステム１と同様である。以下の説明では、本実施形態に関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。また、図８において、前述した実施形態と同様の構成については、同一符号を付している。

深度計測ステップでの三次元形状認識では、モノクロカメラ４６１に高い解像度が要求されない。必要以上に高い解像度のモノクロカメラ４６１を用いてしまうと、撮像素子４６２の画素サイズが小さくなり、その分、感度が低下して露光時間が長くなる。そのため、深度計測ステップにかかる時間が長くなる。一方、輪郭・色情報取得ステップでは、モノクロカメラ４６１の解像度が高い程、対象物Ｘの輪郭および色情報を鮮明に検出することができる。このように、前記深度計測ステップと輪郭・色情報取得ステップとでは、モノクロカメラ４６１に求められる最適な解像度が異なる。そこで、本実施形態では、深度計測ステップと輪郭・色情報取得ステップとでモノクロカメラ４６１の解像度を変化させ、それぞれのステップで最適な解像度となるようにする。

具体的には、深度計測ステップにおけるモノクロカメラ４６１の解像度を輪郭・色情報取得ステップにおけるモノクロカメラ４６１の解像度よりも低くする。これにより、深度計測ステップおよび輪郭・色情報取得ステップをそれぞれ精度よく行いつつ、画像Ｄ１を取得するのにかかる時間を短くし深度計測ステップにかかる時間を短縮することができる。なお、モノクロカメラ４６１の解像度を変化させる方法としては、特に限定されないが、モノクロカメラ４６１が有するビニング機能を用いることが好ましい。ビニング機能とは、撮像素子４６２内の隣り合う画素のいくつかをひとまとめにして１つの画素として扱う機能を意味する。これにより、解像度を簡単に変更することができる。

本実施形態の深度計測ステップでは、例えば、図８に示すように、隣り合う２×２、計４つの画素Ｐｘを１つの画素Ｐｘ’として扱う。これにより、１画素あたりの受光面積を仮想的に大きくすることができるため感度を高めることができる。そのため、モノクロカメラ４６１の露光時間をより短くすることができ、画像Ｄ１を取得するのにかかる時間がより短くなる。なお、１つの画素Ｐｘ’として取り扱う画素Ｐｘの数や配置としては、特に限定されず、深度計測ステップにおいて求められるモノクロカメラ４６１の解像度や対象物Ｘの形状に基づいて適宜設定することができる。

一方、輪郭・色情報取得ステップでは、ビニング機能を用いず１つの画素Ｐｘをそのまま１つの画素として扱う。これにより、高解像度の画像Ｄ２ｑが得られ、対象物Ｘの輪郭形状および色情報を精度よく取得することができる。

以上のように、本実施形態の三次元形状計測装置４では、深度計測ステップにおけるモノクロカメラ４６１の解像度は、輪郭・色情報取得ステップにおけるモノクロカメラ４６１の解像度よりも低い。これにより、深度計測ステップにかかる時間を短縮することができる。

このような第５実施形態によっても前述した第１実施形態と同様の効果を発揮することができる。

以上、本発明の三次元形状計測方法、三次元形状計測装置およびロボットシステムを図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物が付加されていてもよい。

１…ロボットシステム、２…ロボット、２１…ベース、２２…ロボットアーム、２２１…第１アーム、２２２…第２アーム、２２３…第３アーム、２２４…第４アーム、２２５…第５アーム、２２６…第６アーム、２５１…第１駆動装置、２５２…第２駆動装置、２５３…第３駆動装置、２５４…第４駆動装置、２５５…第５駆動装置、２５６…第６駆動装置、２４…エンドエフェクター、４…三次元形状計測装置、４００…拡大レンズ、４１…投影部、４１０…投影部、４２…レーザー光源、４２ｂ…青色レーザー光源、４２ｇ…緑色レーザー光源、４２ｒ…赤色レーザー光源、４２０…光源、４２０ｂ…青色光源、４２０ｇ…緑色光源、４２０ｒ…赤色光源、４３…光学系、４３０…光学系、４３１…集光レンズ、４３２…ロッドレンズ、４４…光走査部、４４０…ＤＭＤ、４４０１…ミラー、４４１…ミラー、４５…照明、４５ｂ…光源、４５ｃ…光源、４５ｇ…光源、４５ｍ…光源、４５ｒ…光源、４５ｙ…光源、４６…撮像部、４６１…モノクロカメラ、４６２…撮像素子、４６３…集光レンズ、４７…制御装置、４７１…三次元形状計測部、４７２…輪郭・色情報取得部、５…ロボット制御装置、６…ホストコンピューター、Ｄ１…画像、Ｄ２ｂ…画像、Ｄ２ｃ…画像、Ｄ２ｇ…画像、Ｄ２ｍ…画像、Ｄ２ｑ…画像、Ｄ２ｒ…画像、Ｄ２ｙ…画像、Ｊ…揺動軸、ＬＬ…レーザー光、ＬＬｂ…青色レーザー光、ＬＬｇ…緑色レーザー光、ＬＬｒ…赤色レーザー光、Ｌｂ…青色光、Ｌｃ…シアン光、Ｌｇ…緑色光、Ｌｍ…マゼンタ光、Ｌｒ…赤色光、Ｌｙ…イエロー光、Ｏ１…第１軸、Ｏ２…第２軸、Ｏ３…第３軸、Ｏ４…第４軸、Ｏ５…第５軸、Ｏ６…第６軸、ＰＬ…パターン光、Ｐｘ…画素、Ｐｘ’…画素、Ｘ…対象物

Claims (11)

1. モノクロカメラを用いて対象物の深度を計測する深度計測ステップと、
   前記モノクロカメラを用いて前記対象物の色情報を取得する色情報取得ステップと、
   前記深度および前記色情報に基づいて前記対象物の物体認識を行う物体認識ステップと、を含み、
   前記色情報取得ステップでは、波長の異なる複数の光を前記対象物に順に照射し、前記複数の光が照射された状態の前記対象物を前記モノクロカメラで撮像することにより得られた複数の画像を合成することにより前記色情報を取得することを特徴とする三次元形状計測方法。
2. 前記深度計測ステップでは、ストラクチャードライト方式により前記深度を計測する請求項１に記載の三次元形状計測方法。
3. 前記深度計測ステップでは、レーザー光源からレーザー光を出射し、前記レーザー光をミラーで走査することにより、前記対象物上に所定のパターンを有するパターン光を投影する請求項１または２に記載の三次元形状計測方法。
4. 前記色情報取得ステップでは、前記レーザー光源を用いて前記光を照射する請求項３に記載の三次元形状計測方法。
5. 前記色情報取得ステップでは、前記複数の光として、赤色光、緑色光および青色光を用いる請求項１ないし４のいずれか１項に記載の三次元形状計測方法。
6. 前記色情報取得ステップでは、前記複数の光として、さらに、シアン光、マゼンタ光およびイエロー光を用いる請求項５に記載の三次元形状計測方法。
7. 前記光の光源は、ＬＥＤである請求項１ないし６のいずれか１項に記載の三次元形状計測方法。
8. 前記深度計測ステップにおける前記モノクロカメラの解像度は、前記色情報取得ステップにおける前記モノクロカメラの解像度よりも低い請求項１ないし７のいずれか１項に記載の三次元形状計測方法。
9. 前記深度計測ステップは、前記色情報取得ステップよりも先に開始される請求項１ないし８のいずれか１項に記載の三次元形状計測方法。
10. モノクロカメラを用いて対象物の深度を計測し、前記モノクロカメラを用いて前記対象物の色情報を取得し、前記深度および前記色情報に基づいて前記対象物の物体認識を行い、
    前記色情報を、波長の異なる複数の光を前記対象物に順に照射し、前記複数の光が照射された状態の前記対象物を前記モノクロカメラで撮像することにより得られた複数の画像を合成することにより取得することを特徴とする三次元形状計測装置。
11. 請求項１０に記載の三次元形状計測装置と、
    ロボットと、
    前記三次元形状計測装置の計測結果に基づいて前記ロボットの駆動を制御するロボット制御装置と、を備えるロボットシステム。

Images