JP2014159989A - 物体検出装置及びロボットシステム - Google Patents

Abstract

【課題】高精度な撮像を行うことができ、物体の三次元的な外形形状を高精度に検出できる物体検出装置及びロボットシステムを提供する。
【解決手段】センサユニット３００は、レーザスリット光を照射するレーザ光源３２１と、レーザ光源３２１から照射されたレーザスリット光のワークへの投影部位を、所定の走査方向へ移動させる回転ミラー３２２及びモータ３２３と、モータ３２３により回転ミラー３２２を回転させることによりワーク上でのレーザスリット光の投影部位を移動させる際に、その移動する投影部位を含むワークの外観を所望のフレームレートで連続撮像するカメラ３１０と、レーザ光源３２１及びカメラ３１０に設けたレンズユニット３５０，３６０と、カメラ３１０が連続撮像を行う際に各レンズユニット３５０，３６０の光学特性を調整可能な特性調整部３３９とを有する。
【選択図】図８

Description

開示の実施形態は、物体検出装置及びロボットシステムに関する。

特許文献１には、光切断法により物体の検出を行う技術が記載されている。光切断法では、光源から照射された光の物体への投影部位を走査方向に移動させ、その移動する投影部位を含む物体の外観を所望の間隔で連続撮像することにより、物体の三次元的な外形形状を検出する。

特開２００９−２５０８４４号公報

上記のような光切断法では、高精度な撮像を行って、物体の三次元的な外形形状を高精度に検出することが望まれている。

本発明はこのような問題に鑑みてなされたものであり、高精度な撮像を行うことができ、物体の三次元的な外形形状を高精度に検出できる物体検出装置及びロボットシステムを提供することを目的とする。

上記課題を解決するため、本発明の一の観点によれば、検出対象の物体を検出する物体検出装置であって、光を照射する光源と、前記光源から照射された前記光の前記物体への投影部位を、所定の走査方向へ移動させる走査部と、前記走査部が前記物体上での前記光の前記投影部位を移動させる際に、前記移動する投影部位を含む前記物体の外観を所望の間隔で連続撮像するカメラと、前記光源又は前記カメラに設けたレンズユニットと、前記カメラが連続撮像を行う際に前記レンズユニットの光学特性を調整可能な特性調整部と、を有することを特徴とする、物体検出装置が適用される。

本発明によれば、高精度な撮像を行うことができるので、物体の三次元的な外形形状を高精度に検出することができる。

一実施の形態のロボットシステムの全体構成の一例を表すシステム構成図である。 センサユニットの構成の一例を一部透視した状態で表す側面図である。 センサユニットの構成の一例を一部透視した状態で表す側面図である。 センサユニットの構成の一例を説明するための説明図である。 センサユニットの構成の一例を説明するための説明図である。 カメラから出力された撮像フレームの一例を表す説明図である。 レンズユニットの構成の一例を模式的に表す模式図である。 センサコントローラの機能的構成の一例を表すブロック図である。 液体レンズの焦点位置を説明するための説明図である。 Ｎ回目のスキャン時に、カメラから出力された複数の撮像フレーム、及び、距離画像生成部により生成された距離画像の一例を表す説明図である。 Ｎ＋１回目のスキャン時に、カメラから出力された複数の撮像フレーム、及び、距離画像生成部により生成された距離画像の一例を表す説明図である。 合成画像生成部により生成される合成画像の一例を表す説明図である。

以下、一実施の形態について図面を参照しつつ説明する。

まず、図１を参照しつつ、本実施形態のロボットシステムの全体構成の一例を説明する。

図１に示すように、本実施形態のロボットシステム１は、ストッカ２０（容器）と、ロボット１００と、コンベア３０と、センサユニット３００（物体検出装置）と、ロボットコントローラ２００（コントローラ）とを有する。

ストッカ２０は、例えば樹脂や金属等で形成された箱状の容器であり、ロボット１００の近傍に配置された台座２１上に配置されている。このストッカ２０の内部には、複数の検出対象のワークＷ（物体）が無作為（バラバラ）に入れられている。なお、各ワークＷは、ストッカ２０等のような容器に入れられていなくてもよく、台座２１上等のような適宜の載置面に載置されていてもよい。また、各ワークＷ及びそれらの形状としては、特に限定されるものではなく、種々考えられる。このとき、各ワークＷ及びそれらの形状は、互いに一致又は類似していてもよいし、互いに異なっていてもよい。但し、各図中では、各ワークＷの形状を簡略化して楕円形状で図示している。

ロボット１００は、ストッカ２０内の複数のワークＷを順次保持して移送する移送作業（いわゆるランダム・ビン・ピッキング）を行う。ロボット１００としては、上記のような移送作業を行うことが可能なものであれば特に限定されるものではないが、例えば垂直多関節ロボットや水平多関節ロボット（スカラロボット）等が使用可能である。この例では、ロボット１００として垂直多関節ロボットを適用し、ロボット１００は、適宜の固定面（例えば床部等）に固定された基台１０１と、基台１０１に回転自在に設けられたアーム部１０２とを有する。アーム部１０２は、基台１０１側からその反対の先端側にかけて複数の間接を有する。このアーム部１０２には、上記複数の間接をそれぞれ駆動する複数のサーボモータ（図示せず）が内蔵されている。また、アーム部１０２の先端には、ワークＷを保持可能な保持装置１０３が設けられている。

保持装置１０３としては、ワークＷを保持可能なものであれば特に限定されるものではないが、例えば、指部材によりワークＷを把持（保持の一態様）可能な把持装置、エアや電磁力等により駆動してワークＷを吸着（保持の一態様）可能な吸着装置等が使用可能である。この例では、保持装置１０３として把持装置を適用し、保持装置１０３は、ワークＷを把持可能な一対の指部材１０３ａを有する。一対の指部材１０３ａは、保持装置１０３に内蔵された適宜のアクチュエータ（図示せず）により駆動され、互いの間隔を拡張・縮小することにより開閉動作する。なお、保持装置１０３としては、上記のような構造を備えたものに限定されるものではなく、例えば、複数の指部材を有し、これら複数の指部材が揺動することによりワークＷを掴むグリッパ装置等も使用可能である。

このようなロボット１００は、ストッカ２０内の複数のワークＷを把持装置１０３の指部材１０３ａにより１つずつ順次把持し、コンベア３０において予め設定された載置位置へ移送して載置することにより、移送作業を行う。

コンベア３０は、予め設定された載置位置に載置されたワークＷを、次の工程に係る設備に搬送する。

センサユニット３００は、光切断法により、ストッカ２０内の複数のワークＷをそれぞれ検出し、それら複数のワークＷそれぞれの三次元的な外形形状（三次元的な位置及び姿勢も含む。以下同様）である三次元形状を検出する。このセンサユニット３００は、ストッカ２０の上方に位置するように、適宜の支持部材５０により支持されている。センサユニット３００については、後でより詳しく説明する。

ロボットコントローラ２００は、例えば演算器、記憶装置、入力装置等を有するコンピュータで構成され、ロボット１００及びセンサユニット３００と相互通信可能に接続されている。このロボットコントローラ２００は、センサユニット３００により検出されたストッカ２０内の複数のワークＷそれぞれの三次元形状を表す三次元形状情報に基づいて、ロボット１００全体の動作（例えば、アーム部１０２の各間接の駆動、把持装置１０３の指部材１０３ａの開閉動作等）を制御する。ロボットコントローラ２００については、後でより詳しく説明する。

次に、図２〜図５を参照しつつ、センサユニット３００の構成の一例を説明する。

図２〜図５に示すように、センサユニット３００は、レーザスキャナ３２０と、カメラ３１０と、カメラ３１０に設けたレンズユニット３５０と、センサコントローラ３３０とを有する。

レーザスキャナ３２０は、レーザ光源ユニット３２０Ａと、回転ミラー３２２と、モータ３２３（駆動装置）と、角度検出器３２４とを備える。なお、回転ミラー３２２及びモータ３２３が走査部に対応する。また、レーザ光源ユニット３２０Ａは、レーザ光源３２１（光源）と、レーザ光源３２１に設けたレンズユニット３６０とを備え、これらが共通の筐体３２６に収納されて形成されている。レーザ光源３２１は、スリット状のレーザ光（光。以下、「レーザスリット光」という）Ｌを照射する。レンズユニット３６０は、レーザ光源３２１と回転ミラー３２２との間に設けられ、レーザ光源３２１から照射されたレーザスリット光Ｌを屈折させ集光させる。レンズユニット３６０については、後でより詳しく説明する。回転ミラー３２２は、レンズユニット３６０を通過したレーザスリット光Ｌを受光し、ワークＷ等へ向けて反射させ、ワークＷ等へ投影させる。モータ３２３は、回転ミラー３２２を回転させ、回転ミラー３２２の回転角度を変化させる。モータ３２３により回転ミラー３２２を回転させることにより、ワークＷ等の投影対象となる複数の投影領域からなる全投影領域ＴＴ内のワークＷ等上でのレーザスリット光Ｌの投影部位を、矢印Ａで示す方向（所定の走査方向。以下、「走査方向Ａ」という）へ移動させることができる。角度検出器３２４は、回転ミラー３２２の回転角度を検出する。

カメラ３１０は、上記のように全投影領域ＴＴ内のワークＷ等上でのレーザスリット光Ｌの投影部位が走査方向Ａへ移動する際に、その移動する投影部位を含む全投影領域ＴＴ内のワークＷ等の外観を、所望のフレームレート（間隔）で連続撮像する。具体的には、カメラ３１０は、レーザスリット光Ｌの投影部位が、全投影領域ＴＴの反走査方向（矢印Ａで示す方向の反対方向）側端部の投影領域で生じてから、走査方向Ａに順次移動し、全投影領域ＴＴの走査方向Ａ側端部の投影領域に至るまでの間（つまり、全投影領域ＴＴの全域にわたる間）、連続撮像を行う。そして、カメラ３１０は、上記連続撮像に対応する複数の撮像フレームＦ（後述の図６参照）を出力する。図６に、カメラ３１０から出力された撮像フレームＦの一例を示す。図６に示すように、撮像フレームＦには、全投影領域ＴＴ内のワークＷ等の外観と、上記のように刻々と移動していく当該ワークＷ等上でのレーザスリット光Ｌの投影部位の挙動とが含まれている。

レンズユニット３５０は、上記ワークＷ等上でのレーザスリット光Ｌの投影部位とカメラ３１０の撮像素子３１１との間に設けられ、投影部位で反射されたレーザスリット光Ｌを屈折させ集光させる。レンズユニット３５０については、後でより詳しく説明する。

センサコントローラ３３０は、例えば演算器や記憶装置等を有するコンピュータで構成され、センサユニット３００全体の動作を制御する。このセンサコントローラ３３０は、カメラ３１０から出力された複数の撮像フレームＦに基づいて、ストッカ２０内の複数のワークＷをそれぞれ検出し、それら複数のワークＷそれぞれの三次元形状を検出する。センサコントローラ３３０については、後でより詳しく説明する。

次に、図７を参照しつつ、レンズユニット３５０，３６０の構成の一例を説明する。

図７に示すように、レンズユニット３５０は、円筒部材３５１の両端部に光透過性を有する蓋部材３５２，３５３が接合されて構成された円筒容器３５４を有する。円筒容器３５４の内部には、絶縁性及び光透過性を有する非電解液からなる第１の液体３５５と、導電性及び光透過性を有する電解液からなる第２の液体３５６とが、隣接して封入されている。第１の液体３５５及び第２の液体３５６は、互いに非混和性を有し、互いに屈折率が異なる。これら第１の液体３５５及び第２の液体３５６により、液体レンズＬＬ１が構成されている。液体レンズＬＬ１は、上記ワークＷ等上でのレーザスリット光Ｌの投影部位とカメラ３１０の撮像素子３１１との間に設けられている。また、円筒容器３５４の内壁には、第２の液体３５６に所望の電圧を印加するための電極３５７がリング状に形成されている。上記第１の液体３５５及び第２の液体３５６は、絶縁体３５８を介してこの電極３５７に接触している。

このようなレンズユニット３５０では、適宜の電圧印加装置３５９により第２の液体３５６と電極３５７との間に電圧が印加されると、その印加電圧の大小に応じて、第１の液体３５５と第２の液体３５６との界面ＩＦ１の曲率が変化する。これにより、液体レンズＬＬ１の屈折力、つまり液体レンズＬＬ１の焦点距離や画角等の光学特性が変化する。

また、レンズユニット３６０は、上記レンズユニット３５０と同様の構成である。すなわち、レンズユニット３６０は、円筒部材３６１の両端部に光透過性を有する蓋部材３６２，３６３が接合されて構成された円筒容器３６４を有する。円筒容器３６４の内部には、絶縁性及び光透過性を有する非電解液からなる第１の液体３６５と、導電性及び光透過性を有する電解液からなる第２の液体３６６とが、隣接して封入されている。第１の液体３６５及び第２の液体３６６は、互いに非混和性を有し、互いに屈折率が異なる。これら第１の液体３６５及び第２の液体３６６により、液体レンズＬＬ２（レンズ）が構成されている。液体レンズＬＬ２は、レーザ光源３２１と回転ミラー３２２との間に設けられている。また、円筒容器３６４の内壁には、第２の液体３６６に所望の電圧を印加するための電極３６７がリング状に形成されている。上記第１の液体３６５及び第２の液体３６６は、絶縁体３６８を介してこの電極３６７に接触している。

このようなレンズユニット３６０では、適宜の電圧印加装置３６９により第２の液体３６６と電極３６７との間に電圧が印加されると、その印加電圧の大小に応じて、第１の液体３６５と第２の液体３６６との界面ＩＦ２の曲率が変化する。これにより、液体レンズＬＬ２の屈折力、つまり液体レンズＬＬ２の焦点距離や画角等の光学特性が変化する。

次に、図８を参照しつつ、センサコントローラ３３０の機能的構成の一例を説明する。

図８に示すように、センサコントローラ３３０は、光源制御部３４１と、モータ制御部３４２と、カメラ制御部３３８と、特性調整部３３９と、画像取得部３３１と、画像記憶部３３２と、距離画像生成部３３３と、距離画像記憶部３３４と、合成画像生成部３３６と、検出部３４０とを備える。

光源制御部３４１は、上記レーザ光源３２１を制御し、レーザスリット光Ｌを照射させる。モータ制御部３４２は、上記角度検出器３２４により検出された上記回転ミラー３２２の回転角度情報を入力し、その入力した回転角度情報に基づいて、上記モータ３２３を制御し、回転ミラー３２２を回転させる。カメラ制御部３３８は、上記カメラ３１０を制御し、レーザスリット光Ｌの投影部位が全投影領域ＴＴの全域にわたる間に、複数回の連続撮像を行わせ、対応する複数の撮像フレームＦを出力させる。

ここで、カメラ３１０が上記複数回の連続撮像を行う１回のスキャンの際に、ワークＷ等の位置が異なったり、ワークＷ等の表面に凹凸等が存在する等により、当該ワークＷ等上でのレーザスリット光Ｌの投影部位に凹凸が存在する場合がある。この場合、投影部位が凹部であるか凸部であるかにより、レーザ光源３２１からワークＷ等の表面（投影部位）までのレーザスリット光Ｌの光路長や、ワークＷ等の表面（投影部位）からカメラ３１０の撮像素子３１１までのレーザスリット光Ｌの光路長が異なることとなる。従って、上記の場合に、上記各レンズユニット３５０，３６０の焦点距離や画角等を仮に固定値にすると、各レンズユニット３５０，３６０の焦点位置を、当該各レンズユニット３５０，３６０の焦点距離が互いに異なる複数の位置に対応させるのが困難となるおそれがある。このため、レーザ光源３２１からワークＷ等の表面までのレーザスリット光Ｌの光路長の違い（レンズユニット３６０の焦点距離の違い）や、ワークＷ等の表面からカメラ３１０の撮像素子３１１までのレーザスリット光Ｌの光路長の違い（レンズユニット３５０の焦点距離の違い）により、高精度な撮像が困難となるおそれがある。そこで本実施形態では、上記各レンズユニット３５０，３６０の焦点距離や画角等の光学特性を調整可能な特性調整部３３９が設けられている。

特性調整部３３９は、上記１回のスキャンの際に、上記各レンズユニット３５０，３６０の光学特性を調整する。具体的には、特性調整部３３９は、各レンズユニット３５０，３６０の各液体レンズＬＬ１，ＬＬ２の位置を動かすことなく、当該各液体レンズＬＬ１，ＬＬ２の光学特性を調整する。すなわち、特性調整部３３９は、上記電圧印加装置３５９がレンズユニット３５０の第２の液体３５６と電極３５７との間に印加する電圧、及び、上記電圧印加装置３６９がレンズユニット３６０の第２の液体３６６と電極３６７との間に印加する電圧を増減し、上記各界面ＩＦ１，ＩＦ２の曲率を変化させることで、各液体レンズＬＬ１，ＬＬ２の光学特性を調整する。

本実施形態では、特性調整部３３９は、各液体レンズＬＬ１，ＬＬ２の焦点位置を、当該各液体レンズＬＬ１，ＬＬ２の焦点距離が互いに異なる複数の位置の間で切り替えるように、各電圧印加装置３５９，３６９が印加する電圧を増減する。この例では、図９（ａ）に示すように、液体レンズＬＬ１の焦点距離が互いに異なる複数の位置として、上側位置Ｐ１ａ及び下側位置Ｐ１ｂの２つの位置が設定されている。上側位置Ｐ１ａは、液体レンズＬＬ１の焦点距離が相対的に短い短焦点距離となる位置（範囲）である。下側位置Ｐ１ｂは、液体レンズＬＬ１の焦点距離が上記短焦点距離よりも長い長焦点距離となる位置（範囲）である。また、この例では、図９（ｂ）に示すように、液体レンズＬＬ２の焦点距離が互いに異なる複数の位置として、上側位置Ｐ２ａ及び下側位置Ｐ２ｂの２つの位置が設定されている。上側位置Ｐ２ａは、液体レンズＬＬ２の焦点距離が相対的に短い短焦点距離となる位置（範囲）である。下側位置Ｐ２ｂは、液体レンズＬＬ２の焦点距離が上記短焦点距離よりも長い長焦点距離となる位置（範囲）である。なお、図９（ｂ）中では、説明の便宜上、レーザ光源３２１、液体レンズＬＬ２、回転ミラー３２２、及びワークＷ等が同一直線上にあるかのように図示している。

なお、上記各上側位置Ｐ１ａ，Ｐ２ａを第１位置に対応させた場合には、上記各短焦点距離が第１焦点距離に対応すると共に、上記各下側位置Ｐ１ｂ，Ｐ２ｂが第２位置に対応し、上記各長焦点距離が第２焦点距離に対応する。逆に、上記各下側位置Ｐ１ｂ，Ｐ２ｂを第１位置に対応させた場合には、上記各長焦点距離が第１焦点距離に対応すると共に、上記各上側位置Ｐ１ａ，Ｐ２ａが第２位置に対応し、上記各短焦点距離が第２焦点距離に対応する。

そして、特性調整部３３９は、各液体レンズＬＬ１，ＬＬ２の焦点位置を、上記各上側位置Ｐ１ａ，Ｐ２ａと上記各下側位置Ｐ１ｂ，Ｐ２ｂとに、カメラ３１０の撮像タイミングに対応する切替タイミングで交互に切り替えるように、各電圧印加装置３５９，３６９が印加する電圧を交互に増減する。

例えば、特性調整部３３９は、１回のスキャンにおける複数回の切替タイミングのうち、ｎ回目（ｎは正の奇数）の切替タイミング（１，３，５，７・・・回目の切替タイミング）に対応して、各液体レンズＬＬ１，ＬＬ２の焦点位置を各上側位置Ｐ１ａ，Ｐ２ａに切り替え、ｎ＋１回目の切替タイミング（２，４，６，８・・・回目の切替タイミング）に対応して、各液体レンズＬＬ１，ＬＬ２の焦点位置を各下側位置Ｐ１ｂ，Ｐ２ｂに切り替えるように、各電圧印加装置３５９，３６９が印加する電圧を増減する。なお、以下では、このような各液体レンズＬＬ１，ＬＬ２の焦点位置の切替パターンを「第１切替パターン」という。又は、特性調整部３３９は、１回のスキャンにおける複数回の切替タイミングのうち、ｎ回目の切替タイミングに対応して、各液体レンズＬＬ１，ＬＬ２の焦点位置を各下側位置Ｐ１ｂ，Ｐ２ｂに切り替え、ｎ＋１回目の切替タイミングに対応して、各液体レンズＬＬ１，ＬＬ２の焦点位置を各上側位置Ｐ１ａ，Ｐ２ａに切り替えるように、各電圧印加装置３５９，３６９が印加する電圧を増減する。なお、以下では、このような各液体レンズＬＬ１，ＬＬ２の焦点位置の切替パターンを「第２切替パターン」という。

本実施形態では、特性調整部３３９は、時間的に異なる複数回のスキャンで、上記第１切替パターンと上記第２切替パターンとを交互に繰り返すように、各電圧印加装置３５９，３６９が印加する電圧を増減する。

例えば、特性調整部３３９は、Ｎ回目（Ｎは正の奇数）のスキャン（１，３，５，７・・・回目のスキャン）では、上記第１切替パターンに対応するように各液体レンズＬＬ１，ＬＬ２の焦点位置を切り替え、Ｎ＋１回目のスキャン（２，４，６，８・・・回目のスキャン）では、上記第２切替パターンに対応するように各液体レンズＬＬ１，ＬＬ２の焦点位置を切り替えるように、各電圧印加装置３５９，３６９が印加する電圧を増減する。又は、特性調整部３３９は、Ｎ回目のスキャンでは、上記第２切替パターンに対応するように各液体レンズＬＬ１，ＬＬ２の焦点位置を切り替え、Ｎ＋１回目のスキャンでは、上記第１切替パターンに対応するように各液体レンズＬＬ１，ＬＬ２の焦点位置を切り替えるように、各電圧印加装置３５９，３６９が印加する電圧を増減してもよい。但し、以下では、説明の便宜上、特性調整部３３９は、Ｎ回目のスキャンでは、上記第１切替パターンに対応するように各液体レンズＬＬ１，ＬＬ２の焦点位置を切り替え、Ｎ＋１回目のスキャンでは、上記第２切替パターンに対応するように各液体レンズＬＬ１，ＬＬ２の焦点位置を切り替えるように、各電圧印加装置３５９，３６９が印加する電圧を増減する場合を説明する。

また、本実施形態では、上記カメラ制御部３３８は、上記Ｎ回目のスキャンと上記Ｎ＋１回目のスキャンとで、撮像開始タイミングをずらずように、カメラ３１０を制御する。

画像取得部３３１は、上記カメラ３１０から出力された複数の撮像フレームＦを取得する。画像取得部３３１により取得された複数の撮像フレームＦは、画像記憶部３３２に記憶される。

距離画像生成部３３３は、上記１回のスキャンごとに、画像記憶部３３２に記憶された当該スキャンでの複数の撮像フレームＦを用いて、三角測量の原理により、カメラ３１０とワークＷ等との距離を算出する。具体的には、距離画像生成部３３３は、当該スキャンでの複数の撮像フレームＦのそれぞれにおいて表されている、複数のレーザスリット光Ｌの投影部位の挙動のうち、ピントが合っている各部分の上記距離を算出する。そして、距離画像生成部３３３は、全投影領域ＴＴ内のワークＷ等の外観画像の上記ピントが合っていた各部分に、上記算出した距離情報を含ませた、１つの距離画像ＤＰ（後述の図１０後段及び図１１後段参照）を生成する。距離画像生成部３３３により生成された距離画像ＤＰは、距離画像記憶部３３４に記憶される。

図１０に、上記Ｎ回目のスキャン時に、カメラ３１０から出力された複数の撮像フレームＦ、及び、距離画像生成部３３３により生成された距離画像ＤＰの一例を示す。なお、図１０上段及び後述の図１１上段中では、説明の便宜上、複数のワークＷがストッカ２０内に入れられているのではなく、複数（この例では２つ）のワークＷが台座２１上に載置されている状態でカメラ３１０により撮像された場合に対応する複数の撮像フレームＦを図示している。また、以下では、説明の便宜上、Ｍ回目（Ｍは正の整数）の撮像に対応するＭ個目の撮像フレームＦを「撮像フレームＦＭ」、Ｍ＋１回目の撮像に対応するＭ＋１個目の撮像フレームＦを「撮像フレームＦＭ１」という。

図１０上段に示すように、Ｎ回目のスキャン時にカメラ３１０から出力された複数の撮像フレームＦのうち、Ｍ個目の撮像フレームＦＭには、上記各上側位置Ｐ１ａ，Ｐ２ａ内に存在するワークＷの上面にピントが合って、当該各上側位置Ｐ１ａ，Ｐ２ａ外に存在するワークＷの下面（台座２１の上面）にピントが合っていないレーザスリット光Ｌの投影部位の挙動が表されている。一方、Ｍ＋１個目の撮像フレームＦＭ１には、上記各下側位置Ｐ１ｂ，Ｐ２ｂ外に存在するワークＷの上面にピントが合っておらず、当該各下側位置Ｐ１ｂ，Ｐ２ｂ内に存在するワークＷの下面（台座２１の上面）にピントが合っているレーザスリット光Ｌの投影部位の挙動が表されている。なお、図１０上段及び後述の図１１上段中では、ピントが合っているレーザスリット光Ｌの投影部位の挙動を細線、ピントが合っていないレーザスリット光Ｌの投影部位の挙動を太線で図示している。また、図１０下段に示すように、Ｎ回目のスキャン時に上記図１０上段に示す複数の撮像フレームＦを用いて生成された距離画像ＤＰは、台座２１上の２つのワークＷの外観画像の上記ピントが合っていた各部分Ｐａに距離情報を含む。

図１１に、上記Ｎ＋１回目のスキャン時に、カメラ３１０から出力された複数の撮像フレームＦ、及び、距離画像生成部３３３により生成された距離画像ＤＰの一例を示す。

図１１上段に示すように、Ｎ＋１回目のスキャン時にカメラ３１０から出力された複数の撮像フレームＦのうち、Ｍ個目の撮像フレームＦＭには、上記各上側位置Ｐ１ａ，Ｐ２ａ内に存在するワークＷの上面にピントが合って、当該各上側位置Ｐ１ａ，Ｐ２ａ外に存在するワークＷの下面（台座２１の上面）にピントが合っていないレーザスリット光Ｌの投影部位の挙動が表されている。一方、Ｍ＋１個目の撮像フレームＦＭ１には、上記各下側位置Ｐ１ｂ，Ｐ２ｂ外に存在するワークＷの上面にピントが合っておらず、当該各下側位置Ｐ１ｂ，Ｐ２ｂ内に存在するワークＷの下面（台座２１の上面）にピントが合っているレーザスリット光Ｌの投影部位の挙動が表されている。また、図１１下段に示すように、Ｎ＋１回目のスキャン時に上記図１１上段に示す複数の撮像フレームＦを用いて生成された距離画像ＤＰは、台座２１上の２つのワークＷの外観画像の上記ピントが合っていた各部分Ｐｂに距離情報を含む。

図８に示すように、合成画像生成部３３６は、各スキャンが終了するごとに、距離画像記憶部３３４に記憶された時間的に互いに異なる複数回（この例では２回）のスキャンでの複数（この例では２つ）の距離画像ＤＰを合成し、合成画像ＣＰ（後述の図１２参照）を生成する。合成画像ＣＰは、ストッカ２０内の複数のワークＷそれぞれの三次元形状を検出するための画像である。具体的には、合成画像生成部３３６は、各スキャンが終了するごとに、最新のスキャンでの距離画像ＤＰと、その直前のスキャンでの距離画像ＤＰとを合成し、合成画像ＣＰを生成する。すなわち、合成画像生成部３３６は、最新のスキャンに基づく距離画像ＤＰのうち距離情報を含む部分と、その直前のスキャンに基づく距離画像ＤＰのうち部分とを合成する。これにより、合成画像生成部３３６は、最新のスキャンに基づく距離画像ＤＰで距離情報を含まない部分を、その直前のスキャンに基づく距離画像ＤＰで距離情報を含む部分で補完する。このようにすることで、合成画像生成部３３６は、合成画像ＣＰを生成する。合成画像生成部３３６により生成された合成画像ＣＰは、検出部３４０へ出力される。

図１２に、合成画像生成部３３６により、上記図１０下段及び図１１下段に示す距離画像ＤＰ，ＤＰが合成されて生成された合成画像ＣＰの一例を示す。

図１２に示すように、上記図１０下段及び図１１下段に示す距離画像ＤＰ，ＤＰが合成されて生成された合成画像ＣＰは、台座２１上の２つのワークＷの外観画像の上記各部分Ｐａ，Ｐｂ（つまり、当該外観画像のほぼ全部）に距離情報を含む。

図８に示すように、検出部３４０は、各スキャンが終了するごとに、合成画像生成部３３６から出力される合成画像ＣＰを取得する。そして、検出部３４０は、上記取得した合成画像ＣＰを用いて、ストッカ２０内の複数のワークＷそれぞれの三次元形状を検出する。検出部３４０による検出結果を表す検出信号は、上記ロボットコントローラ２００へ出力される。

これにより、ロボットコントローラ２００は、検出部３４０から出力された上記検出信号を取得する。そして、ロボットコントローラ２００は、上記取得した検出信号で表される三次元形状情報に基づいて、１つのワークＷ（例えば最も保持し易いワークＷ等）を保持して移送するように、上記ロボット１００を動作させる。

以上説明したように、本実施形態のセンサユニット３００には、カメラ３１０及びレーザ光源３２１に設けた各レンズユニット３５０，３６０の光学特性を調整可能な特性調整部３３９が設けられている。特性調整部３３９は、１回のスキャンの際に、各レンズユニット３５０，３６０の光学特性を調整することが可能である。この結果、上記ワークＷ等の表面の凹凸に対応して上記１回のスキャン中において高速で光学特性を切り替えることができる。したがって、高精度な撮像を行うことができ、ワークＷの三次元形状を高精度に検出することができる。

また、本実施形態では特に、レーザスリット光Ｌを照射するレーザ光源３２１が設けられ、レンズユニット３６０が、レーザ光源３２１と回転ミラー３２２との間に液体レンズＬＬ２を有する。これにより、レーザスリット光Ｌを走査してカメラ３１０が連続撮像することでワークＷの三次元形状を検出する構成において、上記ワークＷ等の表面の凹凸に対応した高精度な撮像を行うことができる。この結果、ワークＷの三次元形状を高精度に検出することができる。

また、本実施形態では特に、レーザ光源３２１とレンズユニット３６０とが共通の筐体３２６に収納されてレーザ光源ユニット３２０Ａが形成される。このレーザ光源ユニット３２０Ａを用いることで、レーザ光源３２１及びレンズユニット３６０を別々の筐体に収納する場合に比べてセンサユニット３００を小型化できる。

また、本実施形態では特に、レーザ光源３２１から照射されたレーザスリット光Ｌを受光しワークＷ等へ向けて反射させる回転ミラー３２２と、回転ミラー３２２の回転角度を変化させ上記ワークＷ等上でのレーザスリット光Ｌの投影部位を移動させるモータ３２３とが設けられている。これら回転ミラー３２２及びモータ３２３を用いることで、上記ワークＷ等へ向けて反射させるレーザスリット光Ｌを走査方向Ａに容易に移動させることができる。

また、本実施形態では特に、特性調整部３３９が、液体レンズＬＬ２の位置を動かすことなく当該液体レンズＬＬ２の光学特性を調整可能である。これにより、適宜の駆動機構等によりレンズの位置を変位させる場合と異なり、液体レンズＬＬ２の位置を動かすことなく、上記ワークＷ等の表面の凹凸に対応した高精度な撮像を行うことができる。また、液体レンズＬＬ２の位置を変位させるための適宜の駆動機構等の設置のためのスペースや費用を削減できるので、センサユニット３００を小型化及び低コスト化できる。

また、本実施形態では特に、レンズユニット３６０に液体レンズＬＬ２が設けられ、レンズユニット３６０が、液体レンズＬＬ２の第２の液体３６６に所望の電圧を印加するための電極３６７を有し、特性調整部３３９が、電圧印可装置３６０が第２の液体３６６と電極３６７との間に印加する電圧を増減可能である。これにより、第２の液体３６６と電極３６７との間への電圧大小で焦点距離や画角等を応答性よく自在に変えられる液体レンズＬＬ２の性質を利用して、液体レンズＬＬ２の位置を動かすことなく、上記ワークＷ等の表面の凹凸に対応した高精度な撮像を行うことができる。

また、本実施形態では特に、特性調整部３３９が、液体レンズＬＬ２の焦点位置を、互いに異なる焦点距離を与える複数の位置の間で切り替えるように、電圧印可装置３６０が第２の液体３６６と電極３６７との間に印加する電圧を増減する。これにより、上記ワークＷ等の表面の凹凸等によりレーザ光源３２１から上記ワークＷ等の表面までのレーザスリット光Ｌの光路長が長くなったり短くなったりする場合であっても、これに対応して上記１回のスキャン中において応答性よく高速で液体レンズＬＬ２の焦点距離を切り替え、高精度な撮像を行うことができる。

また、本実施形態では特に、特性調整部３３９が、液体レンズＬＬ２の焦点位置を、上側位置Ｐ２ａと下側位置Ｐ２ｂとに、交互に切り替えるように、電圧印可装置３６０が第２の液体３６６と電極３６７との間に印加する電圧を交互に増減する。これにより、レーザ光源３２１から上記ワークＷ等の表面までのレーザスリット光Ｌの光路長が相対的に短くなる上記ワークＷ等の凸部に投影するときには、液体レンズＬＬ２の焦点位置を上側位置Ｐ２ａとし、レーザ光源３２１から上記ワークＷ等の表面までのレーザスリット光Ｌの光路長が相対的に長くなる上記ワークＷ等の凹部に投影するときには、液体レンズＬＬ２の焦点位置を下側位置Ｐ２ｂとすることができる。この結果、確実に高精度な撮像を行うことができる。

また、本実施形態のロボットシステム１では、ロボット１００により、ストッカ２０内の複数のワークＷが順次保持され移送される。本実施形態では、上記複数のワークＷの移送の際、ロボットコントローラ２００の制御に基づいて、上記のようにしてセンサユニット３００により検出された各ワークＷの三次元形状に応じて、ロボット１００が動作する。これにより、上記複数のワークＷの移送を円滑かつ確実に行うことができる。また、前述したようにして各ワークＷの三次元形状が高精度に検出されることから、ロボット１００による上記複数のワークＷの移送を、確実に円滑に行うことができる。また、本実施形態のように、センサユニット３００において、特性調整部３３９が液体レンズＬＬ２の位置を動かすことなく当該液体レンズＬＬ２の光学特性を調整可能である場合、液体レンズＬＬ２の位置を変位させるための適宜の駆動機構等の設置のためのスペースや費用を削減することができるので、センサユニット３００を小型化及び低コスト化できる。また、このようにセンサユニット３００を小型化できる結果、周囲物との干渉を回避することができる。

なお、実施の形態は、上記内容に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。

すなわち、上記実施形態においては、第２の液体３５６と電極３５７との間への印加電圧を増減して液体レンズＬＬ１の焦点距離を調整すると共に、第２の液体３６６と電極３６７との間への印加電圧を増減して液体レンズＬＬ２の焦点距離を調整するとき、特性調整部３３９は、各液体レンズＬＬ１，ＬＬ２の焦点位置を、各上側位置Ｐ１ａ，Ｐ２ａと各下側位置Ｐ１ｂ，Ｐ２ｂとに、交互に切り替えるように、上記各印加電圧を交互に増減していた。しかしながら、本開示の実施形態はこれに限定されるものではない。例えば、特性調整部３３９が、各液体レンズＬＬ１，ＬＬ２の焦点位置を、互いに異なる焦点距離を与える３つ以上の位置の間で切り替えるように、上記各印可電圧を増減してもよい。あるいは、特性調整部３３９が、カメラ３１０による１つの撮像フレームＦ（第１撮像フレーム）の撮像時における上記各印加電圧を、当該撮像フレームＦよりも１つ前の撮像フレームＦ（第２撮像フレーム）の撮像結果に基づいて設定してもよい。この場合には、各液体レンズＬＬ１，ＬＬ２の焦点距離の微細な調整を精度よく行うことができるので、さらに確実に高精度な撮像を行うことができる。

また、上記実施形態においては、センサユニット３００は、ストッカ２０の上方に位置するように、支持部材５０により支持されていたが、本開示の実施形態はこれに限定されるものではない。例えば、センサユニット３００は、ロボット１００の適宜の部位（例えばアーム部１０２の先端側等）に取り付けられていてもよい。このようにセンサユニット３００をロボット１００に取り付けた上で用いる場合でも、上述のようにしてセンサユニット３００を小型化できる結果、周囲物との干渉を回避することができる。

また、上記実施形態においては、各レンズユニット３５０，３６０は、レンズとして液体レンズＬＬ１，ＬＬ２を備え、特性制御部３３９は、上記各印可電圧を増減することにより各液体レンズＬＬ１，ＬＬ２の屈折力を変化させることで、各レンズの位置を動かすことなく当該各レンズの光学特性を調整していた。しかしながら、本開示の実施形態はこれに限定されるものではない。例えば、レンズユニットが、液体レンズ以外のレンズ（例えば液晶レンズ等の可変焦点レンズ）を備え、特性制御部が、適宜の手法を用いてレンズの屈折力を変化させることで、レンズの位置を動かすことなく当該レンズの光学特性を調整してもよい。あるいは、レンズユニットが、複数のレンズとこれら複数のレンズを駆動する適宜の駆動機構とを備え、特性制御部が、駆動機構を駆動させることにより複数のレンズの位置関係を調整することで、レンズユニットの光学特性を調整してもよい。

また、上記実施形態においては、レーザ光源３２１とレンズユニット３６０とが共通の筐体３２６に収納されてレーザ光源ユニット３２０Ａが形成されていたが、本開示の実施形態はこれに限定されるものではない。例えば、レーザ光源３２１とレンズユニット３６０とは、別々の筐体に収納されてもよい。

また、上記実施形態においては、光源としてレーザスリット光Ｌを照射するレーザ光源３２１を用いていたが、本開示の実施形態はこれに限定されるものではない。例えば、光源としてパターン光等の光を照射する適宜の光源（例えばプロジェクタ等）を用いてもよい。

また、上記実施形態においては、レーザ光源３２１及びカメラ３１０の両方にレンズユニット３５０，３６０を設けていたが、本開示の実施形態はこれに限定されるものではない。例えば、レーザ光源３２１及びカメラ３１０のどちらか片方のみに、レンズユニットを設けてもよい。

また、上記実施形態においては、モータ３２３により回転ミラー３２２を回転させることにより、レーザ光源３２１から照射されたレーザスリット光ＬのワークＷ等への照射部位を移動させていたが、本開示の実施形態はこれに限定されるものではない。例えば、レーザ光源３２１等の光源から照射される光の向きを変化させたり光源自体を移動させることにより、光源から照射された光のワークＷ等への照射部位を移動させてもよい。この場合、光源から照射される光の向きを変化させたり当該光源自体を移動させる構成が、走査部に対応する。

また、上記実施形態においては、センサユニット３００をロボットシステム１に適用していたが、センサユニットはロボットシステム以外にも適用可能である。

また、図８中に示す矢印は、信号の流れの一例を示すものであり、信号の流れ方向を限定するものではない。

また、以上既に述べた以外にも、上記実施形態等による手法を適宜組み合わせて利用してもよい。

その他、一々例示はしないが、上記実施形態等は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。

１ ロボットシステム
２０ ストッカ（容器）
１００ ロボット
２００ ロボットコントローラ（コントローラ）
３００ センサユニット（物体検出装置）
３１０ カメラ
３２０ レーザ光源ユニット
３２１ レーザ光源（光源）
３２２ 回転ミラー
３２３ モータ（駆動装置）
３２６ 筐体
３３９ 特性調整部
３５０ レンズユニット
３６０ レンズユニット
３６５ 第１の液体
３６６ 第２の液体
３６７ 電極
Ｆ 撮像フレーム
Ｌ レーザスリット光（光、スリット状のレーザ光）
ＬＬ２ 液体レンズ（レンズ）
Ｗ ワーク（物体）

Claims (11)

1. 検出対象の物体を検出する物体検出装置であって、
   光を照射する光源と、
   前記光源から照射された前記光の前記物体への投影部位を、所定の走査方向へ移動させる走査部と、
   前記走査部が前記物体上での前記光の前記投影部位を移動させる際に、前記移動する投影部位を含む前記物体の外観を所望の間隔で連続撮像するカメラと、
   前記光源又は前記カメラに設けたレンズユニットと、
   前記カメラが連続撮像を行う際に前記レンズユニットの光学特性を調整可能な特性調整部と、
   を有することを特徴とする、物体検出装置。
2. 前記光源は、
   スリット状のレーザ光を照射するレーザ光源であり、
   前記レンズユニットは、
   前記レーザ光源と前記走査部との間に設けられたレンズを有する
   ことを特徴とする、請求項１記載の物体検出装置。
3. 前記レーザ光源と前記レンズユニットとが共通の筐体に収納されてレーザ光源ユニットを形成する
   ことを特徴とする、請求項２記載の物体検出装置。
4. 前記走査部は、
   前記レーザ光源から照射された前記レーザ光を受光し前記物体へ向けて反射させる回転ミラーと、
   前記回転ミラーの回転角度を変化させ前記物体上での前記レーザ光の前記投影部位を移動させる駆動装置と、
   を有することを特徴とする、請求項２又は３記載の物体検出装置。
5. 前記特性調整部は、
   前記レンズの位置を動かすことなく前記レンズの光学特性を調整可能に構成されている
   ことを特徴とする、請求項４記載の物体検出装置。
6. 前記レンズは、
   封入された液体により構成された液体レンズであり、
   前記レンズユニットは、
   前記液体レンズの前記液体に所望の電圧を印加するための電極を有し、
   前記特性調整部は、
   前記電極に印加する電圧を増減可能に構成されている
   ことを特徴とする、請求項５記載の物体検出装置。
7. 前記特性調整部は、
   前記液体レンズの焦点位置を、互いに異なる焦点距離を与える複数の位置の間で切り替えるように、前記電極に印加する電圧を増減する
   ことを特徴とする、請求項６記載の物体検出装置。
8. 前記特性調整部は、
   前記液体レンズの焦点位置を、第１焦点距離を与える第１位置と、第１焦点距離より長い第２焦点距離を与える第２位置とに、交互に切り替えるように、前記電極に印加する電圧を交互に増減する
   ことを特徴とする、請求項７記載の物体検出装置。
9. 前記特性調整部は、
   前記カメラによる第１撮像フレームの撮像時における前記電極への印加電圧を、前記第１撮像フレームより１つ前の撮像フレームである第２撮像フレームの撮像結果に基づいて設定する
   ことを特徴とする、請求項６記載の物体検出装置。
10. 複数の前記物体が入った容器と、
    前記容器内の前記複数の物体を順次保持して移送するロボットと、
    請求項１乃至９のいずれか１項に記載の物体検出装置と、
    前記物体検出装置により検出された前記容器内の前記複数の物体それぞれの三次元形状に基づいて前記ロボットを動作させるコントローラと、
    を有することを特徴とする、ロボットシステム。
11. 前記物体検出装置は、
    前記ロボットに取り付けられている
    ことを特徴とする、請求項１０記載のロボットシステム。

Images