JP2020193946A - 光学装置及び把持システム - Google Patents

Abstract

【課題】各光学デバイス間で発生するオクルージョンを低減し、凹凸がある対象物でも近距離で十分に測距する。【解決手段】所定のパターンを対象物に投影する投影手段と、前記所定のパターンが投影された前記対象物を撮影する撮影手段とを備え、前記撮影手段は、第１のカメラ及び第２のカメラを含むステレオカメラと、カラーカメラとを含み、前記投影手段の周囲に、前記撮影手段に含まれる複数のカメラが配置される。【選択図】図３

Description

本発明は、光学装置及び把持システムに関する。

野菜・果実の収穫のため、ロボットハンドにセンサを搭載し、センサの検知結果に基づいて把持動作を実行して収穫を行う装置が知られている。例えば、明部と暗部とを含むパターンを投影し、それをセンサにより撮影することで位置姿勢を計測することができる。

特許文献１は、ステレオカメラを用いてワークの３次元位置姿勢を取得するワーク位置姿勢計測装置を開示している。

特開２０１２−１８３６１６号公報

しかしながら、特許文献１に記載の技術では、各光学デバイス間で発生するオクルージョンの影響で、凹凸がある対象物を近距離で測距することが難しいという課題がある。これは、ステレオカメラで立体的な対象物を撮影する場合、オクルージョンが発生し、左右のカメラで撮影できる範囲に違いが生じてしまうからである。

本発明は、上記課題の認識を契機として為されたものであり、各光学デバイス間で発生するオクルージョンを低減し、凹凸がある対象物でも近距離で測距するための技術を提供することを目的とする。

上記の目的を達成する本発明の一態様に係る光学装置は、
所定のパターンを対象物に投影する投影手段と、
前記所定のパターンが投影された前記対象物を撮影する撮影手段と、
を備え、
前記撮影手段は、第１のカメラ及び第２のカメラを含むステレオカメラと、カラーカメラとを含み、
前記投影手段の周囲に、前記撮影手段に含まれる複数のカメラが配置されることを特徴とする。

本発明によれば、各光学デバイス間で発生するオクルージョンを低減することができるため、撮影画像に基づいて、凹凸がある対象物でも近距離で測距することが可能となる。

本発明の実施形態を示す添付図面は明細書の一部を構成し、その記述と共に本発明を説明するために用いられる。
実施形態に係る把持システムの構成例を説明するための図である。 実施形態に係る計測装置の構成例を説明するためのブロック図である。 実施形態に係る各光学デバイスの配置例を示す図である。 実施形態に係る各光学デバイスの別の配置例を示す図である。 実施形態に係る各光学デバイスの別の配置例を示す図である。 実施形態に係る各光学デバイスの別の配置例を示す図である。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでするものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴うち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

＜システム構成＞
図１は、本実施形態に係る把持システムの構成例を示す図である。１は把持システムである。把持システム１は、対象物（トマトなどの野菜、果実等、把持対象物）を把持して収穫するためのシステムである。

１０は対象物を把持するための把持部である。把持部１０は、手指のような形状で対象物を掴むタイプであってもよいし、吸着機構により対象物に吸着することで把持を行うタイプであってもよい。１１は、把持部１０に装着されたカメラ部であり、複数の光学デバイスにより構成される光学装置である。１２は、把持部１０を支持するアーム部である。１３は柱部である。アーム部１２は柱部１３に沿って上下方向（矢印１４の方向）に移動可能に構成されている。１５は台車である。把持部１０により収穫された対象物を載置することができる。１６は、カメラ部１０とは別のカメラ部であり、複数の光学デバイスにより構成される光学装置である。カメラ部１６は、例えば台車１５上に複数（例えば台車１５の四隅に４つのカメラ部１６ａ、１６ｂ...）構成される（残り２つは不図示）。なお、カメラ部１６は４つに限られず、他の個数であってもよい。カメラ部１６は、対象物を見上げるように対象物からは遠方に配置されたカメラ部である。これにより、葉などで発生する隠れの影響を低減しつつ、距離計測を行うことが可能となる。

図２は、本実施形態に係る計測装置の構成例である。１００は計測装置である。計測装置は、カメラ部１１と、制御部１０１と、記憶部１０２と、通信部１０３とを含んで構成される。制御部１０１、記憶部１０２及び通信部１０３は、カメラ部１１と一体に構成されていてもよいし、例えば柱部１３の内部など、カメラ部１１とは別体として構成されてもよい。

本実施形態では、カメラ部１１は、投影部１１ａと、撮影部１１ｂとを含んで構成される光学装置である。投影部１１ａは、レーザプロジェクタ１１０を含む。レーザプロジェクタ１１０は、所定のパターン（例えば、ラインパターンやランダムドットパターンなど）を対象物に対して投影することができる。投影するパターンは、距離計測可能なパターンであればどのようなパターンを用いてもよく、その種類は限定されない。

撮影部１１ｂは、ステレオカメラ１１１と、カラーカメラ１１２とを含む。撮影部１１ｂは、投影部１１ａにより所定のパターンが投影された対象物を撮影する。

制御部１０１は、記憶部１０２に記憶されているプログラムを読み出して実行することにより、投影部１１ａ及び撮影部１１ｂの動作を制御するとともに、各種の処理を実行する。例えば、撮影部１１ｂにより撮影された画像に基づいて、対象物の位置姿勢計測（距離計測）を行う。

具体的には、制御部１０１は、投影部１１ａ及び撮影部１１ｂの動作を制御して、レーザプロジェクタ１１０により所定のパターンが投影された対象物をステレオカメラ１１１により撮影する。そして、制御部１０１は、撮影されたステレオ画像を取得する。そして、歪み補正処理及びステレオ平行化処理等の処理を施した後に、ステレオマッチングを行って視差画像を取得する。そして視差画像を点群変換する。一方、カラーカメラ１１２により同じ対象物のカラー画像を別途撮影し、歪み補正処理を施しておく。そして、距離計測できた点群をカラーカメラ１１２の座標系に変換する。そして、カラー画像の分解能で点群を生成し、点群の色付けを行う。この際、１つの画素に複数の点群が存在する場合には近い方の点と当該画素とを対応付ければよい。これにより、距離計測できた点群に対応するカラー点群（距離計測ができた部位を示す点群）を取得することができる。

また、制御部１０１は、計測された対象物の位置姿勢に基づいて把持部１０を制御し、対象物を把持させる制御を行うこともできる。

記憶部１０２は、制御部１０１が実行する処理内容が格納されたプログラムや、撮影部１１ｂにより撮影された画像、制御部１０１により実行された処理結果を記憶する。

通信部１０３は、計測装置１００の外部と通信を行うために使用される。例えば、制御部１０１により実行された処理結果や、撮影部１１ｂにより撮影された画像などを外部サーバ（不図示）へ送信する。

また、本実施形態に係る計測装置１００とは別の計測装置は、カメラ部１６と、計測装置１００と同様に、制御部、記憶部、通信部とを含んで構成される。カメラ部１６はそれぞれ、カメラ部１１と同様に投影部及び撮影部（不図示）を含んで構成される光学装置である。制御部、記憶部、通信部は、カメラ部１６と一体的に構成されてもよいし、計測装置１００と同様に柱部１３の内部など、カメラ部１６とは別体として構成されてもよい。なお、別の計測装置の制御部等は、計測装置１００の制御部１０１等と共通化されてもよい。別の計測装置は、対象物から遠方に配置されており、対象物の概略位置姿勢を計測するために使用される。

光学装置１１に基づく計測装置１００の計測結果と、光学装置１６に基づく別の計測装置の計測結果とに基づいて、対象物の位置姿勢を計測することができる。例えば、別の光学装置１６により撮影された画像に基づく対象物の概略位置姿勢を用いて、光学装置１１により撮影された画像に基づく対象物の位置姿勢の計測結果を取得し、当該計測結果に基づいて対象物を把持するように把持部１０を制御する。このように、遠距離用の光学装置１６と近距離用の光学装置１１とを組み合わせることで、精度のよい計測・把持動作を実現することが可能となる。

＜光学デバイスの配置例＞
続いて、図３を参照して、本実施形態に係る光学デバイスの配置例を説明する。図３は、カメラ部１１の光学デバイス（レーザプロジェクタ１１０、第１のカメラ及び第２のカメラを含むステレオカメラ１１１、カラーカメラ１１２）のレンズ部分を示す図である。

３０１はレーザプロジェクタ１１０を示し、３０２及び３０３は、それぞれステレオカメラ１１１を構成する第１のカメラ及び第２のカメラを示している。また３０４は、カラーカメラ１１２を示している。

図３の例では、レーザプロジェクタ３０１の周囲に、他のカメラ（第１のカメラ３０２、第２のカメラ３０３、カラーカメラ３０４）を配置している。例えば、他のカメラ（第１のカメラ３０２、第２のカメラ３０３、カラーカメラ３０４）がレーザプロジェクタ３０１に隣接して配置されている。すなわち、レーザプロジェクタ３０１の光軸中心Ａと第１のカメラ３０２の光軸中心Ｂと間の距離が最小になるように、光軸中心Ａと第２のカメラ３０３の光軸中心Ｃとの間の距離が最小になるように、さらに、光軸中心Ａとカラーカメラ３０４の光軸中心Ｄとの間の距離が最小になるようにそれぞれ配置されている。

これにより、レーザプロジェクタにより投影されるパターンのオクルージョンを低減することが可能となるとともに、各光学デバイスが近接して配置されることで装置全体を小型化することができる。

なお、各光学デバイスの配置例は図３の例に限定されるものではない。例えば、図４に示すように、各光学デバイス間の距離の総和が最小になるように各光学デバイスが配置されてもよい。すなわち、ＡＢ、ＡＣ、ＡＤ、ＢＤ、ＣＤ、ＢＣ、ＡＤの距離の総和が最小になるように配置されてもよい。これにより、ステレオカメラ３０２、３０３と、カラーカメラ３０４のオクルージョンを最小化することができる。さらに、各光学デバイスが最も近接して配置されることで装置全体を小型化することができる。

また、図３及び図４の例に代えて、第１のカメラ３０２及び第２のカメラ３０３が最も近接するように各光学デバイスを配置してもよい。例えば、図５に示すように、図３及び図４と同様に、レーザプロジェクタ３０１の周囲に、第１のカメラ３０２及び第２のカメラ３０３と、カラーカメラ３０４とが配置されている。図５の例では、少なくとも第１のカメラ３０２及び第２のカメラ３０３が相互に隣接した状態で配置される。これにより、ステレオカメラ３０２、３０３の基線長（ＢＣ間の距離）を最小化することができ、計算コストを最小化することが可能となる。また、各光学デバイスが近接して配置されることで装置全体を小型化することができる。

また、図３乃至図５の例ではレーザプロジェクタ３０１を中心に他の光学デバイスを配置する例を説明したが、レーザプロジェクタ３０１以外の光学デバイス（例えば最も画角が狭いカメラ）を中心に他の光学デバイスを配置するようにしてもよい。例えば、図６に示すように、最も画角が狭いカラーカメラ３０４の周囲に、第１のカメラ３０２及び第２のカメラ３０３、レーザプロジェクタ３０１が配置されるように構成してもよい。これにより、撮影可能な範囲を最大化することが可能となるとともに、各光学デバイスが近接して配置されることで装置全体を小型化することができる。

＜その他の実施形態＞
また、各実施形態で説明された１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給され、該システム又は装置のコンピュータにおける１以上のプロセッサは、このプログラムを読み出して実行することができる。このような態様によっても本発明は実現可能である。

＜実施形態のまとめ＞
構成１．上記実施形態の光学装置（例えば１１）は、
所定のパターンを対象物に投影する投影手段（例えば１１ａ、１１０）と、
前記所定のパターンが投影された前記対象物を撮影する撮影手段（例えば１１ｂ）と、
を備え、
前記撮影手段は、第１のカメラ及び第２のカメラを含むステレオカメラ（例えば１１１）と、カラーカメラ（例えば１１２）とを含み、
前記投影手段の周囲に、前記撮影手段に含まれる複数のカメラが配置される。

これにより、各光学デバイス間で発生するオクルージョンを低減することができるため、撮影画像に基づいて、凹凸がある対象物でも近距離で十分に測距することが可能となる。

構成２．上記実施形態の光学装置（例えば１１）では、
前記投影手段及び前記複数のカメラは、前記投影手段と前記複数のカメラの各々との距離がそれぞれ最小になるように配置（例えば図３のＡＢ最小、ＡＣ最小、ＡＤ最小）されている。

これにより、投影手段（レーザプロジェクタ）により投影されるパターンのオクルージョンを低減することが可能となるとともに、各光学デバイスが近接して配置されることで装置全体を小型化することができる。

構成３．上記実施形態の光学装置（例えば１１）では、
前記投影手段と前記撮影手段に含まれる前記複数のカメラの各々とが接している。

これにより、投影手段（レーザプロジェクタ）により投影されるパターンのオクルージョンを低減することが可能となるとともに、各光学デバイスが近接して配置されることで装置全体を小型化することができる。

構成４．上記実施形態の光学装置（例えば１１）では、
前記投影手段及び前記複数のカメラは、前記投影手段及び前記複数のカメラを含む各光学デバイス間の距離の総和が最小になるように配置されている（例えば図４の各光学中心ＡＢＣＤ間の距離の総和が最小）。

これにより、撮影手段（ステレオカメラ３０２、３０３と、カラーカメラ３０４）のオクルージョンを最小化することができる。さらに、各光学デバイスが最も近接して配置されることで装置全体を小型化することができる。

構成５．上記実施形態の光学装置（例えば１１）では、
前記第１のカメラ及び前記第２のカメラは、前記ステレオカメラの基線長が最小になるように配置されている（例えば図５のＢＣ最小）。

これにより、計算コストを最小化することが可能となる。また、各光学デバイスが近接して配置されることで装置全体を小型化することができる。

構成６．上記実施形態の光学装置（例えば１１）では、
所定のパターンを対象物に投影する投影手段（例えば１１ａ、１１０）と、
前記所定のパターンが投影された前記対象物を撮影する撮影手段（例えば１１ｂ）と、
を備え、
前記撮影手段は、第１のカメラ及び第２のカメラを含むステレオカメラ（例えば１１１）と、カラーカメラ（例えば１１２）とを含み、
前記撮影手段に含まれる複数のカメラのうち、最も画角が狭いカメラの周囲に他のカメラ及び前記投影手段が配置される。

これにより、撮影可能な範囲を最大化することが可能となるとともに、各光学デバイスが近接して配置されることで装置全体を小型化することができる。

構成７．上記実施形態の光学装置（例えば１１）では、
前記最も画角が狭いカメラは、前記カラーカメラ（例えば１１２）である。

これにより、カラーカメラの撮影可能な範囲を最大化することが可能となる。

構成８．上記実施形態の把持システム（例えば１）は、
構成１乃至７の何れかに記載の光学装置（例えば１１）と、
前記光学装置が装着された把持手段（例えば１０）と、
前記光学装置とは別の光学装置（例えば１６）であって、前記対象物を見上げるように配置された前記別の光学装置（例えば１６）と、
前記把持手段の動作を制御する制御手段（例えば１０１）と、
を備え、
前記制御手段は、前記別の光学装置により撮影された画像に基づく前記対象物の概略位置姿勢を用いて、前記光学装置により撮影された画像に基づく前記対象物の位置姿勢の計測結果を取得し、当該計測結果に基づいて前記対象物を把持するように前記把持手段を制御する。

これにより、別の光学装置に基づく概略位置姿勢を用いて、当該対象物の位置姿勢を求めることができるため、精度のよい計測・把持動作を実現することが可能となる。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

１：把持システム、１０：把持部、１１：カメラ部、１１ａ：投影部、１１ｂ：撮影部、１０１：制御部、１１１：ステレオカメラ、１１２：カラーカメラ

Claims (8)

1. 所定のパターンを対象物に投影する投影手段と、
   前記所定のパターンが投影された前記対象物を撮影する撮影手段と、
   を備え、
   前記撮影手段は、第１のカメラ及び第２のカメラを含むステレオカメラと、カラーカメラとを含み、
   前記投影手段の周囲に、前記撮影手段に含まれる複数のカメラが配置されることを特徴とする光学装置。
2. 前記投影手段及び前記複数のカメラは、前記投影手段と前記複数のカメラの各々との距離がそれぞれ最小になるように配置されていることを特徴とする請求項１に記載の光学装置。
3. 前記投影手段と前記撮影手段に含まれる前記複数のカメラの各々とが接していることを特徴とする請求項１又は２に記載の光学装置。
4. 前記投影手段及び前記複数のカメラは、前記投影手段及び前記複数のカメラを含む各光学デバイス間の距離の総和が最小になるように配置されていることを特徴とする請求項１乃至３の何れか１項に記載の光学装置。
5. 前記第１のカメラ及び前記第２のカメラは、前記ステレオカメラの基線長が最小になるように配置されていることを特徴とする請求項１乃至３の何れか１項に記載の光学装置。
6. 所定のパターンを対象物に投影する投影手段と、
   前記所定のパターンが投影された前記対象物を撮影する撮影手段と、
   を備え、
   前記撮影手段は、第１のカメラ及び第２のカメラを含むステレオカメラと、カラーカメラとを含み、
   前記撮影手段に含まれる複数のカメラのうち、最も画角が狭いカメラの周囲に他のカメラ及び前記投影手段が配置されることを特徴とする光学装置。
7. 前記最も画角が狭いカメラは、前記カラーカメラであることを特徴とする請求項６に記載の光学装置。
8. 請求項１乃至７の何れか１項に記載の光学装置と、
   前記光学装置が装着された把持手段と、
   前記光学装置とは別の光学装置であって、前記対象物を見上げるように配置された前記別の光学装置と、
   前記把持手段の動作を制御する制御手段と、
   を備え、
   前記制御手段は、前記別の光学装置により撮影された画像に基づく前記対象物の概略位置姿勢を用いて、前記光学装置により撮影された画像に基づく前記対象物の位置姿勢の計測結果を取得し、当該計測結果に基づいて前記対象物を把持するように前記把持手段を制御することを特徴とする把持システム。

Images