JP2020195335A - 果菜収穫装置及び果菜収穫方法 - Google Patents

Abstract

【課題】安価な構成で障害物である他の果菜との接触を回避して、収穫対象果菜を収穫可能な方向を精度よく推定可能とする。【解決手段】果菜収穫装置１０及び果菜収穫方法では、収穫対象果菜１４の周辺の周辺画像４４を取得した後、周辺画像４４に写り込んでいる果菜１２の画像領域４６を抽出する。次に、収穫対象果菜１４と、該収穫対象果菜１４の周囲の障害物果菜３２との重なりを推定する。次に、収穫対象果菜１４に対して障害物果菜３２との重なりが少ない方向を、該障害物果菜３２との接触を回避しつつ、収穫対象果菜１４を収穫可能な方向として推定する。【選択図】図１

Description

本発明は、任意の果菜を収穫対象果菜として収穫する果菜収穫装置及び果菜収穫方法に関する。

例えば、ロボットがトマト等の果菜を収穫する場合、該ロボットのエンドエフェクタを任意の位置から果菜の収穫に適した位置に移動させた後、エンドエフェクタを該果菜に接触させて収穫を行う。その際、収穫対象となる果菜（以下、収穫対象果菜という。）の近傍に存在する他の果菜がエンドエフェクタに接触すると、他の果菜が損傷する可能性がある。従って、障害物である他の果菜との接触を避けつつ、収穫対象果菜を収穫する必要がある。そのためには、他の果菜と接触する可能性の低い方向をロボット自身が推定し、推定した方向にエンドエフェクタを自律的に移動させることが必要である。

特許文献１には、果実の画像を取得する画像取得部と、取得された画像における果実の位置と複数の果実間の距離とに基づいて、果実に連結している果梗の位置を推定する推定部とを果梗位置推定装置が備えることにより、安定的な収穫動作を実現可能とすることが開示されている。

特開２０１８−１４３２１４号公報

ところで、障害物を避けつつ移動する場合、一般的には、三次元センサ等から得られる点群情報を用いて障害物の位置及び形状を検出し、検出した情報に基づいて移動方向を決定する。しかしながら、この手法を、果菜を収穫するロボットに適用する場合、下記の問題が発生する。

（１）果菜の表面を点群情報として高精度に検出するためには、高精度な三次元センサが必要となる。このようなセンサを用いるとコストがかかる。

（２）果菜が生る枝からは、果梗や葉が延びている。エンドエフェクタを用いた果菜の収穫において、葉は障害物にならない。そのため、エンドエフェクタと葉との接触は許される。従って、エンドエフェクタの移動方向を推定する際、葉の点群情報は、除外すべきである。しかしながら、三次元センサ等から得られる点群情報から、葉の点群情報と果菜の点群情報とを判別することは困難である。

（３）カメラを用いて二次元画像を取得し、二次元画像を用いてエンドエフェクタの移動方向を推定することも考えられる。しかしながら、二次元画像には奥行き情報がないため、該二次元画像に複数の果菜が写り込んでいる場合、各果菜が奥側又は手前側のどちらであるのかの判別が困難である。

（４）しかも、二次元画像では、収穫対象果菜と、障害物である他の果菜との前後関係の把握が困難である。

本発明は、このような課題を考慮してなされたものであり、安価な構成で障害物である他の果菜との接触を回避して、収穫対象果菜を収穫可能な方向を精度よく推定可能な果菜収穫装置及び果菜収穫方法を提供することを目的とする。

本発明の態様は、任意の果菜を収穫対象果菜として収穫する果菜収穫装置及び果菜収穫方法に関する。

前記果菜収穫装置は、前記収穫対象果菜を決定する対象決定部と、前記収穫対象果菜の周辺の周辺画像を取得する画像取得部と、前記周辺画像に写り込んでいる果菜の画像領域を抽出する画像抽出部と、前記画像抽出部の抽出結果に基づいて、前記収穫対象果菜と該収穫対象果菜の周囲の他の果菜との重なりを推定する重なり推定部と、前記重なり推定部の推定結果に基づいて、前記収穫対象果菜における前記他の果菜との重なりが少ない方向を、該他の果菜との接触を回避しつつ、前記収穫対象果菜を収穫可能な方向として推定する方向推定部とを有する。

前記果菜収穫方法は、対象決定部を用いて前記収穫対象果菜を決定するステップと、画像取得部を用いて前記収穫対象果菜の周辺の周辺画像を取得するステップと、画像抽出部を用いて前記周辺画像に写り込んでいる果菜の画像領域を抽出するステップと、重なり推定部を用いて、前記画像抽出部の抽出結果に基づき、前記収穫対象果菜と該収穫対象果菜の周囲の他の果菜との重なりを推定するステップと、方向推定部を用いて、前記重なり推定部の推定結果に基づき、前記収穫対象果菜に対して前記他の果菜との重なりが少ない方向を、該他の果菜との接触を回避しつつ、前記収穫対象果菜を収穫可能な方向として推定するステップとを有する。

本発明によれば、周辺画像から抽出された果菜の画像領域を用いて、収穫対象果菜と他の果菜との重なりを推定する。そして、収穫対象果菜において他の果菜との重なりが少ない方向を、他の果菜との接触を回避しつつ、収穫対象果菜を収穫可能な方向として推定する。

これにより、高価な三次元センサを用いることなく、障害物である他の果菜に接触する可能性が低い方向を、収穫対象果菜を収穫可能な方向として推定することができる。また、収穫対象果菜と他の果菜との重なりを推定するので、収穫対象果菜を収穫可能な方向の推定精度を向上させることが可能となる。

従って、本発明では、安価な構成で障害物である他の果菜との接触を回避して、収穫対象果菜を収穫可能な方向を精度よく推定可能である。

本実施形態に係る果菜収穫装置の構成図である。 図１の果菜収穫装置の動作を示すフローチャートである。 図２のステップＳ５の詳細を示すフローチャートである。 図３のステップＳ１５の詳細を示すフローチャートである。 図３のステップＳ１７の詳細を示すフローチャートである。 図６Ａは、周辺画像の画像図であり、図６Ｂは、セグメンテーション処理後の画像図である。 周辺画像の画像図である。 図８Ａは、セグメンテーション処理後の画像図であり、図８Ｂは、クラスタの画像図である。 図９Ａは、周辺画像の画像図であり、図９Ｂは、クラスタの画像図である。 図１０Ａは、周辺画像の画像図であり、図１０Ｂは、セグメンテーション処理後の画像図である。 図１１Ａは、周辺画像の画像図であり、図１１Ｂは、最小外接円が設定された状態を示す画像図である。 図１２Ａ及び図１２Ｂは、図４の処理の説明図である。 図１３Ａは、周辺画像の画像図であり、図１３Ｂは、クラスタの画像図である。 図５の処理の説明図である。

以下、本発明に係る果菜収穫装置及び果菜収穫方法について、好適な実施形態を例示し、添付の図面を参照しながら説明する。

［１．本実施形態の構成］
図１に示すように、本実施形態に係る果菜収穫装置１０は、任意の果菜１２を収穫対象果菜１４として収穫する際に、該収穫対象果菜１４を収穫可能な方向を推定する推定装置１６と、該推定装置１６の推定結果に基づき動作することで収穫対象果菜１４を収穫するロボット１８とを備える。

なお、本実施形態において、果菜１２は、離層を有する果梗の先端に生る果物や野菜である。このような果菜１２としては、例えば、トマトがある。また、図１は、果菜収穫装置１０の構成を概念的に図示している。そのため、本実施形態では、推定装置１６とロボット１８とを一体的に構成してもよいし、又は、推定装置１６とロボット１８とを別体で構成してもよい。推定装置１６とロボット１８とを一体的に構成する場合、例えば、ロボット１８に推定装置１６が搭載される。

推定装置１６は、対象決定部２０、画像取得部２２、画像処理部２４、推定処理部２６及び通信部２８を有する。推定装置１６は、コンピュータであって、不図示のメモリに記憶されたプログラムを読み出して実行することにより、画像処理部２４及び推定処理部２６等の機能を実現する。

対象決定部２０は、任意の果菜１２を収穫対象果菜１４に決定する。なお、対象決定部２０は、果菜収穫装置１０の作業者が操作する操作ボタン、タッチパネル等の操作子、あるいは、ロボット１８又は画像取得部２２からの情報等に基づき、収穫対象果菜１４を決定するプロセッサであればよい。画像取得部２２は、収穫対象果菜１４の周辺を撮像することで、該収穫対象果菜１４を含む二次元画像（周辺画像）を取得するカメラ等の撮像手段である。画像処理部２４は、セグメンテーション処理部２４ａ（画像抽出部）とクラスタリング処理部２４ｂとを有する。

セグメンテーション処理部２４ａは、周辺画像に写り込んでいる果菜１２の画像領域を抽出する。セグメンテーション処理部２４ａは、少なくとも、収穫対象果菜１４の画像領域を抽出する。また、セグメンテーション処理部２４ａは、周辺画像中、収穫対象果菜１４の周辺に他の果菜３０が写り込んでいる場合には、該他の果菜３０の画像領域も抽出する。

クラスタリング処理部２４ｂは、セグメンテーション処理部２４ａが抽出した複数の果菜１２の画像領域のうち、収穫対象果菜１４の画像領域と、該収穫対象果菜１４に近接する他の果菜３０の画像領域とを、推定処理部２６での推定処理に供する画像領域（クラスタ）として決定するクラスタリング処理を行う。この場合、クラスタリング処理部２４ｂは、周辺画像中、収穫対象果菜１４の画像領域と、該収穫対象果菜１４に重なり合っている他の果菜３０の画像領域とを、１つのクラスタとして決定する。周辺画像、画像領域及びクラスタの詳細については、後述する。

なお、収穫対象果菜１４に重なり合っている他の果菜３０は、該収穫対象果菜１４の収穫に対する障害物となり得る。以下の説明では、収穫対象果菜１４の周辺に存在する他の果菜３０のうち、該収穫対象果菜１４に重なり合っている他の果菜３０を、障害物果菜３２と呼称する。

推定処理部２６は、重なり推定部２６ａと方向推定部２６ｂとを有する。重なり推定部２６ａは、クラスタリング処理部２４ｂから供される画像領域（クラスタ）の情報に基づいて、収穫対象果菜１４と障害物果菜３２との重なりを推定する。方向推定部２６ｂは、重なり推定部２６ａでの推定結果に基づいて、収穫対象果菜１４における障害物果菜３２との重なりが少ない方向を、該障害物果菜３２との接触を回避しつつ、収穫対象果菜１４を収穫可能な方向として推定する。

通信部２８は、ロボット１８との間で信号又は情報の送受信を行う。例えば、通信部２８は、方向推定部２６ｂの推定結果をロボット１８に送信する。なお、ロボット１８に推定装置１６が搭載される場合、通信部２８を省略してもよい。

ロボット１８は、通信部３４、制御部３６、移動機構３８、エンドエフェクタ４０及びセンサ４２を有する。通信部３４は、推定装置１６の通信部２８や外部との間で、信号又は情報の送受信を行う。制御部３６は、各通信部２８、３４を介して供給される方向推定部２６ｂの推定結果に基づき、ロボット１８内の各部を制御する。移動機構３８は、モータやアーム等を含み構成され、制御部３６からの制御に従って、エンドエフェクタ４０を所望の位置及び方向に移動させる。エンドエフェクタ４０は、果菜１２を収穫するロボットハンド等の機構である。センサ４２は、果菜１２とエンドエフェクタ４０との距離や、果菜１２に対するエンドエフェクタ４０の接触等を検出する。

［２．本実施形態の動作］
次に、本実施形態に係る果菜収穫装置１０の動作（果菜収穫方法）について、図２〜図１４を参照しながら説明する。図２〜図５は、果菜収穫装置１０の動作を示すフローチャートである。また、図６Ａ〜図１４は、図２〜図５の各フローチャート中の所定のステップに対応する図である。なお、この動作説明では、必要に応じて、図１も参照しながら説明する。

＜２．１ 果菜収穫装置１０全体の動作＞
先ず、図２のステップＳ１において、推定装置１６の対象決定部２０（図１参照）は、複数の果菜１２の中から、任意の果菜１２を収穫対象果菜１４として決定する。

次のステップＳ２において、画像取得部２２は、対象決定部２０が決定した収穫対象果菜１４の周辺を撮像することで、該収穫対象果菜１４を含む周辺画像４４を取得する。なお、図６Ａ、図７、図９Ａ、図１０Ａ、図１１Ａ及び図１３Ａは、画像取得部２２が取得した周辺画像４４を示す。

次のステップＳ３において、セグメンテーション処理部２４ａは、「Ｍａｓｋ−ＲＣＮＮ」等の深層学習による物体検知技術を利用して、画像取得部２２が取得した周辺画像４４に写り込んでいる全ての果菜１２の画像領域４６を抽出する。なお、図６Ｂ、図８Ａ、図９Ｂ及び図１０Ｂは、それぞれ、図６Ａ、図７、図９Ａ及び図１０Ａの周辺画像４４から抽出された果菜１２の画像領域４６を示す。

次のステップＳ４において、クラスタリング処理部２４ｂは、例えば、「Ｇｒｏｗｉｎｇ Ｎｅｕｒａｌ Ｇａｓ」と呼称される教師無しクラスタリング手法を利用して、セグメンテーション処理部２４ａが抽出した複数の果菜１２の画像領域４６をクラスタ４８毎に分類する。なお、この手法を利用すれば、事前にクラスタ数を決定することが不要であるため、除去が必要なクラスタ数が変化しても自動的に対応することが可能である。

具体的に、クラスタリング処理部２４ｂは、互いに重なり合っている複数の果菜１２の画像領域４６を１つのクラスタ４８とする。なお、どの果菜１２にも重ならない果菜１２については、該果菜１２の画像領域４６を１つのクラスタ４８とする。次に、複数のクラスタ４８のうち、収穫対象果菜１４の画像領域４６（以下、画像領域５０ともいう。）と該収穫対象果菜１４に重なり合っている他の果菜３０（障害物果菜３２）の画像領域４６（以下、画像領域５２ともいう。）とを含むクラスタ４８を、推定処理部２６での推定処理に用いるクラスタ５４として決定する。従って、クラスタリング処理部２４ｂは、収穫対象果菜１４の画像領域５０を含むクラスタ５４以外のクラスタ４８については、削除処理を行う。図８Ｂは、クラスタリング処理後の画像を示す。

次のステップＳ５において、推定処理部２６は、クラスタリング処理後の収穫対象果菜１４の画像領域５０を含むクラスタ５４を用いて、障害物果菜３２との接触を回避しつつ、収穫対象果菜１４を収穫可能な方向を推定する。そして、推定処理部２６は、ステップＳ６において、該方向の推定結果を、通信部２８を介してロボット１８に送信する。

次のステップＳ７において、ロボット１８の通信部３４は、推定装置１６の通信部２８から推定結果を受信して制御部３６に出力する。制御部３６は、入力された推定結果に基づき、移動機構３８を制御して、エンドエフェクタ４０を所望の位置及び方向に移動させる。そして、エンドエフェクタ４０による収穫対象果菜１４の収穫が可能であれば（ステップＳ８：ＹＥＳ）、ステップＳ９において、エンドエフェクタ４０は、収穫対象果菜１４の収穫を行う。

一方、ステップＳ８において、センサ４２が検出した果菜１２とエンドエフェクタ４０との距離等によっては、収穫対象果菜１４の収穫が困難である場合（ステップＳ８：ＮＯ）、制御部３６は、センサ４２の検出結果や収穫対象果菜１４の収穫が困難である旨の情報を、通信部３４を介して推定装置１６に送信する。推定装置１６の通信部２８は、受信した情報を対象決定部２０に出力する。これにより、推定装置１６では、ステップＳ１に戻り、該ステップＳ１以降の処理を再度実行する。

＜２．２ 推定処理部２６の推定処理＞
次に、推定処理部２６の推定処理（図２のステップＳ５）の詳細について、図３〜図５のフローチャートを参照しながら説明する。なお、この推定処理では、ルールベースによって、収穫対象果菜１４を収穫可能な方向を推定する。

先ず、図３のステップＳ１１において、推定処理部２６の重なり推定部２６ａ（図１参照）は、クラスタリング処理部２４ｂから供給されたクラスタリング処理後のクラスタ５４について、収穫対象果菜１４の画像領域５０のみであるか否かを判定する。例えば、図６Ａのように、周辺画像４４に収穫対象果菜１４しか写り込んでおらず、図６Ｂのように、セグメンテーション処理及びクラスタリング処理後の画像が、収穫対象果菜１４の画像領域５０のみである場合、重なり推定部２６ａは、収穫対象果菜１４と障害物果菜３２との重なりが無いと推定する（ステップＳ１１：ＹＥＳ）。そして、重なり推定部２６ａは、ステップＳ１１での肯定的な推定結果を方向推定部２６ｂに通知する。

これにより、ステップＳ１２において、方向推定部２６ｂは、重なり推定部２６ａの通知を受け、収穫対象果菜１４と障害物果菜３２とが重なり合っていないため、どの方向からでも収穫対象果菜１４を収穫可能と推定する。

一方、ステップＳ１１において、クラスタ５４が収穫対象果菜１４の画像領域５０と障害物果菜３２の画像領域５２とから構成されている場合（ステップＳ１１：ＮＯ）、重なり推定部２６ａは、ステップＳ１３に進む。ステップＳ１３において、重なり推定部２６ａは、クラスタ５４について、収穫対象果菜１４の片側のみに障害物果菜３２が重なっているか否かを判定する。

例えば、図７のように、周辺画像４４中、収穫対象果菜１４の右側に障害物果菜３２が重なり、該周辺画像４４に対して、セグメンテーション処理（図８Ａ参照）及びクラスタリング処理（図８Ｂ参照）が順に行われた場合、重なり推定部２６ａは、図８Ｂのクラスタ５４に基づいて、収穫対象果菜１４の片側（右側）に障害物果菜３２が重なり合っていると推定する（図３のステップＳ１３：ＹＥＳ）。そして、重なり推定部２６ａは、ステップＳ１３での肯定的な推定結果を方向推定部２６ｂに通知する。

これにより、ステップＳ１４において、方向推定部２６ｂは、重なり推定部２６ａの通知を受け、収穫対象果菜１４の片側に障害物果菜３２が重なり合っているため、収穫対象果菜１４の片側とは逆方向、すなわち、周辺画像４４中、収穫対象果菜１４の左側から該収穫対象果菜１４を収穫可能と推定する。

なお、図７〜図８Ｂでは、周辺画像４４中、収穫対象果菜１４の右側に障害物果菜３２が重なり合う場合について説明した。図３のステップＳ１３、Ｓ１４では、（１）収穫対象果菜１４の左側に障害物果菜３２が重なり合う場合、（２）収穫対象果菜１４の上側又は下側に障害物果菜３２が重なり合う場合、（３）収穫対象果菜１４に対して斜め方向から障害物果菜３２が重なり合う場合でも、該収穫対象果菜１４の片側とは逆方向から収穫対象果菜１４を収穫可能と推定することができる。また、収穫対象果菜１４の片側に複数の障害物果菜３２が重なり合う場合でも、ステップＳ１３、Ｓ１４を好適に実行することができる。

例えば、図９Ａの周辺画像４４及び図９Ｂのクラスタリング処理後の画像では、収穫対象果菜１４の上側に複数の障害物果菜３２が重なり合っている。そのため、方向推定部２６ｂは、収穫対象果菜１４の下側から収穫対象果菜１４を収穫可能と推定する。

ステップＳ１３において、収穫対象果菜１４に対して複数の方向から障害物果菜３２が重なり合っている場合（ステップＳ１３：ＮＯ）、重なり推定部２６ａは、ステップＳ１５に進む。ステップＳ１５において、重なり推定部２６ａは、クラスタ５４について、収穫対象果菜１４の手前に重なる障害物果菜３２が存在するか否かを判定する。

収穫対象果菜１４の手前に重なる障害物果菜３２が存在する場合（ステップＳ１５：ＹＥＳ）、重なり推定部２６ａは、手前に重なる障害物果菜３２の情報を含むステップＳ１５での肯定的な推定結果を方向推定部２６ｂに通知する。これにより、ステップＳ１６において、方向推定部２６ｂは、重なり推定部２６ａの通知を受け、収穫対象果菜１４の手前に重なる障害物果菜３２との重なり部分とは逆方向を、収穫対象果菜１４を収穫可能な方向として推定する。

一方、収穫対象果菜１４の手前に重なる障害物果菜３２が存在しない場合（ステップＳ１５：ＮＯ）、重なり推定部２６ａは、ステップＳ１５での否定的な推定結果を方向推定部２６ｂに通知する。これにより、ステップＳ１７において、方向推定部２６ｂは、重なり推定部２６ａの通知を受け、収穫対象果菜１４において、障害物果菜３２と重なり合わない部分の方向を、収穫対象果菜１４を収穫可能な方向として推定する。

図４は、重なり推定部２６ａにおけるステップＳ１５の判定処理の詳細を示すフローチャートである。ここでは、図１１Ａ〜図１２Ｂも参照しながら説明する。

先ず、ステップＳ２１において、重なり推定部２６ａ（図１参照）は、クラスタ５４を構成する任意の２つの果菜１２（収穫対象果菜１４、障害物果菜３２）の画像領域４６（５０、５２）を選択する。例えば、図１１Ａの周辺画像４４に対して、クラスタ５４が図１１Ｂである場合、重なり推定部２６ａは、該クラスタ５４中の任意の２つの果菜１２の画像領域４６を選択する。図１２Ａは、２つの果菜１２の画像領域４６を選択した状態を図示している。

次のステップＳ２２において、重なり推定部２６ａは、一方の果菜１２の画像領域４６に対する最小外接円５６を設定する。なお、最小外接円５６は、対象となる果菜１２が他の果菜３０と重ならないときの当該果菜１２の形状を模擬した仮想円である。図１１Ｂには、クラスタ４８内の全ての果菜１２の画像領域４６に対して、最小外接円５６を設定した場合を図示している。

次のステップＳ２３において、重なり推定部２６ａは、設定した最小外接円５６と他方の果菜１２の画像領域４６とがオーバーラップする面積（オーバーラップ面積）を算出する。

次のステップＳ２４において、重なり推定部２６ａは、２つの果菜１２の立場を入れ替えて、ステップＳ２２、Ｓ２３の処理を実行し、オーバーラップ面積を算出する。

そして、ステップＳ２５において、重なり推定部２６ａは、算出した２つのオーバーラップ面積に基づいて、２つの果菜１２の重なり順を推定する。

具体的に、ステップＳ２３で算出したオーバーラップ面積ｓ１と、ステップＳ２４で算出したオーバーラップ面積ｓ２とについて、図１２Ｂのように、ｓ１＞ｓ２、且つ、ｓ１≧Δｓ（Δｓ：一定面積）である場合、重なり推定部２６ａは、一方の果菜１２が奥側、他方の果菜１２が手前側であると推定する。一方、ｓ１＞ｓ２であっても、ｓ１＜Δｓである場合、重なり推定部２６ａは、一方の果菜１２及び他方の果菜１２が横に並んでいると推定する。

あるいは、ｓ１＜ｓ２、且つ、ｓ２≧Δｓである場合には、重なり推定部２６ａは、一方の果菜１２が手前側、他方の果菜１２が奥側であると推定する。一方、ｓ１＜ｓ２であっても、ｓ２＜Δｓである場合、重なり推定部２６ａは、一方の果菜１２及び他方の果菜１２が横に並んでいると推定する。

なお、ステップＳ２５での上記の判断基準は一例であって、ｓ１＞ｓ２、且つ、ｓ１＞Δｓの場合、一方の果菜１２が奥側、他方の果菜１２が手前側と推定し、一方で、ｓ１＞ｓ２、且つ、ｓ１≦Δｓの場合、一方の果菜１２及び他方の果菜１２が横に並んでいると推定してもよい。また、ｓ１＜ｓ２、且つ、ｓ２＞Δｓである場合、一方の果菜１２が手前側、他方の果菜１２が奥側と推定し、一方で、ｓ１＜ｓ２、且つ、ｓ２≦Δｓの場合、一方の果菜１２及び他方の果菜１２が横に並んでいると推定してもよい。

クラスタ５４内の全ての果菜１２に対する任意の２つの果菜１２の組み合わせについて、重なり順の推定処理が終了していなければ（ステップＳ２６：ＹＥＳ）、ステップＳ２１〜Ｓ２６の処理が繰り返し行われる。従って、重なり順の推定処理が終了すれば（ステップＳ２６：ＮＯ）、次のステップＳ２７に進む。

ステップＳ２７において、重なり推定部２６ａは、収穫対象果菜１４の片側で重なり合っている障害物果菜３２が、該収穫対象果菜１４の手前に存在するか否かを判定する。ステップＳ２１〜Ｓ２６の処理によって、クラスタ５４内の全ての果菜１２について、任意の２つの果菜１２の組に対して、重なり順が推定されている。そのため、重なり推定部２６ａは、収穫対象果菜１４に重なる全ての障害物果菜３２について、重なり順毎に、障害物となり得る程度（障害物強度）を求める。具体的には、収穫対象果菜１４の手前、収穫対象果菜１４の横、収穫対象果菜１４の奥の順に、障害物強度を低く設定する。従って、障害物強度の最も高い障害物果菜３２が、収穫対象果菜１４の手前に存在する障害物果菜３２となる。

収穫対象果菜１４の手前に重なる障害物果菜３２が存在する場合（ステップＳ２７：ＹＥＳ）、重なり推定部２６ａは、ステップＳ２８に進み、ステップＳ１５の推定処理が肯定的な判定結果であることを確定する。一方、収穫対象果菜１４の手前に重なる障害物果菜３２が存在しない場合（ステップＳ２７：ＮＯ）、重なり推定部２６ａは、ステップＳ２９に進み、ステップＳ１５の推定処理が否定的な判定結果であることを確定する。

図５は、方向推定部２６ｂにおけるステップＳ１７の処理の詳細を示すフローチャートである。ここでは、図１３Ａ〜図１４も参照しながら説明する。

先ず、ステップＳ３１において、方向推定部２６ｂ（図１参照）は、クラスタ５４内の全ての果菜１２の画像領域４６（５０、５２）に対して、最小外接円５６を設定する。例えば、図１３Ａの周辺画像４４に対するクラスタ５４が図１３Ｂである場合、方向推定部２６ｂは、収穫対象果菜１４の画像領域５０と、該収穫対象果菜１４に重なる２つの障害物果菜３２の画像領域５２とに対して、それぞれ、最小外接円５６を設定する。

次のステップＳ３２において、方向推定部２６ｂは、図１３Ｂ及び図１４に示すように、収穫対象果菜１４の画像領域５０に対応する最小外接円５６の中心５８から延び、且つ、複数の障害物果菜３２の画像領域５２に対応する最小外接円５６の接線６０を設定する。

次のステップＳ３３において、方向推定部２６ｂは、設定した複数の接線６０の間で、収穫対象果菜１４の画像領域５０と複数の障害物果菜３２の画像領域５２との重なりが存在しない角度領域を特定する。図１４では、収穫対象果菜１４の画像領域５０のうち、上側及び下側右方の領域が、重なりの存在しない角度領域（θ１〜θ３の角度領域）となる。

次のステップＳ３４において、方向推定部２６ｂは、特定した角度領域について、収穫対象果菜１４の画像領域５０に対応する最小外接円５６の中心５８に対して、左側の角度の総和θＬと右側の角度の総和θＲとをそれぞれ算出する。図１４の場合、θＬ＝θ１、θＲ＝θ２＋θ３となる。

次のステップＳ３５において、方向推定部２６ｂは、左右の角度の総和θＬ、θＲを比較することで、収穫対象果菜１４を収穫可能な方向を推定する。例えば、θＬ＜θＲであるため、方向推定部２６ｂは、θＲ（θ２、θ３）の角度領域が収穫対象果菜１４を収穫可能な方向であると推定する。これにより、ステップＳ７（図２参照）において、エンドエフェクタ４０（図１参照）をθＲの角度領域（右側の角度領域）に移動させることが可能となる。

なお、上記の説明では、左右の角度領域に対して収穫対象果菜１４を収穫可能な方向を推定する場合について説明した。ステップＳ３４、Ｓ３５では、上下の角度領域に対して収穫対象果菜１４を収穫可能な方向を推定することも可能である。

具体的に、ステップＳ３４において、方向推定部２６ｂは、ステップＳ３３で特定した角度領域について、中心５８に対して、上側の角度の総和θＵと下側の角度の総和θＢとをそれぞれ算出する。図１４の場合、θＵ＝θ１＋θ２、θＢ＝θ３となる。次のステップＳ３５において、方向推定部２６ｂは、上下の角度の総和θＵ、θＢを比較することで、収穫対象果菜１４を収穫可能な方向を推定する。例えば、θＵ＞θＢであるため、方向推定部２６ｂは、θＵ（θ１、θ２）の角度領域が収穫対象果菜１４を収穫可能な方向であると推定する。これにより、ステップＳ７において、エンドエフェクタ４０をθＵの角度領域（上側の角度領域）に移動させることが可能となる。

［３．本実施形態の効果］
以上説明したように、本実施形態に係る果菜収穫装置１０及び果菜収穫方法は、任意の果菜１２を収穫対象果菜１４として収穫する。

この場合、果菜収穫装置１０は、収穫対象果菜１４を決定する対象決定部２０と、収穫対象果菜１４の周辺の周辺画像４４を取得する画像取得部２２と、周辺画像４４に写り込んでいる果菜１２の画像領域４６を抽出するセグメンテーション処理部２４ａ（画像抽出部）と、セグメンテーション処理部２４ａの抽出結果に基づいて、収穫対象果菜１４と該収穫対象果菜１４の周囲の障害物果菜３２（他の果菜３０）との重なりを推定する重なり推定部２６ａと、重なり推定部２６ａの推定結果に基づいて、収穫対象果菜１４における障害物果菜３２との重なりが少ない方向を、該障害物果菜３２との接触を回避しつつ、収穫対象果菜１４を収穫可能な方向として推定する方向推定部２６ｂとを有する。

また、果菜収穫方法は、対象決定部２０を用いて収穫対象果菜１４を決定するステップ（ステップＳ１）と、画像取得部２２を用いて収穫対象果菜１４の周辺の周辺画像４４を取得するステップ（ステップＳ２）と、セグメンテーション処理部２４ａを用いて周辺画像４４に写り込んでいる果菜１２の画像領域４６を抽出するステップ（ステップＳ３）と、重なり推定部２６ａを用いて、セグメンテーション処理部２４ａの抽出結果に基づき、収穫対象果菜１４と該収穫対象果菜１４の周囲の障害物果菜３２との重なりを推定するステップ（ステップＳ５、Ｓ１１、Ｓ１３、Ｓ１５）と、方向推定部２６ｂを用いて、重なり推定部２６ａの推定結果に基づき、収穫対象果菜１４に対して障害物果菜３２との重なりが少ない方向を、該障害物果菜３２との接触を回避しつつ、収穫対象果菜１４を収穫可能な方向として推定するステップ（ステップＳ５、Ｓ１２、Ｓ１４、Ｓ１６、Ｓ１７）とを有する。

このように、本実施形態では、周辺画像４４から抽出された果菜１２の画像領域４６を用いて、収穫対象果菜１４と障害物果菜３２との重なりを推定する。そして、収穫対象果菜１４において障害物果菜３２との重なりが少ない方向を、障害物果菜３２との接触を回避しつつ、収穫対象果菜１４を収穫可能な方向として推定する。

これにより、高価な三次元センサを用いることなく、障害物果菜３２に接触する可能性が低い方向を、収穫対象果菜１４を収穫可能な方向として推定することができる。また、収穫対象果菜１４と障害物果菜３２との重なりを推定するので、収穫対象果菜１４を収穫可能な方向の推定精度を向上させることが可能となる。

従って、本実施形態では、安価な構成で障害物果菜３２との接触を回避して、収穫対象果菜１４を収穫可能な方向を精度よく推定することができる。

ここで、セグメンテーション処理部２４ａが収穫対象果菜１４の画像領域５０のみ抽出した場合、重なり推定部２６ａは、収穫対象果菜１４が障害物果菜３２と重なり合っていないと推定する。これにより、方向推定部２６ｂは、どの方向からでも収穫対象果菜１４を収穫可能と推定することができる（図３のステップＳ１１→Ｓ１２）。

また、収穫対象果菜１４の画像領域５０と障害物果菜３２の画像領域５２とをセグメンテーション処理部２４ａが抽出し、収穫対象果菜１４と障害物果菜３２とが重なり合っていることを重なり推定部２６ａが推定した場合、方向推定部２６ｂは、収穫対象果菜１４における障害物果菜３２との重なり部分とは逆方向を、収穫対象果菜１４を収穫可能な方向として推定する（図３のステップＳ１３→Ｓ１４）。これにより、障害物果菜３２を回避しつつ、収穫対象果菜１４を収穫することが可能となる。

さらに、収穫対象果菜１４の画像領域５０と複数の障害物果菜３２の画像領域５２とをセグメンテーション処理部２４ａが抽出し、収穫対象果菜１４と複数の障害物果菜３２とが重なり合っていることを重なり推定部２６ａが推定した場合、方向推定部２６ｂは、収穫対象果菜１４において、複数の障害物果菜３２のうち、該収穫対象果菜１４の手前に重なる障害物果菜３２との重なり部分とは逆方向を、収穫対象果菜１４を収穫可能な方向として推定する（図３のステップＳ１５→Ｓ１６）。これにより、手前側の障害物果菜３２を回避しつつ、収穫対象果菜１４を収穫することが可能となる。

さらにまた、収穫対象果菜１４の画像領域５０と複数の障害物果菜３２の画像領域５２とをセグメンテーション処理部２４ａが抽出し、収穫対象果菜１４と複数の障害物果菜３２とが重なり合っていることを重なり推定部２６ａが推定した場合、方向推定部２６ｂは、収穫対象果菜１４において、複数の障害物果菜３２と重なり合っていない角度領域を特定し、特定した該角度領域の方向を、収穫対象果菜１４を収穫可能な方向として推定する（図３のステップＳ１５→Ｓ１７）。これにより、複数の障害物果菜３２を回避しつつ、収穫対象果菜１４を収穫することが可能となる。

また、重なり推定部２６ａは、セグメンテーション処理部２４ａが抽出した複数の果菜１２の画像領域４６に対して、該画像領域４６に対応する果菜１２の形状を模擬した最小外接円５６をそれぞれ設定し、設定した複数の最小外接円５６を用いて、収穫対象果菜１４と複数の障害物果菜３２との重なりを推定する。これにより、複数の果菜１２が重なり合うことで、該果菜１２の一部しか画像領域４６として抽出されない場合でも、該画像領域４６を最小外接円５６で補完することで、収穫対象果菜１４を収穫可能な方向の推定精度を向上させることができる。

さらに、方向推定部２６ｂは、収穫対象果菜１４に対応する最小外接円５６の中心５８から延びる、複数の障害物果菜３２に対応する最小外接円５６の接線６０を設定し、設定した複数の接線６０の間で、収穫対象果菜１４と複数の障害物果菜３２との重なりが存在しない領域の少なくとも一部を、収穫対象果菜１４を収穫可能な方向として推定する。これにより、収穫対象果菜１４を収穫可能な方向を精度よく推定することができる。

さらにまた、画像取得部２２は、二次元の周辺画像４４を取得する撮像手段であるので、果菜収穫装置１０を安価に構成することができる。

また、果菜収穫装置１０は、セグメンテーション処理部２４ａが抽出した複数の果菜１２の画像領域４６のうち、収穫対象果菜１４の画像領域５０と、該収穫対象果菜１４に近接する障害物果菜３２の画像領域５２とを、重なり推定部２６ａ及び方向推定部２６ｂでの各推定処理に供する画像領域として決定するクラスタリング処理部２４ｂをさらに有する。これにより、収穫対象果菜１４を含む複数の果菜１２の画像領域４６をクラスタ５４として設定し、設定したクラスタ５４を重なり推定部２６ａ及び方向推定部２６ｂに供給することができる。これにより、収穫対象果菜１４を収穫可能な方向を一層正確に推定することができる。

上述した各効果について、さらに詳しく説明する。

本実施形態では、深層学習を用いて、二次元の周辺画像４４から果菜１２に該当する画像領域４６（ピクセル）を抽出し、果菜１２毎に推定処理を行うので、低コストで且つ精度よく、収穫対象果菜１４を収穫可能な方向を特定することができる。

しかも、画像領域４６に対して最小外接円５６を設定することにより、収穫対象果菜１４に障害物果菜３２が重なり合うことで消失している画像領域を、実質的に復元することが可能となる。これにより、収穫対象果菜１４を収穫可能な方向を高精度に推定することが可能となる。

また、クラスタリング処理によって、収穫対象果菜１４の画像領域５０を含むクラスタ５４を、他のクラスタ４８から分離することができるので、分離したクラスタ５４において、果菜１２毎にオーバーラップ面積ｓ１、ｓ２を相互に比較し、果菜１２の前後関係を容易に推定することが可能となる。

これにより、例えば、収穫対象果菜１４に対して障害物果菜３２が奥側に存在することが推定されれば、手前側の空間はエンドエフェクタ４０が移動可能な広い空間（方向）であることが分かるので、該方向を障害物果菜３２との接触を回避しつつ、収穫対象果菜１４を収穫可能な方向として特定することができる。

また、収穫対象果菜１４の両側に２つの障害物果菜３２が重なり、これらの障害物果菜３２の相対位置が同等である場合には、収穫対象果菜１４の前面に存在する主茎や小果梗等の果菜１２以外の障害物を検出し、該障害物が存在しない方向を、収穫対象果菜１４を収穫可能な方向とすればよい。

また、収穫対象果菜１４に対して２つの障害物果菜３２が略対称に重なっている場合（例えば、左右で同等に重なっている場合）、収穫対象果菜１４の周囲で障害物果菜３２が存在しない角度領域を求め、より大きな角度領域の方向を、収穫対象果菜１４を収穫可能な方向と特定すればよい。

また、本実施形態では、推定した方向にエンドエフェクタ４０を回避（移動）させた後、収穫対象果菜１４の画像領域５０を新たに抽出し、さらに、センサ４２が検出した収穫対象果菜１４までの距離情報を用いることで、収穫対象果菜１４の表面の露出面積を計算してもよい。この場合、計算した露出面積より、収穫対象果菜１４が収穫可能か否かを判断し、収穫対象果菜１４の収穫が不可能であると判断した場合には、該収穫対象果菜１４の収穫を諦め、同じクラスタ４８内の他の果菜１２を新たな収穫対象果菜１４に設定して収穫作業を行えばよい。

また、上記の説明では、画像取得部２２が二次元画像を取得するカメラ等の撮像手段である場合について説明した。本実施形態では、画像取得部２２が、カメラと三次元センサとを同時に利用する構成、又は、複数のカメラを利用する構成であってもよい。

また、本実施形態では、エンドエフェクタ４０をランダムに移動させつつ、障害物果菜３２と接触しそうになったら、該エンドエフェクタ４０を逆方向へ移動させるように制御することも可能である。

さらに、本実施形態では、トマト以外の他の果菜１２の収穫に適用しても、上記の各効果が得られることは勿論である。

なお、本発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることは勿論である。

１０…果菜収穫装置 １２…果菜
１４…収穫対象果菜 ２０…対象決定部
２２…画像取得部
２４ａ…セグメンテーション処理部（画像抽出部）
２６ａ…重なり推定部 ２６ｂ…方向推定部
３０…他の果菜 ３２…障害物果菜（他の果菜）
４４…周辺画像 ４６、５０、５２…画像領域

Claims (10)

1. 任意の果菜を収穫対象果菜として収穫する果菜収穫装置において、
   前記収穫対象果菜を決定する対象決定部と、
   前記収穫対象果菜の周辺の周辺画像を取得する画像取得部と、
   前記周辺画像に写り込んでいる果菜の画像領域を抽出する画像抽出部と、
   前記画像抽出部の抽出結果に基づいて、前記収穫対象果菜と、該収穫対象果菜の周囲の他の果菜との重なりを推定する重なり推定部と、
   前記重なり推定部の推定結果に基づいて、前記収穫対象果菜における前記他の果菜との重なりが少ない方向を、該他の果菜との接触を回避しつつ、前記収穫対象果菜を収穫可能な方向として推定する方向推定部と、
   を有する、果菜収穫装置。
2. 請求項１記載の果菜収穫装置において、
   前記画像抽出部が前記収穫対象果菜の画像領域のみ抽出した場合、前記重なり推定部は、前記収穫対象果菜が前記他の果菜と重なり合っていないと推定し、
   前記方向推定部は、どの方向からでも前記収穫対象果菜を収穫可能と推定する、果菜収穫装置。
3. 請求項１記載の果菜収穫装置において、
   前記収穫対象果菜の画像領域と前記他の果菜の画像領域とを前記画像抽出部が抽出し、前記収穫対象果菜と前記他の果菜とが重なり合っていることを前記重なり推定部が推定した場合、前記方向推定部は、前記収穫対象果菜における前記他の果菜との重なり部分とは逆方向を、前記収穫対象果菜を収穫可能な方向として推定する、果菜収穫装置。
4. 請求項１記載の果菜収穫装置において、
   前記収穫対象果菜の画像領域と複数の前記他の果菜の画像領域とを前記画像抽出部が抽出し、前記収穫対象果菜と複数の前記他の果菜とが重なり合っていることを前記重なり推定部が推定した場合、前記方向推定部は、前記収穫対象果菜において、複数の前記他の果菜のうち、該収穫対象果菜の手前に重なる果菜との重なり部分とは逆方向を、前記収穫対象果菜を収穫可能な方向として推定する、果菜収穫装置。
5. 請求項１記載の果菜収穫装置において、
   前記収穫対象果菜の画像領域と複数の前記他の果菜の画像領域とを前記画像抽出部が抽出し、前記収穫対象果菜と複数の前記他の果菜とが重なり合っていることを前記重なり推定部が推定した場合、前記方向推定部は、前記収穫対象果菜において、複数の前記他の果菜と重なり合っていない角度領域を特定し、特定した該角度領域の方向を、前記収穫対象果菜を収穫可能な方向として推定する、果菜収穫装置。
6. 請求項４又は５記載の果菜収穫装置において、
   前記重なり推定部は、前記画像抽出部が抽出した複数の前記画像領域に対して、該画像領域に対応する果菜の形状を模擬した最小外接円をそれぞれ設定し、設定した複数の前記最小外接円を用いて、前記収穫対象果菜と複数の前記他の果菜との重なりを推定する、果菜収穫装置。
7. 請求項６記載の果菜収穫装置において、
   前記方向推定部は、前記収穫対象果菜に対応する最小外接円の中心から延びる、複数の前記他の果菜に対応する最小外接円の接線を設定し、設定した複数の前記接線の間で、前記収穫対象果菜と複数の前記他の果菜との重なりが存在しない領域の少なくとも一部を、前記収穫対象果菜を収穫可能な方向として推定する、果菜収穫装置。
8. 請求項１〜７のいずれか１項に記載の果菜収穫装置において、
   前記画像取得部は、二次元の前記周辺画像を取得する撮像手段である、果菜収穫装置。
9. 請求項１〜８のいずれか１項に記載の果菜収穫装置において、
   前記画像抽出部が抽出した複数の前記果菜の画像領域のうち、前記収穫対象果菜の画像領域と、該収穫対象果菜に近接する前記他の果菜の画像領域とを、前記重なり推定部及び前記方向推定部での各推定処理に供する画像領域として決定するクラスタリング処理部をさらに有する、果菜収穫装置。
10. 任意の果菜を収穫対象果菜として収穫する果菜収穫方法において、
    対象決定部を用いて前記収穫対象果菜を決定するステップと、
    画像取得部を用いて前記収穫対象果菜の周辺の周辺画像を取得するステップと、
    画像抽出部を用いて前記周辺画像に写り込んでいる果菜の画像領域を抽出するステップと、
    重なり推定部を用いて、前記画像抽出部の抽出結果に基づき、前記収穫対象果菜と、該収穫対象果菜の周囲の他の果菜との重なりを推定するステップと、
    方向推定部を用いて、前記重なり推定部の推定結果に基づき、前記収穫対象果菜に対して前記他の果菜との重なりが少ない方向を、該他の果菜との接触を回避しつつ、前記収穫対象果菜を収穫可能な方向として推定するステップと、
    を有する、果菜収穫方法。

Images