JP7285466B2

JP7285466B2 - 収穫ロボット

Info

Publication number: JP7285466B2
Application number: JP2019160357A
Authority: JP
Inventors: 亮戸島; 善夫金田; 義文郡
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2019-09-03
Filing date: 2019-09-03
Publication date: 2023-06-02
Anticipated expiration: 2039-09-03
Also published as: JP2021036821A

Description

本発明は、トマトやリンゴなどの果実を自動的に収穫する収穫ロボットにおける果実の収穫動作を行うロボットに関するものである。

日本社会における今後の社会課題として、高齢化による生産人口の減少が懸念されている。特に第１次産業である農業について、日本を取り巻く環境は、高齢化が特に顕著であり、労働不足という観点で非常に厳しい状況にある。農林水産省の基本データによると、２０１４年の基幹的農業従事者は１６８万人であり、５年間で約２３万人の減少となっている。また、平均年齢が６６．５歳、新規就農者も減少傾向と、高齢化による労働不足が浮き彫りになる数字となっている。このことにより、耕作放棄地も４０万ｈａに達する状況であり、地域の営農環境や生活環境にも悪影響を与える状況である。特に耕作地が多く存在する地方においては、少子高齢化による過疎化も進み、農業の担い手がいないことからこの問題の顕在化が進んできている。

そのような中、農業の自動化による労働力不足への対応に対する期待が高まっている。経済産業省の「２０１２年ロボット産業の市場動向」によれば、２０１８年から２０２４年にかけて農業関連ロボット国内市場は大きく伸びるとされ、約２２００億円の規模になると予想されている。実際に、ドローンを使った管理、トラクターの自動運転、栽培をナビゲーションするシステムなど、農業の自動化につながる開発も活発になってきている。また、農水省においても、農業の自動化を支援するような補助制度が充実化しており、国からのこの分野への期待も非常に高い。その中で、収穫の自動化に関する技術についても、トマト収穫ロボット、アスパラ収穫ロボット、イチゴ収穫ロボットなどの実用化に向けた開発が、企業や大学などにおいて実施されている。

そのような収穫の自動化に関する技術においては、果実を見つけるセンシングの技術、移動機構の技術、もぎ取り動作を行うエンドエフェクタの技術など多くの特許文献が公開されている。その中で、エンドエフェクタに関する従来の技術としては、特許文献１に記載されたようなものがある。これは、果実を離層と呼ばれる部分でもぎ取る方法で収穫する際に、有益な方法である。

図１におけるエンドエフェクタにおいて、２０１は引き込みガイド、２０２は収穫リング、２０３は収穫果ガイド、２０４は収穫果シート、２０５はロボットアームである。このエンドエフェクタによるもぎ取り動作方法は以下のとおりである。まず、トマト引き込み動作で、引き込みガイド２０１で収穫果を引き込み果実間に隙間を作る。次に、果実間の隙間に収穫リング２０２を挿入する。引き込みガイド２０１については、切れ目から小果梗をすり抜けさせ離脱させる。そして、収穫リング２０２を開いて、果実を引き果梗を押す事で、小果梗を引き伸ばし、離層で果実を分離する。

特開２０１７－０５１１０４号公報

しかしながら、前記従来の構成では、２重で構成された収穫リングそれぞれの相対位置運動が決められた駆動機構で制約されるため果実の様々なシチュエーションに対応できないという課題がある。そしてこのことにより、このエンドエフェクタによる動作によっては、もぎ取り動作しかできない。もぎ取り動作しかできないために、離層とよばれる部分がない果実に対しての収穫は困難であり、収穫率を低下させる要因になってしまう。さらに、別の課題として、複数個のモータ、ガイドなどの構成パーツを持つためにエンドエフェクタ自体が大きく複雑になり、枝の隙間に入らないときがある。これも収穫率を下げる要因となる。

そこで本開示は、収穫効率を向上することが可能な収穫ロボットを提供することを目的とする。

本開示による収穫ロボットは、
対象物を挿通させる収穫リングを有する第１ロボットアームと、
前記対象物が実った果梗を固定する補助部材を有する第２ロボットアームと、
前記第１ロボットアーム及び前記第２ロボットアームを制御する制御部と、
を備え、
前記制御部が、前記補助部材にて、前記果梗を固定した状態で、前記収穫リングの移動制御及び姿勢制御を実行可能に構成され、
前記制御部が、前記収穫リングの先端が下方側になるように、前記収穫リングを水平面に対して前後方向に傾ける第１動作を実行可能に構成され、
前記制御部が、前記第１動作を実行した後、前記収穫リングの姿勢を維持しつつ、前記収穫リングを上方に移動させる第２動作を実行可能に構成され、
前記制御部が、前記第２動作を実行した後、前記収穫リングの先端を起点として、前記収穫リングを横方向に回転させる第３動作を実行可能に構成されている、
収穫ロボットである。

本発明の収穫ロボットによれば、果実の安定収穫が可能となり、果実の収穫効率の向上を実現することができる。

特許文献１に記載された従来のロボットハンドを示す図本発明の実施の形態における収穫の一連動作のステップを示す図本発明の実施の形態における収穫対象のトマト房を示す図本発明の実施の形態におけるもぎ取り動作のステップを示す図本発明の実施の形態におけるもぎ取り動作時のロボットハンドと収穫対象果実の位置関係を示す図本発明の実施の形態におけるもぎ取り動作を説明する図本発明の実施の形態におけるもぎ取り動作を説明する図本発明の実施の形態におけるもぎ取り動作を説明する図本発明の実施の形態におけるもぎ取り動作を説明する図本発明の実施の形態におけるもぎ取り動作を説明する図本発明の実施の形態におけるもぎ取り動作を説明する図本発明の実施の形態における収穫リングの上面図本実施形態における収穫ロボットの装置構成を説明する図

まず、本実施の形態における果梗の位置推定方法の理解を助けるために、先に、（１）収穫対象であるトマトの一例の形態、（２）本実施形態における自動収穫ロボットを用いた場合の基本的な収穫動作の一例の形態、について説明する。

（１）収穫対象のトマトの形態
本開示の説明においては、図３に示すトマトを収穫の対象として説明する。図３に示すように、一つの房は果梗４０５といわれる茎を中心に構成されている。この果梗４０５から、小果梗４０１、ガク４０３が生り、その先に果実４０４が生っている。小果梗４０１の途中部分には、離層４０２とよばれる箇所があり、小果梗４０１に力を加えたときに、離層４０２で小果梗４０１が分断される。本開示では、収穫対象を果実４０４が複数個以上密集して構成される房とするのではなく、果実４０４の一つ一つを収穫対象とし、果実４０４の一つ一つをもぎ取ることで収穫している。これは、房に付いている果実４０４の成熟度合いがそれぞれ異なること等を想定しているためである。また一般に、ミニトマトは生食用であり、果実４０４表面に傷を付けずにガク４０３ごと収穫することが必要である。

（２）収穫動作の形態
図１３に本実施形態における収穫ロボットの装置構成を示す。

画像取得部１４０１は、イメージセンサであり、収穫対象の果実４０４等が存在する領域を撮像する。画像処理部１４０４は、画像取得部１４０１において撮像した画像に画像処理を実施する。判断部１４０５は、画像処理結果をもとに収穫対象のトマト果実を検出する。制御部１４０６は、判断部１４０５による検出結果をもとに、第１ロボットアーム１４０２を制御することでトマト収穫ロボットを収穫に適した位置まで移動させる。その後、さらに画像取得部１４０１で撮像を実施し、画像処理部１４０４による処理を実施することで、判断部１４０５がトマト果実の３次元位置、色などを特定する。そして、制御部１４０６が収穫リング付きロボットアーム１４０２、及び補助部材付きロボットアーム１４０３を制御することで、トマトを収穫する。以上が基本的な装置構成とその動作である。

尚、以下では、収穫リング付きロボットアーム１４０２を「第１ロボットアーム１４０２」と称し、補助部材付きロボットアーム１４０３を「第２ロボットアーム１４０３」と称する。

以下、本開示の実施の形態について、図面を参照しながら説明する。

（実施の形態）
本開示の自動収穫ロボットによる収穫動作の基本的な動作の一例ステップを図２に示す。

まず、収穫対象である果実が生っている房を検出する（ＳＴＥＰ１）。検出の方法については、画像センサーを用いて取得した画像に画像処理を施すことによる検出、また人工知能学習により、収穫対象である果実が生っている房の画像を学習することによる検出などが考えられる。

次に、ＳＴＥＰ１で検出した房に対して、画像取得部１４０１が果実を収穫するためのセンシング動作を実施する（ＳＴＥＰ２）。果実を収穫するためには、果実が収穫可能な状態になっているか（熟しているか）、果実の位置、果実周辺の茎や葉などの位置の情報が必要であり、ＳＴＥＰ２のセンシングは、これらの情報を算出するための動作になる。ここで、前述したように、果実の色および位置を算出するために、センシングに用いるセンサーとしては、カラー画像を取得するためのカラーカメラ、また距離を測定できる距離センサーあるいは対象物までの距離の測定が可能なＴＯＦカメラなどを同時に用いる方法などが取られる。果実の色は、果実が熟しているかどうかを判別するために用いられる。

次に、ＳＴＥＰ２で取得したセンシングのデータをもとに、判断部１４０５が果実の色と果実及び周辺の茎や葉などの位置を算出する（ＳＴＥＰ３）。

次に、判断部１４０５が収穫対象と判断された果実を収穫するために第１ロボットアーム１４０２をどのように伸ばせばいいかの軌道計算を実施する（ＳＴＥＰ４）。この際に、周辺の茎や葉などの位置情報から、第１ロボットアーム１４０２がそれらに干渉しない軌道を算出することが重要である。

次に、ＳＴＥＰ４で計算された軌道に基づき、ロボットハンドを収穫対象の果実に近づけるよう第１ロボットアーム１４０２が動作する（ＳＴＥＰ５）。

最後に、ロボットハンドがもぎ取り動作を行う（ＳＴＥＰ６）。

以下、本実施形態におけるロボットハンドについて、詳細に説明する。図６に、本実施形態におけるロボットハンドの概略斜視図を示す。

本実施の形態におけるロボットハンド７００は、第１ロボットアーム１４０２に搭載されている。ロボットハンド７００による果実のもぎ取り動作は、制御部１４０６による第１ロボットアーム１４０２の制御により実現される。

ロボットハンド７００は、収穫リング７０１と、収穫リング７０１と第１ロボットアーム１４０２とを接続する接続部７０３と、を含む。なお、接続部７０３が省略され、第１ロボットアーム１４０２に収穫リング７０１が直接取り付けられることで、ロボットハンド７００が構成されても良い。

ここで、収穫リング７０１について、図１２を用いて詳細に説明する。図１２は、本実施形態における収穫リングの概略上面図である。なお、図１２の左手側が、図６における第１ロボットアーム１４０２側となる。

収穫リング７０１は、先端が角形状のリング穴を形成する。具体的には、収穫リング７０１は、先端に第１折れ曲がり部１３０１を有する。収穫リング７０１は、第１折れ曲がり部１３０１（即ち、角形状）を形成するように、左右に第１直線部１３０２および第１直線部１３０３を有する。また、収穫リング７０１は、図６における接続部７０３と接続される第２直線部１３０６および第２直線部１３０７を有する。ここで、第１直線部１３０２と第２直線部１３０６によって、第２折れ曲がり部１３０４が構成される。また、ここで、第１直線部１３０３と第２直線部１３０７によって第２折れ曲がり部１３０５が構成される。

第１折れ曲がり部１３０１は、９０°の角度であることが望ましい。これは、収穫対象物である果実が球体上のものであることに起因する。第１折れ曲がり部１３０１が９０°から鋭角に近づいていくと、収穫リング７０１を挿入する際に、収穫リング７０１に収穫対象果実が通過するより先に、第１折れ曲がり部１３０１が果梗に衝突する可能性が高くなる。特に、第１折れ曲がり部１３０１の角度が７０°より小さくなると、衝突の確率が高くなる。このことで、安定した収穫を実施しにくくなる。また、先端部が９０°から鈍角に近づいていくと、収穫リング７０１を通す際に必要なサイズ以上の大きさになっていき、収穫時の収穫リング７０１と茎や葉などとの干渉を発生しやすい。特に、第１折れ曲がり部１３０１の角度が１３０度より大きくなってくると、干渉の確率が高くなる。このことで、安定した収穫を実施しにくくなる。以上のことから、第１折れ曲がり部１３０１の角度は、７０°以上１３０°以下が望ましく、特に９０°が望ましい。

また、収穫リング７０１は、後述するように、収穫対象の果実をその内側へ通過させる。よって、第２直線部１３０６と第２直線部１３０７間の距離が、果実の最大径より大きいことが望ましい。しかしながら、この収穫リング７０１が大きい場合には、果実を収穫する際に、枝と枝の間を通過させるのが難しくなる。このことから、収穫リング７０１の大きさ自体は極力小さいことが好ましい。

以下、図２におけるＳＴＥＰ６のもぎ取り動作について、詳細に説明する。本実施形態におけるロボットハンドの動作ステップを図４に示す。また、図５に、その動作を行う際のロボットハンドの収穫対象果実に対する位置関係の概略図を示す。さらに、図７から図１１に、もぎ取り動作作業における各ステップの動きの概略斜視図を示す。

もぎ取り動作用のロボットハンド７００は第１ロボットアーム１４０２に、もぎ取り動作時の支点を作るための補助部材７０４は第２ロボットアームに、それぞれ取り付けられている。

まず、図４の動作ステップにおけるＳＴＥＰ１において、制御部１４０６は、第１ロボットアーム１４０２を制御することにより、収穫リング７０１を水平面に対して２０°傾ける（本発明の「第１動作」に相当）。具体的には、収穫リング７０１の先端が下方側になるように、収穫リング７０１を水平面に対して前後方向に２０°傾ける。これは、ＳＴＥＰ２において収穫リング７０１を果梗４０５方向に挿入させる際に、傾きをつけて挿入させることで、スムースに挿入することが可能になるためである。この傾きでない場合は、ＳＴＥＰ２において収穫リング７０１の位置が果実４０４の下端に対して上下にずれた場合に、果実４０４と衝突した際の抵抗が大きくなりうまく挿入できない可能性が高くなる。２０°の角度を付けることで、挿入時の収穫対象以外の果実４０４などからの抵抗を小さくすることができる。また、この２０°という角度は、トマトの下端部の曲面の形状に依存しているが、１０°から３０°の範囲であれば、概ねスムースな挿入が可能である。つまり、収穫リング７０１を傾ける角度は、収穫リング７０１のリング面が水平面に対して１０°以上で且つ３０°以下の角度であればよい。

次に、図４の動作ＳＴＥＰ２において、制御部１４０６は、収穫リング７０１を果梗４０５方向に挿入させる。具体的には、図７のように、収穫対象である果実４０４の下端に対して収穫リング７０１の先端部が接触するように、収穫リング７０１を果梗４０５方向に挿入する。この際に、先に示したようにＳＴＥＰ１で２０°傾けた状態のまま挿入させる。これによりスムースに挿入させやすい。

ＳＴＥＰ２においては、制御部１４０６は、収穫対象である果実４０４の下端部の位置を検出する必要がある。このとき、例えば第１ロボットアーム１４０２に搭載されたＴＯＦカメラなどによって、その位置を検出することも可能であるが、できるだけ果実４０４の近くでセンシングを実施するほうが測定精度は向上する。また、例えば収穫ロボット本体の位置からセンシングを行った場合、収穫対象の果実４０４が茎や葉などで隠れ、測定できない場合も想定される。したがって、できるだけ果実４０４の近くでセンシングを実施するほうが望ましい。そこで、第１ロボットアーム１４０２の先端付近にＴＯＦカメラなどのセンサーを取り付けることが、果実４０４の下端部の位置を検出するためには好ましい。

第１ロボットアーム１４０２に取り付けたセンサーによって、果実４０４の下端部の位置を検出する方法について説明する。なお、この方法は、図４における動作ＳＴＥＰ２に先駆けて行われる。

まず、第１ロボットアーム１４０２に取り付けたセンサーによって、任意の位置、好ましくは収穫ロボット本体付近から、収穫対象である果実４０４の画像を取得する。このときの撮像位置を、第１の撮像位置とする。そして、第１の撮像位置で取得した画像に画像処理を施し、収穫対象果実の下端部を検出するのに適した位置、具体的には撮像に対する障害物がなく、できるだけ近づいた位置を、第２の撮像位置として特定する。第２の撮像位置は、第１の撮像位置における画像情報に画像処理を施すことで、果実４０４の位置と、周辺の主茎や果梗などの位置と、を特定し、これらをもとに算出される。また、第２の撮像位置は、第１ロボットアーム１４０２に取り付けたセンサーと果実４０４との間に障害物の存在しない位置が好ましい。

次に、制御部１４０６は、第１ロボットアーム１４０２を制御することにより、第１ロボットアーム１４０２の先端に取り付けたセンサーを第２の撮像位置に移動し、第２の撮像位置で撮像を実施する。この際にも、果実の下端部の位置を測定するために、カラー画像と対象物までの距離を同時に測定するセンサーを用いることが必要であり、ＴＯＦカメラなどを使用する。

上記の方法によって、より高精度に果実４０４の下端部位置を検出することができる。

次に、図４の動作ＳＴＥＰ３において、制御部１４０６は、第２ロボットアーム１４０３を制御することで、補助部材７０４を果梗４０５に押し当てる。具体的には、図８のように、収穫対象である果実４０４より上部に位置する果梗４０５に対して、収穫リング７０１の挿入方向と同じ方向から、補助部材７０４を押し当てる。このことで、収穫リング７０１が、安定した収穫動作を行うことができる。なお、ＳＴＥＰ３の動作は、ＳＴＥＰ２の動作と同時に行われても良く、ＳＴＥＰ２より先に行われても良い。

ＳＴＥＰ３においては、制御部１４０６は、果梗４０５の位置を検出する必要がある。果梗４０５を検出するセンサーについても、第２ロボットアーム１４０３の先端に取り付けることで、高精度で押し当てる果梗の位置を検出することができる。このセンサーについても、カラー画像と対象物までの距離を同時に測定するセンサーを用いることが必要であり、ＴＯＦカメラなどを使用する。

次に、図４の動作ＳＴＥＰ４において、制御部１４０６は、第１ロボットアーム１４０２を制御することで、収穫リング７０１を果実４０４側面に沿って押し上げる（本発明の「第２動作」に相当）。具体的には、図９のように、収穫リング７０１の先端部が果実４０４の側面に沿って動くように、収穫リング７０１を押し上げる。ここで、収穫リング７０１の先端部が果実４０４の側面に沿うことで、収穫リング７０１を果実４０４の上端部までスムースに移動させやすくなる。ここでもし、果実４０４の側面に沿わず果実４０４から離れる方向に収穫リング７０１を押し上げると、収穫リング７０１が果梗４０５と接触しやすくなり、果梗４０５からの抵抗などにより収穫リング７０１を押し上げられなくなる可能性がある。

ＳＴＥＰ４において、収穫リング７０１を押し上げる距離については、果実４０４の縦方向の長さに対応した距離とすることが望ましい。この縦方向の長さについても、第２の撮像位置において取得したデータを用いることで、精度良く算出することが可能となる。

さらに、図４の動作ＳＴＥＰ５において、制御部１４０６は、収穫リング７０１を押し上げる最中に、第１ロボットアーム１４０２を制御することにより、収穫リング７０１にひねりの動作を加える（本発明の「第３動作」に相当）。具体的には、図１０のように、収穫リング７０１の先端部を起点として、横方向に回転させるように、収穫リング７０１にひねりの動作を加える。これにより、押し上げ動作の際の果梗４０５などから受ける収穫リング７０１への抵抗を抑えることが可能となる。また、ひねりの動作における回転度合いは、図４のＳＴＥＰ４における押し上げ動作に線形比例しても良く、指数関数的に増大しても良い。なお、ＳＴＥＰ５の動作は、ＳＴＥＰ４の動作と並行して行われる。

さらに、図４の動作ＳＴＥＰ６において、制御部１４０６は、第１ロボットアーム１４０２を制御することで、収穫リング７０１を引き寄せる（本発明の「第４動作」に相当）。具体的には、図１１のように、第１ロボットアーム１４０２側、すなわち挿入方向と逆方向に、収穫リング７０１を引き寄せる。すなわち、収穫リング７０１は、果実４０４から離れる方向に移動する。このとき、ＳＴＥＰ３で押し当てた補助部材７０４が支点に、収穫リング７０１の先端部が作用点となることで、収穫対象果実の離層部付近にせん断力が発生し、果実４０４が小果梗４０５から分断される。尚、小果梗４０５から分断された果実４０４は、例えば、収穫リング７０１の下方に配設された収穫籠（図示せず）に収納される。

上記の動作ステップによって、果実をもぎ取ることが可能となる。

［効果］
以上のように、本実施形態に係る収穫ロボットは、果実（対象物）４０４を挿通させる収穫リング７０１を有する第１ロボットアーム１４０２と、果実４０４が実った果梗４０５を固定する補助部材７０４を有する第２ロボットアーム１４０３と、第１ロボットアーム１４０２及び第２ロボットアーム１４０３を制御する制御部１４０６と、を備え、制御部１４０６が、補助部材７０４にて、果梗４０５を固定した状態で、収穫リング７０１の移動制御及び姿勢制御を実行可能に構成されている。

従って、本実施形態に係る収穫ロボットによれば、従来技術のように複数のリングを用いることなく、果実を収穫することが可能である。これによって、枝の隙間に存在する果実も容易に収穫することができ、且つ、離層がない果実も収穫することができるため、効率的に果実を収穫することが可能である。

本発明の収穫ロボットに搭載するロボットアームは、果実の収穫に適した収穫リングを有することを特徴とするが、収穫の対象とする果実に適した大きさとすることで、果実の自動収穫の用途全般に適用できる。

２０１引き込みガイド
２０２収穫リング
２０３収穫果ガイド
２０４収穫果シート
２０５ロボットアーム
４０１小果梗
４０２離層
４０３ガク
４０４果実
４０５果梗
７００ロボットハンド
７０１収穫リング
７０３接続部
７０４補助部材
１３０１第１折れ曲がり部
１３０２，１３０３第１直線部
１３０４，１３０５第２折れ曲がり部
１３０６，１３０７第２直線部
１４０１画像取得部
１４０２収穫リング付きロボットアーム
１４０３補助部材付きロボットアーム
１４０４画像処理部
１４０５判断部
１４０６制御部

Claims

対象物を挿通させる収穫リングを有する第１ロボットアームと、
前記対象物が実った果梗を固定する補助部材を有する第２ロボットアームと、
前記第１ロボットアーム及び前記第２ロボットアームを制御する制御部と、
を備え、
前記制御部が、前記補助部材にて、前記果梗を固定した状態で、前記収穫リングの移動制御及び姿勢制御を実行可能に構成され、
前記制御部が、前記収穫リングの先端が下方側になるように、前記収穫リングを水平面に対して前後方向に傾ける第１動作を実行可能に構成され、
前記制御部が、前記第１動作を実行した後、前記収穫リングの姿勢を維持しつつ、前記収穫リングを上方に移動させる第２動作を実行可能に構成され、
前記制御部が、前記第２動作を実行した後、前記収穫リングの先端を起点として、前記収穫リングを横方向に回転させる第３動作を実行可能に構成されている、
収穫ロボット。
前記収穫リングは、先端が角形状のリング穴を形成する、
請求項１に記載の収穫ロボット。
前記収穫リングは、前記角形状を形成するように、一端が互いに接続された一対の第１直線部と、前記一対の第１直線部の他端と接続され、互いに並行に前記第１ロボットアームの基端側に延在する一対の第２直線部と、を有する、
請求項２に記載の収穫ロボット。
前記制御部は、前記収穫リングのリング面が水平面に対して１０°以上で且つ３０°以下の角度となるように、前記第１動作を実行する、
請求項１に記載の収穫ロボット。
前記制御部が、前記第３動作を実行した後、前記収穫リングを、引き寄せる方向に移動させる第４動作を実行可能に構成されている、
請求項１に記載の収穫ロボット。
前記制御部は、前記対象物を収穫する際、
前記第１動作にて、前記収穫リングを前記対象物の下方に配置し、
前記第２動作にて、前記収穫リング内に前記対象物を挿入させ、且つ、前記収穫リングを前記対象物の上端部まで移動させ、
前記第３動作及び前記第４動作にて、前記収穫リングを前記対象物の上端部に存在する前記果梗にせん断力を発生させて、前記果梗から前記対象物を分離する、
請求項５に記載の収穫ロボット。