JP2021036821A

JP2021036821A - Harvesting robot

Info

Publication number: JP2021036821A
Application number: JP2019160357A
Authority: JP
Inventors: 亮戸島; Akira Toshima; 善夫金田; Yoshio Kaneda; 義文郡; Yoshifumi Kori
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2019-09-03
Filing date: 2019-09-03
Publication date: 2021-03-11
Anticipated expiration: 2039-09-03
Also published as: JP7285466B2

Abstract

To provide a harvesting robot improving harvesting efficiency.SOLUTION: A harvesting robot includes a first robot arm 1402 having a harvesting ring 701 allowing a fruit 404 to pass through; a second robot arm 1403 having an auxiliary member 704 for fixing a peduncle 405 bearing the fruit 404, and a control part 1406 controlling the first robot arm 1402 and the second robot arm 1403. The control part 1406 is structured so as to enable execution of movement control and attitude control of the harvesting ring 701 while fixing the peduncle 405 with the auxiliary member 704.SELECTED DRAWING: Figure 4

Description

本発明は、トマトやリンゴなどの果実を自動的に収穫する収穫ロボットにおける果実の収穫動作を行うロボットに関するものである。 The present invention relates to a robot that performs a fruit harvesting operation in a harvesting robot that automatically harvests fruits such as tomatoes and apples.

日本社会における今後の社会課題として、高齢化による生産人口の減少が懸念されている。特に第１次産業である農業について、日本を取り巻く環境は、高齢化が特に顕著であり、労働不足という観点で非常に厳しい状況にある。農林水産省の基本データによると、２０１４年の基幹的農業従事者は１６８万人であり、５年間で約２３万人の減少となっている。また、平均年齢が６６．５歳、新規就農者も減少傾向と、高齢化による労働不足が浮き彫りになる数字となっている。このことにより、耕作放棄地も４０万ｈａに達する状況であり、地域の営農環境や生活環境にも悪影響を与える状況である。特に耕作地が多く存在する地方においては、少子高齢化による過疎化も進み、農業の担い手がいないことからこの問題の顕在化が進んできている。 As a future social issue in Japanese society, there is concern that the working-age population will decrease due to aging. Especially for agriculture, which is the primary industry, the environment surrounding Japan is extremely aging and is in a very difficult situation from the viewpoint of labor shortage. According to the basic data of the Ministry of Agriculture, Forestry and Fisheries, the number of key agricultural workers in 2014 was 1.68 million, a decrease of about 230,000 in five years. In addition, the average age is 66.5 years old, and the number of new farmers is decreasing, which highlights the labor shortage due to aging. As a result, the abandoned cultivated land has reached 400,000 ha, which adversely affects the local farming environment and living environment. Especially in rural areas where there are many cultivated lands, depopulation is progressing due to the declining birthrate and aging population, and this problem is becoming more apparent because there are no farmers.

そのような中、農業の自動化による労働力不足への対応に対する期待が高まっている。経済産業省の「２０１２年ロボット産業の市場動向」によれば、２０１８年から２０２４年にかけて農業関連ロボット国内市場は大きく伸びるとされ、約２２００億円の規模になると予想されている。実際に、ドローンを使った管理、トラクターの自動運転、栽培をナビゲーションするシステムなど、農業の自動化につながる開発も活発になってきている。また、農水省においても、農業の自動化を支援するような補助制度が充実化しており、国からのこの分野への期待も非常に高い。その中で、収穫の自動化に関する技術についても、トマト収穫ロボット、アスパラ収穫ロボット、イチゴ収穫ロボットなどの実用化に向けた開発が、企業や大学などにおいて実施されている。 Under such circumstances, expectations are rising for responding to labor shortages through agricultural automation. According to the Ministry of Economy, Trade and Industry's "2012 Robot Industry Market Trends," the domestic market for agricultural robots is expected to grow significantly from 2018 to 2024, reaching a scale of approximately 220 billion yen. In fact, developments that lead to the automation of agriculture, such as management using drones, automatic operation of tractors, and systems for navigating cultivation, are becoming active. In addition, the Ministry of Agriculture, Forestry and Fisheries has also enhanced the subsidy system to support the automation of agriculture, and the government has high expectations for this field. Among them, as for the technology related to harvest automation, development for practical use of tomato harvesting robot, asparagus harvesting robot, strawberry harvesting robot, etc. is being carried out at companies and universities.

そのような収穫の自動化に関する技術においては、果実を見つけるセンシングの技術、移動機構の技術、もぎ取り動作を行うエンドエフェクタの技術など多くの特許文献が公開されている。その中で、エンドエフェクタに関する従来の技術としては、特許文献１に記載されたようなものがある。これは、果実を離層と呼ばれる部分でもぎ取る方法で収穫する際に、有益な方法である。 In such techniques related to harvest automation, many patent documents have been published, such as a technique for sensing to find fruits, a technique for moving mechanism, and a technique for an end effector that performs a peeling operation. Among them, as a conventional technique relating to an end effector, there is one as described in Patent Document 1. This is a useful method when harvesting fruits by a method called delamination.

図１におけるエンドエフェクタにおいて、２０１は引き込みガイド、２０２は収穫リング、２０３は収穫果ガイド、２０４は収穫果シート、２０５はロボットアームである。このエンドエフェクタによるもぎ取り動作方法は以下のとおりである。まず、トマト引き込み動作で、引き込みガイド２０１で収穫果を引き込み果実間に隙間を作る。次に、果実間の隙間に収穫リング２０２を挿入する。引き込みガイド２０１については、切れ目から小果梗をすり抜けさせ離脱させる。そして、収穫リング２０２を開いて、果実を引き果梗を押す事で、小果梗を引き伸ばし、離層で果実を分離する。 In the end effector in FIG. 1, 201 is a pull-in guide, 202 is a harvest ring, 203 is a harvest fruit guide, 204 is a harvest fruit sheet, and 205 is a robot arm. The peeling operation method by this end effector is as follows. First, in the tomato pulling operation, the harvested fruits are pulled in by the pulling guide 201 to create a gap between the fruits. Next, the harvest ring 202 is inserted into the gap between the fruits. As for the pull-in guide 201, the small fruit stalk is slipped through the cut and separated. Then, by opening the harvest ring 202, pulling the fruit and pressing the fruit stalk, the small fruit stalk is stretched and the fruit is separated by delamination.

特開２０１７−０５１１０４号公報Japanese Unexamined Patent Publication No. 2017-051104

しかしながら、前記従来の構成では、２重で構成された収穫リングそれぞれの相対位置運動が決められた駆動機構で制約されるため果実の様々なシチュエーションに対応できないという課題がある。そしてこのことにより、このエンドエフェクタによる動作によっては、もぎ取り動作しかできない。もぎ取り動作しかできないために、離層とよばれる部分がない果実に対しての収穫は困難であり、収穫率を低下させる要因になってしまう。さらに、別の課題として、複数個のモータ、ガイドなどの構成パーツを持つためにエンドエフェクタ自体が大きく複雑になり、枝の隙間に入らないときがある。これも収穫率を下げる要因となる。 However, the conventional configuration has a problem that it cannot cope with various situations of fruits because the relative position movement of each of the double harvest rings is restricted by a determined drive mechanism. As a result, depending on the operation of this end effector, only the peeling operation can be performed. Since it can only be peeled off, it is difficult to harvest fruits that do not have a part called delamination, which is a factor that lowers the harvest rate. Further, as another problem, since the end effector itself becomes large and complicated because it has a plurality of component parts such as a motor and a guide, it may not fit in the gap between the branches. This is also a factor that lowers the harvest rate.

そこで本開示は、収穫効率を向上することが可能な収穫ロボットを提供することを目的とする。 Therefore, an object of the present disclosure is to provide a harvesting robot capable of improving harvesting efficiency.

本開示による収穫ロボットは、
対象物を挿通させる収穫リングを有する第１ロボットアームと、
前記対象物が実った果梗を固定する補助部材を有する第２ロボットアームと、
前記第１ロボットアーム及び前記第２ロボットアームを制御する制御部と、
を備え、
前記制御部が、前記補助部材にて、前記果梗を固定した状態で、前記収穫リングの移動制御及び姿勢制御を実行可能に構成されている、
収穫ロボットである。 The harvesting robot according to this disclosure is
A first robot arm with a harvesting ring through which an object can be inserted,
A second robot arm having an auxiliary member for fixing the fruit stalk on which the object has grown, and
A control unit that controls the first robot arm and the second robot arm,
With
The control unit is configured to be able to execute movement control and attitude control of the harvest ring with the fruit stalk fixed by the auxiliary member.
It is a harvesting robot.

本発明の収穫ロボットによれば、果実の安定収穫が可能となり、果実の収穫効率の向上を実現することができる。 According to the harvesting robot of the present invention, stable fruit harvesting is possible, and improvement of fruit harvesting efficiency can be realized.

特許文献１に記載された従来のロボットハンドを示す図The figure which shows the conventional robot hand described in Patent Document 1. 本発明の実施の形態における収穫の一連動作のステップを示す図The figure which shows the step of the series operation of a harvest in embodiment of this invention. 本発明の実施の形態における収穫対象のトマト房を示す図The figure which shows the tomato bunch to be harvested in embodiment of this invention 本発明の実施の形態におけるもぎ取り動作のステップを示す図The figure which shows the step of the peeling operation in embodiment of this invention. 本発明の実施の形態におけるもぎ取り動作時のロボットハンドと収穫対象果実の位置関係を示す図The figure which shows the positional relationship between the robot hand and the fruit to be harvested at the time of the peeling operation in embodiment of this invention. 本発明の実施の形態におけるもぎ取り動作を説明する図The figure explaining the peeling operation in embodiment of this invention 本発明の実施の形態におけるもぎ取り動作を説明する図The figure explaining the peeling operation in embodiment of this invention 本発明の実施の形態におけるもぎ取り動作を説明する図The figure explaining the peeling operation in embodiment of this invention 本発明の実施の形態におけるもぎ取り動作を説明する図The figure explaining the peeling operation in embodiment of this invention 本発明の実施の形態におけるもぎ取り動作を説明する図The figure explaining the peeling operation in embodiment of this invention 本発明の実施の形態におけるもぎ取り動作を説明する図The figure explaining the peeling operation in embodiment of this invention 本発明の実施の形態における収穫リングの上面図Top view of the harvest ring according to the embodiment of the present invention 本実施形態における収穫ロボットの装置構成を説明する図The figure explaining the apparatus configuration of the harvesting robot in this embodiment.

まず、本実施の形態における果梗の位置推定方法の理解を助けるために、先に、（１）収穫対象であるトマトの一例の形態、（２）本実施形態における自動収穫ロボットを用いた場合の基本的な収穫動作の一例の形態、について説明する。 First, in order to help the understanding of the method of estimating the position of the fruit stalk in the present embodiment, first, (1) a form of an example of tomato to be harvested, and (2) an automatic harvesting robot in the present embodiment are used. A form of an example of the basic harvesting operation of the above will be described.

（１）収穫対象のトマトの形態
本開示の説明においては、図３に示すトマトを収穫の対象として説明する。図３に示すように、一つの房は果梗４０５といわれる茎を中心に構成されている。この果梗４０５から、小果梗４０１、ガク４０３が生り、その先に果実４０４が生っている。小果梗４０１の途中部分には、離層４０２とよばれる箇所があり、小果梗４０１に力を加えたときに、離層４０２で小果梗４０１が分断される。本開示では、収穫対象を果実４０４が複数個以上密集して構成される房とするのではなく、果実４０４の一つ一つを収穫対象とし、果実４０４の一つ一つをもぎ取ることで収穫している。これは、房に付いている果実４０４の成熟度合いがそれぞれ異なること等を想定しているためである。また一般に、ミニトマトは生食用であり、果実４０４表面に傷を付けずにガク４０３ごと収穫することが必要である。 (1) Morphology of tomatoes to be harvested In the description of the present disclosure, the tomatoes shown in FIG. 3 will be described as harvesting targets. As shown in FIG. 3, one tuft is composed mainly of a stem called a fruit stalk 405. From this fruit stalk 405, small fruit stalks 401 and calyx 403 grow, and fruit 404 grows ahead of them. In the middle part of the small fruit stalk 401, there is a portion called the delamination 402, and when a force is applied to the small fruit stalk 401, the small fruit stalk 401 is divided by the delamination 402. In the present disclosure, the harvest target is not a bunch composed of a plurality of fruit 404s densely packed, but each fruit 404 is targeted for harvest and harvested by peeling off each fruit 404. doing. This is because it is assumed that the degree of maturity of the fruit 404 attached to the bunch is different. In general, cherry tomatoes are edible raw, and it is necessary to harvest the whole calyx 403 without damaging the surface of the fruit 404.

（２）収穫動作の形態
図１３に本実施形態における収穫ロボットの装置構成を示す。 (2) Mode of Harvesting Operation FIG. 13 shows the device configuration of the harvesting robot in the present embodiment.

画像取得部１４０１は、イメージセンサであり、収穫対象の果実４０４等が存在する領域を撮像する。画像処理部１４０４は、画像取得部１４０１において撮像した画像に画像処理を実施する。判断部１４０５は、画像処理結果をもとに収穫対象のトマト果実を検出する。制御部１４０６は、判断部１４０５による検出結果をもとに、第１ロボットアーム１４０２を制御することでトマト収穫ロボットを収穫に適した位置まで移動させる。その後、さらに画像取得部１４０１で撮像を実施し、画像処理部１４０４による処理を実施することで、判断部１４０５がトマト果実の３次元位置、色などを特定する。そして、制御部１４０６が収穫リング付きロボットアーム１４０２、及び補助部材付きロボットアーム１４０３を制御することで、トマトを収穫する。以上が基本的な装置構成とその動作である。 The image acquisition unit 1401 is an image sensor and images an area in which the fruit 404 or the like to be harvested exists. The image processing unit 1404 performs image processing on the image captured by the image acquisition unit 1401. The determination unit 1405 detects the tomato fruit to be harvested based on the image processing result. The control unit 1406 controls the first robot arm 1402 based on the detection result by the determination unit 1405 to move the tomato harvesting robot to a position suitable for harvesting. After that, the image acquisition unit 1401 further performs imaging, and the image processing unit 1404 performs processing, so that the determination unit 1405 identifies the three-dimensional position, color, and the like of the tomato fruit. Then, the control unit 1406 controls the robot arm 1402 with a harvest ring and the robot arm 1403 with an auxiliary member to harvest tomatoes. The above is the basic device configuration and its operation.

尚、以下では、収穫リング付きロボットアーム１４０２を「第１ロボットアーム１４０２」と称し、補助部材付きロボットアーム１４０３を「第２ロボットアーム１４０３」と称する。 In the following, the robot arm 1402 with a harvest ring will be referred to as a "first robot arm 1402", and the robot arm 1403 with an auxiliary member will be referred to as a "second robot arm 1403".

以下、本開示の実施の形態について、図面を参照しながら説明する。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings.

（実施の形態）
本開示の自動収穫ロボットによる収穫動作の基本的な動作の一例ステップを図２に示す。 (Embodiment)
FIG. 2 shows an example step of a basic operation of the harvesting operation by the automatic harvesting robot of the present disclosure.

まず、収穫対象である果実が生っている房を検出する（ＳＴＥＰ１）。検出の方法については、画像センサーを用いて取得した画像に画像処理を施すことによる検出、また人工知能学習により、収穫対象である果実が生っている房の画像を学習することによる検出などが考えられる。 First, the bunch in which the fruit to be harvested is growing is detected (STEP 1). As for the detection method, detection by applying image processing to the image acquired using the image sensor, detection by learning the image of the bunch where the fruit to be harvested is growing by artificial intelligence learning, etc. Conceivable.

次に、ＳＴＥＰ１で検出した房に対して、画像取得部１４０１が果実を収穫するためのセンシング動作を実施する（ＳＴＥＰ２）。果実を収穫するためには、果実が収穫可能な状態になっているか（熟しているか）、果実の位置、果実周辺の茎や葉などの位置の情報が必要であり、ＳＴＥＰ２のセンシングは、これらの情報を算出するための動作になる。ここで、前述したように、果実の色および位置を算出するために、センシングに用いるセンサーとしては、カラー画像を取得するためのカラーカメラ、また距離を測定できる距離センサーあるいは対象物までの距離の測定が可能なＴＯＦカメラなどを同時に用いる方法などが取られる。果実の色は、果実が熟しているかどうかを判別するために用いられる。 Next, the image acquisition unit 1401 performs a sensing operation for harvesting fruits on the tufts detected in STEP 1 (STEP 2). In order to harvest the fruit, it is necessary to know whether the fruit is ready for harvesting (ripe), the position of the fruit, and the position of the stems and leaves around the fruit. It becomes an operation for calculating the information of. Here, as described above, the sensor used for sensing for calculating the color and position of the fruit is a color camera for acquiring a color image, a distance sensor capable of measuring the distance, or the distance to the object. A method such as using a TOF camera capable of measuring at the same time is adopted. The color of the fruit is used to determine if the fruit is ripe.

次に、ＳＴＥＰ２で取得したセンシングのデータをもとに、判断部１４０５が果実の色と果実及び周辺の茎や葉などの位置を算出する（ＳＴＥＰ３）。 Next, based on the sensing data acquired in STEP2, the determination unit 1405 calculates the color of the fruit and the position of the fruit and the surrounding stems and leaves (STEP3).

次に、判断部１４０５が収穫対象と判断された果実を収穫するために第１ロボットアーム１４０２をどのように伸ばせばいいかの軌道計算を実施する（ＳＴＥＰ４）。この際に、周辺の茎や葉などの位置情報から、第１ロボットアーム１４０２がそれらに干渉しない軌道を算出することが重要である。 Next, the determination unit 1405 calculates the trajectory of how to extend the first robot arm 1402 in order to harvest the fruit determined to be the harvest target (STEP 4). At this time, it is important to calculate the trajectory that the first robot arm 1402 does not interfere with the position information of the surrounding stems and leaves.

次に、ＳＴＥＰ４で計算された軌道に基づき、ロボットハンドを収穫対象の果実に近づけるよう第１ロボットアーム１４０２が動作する（ＳＴＥＰ５）。 Next, based on the trajectory calculated in STEP 4, the first robot arm 1402 operates so as to bring the robot hand closer to the fruit to be harvested (STEP 5).

最後に、ロボットハンドがもぎ取り動作を行う（ＳＴＥＰ６）。 Finally, the robot hand performs a peeling operation (STEP 6).

以下、本実施形態におけるロボットハンドについて、詳細に説明する。図６に、本実施形態におけるロボットハンドの概略斜視図を示す。 Hereinafter, the robot hand in this embodiment will be described in detail. FIG. 6 shows a schematic perspective view of the robot hand according to the present embodiment.

本実施の形態におけるロボットハンド７００は、第１ロボットアーム１４０２に搭載されている。ロボットハンド７００による果実のもぎ取り動作は、制御部１４０６による第１ロボットアーム１４０２の制御により実現される。 The robot hand 700 in this embodiment is mounted on the first robot arm 1402. The fruit peeling operation by the robot hand 700 is realized by the control of the first robot arm 1402 by the control unit 1406.

ロボットハンド７００は、収穫リング７０１と、収穫リング７０１と第１ロボットアーム１４０２とを接続する接続部７０３と、を含む。なお、接続部７０３が省略され、第１ロボットアーム１４０２に収穫リング７０１が直接取り付けられることで、ロボットハンド７００が構成されても良い。 The robot hand 700 includes a harvest ring 701 and a connecting portion 703 that connects the harvest ring 701 and the first robot arm 1402. The robot hand 700 may be configured by omitting the connecting portion 703 and directly attaching the harvest ring 701 to the first robot arm 1402.

ここで、収穫リング７０１について、図１２を用いて詳細に説明する。図１２は、本実施形態における収穫リングの概略上面図である。なお、図１２の左手側が、図６における第１ロボットアーム１４０２側となる。 Here, the harvest ring 701 will be described in detail with reference to FIG. FIG. 12 is a schematic top view of the harvest ring according to the present embodiment. The left hand side in FIG. 12 is the first robot arm 1402 side in FIG.

収穫リング７０１は、先端が角形状のリング穴を形成する。具体的には、収穫リング７０１は、先端に第１折れ曲がり部１３０１を有する。収穫リング７０１は、第１折れ曲がり部１３０１（即ち、角形状）を形成するように、左右に第１直線部１３０２および第１直線部１３０３を有する。また、収穫リング７０１は、図６における接続部７０３と接続される第２直線部１３０６および第２直線部１３０７を有する。ここで、第１直線部１３０２と第２直線部１３０６によって、第２折れ曲がり部１３０４が構成される。また、ここで、第１直線部１３０３と第２直線部１３０７によって第２折れ曲がり部１３０５が構成される。 The harvest ring 701 forms a ring hole having a square tip. Specifically, the harvest ring 701 has a first bent portion 1301 at its tip. The harvest ring 701 has a first straight portion 1302 and a first straight portion 1303 on the left and right so as to form a first bent portion 1301 (that is, a square shape). Further, the harvest ring 701 has a second straight line portion 1306 and a second straight line portion 1307 connected to the connecting portion 703 in FIG. Here, the first straight line portion 1302 and the second straight line portion 1306 form a second bent portion 1304. Further, here, the second bent portion 1305 is configured by the first straight portion 1303 and the second straight portion 1307.

第１折れ曲がり部１３０１は、９０°の角度であることが望ましい。これは、収穫対象物である果実が球体上のものであることに起因する。第１折れ曲がり部１３０１が９０°から鋭角に近づいていくと、収穫リング７０１を挿入する際に、収穫リング７０１に収穫対象果実が通過するより先に、第１折れ曲がり部１３０１が果梗に衝突する可能性が高くなる。特に、第１折れ曲がり部１３０１の角度が７０°より小さくなると、衝突の確率が高くなる。このことで、安定した収穫を実施しにくくなる。また、先端部が９０°から鈍角に近づいていくと、収穫リング７０１を通す際に必要なサイズ以上の大きさになっていき、収穫時の収穫リング７０１と茎や葉などとの干渉を発生しやすい。特に、第１折れ曲がり部１３０１の角度が１３０度より大きくなってくると、干渉の確率が高くなる。このことで、安定した収穫を実施しにくくなる。以上のことから、第１折れ曲がり部１３０１の角度は、７０°以上１３０°以下が望ましく、特に９０°が望ましい。 It is desirable that the first bent portion 1301 has an angle of 90 °. This is because the fruit to be harvested is on a sphere. When the first bent portion 1301 approaches an acute angle from 90 °, when the harvest ring 701 is inserted, the first bent portion 1301 collides with the fruit stalk before the fruit to be harvested passes through the harvest ring 701. The possibility is high. In particular, when the angle of the first bent portion 1301 is smaller than 70 °, the probability of collision increases. This makes it difficult to carry out a stable harvest. In addition, when the tip approaches an obtuse angle from 90 °, the size becomes larger than the size required for passing the harvest ring 701, causing interference between the harvest ring 701 at the time of harvest and stems and leaves. It's easy to do. In particular, when the angle of the first bent portion 1301 becomes larger than 130 degrees, the probability of interference increases. This makes it difficult to carry out a stable harvest. From the above, the angle of the first bent portion 1301 is preferably 70 ° or more and 130 ° or less, and particularly preferably 90 °.

また、収穫リング７０１は、後述するように、収穫対象の果実をその内側へ通過させる。よって、第２直線部１３０６と第２直線部１３０７間の距離が、果実の最大径より大きいことが望ましい。しかしながら、この収穫リング７０１が大きい場合には、果実を収穫する際に、枝と枝の間を通過させるのが難しくなる。このことから、収穫リング７０１の大きさ自体は極力小さいことが好ましい。 Further, the harvest ring 701 passes the fruit to be harvested inside the harvest ring 701, as will be described later. Therefore, it is desirable that the distance between the second straight portion 1306 and the second straight portion 1307 is larger than the maximum diameter of the fruit. However, if the harvest ring 701 is large, it will be difficult to pass between the branches when harvesting the fruit. For this reason, it is preferable that the size of the harvest ring 701 itself is as small as possible.

以下、図２におけるＳＴＥＰ６のもぎ取り動作について、詳細に説明する。本実施形態におけるロボットハンドの動作ステップを図４に示す。また、図５に、その動作を行う際のロボットハンドの収穫対象果実に対する位置関係の概略図を示す。さらに、図７から図１１に、もぎ取り動作作業における各ステップの動きの概略斜視図を示す。 Hereinafter, the stripping operation of STEP 6 in FIG. 2 will be described in detail. The operation step of the robot hand in this embodiment is shown in FIG. Further, FIG. 5 shows a schematic diagram of the positional relationship of the robot hand with respect to the fruit to be harvested when performing the operation. Further, FIGS. 7 to 11 show a schematic perspective view of the movement of each step in the peeling operation work.

もぎ取り動作用のロボットハンド７００は第１ロボットアーム１４０２に、もぎ取り動作時の支点を作るための補助部材７０４は第２ロボットアームに、それぞれ取り付けられている。 The robot hand 700 for the peeling operation is attached to the first robot arm 1402, and the auxiliary member 704 for creating a fulcrum during the peeling operation is attached to the second robot arm.

まず、図４の動作ステップにおけるＳＴＥＰ１において、制御部１４０６は、第１ロボットアーム１４０２を制御することにより、収穫リング７０１を水平面に対して２０°傾ける（本発明の「第１動作」に相当）。具体的には、収穫リング７０１の先端が下方側になるように、収穫リング７０１を水平面に対して前後方向に２０°傾ける。これは、ＳＴＥＰ２において収穫リング７０１を果梗４０５方向に挿入させる際に、傾きをつけて挿入させることで、スムースに挿入することが可能になるためである。この傾きでない場合は、ＳＴＥＰ２において収穫リング７０１の位置が果実４０４の下端に対して上下にずれた場合に、果実４０４と衝突した際の抵抗が大きくなりうまく挿入できない可能性が高くなる。２０°の角度を付けることで、挿入時の収穫対象以外の果実４０４などからの抵抗を小さくすることができる。また、この２０°という角度は、トマトの下端部の曲面の形状に依存しているが、１０°から３０°の範囲であれば、概ねスムースな挿入が可能である。つまり、収穫リング７０１を傾ける角度は、収穫リング７０１のリング面が水平面に対して１０°以上で且つ３０°以下の角度であればよい。 First, in STEP 1 in the operation step of FIG. 4, the control unit 1406 tilts the harvest ring 701 by 20 ° with respect to the horizontal plane by controlling the first robot arm 1402 (corresponding to the “first operation” of the present invention). .. Specifically, the harvest ring 701 is tilted 20 ° in the front-rear direction with respect to the horizontal plane so that the tip of the harvest ring 701 is on the lower side. This is because when the harvest ring 701 is inserted in the direction of the fruit stalk 405 in STEP 2, it can be smoothly inserted by inserting it at an angle. If the inclination is not this, when the position of the harvest ring 701 shifts up and down with respect to the lower end of the fruit 404 in STEP 2, the resistance when colliding with the fruit 404 increases and there is a high possibility that the harvest ring 701 cannot be inserted properly. By setting an angle of 20 °, it is possible to reduce the resistance from the fruit 404 or the like other than the harvest target at the time of insertion. Further, the angle of 20 ° depends on the shape of the curved surface of the lower end of the tomato, but if it is in the range of 10 ° to 30 °, it can be inserted almost smoothly. That is, the angle at which the harvest ring 701 is tilted may be such that the ring surface of the harvest ring 701 is at least 10 ° and at least 30 ° with respect to the horizontal plane.

次に、図４の動作ＳＴＥＰ２において、制御部１４０６は、収穫リング７０１を果梗４０５方向に挿入させる。具体的には、図７のように、収穫対象である果実４０４の下端に対して収穫リング７０１の先端部が接触するように、収穫リング７０１を果梗４０５方向に挿入する。この際に、先に示したようにＳＴＥＰ１で２０°傾けた状態のまま挿入させる。これによりスムースに挿入させやすい。 Next, in the operation STEP 2 of FIG. 4, the control unit 1406 inserts the harvest ring 701 in the direction of the fruit stalk 405. Specifically, as shown in FIG. 7, the harvest ring 701 is inserted in the direction of the fruit stem 405 so that the tip of the harvest ring 701 comes into contact with the lower end of the fruit 404 to be harvested. At this time, as shown above, the insertion is performed in a state of being tilted by 20 ° in STEP1. This makes it easy to insert smoothly.

ＳＴＥＰ２においては、制御部１４０６は、収穫対象である果実４０４の下端部の位置を検出する必要がある。このとき、例えば第１ロボットアーム１４０２に搭載されたＴＯＦカメラなどによって、その位置を検出することも可能であるが、できるだけ果実４０４の近くでセンシングを実施するほうが測定精度は向上する。また、例えば収穫ロボット本体の位置からセンシングを行った場合、収穫対象の果実４０４が茎や葉などで隠れ、測定できない場合も想定される。したがって、できるだけ果実４０４の近くでセンシングを実施するほうが望ましい。そこで、第１ロボットアーム１４０２の先端付近にＴＯＦカメラなどのセンサーを取り付けることが、果実４０４の下端部の位置を検出するためには好ましい。 In STEP2, the control unit 1406 needs to detect the position of the lower end of the fruit 404 to be harvested. At this time, for example, the position can be detected by a TOF camera mounted on the first robot arm 1402, but the measurement accuracy is improved by performing sensing as close to the fruit 404 as possible. Further, for example, when sensing is performed from the position of the harvesting robot main body, it is assumed that the fruit 404 to be harvested is hidden by stems or leaves and cannot be measured. Therefore, it is desirable to perform sensing as close to fruit 404 as possible. Therefore, it is preferable to attach a sensor such as a TOF camera near the tip of the first robot arm 1402 in order to detect the position of the lower end of the fruit 404.

第１ロボットアーム１４０２に取り付けたセンサーによって、果実４０４の下端部の位置を検出する方法について説明する。なお、この方法は、図４における動作ＳＴＥＰ２に先駆けて行われる。 A method of detecting the position of the lower end of the fruit 404 by a sensor attached to the first robot arm 1402 will be described. This method is performed prior to the operation STEP 2 in FIG.

まず、第１ロボットアーム１４０２に取り付けたセンサーによって、任意の位置、好ましくは収穫ロボット本体付近から、収穫対象である果実４０４の画像を取得する。このときの撮像位置を、第１の撮像位置とする。そして、第１の撮像位置で取得した画像に画像処理を施し、収穫対象果実の下端部を検出するのに適した位置、具体的には撮像に対する障害物がなく、できるだけ近づいた位置を、第２の撮像位置として特定する。第２の撮像位置は、第１の撮像位置における画像情報に画像処理を施すことで、果実４０４の位置と、周辺の主茎や果梗などの位置と、を特定し、これらをもとに算出される。また、第２の撮像位置は、第１ロボットアーム１４０２に取り付けたセンサーと果実４０４との間に障害物の存在しない位置が好ましい。 First, an image of the fruit 404 to be harvested is acquired from an arbitrary position, preferably near the harvesting robot main body, by a sensor attached to the first robot arm 1402. The imaging position at this time is defined as the first imaging position. Then, the image acquired at the first imaging position is subjected to image processing, and a position suitable for detecting the lower end of the fruit to be harvested, specifically, a position as close as possible without any obstacle to imaging is set. It is specified as the imaging position of 2. In the second imaging position, the image information at the first imaging position is subjected to image processing to identify the position of the fruit 404 and the positions of the surrounding main stems and fruit stalks, etc., and based on these. It is calculated. Further, the second imaging position is preferably a position where there is no obstacle between the sensor attached to the first robot arm 1402 and the fruit 404.

次に、制御部１４０６は、第１ロボットアーム１４０２を制御することにより、第１ロボットアーム１４０２の先端に取り付けたセンサーを第２の撮像位置に移動し、第２の撮像位置で撮像を実施する。この際にも、果実の下端部の位置を測定するために、カラー画像と対象物までの距離を同時に測定するセンサーを用いることが必要であり、ＴＯＦカメラなどを使用する。 Next, the control unit 1406 moves the sensor attached to the tip of the first robot arm 1402 to the second imaging position by controlling the first robot arm 1402, and performs imaging at the second imaging position. .. Also in this case, in order to measure the position of the lower end of the fruit, it is necessary to use a sensor that simultaneously measures the color image and the distance to the object, and a TOF camera or the like is used.

上記の方法によって、より高精度に果実４０４の下端部位置を検出することができる。 By the above method, the position of the lower end of the fruit 404 can be detected with higher accuracy.

次に、図４の動作ＳＴＥＰ３において、制御部１４０６は、第２ロボットアーム１４０３を制御することで、補助部材７０４を果梗４０５に押し当てる。具体的には、図８のように、収穫対象である果実４０４より上部に位置する果梗４０５に対して、収穫リング７０１の挿入方向と同じ方向から、補助部材７０４を押し当てる。このことで、収穫リング７０１が、安定した収穫動作を行うことができる。なお、ＳＴＥＰ３の動作は、ＳＴＥＰ２の動作と同時に行われても良く、ＳＴＥＰ２より先に行われても良い。 Next, in the operation STEP 3 of FIG. 4, the control unit 1406 presses the auxiliary member 704 against the fruit stalk 405 by controlling the second robot arm 1403. Specifically, as shown in FIG. 8, the auxiliary member 704 is pressed against the fruit stem 405 located above the fruit 404 to be harvested from the same direction as the insertion direction of the harvest ring 701. As a result, the harvesting ring 701 can perform a stable harvesting operation. The operation of STEP3 may be performed at the same time as the operation of STEP2, or may be performed before STEP2.

ＳＴＥＰ３においては、制御部１４０６は、果梗４０５の位置を検出する必要がある。果梗４０５を検出するセンサーについても、第２ロボットアーム１４０３の先端に取り付けることで、高精度で押し当てる果梗の位置を検出することができる。このセンサーについても、カラー画像と対象物までの距離を同時に測定するセンサーを用いることが必要であり、ＴＯＦカメラなどを使用する。 In STEP3, the control unit 1406 needs to detect the position of the fruit stalk 405. By attaching the sensor for detecting the fruit stalk 405 to the tip of the second robot arm 1403, it is possible to detect the position of the fruit stalk to be pressed with high accuracy. As for this sensor, it is necessary to use a sensor that simultaneously measures a color image and a distance to an object, and a TOF camera or the like is used.

次に、図４の動作ＳＴＥＰ４において、制御部１４０６は、第１ロボットアーム１４０２を制御することで、収穫リング７０１を果実４０４側面に沿って押し上げる（本発明の「第２動作」に相当）。具体的には、図９のように、収穫リング７０１の先端部が果実４０４の側面に沿って動くように、収穫リング７０１を押し上げる。ここで、収穫リング７０１の先端部が果実４０４の側面に沿うことで、収穫リング７０１を果実４０４の上端部までスムースに移動させやすくなる。ここでもし、果実４０４の側面に沿わず果実４０４から離れる方向に収穫リング７０１を押し上げると、収穫リング７０１が果梗４０５と接触しやすくなり、果梗４０５からの抵抗などにより収穫リング７０１を押し上げられなくなる可能性がある。 Next, in the operation STEP 4 of FIG. 4, the control unit 1406 pushes up the harvest ring 701 along the side surface of the fruit 404 by controlling the first robot arm 1402 (corresponding to the “second operation” of the present invention). Specifically, as shown in FIG. 9, the harvest ring 701 is pushed up so that the tip of the harvest ring 701 moves along the side surface of the fruit 404. Here, since the tip of the harvest ring 701 is along the side surface of the fruit 404, the harvest ring 701 can be easily moved to the upper end of the fruit 404. Here, if the harvest ring 701 is pushed up in a direction away from the fruit 404 without following the side surface of the fruit 404, the harvest ring 701 is likely to come into contact with the fruit stem 405, and the harvest ring 701 is pushed up by resistance from the fruit stem 405 or the like. It may not be possible.

ＳＴＥＰ４において、収穫リング７０１を押し上げる距離については、果実４０４の縦方向の長さに対応した距離とすることが望ましい。この縦方向の長さについても、第２の撮像位置において取得したデータを用いることで、精度良く算出することが可能となる。 In STEP 4, it is desirable that the distance for pushing up the harvest ring 701 is a distance corresponding to the vertical length of the fruit 404. The length in the vertical direction can also be calculated accurately by using the data acquired at the second imaging position.

さらに、図４の動作ＳＴＥＰ５において、制御部１４０６は、収穫リング７０１を押し上げる最中に、第１ロボットアーム１４０２を制御することにより、収穫リング７０１にひねりの動作を加える（本発明の「第３動作」に相当）。具体的には、図１０のように、収穫リング７０１の先端部を起点として、横方向に回転させるように、収穫リング７０１にひねりの動作を加える。これにより、押し上げ動作の際の果梗４０５などから受ける収穫リング７０１への抵抗を抑えることが可能となる。また、ひねりの動作における回転度合いは、図４のＳＴＥＰ４における押し上げ動作に線形比例しても良く、指数関数的に増大しても良い。なお、ＳＴＥＰ５の動作は、ＳＴＥＰ４の動作と並行して行われる。 Further, in the operation STEP 5 of FIG. 4, the control unit 1406 applies a twisting operation to the harvest ring 701 by controlling the first robot arm 1402 while pushing up the harvest ring 701 (“third” of the present invention. Equivalent to "operation"). Specifically, as shown in FIG. 10, a twisting operation is applied to the harvest ring 701 so as to rotate the harvest ring 701 in the lateral direction starting from the tip end portion of the harvest ring 701. This makes it possible to suppress the resistance to the harvest ring 701 received from the fruit stem 405 or the like during the pushing-up operation. Further, the degree of rotation in the twisting operation may be linearly proportional to the pushing operation in STEP 4 of FIG. 4, or may increase exponentially. The operation of STEP 5 is performed in parallel with the operation of STEP 4.

さらに、図４の動作ＳＴＥＰ６において、制御部１４０６は、第１ロボットアーム１４０２を制御することで、収穫リング７０１を引き寄せる（本発明の「第４動作」に相当）。具体的には、図１１のように、第１ロボットアーム１４０２側、すなわち挿入方向と逆方向に、収穫リング７０１を引き寄せる。すなわち、収穫リング７０１は、果実４０４から離れる方向に移動する。このとき、ＳＴＥＰ３で押し当てた補助部材７０４が支点に、収穫リング７０１の先端部が作用点となることで、収穫対象果実の離層部付近にせん断力が発生し、果実４０４が小果梗４０５から分断される。尚、小果梗４０５から分断された果実４０４は、例えば、収穫リング７０１の下方に配設された収穫籠（図示せず）に収納される。 Further, in the operation STEP 6 of FIG. 4, the control unit 1406 attracts the harvest ring 701 by controlling the first robot arm 1402 (corresponding to the “fourth operation” of the present invention). Specifically, as shown in FIG. 11, the harvest ring 701 is pulled toward the first robot arm 1402, that is, in the direction opposite to the insertion direction. That is, the harvest ring 701 moves away from the fruit 404. At this time, the auxiliary member 704 pressed in STEP 3 serves as a fulcrum, and the tip of the harvest ring 701 serves as an action point, so that a shearing force is generated near the delamination portion of the fruit to be harvested, and the fruit 404 becomes a small fruit stem. Divided from 405. The fruit 404 separated from the small fruit stem 405 is stored in, for example, a harvest basket (not shown) arranged below the harvest ring 701.

上記の動作ステップによって、果実をもぎ取ることが可能となる。 The above operation steps allow the fruit to be peeled off.

［効果］
以上のように、本実施形態に係る収穫ロボットは、果実（対象物）４０４を挿通させる収穫リング７０１を有する第１ロボットアーム１４０２と、果実４０４が実った果梗４０５を固定する補助部材７０４を有する第２ロボットアーム１４０３と、第１ロボットアーム１４０２及び第２ロボットアーム１４０３を制御する制御部１４０６と、を備え、制御部１４０６が、補助部材７０４にて、果梗４０５を固定した状態で、収穫リング７０１の移動制御及び姿勢制御を実行可能に構成されている。 [effect]
As described above, the harvesting robot according to the present embodiment includes a first robot arm 1402 having a harvesting ring 701 through which the fruit (object) 404 is inserted, and an auxiliary member 704 for fixing the fruit tube 405 on which the fruit 404 has grown. A second robot arm 1403 having a second robot arm 1403 and a control unit 1406 for controlling the first robot arm 1402 and the second robot arm 1403 are provided. It is configured so that the movement control and the attitude control of the harvest ring 701 can be executed.

従って、本実施形態に係る収穫ロボットによれば、従来技術のように複数のリングを用いることなく、果実を収穫することが可能である。これによって、枝の隙間に存在する果実も容易に収穫することができ、且つ、離層がない果実も収穫することができるため、効率的に果実を収穫することが可能である。 Therefore, according to the harvesting robot according to the present embodiment, it is possible to harvest fruits without using a plurality of rings as in the prior art. As a result, the fruits existing in the gaps between the branches can be easily harvested, and the fruits without delamination can also be harvested, so that the fruits can be harvested efficiently.

本発明の収穫ロボットに搭載するロボットアームは、果実の収穫に適した収穫リングを有することを特徴とするが、収穫の対象とする果実に適した大きさとすることで、果実の自動収穫の用途全般に適用できる。 The robot arm mounted on the harvesting robot of the present invention is characterized by having a harvesting ring suitable for harvesting fruits, but by making the size suitable for the fruits to be harvested, it is used for automatic fruit harvesting. Applicable to all.

２０１引き込みガイド
２０２収穫リング
２０３収穫果ガイド
２０４収穫果シート
２０５ロボットアーム
４０１小果梗
４０２離層
４０３ガク
４０４果実
４０５果梗
７００ロボットハンド
７０１収穫リング
７０３接続部
７０４補助部材
１３０１第１折れ曲がり部
１３０２，１３０３第１直線部
１３０４，１３０５第２折れ曲がり部
１３０６，１３０７第２直線部
１４０１画像取得部
１４０２収穫リング付きロボットアーム
１４０３補助部材付きロボットアーム
１４０４画像処理部
１４０５判断部
１４０６制御部 201 Pull-in guide 202 Harvest ring 203 Harvest fruit guide 204 Harvest fruit sheet 205 Robot arm 401 Small fruit stalk 402 Delamination 403 Gaku 404 Fruit 405 Fruit stalk 700 Robot hand 701 Harvest ring 703 Connection part 704 Auxiliary member 1301 First bend 1302 1303 1st straight part 1304, 1305 2nd bent part 1306, 1307 2nd straight part 1401 Image acquisition part 1402 Robot arm with harvest ring 1403 Robot arm with auxiliary member 1404 Image processing part 1405 Judgment part 1406 Control part

Claims

対象物を挿通させる収穫リングを有する第１ロボットアームと、
前記対象物が実った果梗を固定する補助部材を有する第２ロボットアームと、
前記第１ロボットアーム及び前記第２ロボットアームを制御する制御部と、
を備え、
前記制御部が、前記補助部材にて、前記果梗を固定した状態で、前記収穫リングの移動制御及び姿勢制御を実行可能に構成されている、
収穫ロボット。 A first robot arm with a harvesting ring through which an object can be inserted,
A second robot arm having an auxiliary member for fixing the fruit stalk on which the object has grown, and
A control unit that controls the first robot arm and the second robot arm,
With
The control unit is configured to be able to execute movement control and attitude control of the harvest ring with the fruit stalk fixed by the auxiliary member.
Harvesting robot.

前記収穫リングは、先端が角形状のリング穴を形成する、
請求項１に記載の収穫ロボット。 The harvesting ring forms a ring hole with a square tip.
The harvesting robot according to claim 1.

前記収穫リングは、前記角形状を形成するように、一端が互いに接続された一対の第１直線部と、前記一対の第１直線部の他端と接続され、互いに並行に前記第１ロボットアームの基端側に延在する一対の第２直線部と、を有する、
請求項２に記載の収穫ロボット。 The harvest ring is connected to a pair of first straight line portions whose ends are connected to each other and the other ends of the pair of first straight line portions so as to form the square shape, and the first robot arm is connected in parallel with each other. Has a pair of second straight portions extending to the proximal end side of the
The harvesting robot according to claim 2.

前記制御部が、前記収穫リングの先端が下方側になるように、前記収穫リングを水平面に対して前後方向に傾ける第１動作を実行可能に構成されている、
請求項１乃至３のいずれか一項に記載の収穫ロボット。 The control unit is configured to be able to perform a first operation of tilting the harvest ring in the front-rear direction with respect to the horizontal plane so that the tip of the harvest ring is on the lower side.
The harvesting robot according to any one of claims 1 to 3.

前記制御部は、前記収穫リングのリング面が水平面に対して１０°以上で且つ３０°以下の角度となるように、前記第１動作を実行する、
請求項４に記載の収穫ロボット。 The control unit executes the first operation so that the ring surface of the harvesting ring is at an angle of 10 ° or more and 30 ° or less with respect to the horizontal plane.
The harvesting robot according to claim 4.

前記制御部が、前記第１動作を実行した後、前記収穫リングの姿勢を維持しつつ、前記収穫リングを上方に移動させる第２動作を実行可能に構成されている、
請求項４又は５に記載の収穫ロボット。 After executing the first operation, the control unit is configured to be able to execute a second operation of moving the harvest ring upward while maintaining the posture of the harvest ring.
The harvesting robot according to claim 4 or 5.

前記制御部が、前記第２動作を実行した後、前記収穫リングの先端を起点として、前記収穫リングを横方向に回転させる第３動作を実行可能に構成されている、
請求項６に記載の収穫ロボット。 After executing the second operation, the control unit is configured to be able to execute a third operation of rotating the harvest ring in the lateral direction starting from the tip of the harvest ring.
The harvesting robot according to claim 6.

前記制御部が、前記第３動作を実行した後、前記収穫リングを、引き寄せる方向に移動させる第４動作を実行可能に構成されている、
請求項７に記載の収穫ロボット。 After executing the third operation, the control unit is configured to be able to execute the fourth operation of moving the harvest ring in the pulling direction.
The harvesting robot according to claim 7.

前記制御部は、前記対象物を収穫する際、
前記第１動作にて、前記収穫リングを前記対象物の下方に配置し、
前記第２動作にて、前記収穫リング内に前記対象物を挿入させ、且つ、前記収穫リングを前記対象物の上端部まで移動させ、
前記第３動作及び前記第４動作にて、前記収穫リングを前記対象物の上端部に存在する前記果梗にせん断力を発生させて、前記果梗から前記対象物を分離する、
請求項８に記載の収穫ロボット。
When the control unit harvests the object,
In the first operation, the harvest ring is placed below the object.
In the second operation, the object is inserted into the harvest ring, and the harvest ring is moved to the upper end of the object.
In the third operation and the fourth operation, the harvesting ring is used to generate a shearing force on the fruit stalk existing at the upper end of the object to separate the object from the fruit stalk.
The harvesting robot according to claim 8.