JPH0430716A - Robot for harvesting fruit - Google Patents

Abstract

PURPOSE:To accurately distinguish the position of a fruit from the background by covering the fruit with a bag having a color different from the colors of tree and leaves thereof and recognizing the bag with an imaging means. CONSTITUTION:A fruit is covered with a bag 8 having a color different from the colors of tree and leaves thereof and the bag is detected with the image sensor 10 of an imaging means disposed at the front and upper portion of a harvesting hand 4. The image sensor has a filter for cutting the natural light and recognizes only the reflected light from the light of stroboscope. When the image sensor senses the bag 8 covered on the fruit, the image is fed to a controller as an image sensor.

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、果実にかけた袋を利用して収穫する果実収
穫ロボットに関し、リンゴなどの収穫に利用できる。[Detailed Description of the Invention] [Industrial Application Field] The present invention relates to a fruit harvesting robot that harvests fruit using a bag placed over the fruit, and can be used to harvest apples and the like.

〔経来技術〕[Traditional technology]

征来のこの種果実収穫機にあっては、例えば、時開３＋
７−２−６５７２５号公報に示されているように、果菜
類を捕捉する作業用ハンドの前方に、予め複数個に区画
された作業範囲が設定され、一つの作業範囲内にある果
菜類が位置する方向を求める画像処理手段と、その画像
処理手段の情報に基づいて前記作業用ハンドをｌｌｉ？
７記果菜の位置する方向に向けて誘導するハンド誘導手
段と、前記画像処理手段の情報に基づいて、前記撮像手
段が撮像する作業範囲内に果菜類が存在しない場合には
、前記撮像手段の撮像視野をつぎの作業範囲に変更する
作業範囲変更手段とが設けられた果菜類収穫機の誘導装
置に関するものがある。For example, in Seira's fruit harvesting machine, Tokigai 3+
As shown in Publication No. 7-2-65725, a plurality of work ranges are set in advance in front of a work hand that captures fruits and vegetables, and fruits and vegetables within one work range are set in advance. An image processing means for determining the positioning direction, and the working hand based on the information of the image processing means.
7. Based on the information of the hand guiding means for guiding the fruits and vegetables in the direction in which they are located, and the information of the image processing means, if there are no fruits and vegetables within the work range imaged by the imaging means, the imaging means There is a guidance device for a fruit and vegetable harvesting machine that is provided with a working range changing means for changing the imaging field of view to the next working range.

〔発明が解決しようとする課題〕[Problem to be solved by the invention]

果実を撮像手段によって色に基づき検出しようとすると
、その果実は、背景の葉、幹、枝などと区別できる色で
あることが必要である。If a fruit is to be detected by an imaging means based on its color, the fruit needs to have a color that can be distinguished from background leaves, trunks, branches, etc.

Ｗ来のこの種撮像手段を用いて色に基づき、果実を識別
してその画像情報に基づき収穫ハンドを誘導する場合、
正確な誘導ができずしばしば空収穫をおこす欠陥があっ
た。W When using this kind of imaging means to identify fruits based on color and guide the harvesting hand based on the image information,
The defect was that accurate guidance was not possible, often resulting in empty harvest.

一方、果実は、これを病虫害から守るために袋かけ作業
を行うのが一般的である。On the other hand, fruits are generally bagged to protect them from pests and diseases.

そこで、この発明は、果実にかける袋に工夫を施して樹
木、葉などからなる背景の色と異なる色調の袋を構成し
、収穫機に搭載した撮像手段によって収穫しようとする
果実をＬＫ　識して画像情報として果実の位置を正確に
制御装置に送信できるようにぜんとするにある。Therefore, in this invention, the bag to be hung on the fruit is devised so that the bag has a color tone different from the color of the background made of trees, leaves, etc., and the fruit to be harvested can be recognized by LK using the imaging means installed in the harvester. The aim is to be able to accurately transmit the position of the fruit as image information to the control device.

〔課題を解決するための手段〕[Means to solve the problem]

この発明は、上述した課題を解決するために、次の如き
技術的手段を講する。すなわち、走行装置１を持つ車台
２上に先端部分に撮像手段３と。In order to solve the above-mentioned problems, the present invention takes the following technical measures. That is, on a vehicle chassis 2 having a traveling device 1, an imaging means 3 is provided at the tip.

果実収穫ハンド４とを有する収穫リンク装置５を設け、
該収穫リンク装置５は前記果実収穫ハンド４を果実の方
向に誘導できる裸数個のアーム６と関節部７とから構成
し、前記撮像手段３はその撮像範囲内に果実にかけた袋
８が存在するときその袋８を撮像信号として制御装置９
に送る構成とし、前記アーム６と関加′Ｊ部７とからな
る収穫リンク装置５は上記制御装置９からの制御信号に
基づき回動して前記果実収穫ハンド４を袋８をかけた果
実に接近できる構成とし、該収穫用ハンド４には袋８の
係止孔１２を係止できる係止装置１２を有する構成とし
た果実収穫用ロボットである。a harvesting link device 5 having a fruit harvesting hand 4;
The harvesting link device 5 is composed of several bare arms 6 and joints 7 that can guide the fruit harvesting hand 4 toward the fruit, and the imaging means 3 has a bag 8 placed over the fruit within its imaging range. When the bag 8 is used as an imaging signal, the control device 9
The harvesting link device 5, which is composed of the arm 6 and the connecting part 7, rotates based on a control signal from the control device 9 to move the fruit harvesting hand 4 to the fruit covered with a bag 8. This fruit harvesting robot is constructed so that it can be approached, and the harvesting hand 4 has a locking device 12 capable of locking a locking hole 12 of a bag 8.

〔作用・効果〕[Action/Effect]

まず、袋８は、実施例の構成においては、赤色に着色し
て成育初期の果実にかぶせて肥培管理を十分行いながら
育てる。First, in the configuration of the embodiment, the bag 8 is colored red and placed over the fruit in the early stages of growth, and the fruit is grown while being sufficiently fertilized.

そして、果実は、収穫の適期になると果実収穫機を操作
して収穫作業に移る。Then, when it is the right time to harvest the fruit, the operator operates a fruit harvesting machine and begins harvesting.

そのとき、果実収穫機は、収穫リンク装置５の各アーム
６を樹木の果実の高さ程度に伸長して走行装置１を訃動
しながら前進させて収穫作業を始める。At that time, the fruit harvesting machine extends each arm 6 of the harvesting link device 5 to about the height of the fruit on the tree, moves the traveling device 1 forward while moving, and starts harvesting work.

すると、樹木４−の果実は、収穫リンク装置５の前部上
方に取り付けている撮像手段３であるイメージセンサ−
１０の撮像−ｆ能な範囲内に入ってくると、そのイメー
ジセンサ−１０によって撮像される。Then, the fruit of the tree 4- is detected by the image sensor which is the imaging means 3 attached to the upper front part of the harvesting link device 5.
When the object comes within the imaging range of 10, it is imaged by the image sensor 10.

このとき、果実は、これにかけられた袋か背景の色調と
異なるために果実（袋）の位置を比較的ｆｌｆｌ’ｌｉ
に撮像できる。At this time, the position of the fruit (bag) is relatively flfl'li because the color tone of the fruit is different from that of the bag or the background.
can be imaged.

このようにして、イメージセンサ−１０は、撮像した画
像を画像信号として制御装置９に送信することになる。In this way, the image sensor 10 transmits the captured image to the control device 9 as an image signal.

つぎに、制御装置９は、果実収穫ハンド４と果実との距
離を計算して各関節部７毎に装動されているモーター１
１に信号として指令する。Next, the control device 9 calculates the distance between the fruit harvesting hand 4 and the fruit, and controls the motor 1 that is activated for each joint 7.
1 as a signal.

すると、各アーム６は、関節の回動に起因して上ト方向
の伸縮と、前後方向の移動とを行いながら果実に近づき
収穫リンク装置５の上部の縦方向の軸を中心とする平曲
内の同動が加わって果実収穫ハンド４を果実に近づける
。Then, each arm 6 approaches the fruit while expanding and contracting in the upper direction and moving in the front and rear directions due to the rotation of the joint, and bends flat around the vertical axis of the upper part of the harvesting link device 5. The inner movement is added to bring the fruit harvesting hand 4 closer to the fruit.

そして、果実収穫ハンド４は、果実にがけた袋８の係止
装置１２にフック１３を挿通して係止し、その状態です
イフ１４が契出して切断収穫するものである。The fruit harvesting hand 4 inserts the hook 13 into the locking device 12 of the bag 8 hung on the fruit and locks it, and in this state, the fruit 14 is released to cut and harvest the fruit.

このようにして、果実収穫ハンド装置４は、果実を係］
１−すると各関節部７の１９１切によってアーム６が１
〜方のキャリヤ１５に達して果実をその中に放出する。In this way, the fruit harvesting hand device 4 handles the fruit.
1- Then, the arm 6 becomes 1 by 191 cuts of each joint 7.
- reaches the carrier 15 and releases the fruit therein.

以ｊ−のように、この発明によれば、成育中の果実を害
虫などから保ルするためにかける袋を、茸類の色と異な
る色調の色に着色して構成し、収穫時期になると、収６
機のイメージセンサ−が果実にかけているこの袋をＬ？
誠して果実の位置を正確に検出できる。As described below, according to the present invention, the bag that is used to protect the growing fruit from pests is colored in a color that is different from the color of the mushrooms, and when the harvest time comes , collection 6
The machine's image sensor detects this bag over the fruit as L?
Therefore, the position of the fruit can be detected accurately.

提来のように、果実を、背景の樹木や葉など混同するこ
とがほとんどなく正確に区ｇ’ｉ　シて果実収穫ハンド
を制御できる特徴がある。As with the conventional method, it has the characteristic that the fruit can be accurately separated and the fruit harvesting hand can be controlled without confusing the fruit with background trees or leaves.

〔実施例〕〔Example〕

車台１は、１動モーター１６を設けた走行装置１を有し
、そのＵ動子−ター１６の正逆転によって前後進ができ
る構成としている。The chassis 1 has a traveling device 1 provided with a single-motion motor 16, and is configured to be able to move forward and backward by forward and reverse rotation of the U-motor 16.

なお、このｔ＋Ｖ　ＩＪ＋モーター１６は、方向センサ
２６の情報に基づき制御される構成としている。Note that this t+V IJ+ motor 16 is configured to be controlled based on information from a direction sensor 26.

そして、収穫リンク装置５は、重合２１こ設けた取付枠
１７に第１アーム６ａ、第２アーム６ｂ、第３アーム６
ｃ、第４アーム６ｄの順にそれぞれ電動モーター１１ａ
、ｌｌｂ、ｌｌｃ、１１ｄ。The harvesting link device 5 is attached to a mounting frame 17 provided with a first arm 6a, a second arm 6b, and a third arm 6.
c, and the electric motor 11a in the order of the fourth arm 6d.
, llb, llc, 11d.

１１ｅ、ｌｌｆ、ｌ１ｇを介して枢着連結し関節部７と
している。They are pivotally connected via 11e, llf, and 11g to form a joint portion 7.

なお、電動モーターｌｉｄは、縦軸を回転軸として駆動
する構成としている。Note that the electric motor lid is configured to be driven with a vertical axis as a rotation axis.

そして、これら各電動モーター１１ａ、ｌｌｂ。And each of these electric motors 11a, llb.

１１ｃ、ｌｉｄ、ｌｉｅ、ｌｌｆ、１１ｇは、後述する
制御装置９から信号を受けて正逆回転でき各アーム６を
制御できる構成としている。11c, lid, lie, llf, and 11g are configured to be able to rotate in forward and reverse directions in response to signals from a control device 9, which will be described later, and can control each arm 6.

しかも、各関節部７は、上述の電動モーター１１ととも
にポテンショメーター２７かあるいはエンコーダ２８の
いずれか一方を設は作動量を制御装置９に送る構成とし
ている。In addition, each joint 7 is configured to include either a potentiometer 27 or an encoder 28 together with the electric motor 11 described above to send the operating amount to the control device 9.

果実収穫ハンド４は、上部に撮像手段３であるイメージ
センサ−１０を設けて前方の画像を撮る構成とし、近傍
にはナイフ１４を設け、その下方にはフック１３を取り
付けている なお、２９は近接センサーである。The fruit harvesting hand 4 is configured to have an image sensor 10 as an imaging means 3 on the upper part to take an image of the front, a knife 14 is provided nearby, and a hook 13 is attached below the knife 14. It is a proximity sensor.

そして、イメージセンサ−１ｏは、撮像範囲内に入って
きた対象物を色によって撮らえ制御装置９に画像信号と
して送る構成としている。The image sensor 1o is configured to capture an object that has entered the imaging range according to its color and send it to the control device 9 as an image signal.

キャリヤ１５は、第１図に示すように、囲枠１８内に上
下可能に装備した底板１９を昇降リンク２０によって支
持する構成としてし）る。そして。As shown in FIG. 1, the carrier 15 has a structure in which a bottom plate 19 is vertically movably installed in an enclosure 18 and is supported by a lifting link 20. and.

昇降リンク２０は、その下部を昇降モーター２２に連結
したねじ軸２１に螺合し、投入された果実の量に応じて
底板１９を下方に下げる構成としている。　転倒防止装
置２３は、車台２の下方に作動リンク２４によって支持
した転調防止プレート２５を接地できる構成にしている
。The lower part of the elevating link 20 is screwed onto a screw shaft 21 connected to an elevating motor 22, and the bottom plate 19 is lowered depending on the amount of fruit thrown in. The overturn prevention device 23 has a configuration in which a shift prevention plate 25 supported by an operating link 24 below the chassis 2 can be grounded.

すなわち、この転調防止プレート２５は、果実収穫ハン
ド４を先端部に持つ収穫リンク装置５が上昇すると車体
２の安定を確保するために接地できる構成としている。That is, the shift prevention plate 25 is configured to be able to touch the ground in order to ensure the stability of the vehicle body 2 when the harvesting link device 5 having the fruit harvesting hand 4 at its tip rises.

つぎに、袋８は、成育初期の果実にかけるもので徒来か
ら慣用されており、収穫適期にイメージセンサ−１０で
撮像したとき背景と識別できる色例えば１．＃、色に着
色している。Next, the bag 8 is a bag that is used to hang fruits in the early stages of growth, and has been used for a long time.The bag 8 has a color that can be distinguished from the background when an image is taken by the image sensor 10 at the appropriate harvest time, such as 1. #, colored.

そして、袋８は、上部開口部分にばね材を用いて果実に
装着するとばね圧によって取付ができる構成とし、側部
に係市装置１２を設けている。The bag 8 has a structure in which a spring material is used in the upper opening part so that when it is attached to the fruit, it can be attached by spring pressure, and a locking device 12 is provided on the side.

なお、イメージセンサ−１０は、天然光をカッ１−する
ためにフィルターを設けた構成とし、ストロボによる反
射光のみを認識できるようにすると袋８の係止孔１２の
位置を検出するのに都合がよい。Note that the image sensor 10 is configured with a filter to filter out natural light, and it is convenient to detect the position of the locking hole 12 of the bag 8 if it is configured to be able to recognize only the light reflected by the strobe. Good.

また、イメージセンサ−１０は、上述のようにフィルタ
ーをかけておいて、スリット状の光を発する機構を併設
すると撮像対象物の立体的形状を認識できるものとなる
。Furthermore, if the image sensor 10 is filtered as described above and provided with a slit-shaped light emitting mechanism, it becomes possible to recognize the three-dimensional shape of the object to be imaged.

すなわち、スリット光を用いる構成にすると、撮像対象
物にスリット光があたると、平な部分と球状（立体的）
の部分との差があられれて葉と果実との認識が容易とな
る。In other words, if you use a configuration that uses slit light, when the slit light hits the object to be imaged, it will be divided into flat parts and spherical (three-dimensional) parts.
The difference between the leaves and the fruit becomes easy to distinguish between the leaves and the fruit.

つぎに収穫作業について説明する。Next, we will explain the harvesting work.

まず、果実の成育の初期における袋かけ作業に際し、上
述した赤色に着色した袋８を果実にかけて栽培する。First, during the bagging operation in the early stage of fruit growth, the above-mentioned red colored bag 8 is placed over the fruit to cultivate the fruit.

そして、果実が成長し収穫の適期に達すると。Then, when the fruit grows and reaches the right time for harvest.

収穫作業を開始するが、以ドにその作業を説明する。Harvesting work will begin, and I will explain the work below.

車台２は、１動モーター１６を１動して走行装置１を伝
動し、果樹園内を前進する。The chassis 2 moves the single-motor motor 16 once to transmit power to the traveling device 1, and moves forward in the orchard.

このとき、収穫リンク装置５は、制御装置９からの制御
信号によって、上部の果実収穫ハンド４に設けているイ
メージセンサ−１０の高さを果実レベルにあわせるため
各アーム６の関節部７が作動してＦ、ｙする。At this time, the harvesting link device 5 operates the joints 7 of each arm 6 in order to adjust the height of the image sensor 10 provided in the upper fruit harvesting hand 4 to the fruit level in response to a control signal from the control device 9. Then F,y.

このようにして、イメージセンサ−１０は１画面内に目
標位置をとらえながら進み、果実にかけた袋８を撮像す
るとそれを画像信号として制御装置９に送る。In this way, the image sensor 10 moves while capturing the target position within one screen, and when it picks up an image of the bag 8 on the fruit, it sends it to the control device 9 as an image signal.

この画′像信号は、イメージセンサ−１０が前述のとお
り着色した袋の赤色を背景の色と区別して認識し、間接
的に果実の位置を知ることになるものである。This image signal is used by the image sensor 10 to distinguish the red color of the colored bag from the background color as described above, thereby indirectly determining the position of the fruit.

このようにして、果実の位置が制御装置９に認滅される
と、制御装置９は、その果実と果実収穫ハンド４との距
離を計算して各電動モーター１１ａ〜ｌ１ｇに制御信号
を発する。In this way, when the position of the fruit is recognized by the control device 9, the control device 9 calculates the distance between the fruit and the fruit harvesting hand 4 and issues a control signal to each of the electric motors 11a to 11g.

それにともなって、各アーム６ａ〜ｌｉｄは、角度変更
がされ、電動モーターｌｉｄによって平面的に回転され
て果実収穫ハンド４を果実に接近させる。Along with this, each of the arms 6a to lid is changed in angle and rotated in a plane by the electric motor lid to bring the fruit harvesting hand 4 closer to the fruit.

このように果実収穫ハンド４が果実まで所定距離に接近
すると、フローチャート図に示すように係止装置１２（
Ｏリング）を検出するためにストロボ光による画像入力
を行う。When the fruit harvesting hand 4 approaches the fruit within a predetermined distance, the locking device 12 (
In order to detect the O-ring), images are input using strobe light.

そして、果実収穫ハンド４は、制御装置９からの制御信
号に基づき係止装置１２（Ｏリング）にアプローチする
。Then, the fruit harvesting hand 4 approaches the locking device 12 (O-ring) based on the control signal from the control device 9.

そして、果実は、フック１３が袋８の係止装置１２に挿
入されると同時にナイフ１４がとびだして果柄部分が切
断されハンド４に保持される。Then, at the same time as the hook 13 is inserted into the locking device 12 of the bag 8, the knife 14 protrudes to cut the fruit stalk and hold the fruit in the hand 4.

このようにして果実は、切り取られると保持された状態
で上方に運ばれてキャリヤ１５に収納される。In this way, once the fruit is cut, it is carried upward in a retained state and stored in the carrier 15.

【図面の簡単な説明】[Brief explanation of drawings]

図面はこの発明の実施例を示すものであって、第１図は
１部を断面して、バす側面図、第２図は制御構成のブロ
ック図、第３図は制御作動のフロチャート、第４図は作
用図、第５図は作用図、第６図は作用図、第７図は別実
施例の作用図、第８図は全体斜面図である。 符号の説明 ２・・・車台 ４・・・果実収穫ハンド ６・・・アーム ６ｂ・・・第２アーム ６ｄ・・・第４アーム ８・・・袋 １０・・・イメージセンサ− １１ａ・・・電動モーター ｌｉｅ・・・電動モーター ｌｉｅ・・電動モーター １１ｇ・・・電動モーター ト・走行装置 ３・・・撮像手段 ５・・・収穫リンク装置 ６ａ・・・第１アーム ６ｃ・・・第３アーム ７・・・関節部 ９・・制御装置 １１・・・電動モーター １１ｂ・・・電動モーター ｌｉｄ・・電動モーター １１ｆ−電動モーター １２・・・係１ヒ装首 １４・・ナイフ １６・・電動モーター １８・−・囲枠 ２０　昇降リンク ２２　・屓−降モータ ２４・・作動リンク ２６・・方向センサ ２８・・エンコーダ １３・・・フック １５・・キャリヤ １７・・・取付枠 １９・・底板 ２１・・ねじ軸 ２３・・転倒防止装置ｔ ２５・・転倒防止プレート ２７・・・ポテンショメータ ２９・・・近接センサーThe drawings show an embodiment of the present invention, in which FIG. 1 is a side view with a part cut away, FIG. 2 is a block diagram of the control configuration, and FIG. 3 is a flowchart of the control operation. FIG. 4 is an operational diagram, FIG. 5 is an operational diagram, FIG. 6 is an operational diagram, FIG. 7 is an operational diagram of another embodiment, and FIG. 8 is an overall perspective view. Explanation of symbols 2...Car chassis 4...Fruit harvesting hand 6...Arm 6b...Second arm 6d...Fourth arm 8...Bag 10...Image sensor 11a... Electric motor lie...Electric motor lie...Electric motor 11g...Electric motor/travel device 3...Imaging means 5...Harvesting link device 6a...First arm 6c...Third arm 7...Joint part 9...Control device 11...Electric motor 11b...Electric motor lid...Electric motor 11f-Electric motor 12...Part 1 hitch neck 14...Knife 16...Electric motor 18... Surrounding frame 20 Lifting link 22 - Lowering motor 24... Operating link 26... Direction sensor 28... Encoder 13... Hook 15... Carrier 17... Mounting frame 19... Bottom plate 21... - Screw shaft 23... Fall prevention device t 25... Fall prevention plate 27... Potentiometer 29... Proximity sensor

Claims (1)

【特許請求の範囲】[Claims] （１）走行装置１を持つ車台２上に先端部分に撮像手段
３と、果実収穫ハンド４とを有する収穫リンク装置５を
設け、該収穫リンク装置５は前記果実収穫ハンド４を果
実の方向に誘導できる複数個のアーム６と関節部７とか
ら構成し、前記撮像手段３はその撮像範囲内に果実にか
けた袋８が存在するときその袋８を撮像信号として制御
装置９に送る構成とし、前記アーム６と関節部７とから
なる収穫リンク装置５は上記制御装置９からの制御信号
に基づき回動して前記果実収穫ハンド４を袋８をかけた
果実に接近できる構成とし、該収穫用ハンド４には袋８
の係止孔１２を係止できる係止装置１２を有する構成と
した果実収穫用ロボット(1) A harvesting link device 5 having an imaging means 3 and a fruit harvesting hand 4 at the tip thereof is provided on the chassis 2 having the traveling device 1, and the harvesting link device 5 directs the fruit harvesting hand 4 in the direction of the fruit. It is composed of a plurality of arms 6 that can be guided and a joint part 7, and the imaging means 3 is configured to send the bag 8 as an imaging signal to the control device 9 when there is a bag 8 covered with fruit within its imaging range, The harvesting link device 5 consisting of the arm 6 and the joint part 7 is configured to rotate based on a control signal from the control device 9 to allow the fruit harvesting hand 4 to approach the fruit covered with a bag 8. Bag 8 in hand 4
A fruit harvesting robot configured to have a locking device 12 capable of locking a locking hole 12 of the fruit harvesting robot.