JP2017176087A - Harvesting device - Google Patents

Harvesting device Download PDF

Info

Publication number
JP2017176087A
JP2017176087A JP2016071047A JP2016071047A JP2017176087A JP 2017176087 A JP2017176087 A JP 2017176087A JP 2016071047 A JP2016071047 A JP 2016071047A JP 2016071047 A JP2016071047 A JP 2016071047A JP 2017176087 A JP2017176087 A JP 2017176087A
Authority
JP
Japan
Prior art keywords
harvesting
fruit
imaging
area
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016071047A
Other languages
Japanese (ja)
Inventor
川野　肇
Hajime Kawano
肇 川野
金田　正明
Masaaki Kaneda
正明 金田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2016071047A priority Critical patent/JP2017176087A/en
Publication of JP2017176087A publication Critical patent/JP2017176087A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Harvesting Machines For Specific Crops (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a harvesting device capable of enhancing efficiency of a harvesting work.SOLUTION: A harvesting device comprises: a device body; a first imaging part for imaging a first area during movement of the device body; a first detection part for detecting a position of the first area from the image which is imaged by the first imaging part; a storage part for storing the position of the first area; a second imaging part for imaging a second area which includes the first area; a second detection part for detecting a position of fruit which is harvesting object, from the image of the second area imaged by the second imaging part; a manipulator for harvesting fruit; and a control part for moving the device body to an imaging possible position where the first area can be imaged by the second imaging part, based on the position of the first area stored in the storage part, making the second imaging part image the second area at the imaging possible position, making the second detection part detect the position of fruit which is harvesting object, from the image of the second area, then, based on the detected position of fruit, making the manipulator harvest the fruit which is the harvesting object.SELECTED DRAWING: Figure 1

Description

本発明は、収穫装置に関する。   The present invention relates to a harvesting apparatus.

例えば、路地や施設内には、栽培や収穫作業を行うための作業者用の通路が設けられている。通路の両脇の畝には、トマトなどの果実を房状に実らせる果菜類が植えられている。   For example, in the alleys and facilities, there are passages for workers for performing cultivation and harvesting operations. Fruit vegetables such as tomatoes that grow in a bunch shape are planted in the baskets on both sides of the passage.

作業者は、かごを台車などに載せて通路を移動しながら、トマト（果実）を収穫し、収穫した果実をかごに収納する。なお、通路には台車を移動させるために軌道が設置されていることもある。   The worker harvests tomatoes (fruits) while placing the basket on a carriage or the like and moving the passage, and stores the harvested fruits in the basket. A track may be installed in the passage to move the carriage.

一つの房の中で複数の果実はランダムに赤熟するため、作業者は毎日房を見て回らなければならない。これにより、作業者に多大な労働負荷がかかる。   Since multiple fruits randomly ripen in a single cluster, workers must look around the cluster every day. Thereby, a great labor load is applied to the worker.

このような労働負荷を軽減することを主目的として収穫作業の自動化（自動収穫）が望まれている。   Automation of harvesting work (automatic harvesting) is desired mainly for the purpose of reducing such labor load.

例えば、特許文献１には自動収穫を行う収穫装置が開示されている。図７は、その収穫装置２００の要部の概略構成図である。   For example, Patent Document 1 discloses a harvesting apparatus that performs automatic harvesting. FIG. 7 is a schematic configuration diagram of a main part of the harvesting apparatus 200.

収穫装置２００は、カラーカメラ２０で撮像した果菜類の全体画像を解析し、画面内にある果実の方向をコンピュータ２１で計算した結果から、マニピュレータ２２の先端を果実方向に向けて接近させ、再度カラーカメラ２０で撮像し、その撮像した画像と距離センサ２３で得られるマニピュレータ２２の先端から果実までの距離データにより、果実の大きさ判定と果柄の位置検出をするものである。   The harvesting device 200 analyzes the whole image of the fruits and vegetables picked up by the color camera 20, calculates the direction of the fruit in the screen by the computer 21, and makes the tip of the manipulator 22 approach the fruit direction, and again The image is picked up by the color camera 20, and the size of the fruit and the position of the fruit pattern are detected based on the picked-up image and the distance data from the tip of the manipulator 22 to the fruit obtained by the distance sensor 23.

収穫装置２００は、畝に沿って移動し、一定間隔（距離）移動した所で停止し、停止した位置で果実の大きさ判定などを行う。   The harvesting device 200 moves along the cocoon, stops at a certain distance (distance), and performs fruit size determination at the stopped position.

特許第３７５７２７９号公報Japanese Patent No. 3757279

しかしながら、上記文献に記載された収穫装置２００は、収穫対象にならない果実の位置にも停止して、果実の大きさ判定などを行うため、その分だけ無駄な時間がかり、収穫作業の効率が良くない。   However, since the harvesting apparatus 200 described in the above document stops at the position of the fruit that is not the target of harvesting and performs the size determination of the fruit, it takes time to waste and the efficiency of the harvesting work is high. Absent.

本発明の目的は、上記課題を解決するものであり、収穫作業の効率を上げることが可能な収穫装置を提供することである。   An object of the present invention is to solve the above-described problems and to provide a harvesting apparatus that can increase the efficiency of harvesting work.

上記目的を達成するために、本発明の収穫装置は、
果実が栽培された農場内を移動するように構成された装置本体と、
前記装置本体に設けられ、当該装置本体の移動時に第１領域を撮像する第１撮像部と、
前記第１撮像部により撮像された画像から第１領域の位置を検出する第１検出部と、
前記第１領域の位置を記憶する記憶部と、
前記装置本体に設けられ、前記第１領域を含む第２領域を撮像する第２撮像部と、
前記第２撮像部により撮像された第２領域の画像から収穫対象の果実の位置を検出する第２検出部と、
前記装置本体に設けられ、果実を収穫するマニピュレータと、
前記記憶部に記憶された前記第１領域の位置に基づいて、当該第１領域が前記第２撮像部で撮像できる撮像可能位置に前記装置本体を移動させ、前記撮像可能位置で前記第２領域を前記第２撮像部に撮像させ、当該撮像した前記第２領域の画像から前記第２検出部に収穫対象の果実の位置を検出させ、当該検出した前記果実の位置に基づき、前記マニピュレータに前記収穫対象の果実を収穫させる制御部と、
を備える。 In order to achieve the above object, the harvesting device of the present invention comprises:
An apparatus body configured to move within a farm where the fruit is grown;
A first imaging unit that is provided in the apparatus main body and images a first region when the apparatus main body is moved;
A first detection unit for detecting a position of the first region from an image captured by the first imaging unit;
A storage unit for storing the position of the first region;
A second imaging unit provided in the apparatus main body for imaging a second area including the first area;
A second detector for detecting the position of the fruit to be harvested from the image of the second region imaged by the second imaging unit;
A manipulator provided in the apparatus body for harvesting fruit;
Based on the position of the first area stored in the storage unit, the apparatus body is moved to an imageable position where the first area can be imaged by the second imaging unit, and the second area is captured at the imageable position. To the second imaging unit, the second detection unit to detect the position of the fruit to be harvested from the captured image of the second region, based on the detected position of the fruit, the manipulator A control unit for harvesting fruits to be harvested;
Is provided.

本発明の収穫装置によれば、収穫作業の効率を上げることができる。   According to the harvesting apparatus of the present invention, the efficiency of harvesting work can be increased.

本発明の実施の形態に係る収穫装置の構成図Configuration diagram of harvesting apparatus according to an embodiment of the present invention 収穫装置の外観図Appearance of harvesting equipment 収穫装置の収穫動作を示すフローチャートFlow chart showing harvesting operation of harvesting device 収穫装置のターゲットリストの図Harvester target list diagram 収穫装置の粗認識動作のフローチャートFlow chart of coarse recognition operation of harvesting device 収穫装置のターゲットマークを示す図Diagram showing target marks for harvesting equipment 従来の技術に係る収穫装置を示す図The figure which shows the harvesting apparatus which concerns on the prior art

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、同じ構成要素には同じ符号を付し、その説明を省略する場合もある。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, the same code | symbol is attached | subjected to the same component and the description may be abbreviate | omitted.

本実施の形態では、果実を房状に実らせる果菜類の一例としてトマトを収穫する収穫装置について説明する。   This Embodiment demonstrates the harvesting apparatus which harvests a tomato as an example of the fruit and vegetables which grow a fruit in a bunch.

収穫装置が稼働する施設内には、作業者が栽培や収穫作業を行うための通路が設けられている。通路の両脇の畝には、トマトの成木が植えられている。畝と畝の間の通路に軌道ＴＲ（図２参照）が敷設されている。   In the facility where the harvesting apparatus operates, a passage is provided for an operator to perform cultivation and harvesting operations. Adult tomatoes are planted in the fences on both sides of the passage. A track TR (see FIG. 2) is laid in the passage between the ridges.

収穫装置は、軌道ＴＲ上を移動しながら、房の中から赤熟した果実（トマト）を見つけ出し、その赤熟した果実を自動で収穫するものである。   The harvesting device finds a red ripe fruit (tomato) from the bunch while moving on the trajectory TR, and automatically harvests the red ripe fruit.

図１は、本収穫装置１００の構成図である。また、図２は本収穫装置１００の外観図である。   FIG. 1 is a configuration diagram of the main harvesting apparatus 100. FIG. 2 is an external view of the main harvesting apparatus 100.

図１および図２に示すように、収穫装置１００は、処理部１、粗認識カメラ２、精認識カメラ３、移動機構部４、マニピュレータ５、コンベア６、および、装置本体１０を有する。なお、粗認識カメラ２が本発明の「第１撮像部」に対応し、精認識カメラ３が本発明の「第２撮像部」に対応する。   As shown in FIGS. 1 and 2, the harvesting device 100 includes a processing unit 1, a coarse recognition camera 2, a fine recognition camera 3, a moving mechanism unit 4, a manipulator 5, a conveyor 6, and an apparatus main body 10. The coarse recognition camera 2 corresponds to the “first imaging unit” of the present invention, and the fine recognition camera 3 corresponds to the “second imaging unit” of the present invention.

処理部１は、房検出部１ａ、果実検出部１ｂ、メモリ部１ｃおよび制御部１ｄを有する。なお、房検出部１ａが本発明の「第１検出部」に対応し、また、果実検出部１ｂが本発明の「第２検出部」に対応し、また、メモリ部１ｃが本発明の「記憶部」に対応する。   The processing unit 1 includes a tuft detection unit 1a, a fruit detection unit 1b, a memory unit 1c, and a control unit 1d. The tuft detection unit 1a corresponds to the “first detection unit” of the present invention, the fruit detection unit 1b corresponds to the “second detection unit” of the present invention, and the memory unit 1c corresponds to the “first detection unit” of the present invention. Corresponds to “memory unit”

マニピュレータ５は、関節型アーム５ａと、その関節型アーム５ａの先端に備えられた摘果用ハンド５ｂと、スライド機構５ｃと、を有する。   The manipulator 5 includes an articulated arm 5a, a fruit hand 5b provided at the tip of the articulated arm 5a, and a slide mechanism 5c.

移動機構部４は、装置本体１０を軌道ＴＲに沿って移動させる。
装置本体１０には、処理部１、粗認識カメラ２、マニピュレータ５、および、コンベア６が設けられる。 The moving mechanism unit 4 moves the apparatus main body 10 along the track TR.
The apparatus main body 10 is provided with a processing unit 1, a coarse recognition camera 2, a manipulator 5, and a conveyor 6.

粗認識カメラ２は、精認識カメラ３より前方の位置に設置されている。これにより、粗認識カメラ２は、精認識カメラ３より早く、畝の前方の領域を撮像することが可能となる。なお、ここで、前方とは、畝の始点から終点に向かう方向であって、装置本体１０の移動方向Ｄ１をいうものとする。なお、移動方向Ｄ１は、畝に沿った方向と平行な方向である。   The coarse recognition camera 2 is installed at a position in front of the fine recognition camera 3. Thereby, the coarse recognition camera 2 can image the area in front of the bag earlier than the fine recognition camera 3. Here, the front refers to the direction from the starting point to the end point of the bag and the moving direction D1 of the apparatus main body 10. The moving direction D1 is a direction parallel to the direction along the ridge.

粗認識カメラ２の撮像方向は、装置本体１０の移動方向Ｄ１に対して直交する水平な方向である。なお、以下の説明で、この水平な方向をＸ方向といい、移動方向Ｄ１をＹ方向といい、Ｘ方向およびＹ方向にそれぞれ直交する高さ（地面からの高さ）方向をＺ方向という場合がある。   The imaging direction of the coarse recognition camera 2 is a horizontal direction orthogonal to the moving direction D1 of the apparatus body 10. In the following description, this horizontal direction is referred to as the X direction, the moving direction D1 is referred to as the Y direction, and the height (height from the ground) direction orthogonal to the X direction and the Y direction is referred to as the Z direction. There is.

粗認識カメラ２は、装置本体１０の移動中に一定の距離間隔毎に撮像する。この距離間隔は、粗認識カメラ２で撮像される視野の幅より狭い。これにより、粗認識カメラ３は、畝に沿った視界を隙間なく撮像するため、畝に沿った全領域を撮像可能とある。例えば、制御部１ｂは、粗認識カメラ２により撮像された画像（以下、第１画像と称する）を、例えば撮像時における粗認識カメラ２のレンズの位置を示す第１撮像位置情報（Ｙ座標およびＺ座標で表される）と関連づけてメモリ部１ｃに記憶させる。なお、第１撮像位置情報におけるＹ座標は、例えば、撮像時の装置本体１０の位置情報から算出可能であり、装置本体１０の位置情報は、装置本体１０の移動距離に相当するため、例えば、移動機構部４から取得可能である。また、例えば、制御部１ｄが移動機構部４を制御するときの制御情報から取得可能である。また、第１撮像位置情報におけるＺ座標は一定であるとする。   The coarse recognition camera 2 captures images at regular distance intervals while the apparatus main body 10 is moving. This distance interval is narrower than the width of the field of view imaged by the coarse recognition camera 2. Thereby, since the coarse recognition camera 3 images the field of view along the heel without a gap, the entire region along the heel can be imaged. For example, the control unit 1b uses an image captured by the coarse recognition camera 2 (hereinafter referred to as a first image), for example, first imaging position information (Y coordinate and the position of the lens of the coarse recognition camera 2 at the time of imaging). (Represented by the Z coordinate) and stored in the memory unit 1c. Note that the Y coordinate in the first imaging position information can be calculated, for example, from the position information of the apparatus main body 10 at the time of imaging, and the position information of the apparatus main body 10 corresponds to the movement distance of the apparatus main body 10. It can be acquired from the moving mechanism unit 4. Further, for example, it can be acquired from control information when the control unit 1d controls the moving mechanism unit 4. Further, it is assumed that the Z coordinate in the first imaging position information is constant.

房検出部１ａは、メモリ部１ｃに記憶された第１画像を読み出し、第１画像が第１条件を満たすか否かを判断する。第１条件とは、第１画像中に一定以上の赤みを帯びた房が撮像されていることをいい、具体的には、第１画像中に、赤の色相が所定値以上である領域（以下、収穫対象の第１領域と称する）が１つ以上存在していることをいう。   The tuft detection unit 1a reads the first image stored in the memory unit 1c, and determines whether the first image satisfies the first condition. The first condition means that a certain amount of reddish tufts are imaged in the first image. Specifically, in the first image, a region where the red hue is a predetermined value or more ( Hereinafter, it means that one or more harvesting target first regions are present.

房検出部１ａは、第１画像が第１条件を満たす場合、第１撮像位置情報に基づいて、収穫対象の第１領域を囲む矩形の中心位置から、第１領域の中心のＹおよびＺの座標を算出し、算出した中心座標（Ｙ１，Ｚ１）をメモリ部１ｃに記憶させる。なお、メモリ部１ｃに記憶された第１領域の中心座標が、精認識カメラ３を移動させる目標の座標（後述する）となる。また、メモリ部１ｃには、畝の終点のＹ座標が目標の座標の初期値として記憶される。   When the first image satisfies the first condition, the tuft detection unit 1a determines the Y and Z of the center of the first region from the center position of the rectangle surrounding the first region to be harvested based on the first imaging position information. The coordinates are calculated, and the calculated center coordinates (Y1, Z1) are stored in the memory unit 1c. Note that the center coordinates of the first area stored in the memory unit 1c become target coordinates (to be described later) for moving the precision recognition camera 3. Further, the Y coordinate of the end point of the eyelid is stored as an initial value of the target coordinate in the memory unit 1c.

精認識カメラ３は、スライド機構５ｃ（図２参照）に搭載されている。
精認識カメラ３の撮像方向は、粗認識カメラ２のそれと同じく、移動方向Ｄ１に対して直交する水平なＸ方向である。なお、このＸ方向を精認識カメラ３の撮像奥行方向という場合がある。 The precision recognition camera 3 is mounted on a slide mechanism 5c (see FIG. 2).
The imaging direction of the fine recognition camera 3 is the horizontal X direction orthogonal to the movement direction D1 as in the coarse recognition camera 2. This X direction may be referred to as the imaging depth direction of the fine recognition camera 3.

粗認識カメラ２と精認識カメラ３とは、Ｙ方向においてそれぞれの撮像される視野が重ならない間隔以上の間隔Ｓをおいて設置される。   The coarse recognition camera 2 and the fine recognition camera 3 are installed at an interval S that is equal to or greater than the interval at which the fields of view captured in the Y direction do not overlap.

精認識カメラ３は、スライド機構５ｃに搭載される。スライド機構５ｃは、精認識カメラ３をＺ方向に移動する。   The precision recognition camera 3 is mounted on the slide mechanism 5c. The slide mechanism 5c moves the precision recognition camera 3 in the Z direction.

制御部１ｄは、収穫対象の第１領域の座標に基づいて、房を撮影可能な位置に精認識カメラ３を移動するように移動機構部４およびスライド機構５ｃを制御する。具体的には、制御部１ｄは、上記の間隔Ｓの距離の分だけ装置本体１０を前方に移動させるように移動機構部４を制御する。さらに、制御部１ｄは、Ｚ方向における粗認識カメラ２と精認識カメラ３との間の距離の分だけ精認識カメラ３を移動させるようにスライド機構５ｃを制御する。これにより、精認識カメラ３の位置がＹ座標およびＺ座標において第１領域の座標と一致する。つまり、精認識カメラ３は、第１領域と正対し、第１領域を撮影可能となる。   Based on the coordinates of the first region to be harvested, the control unit 1d controls the moving mechanism unit 4 and the slide mechanism 5c so as to move the fine recognition camera 3 to a position where the tuft can be photographed. Specifically, the control unit 1d controls the moving mechanism unit 4 so as to move the apparatus main body 10 forward by the distance S. Furthermore, the control unit 1d controls the slide mechanism 5c so as to move the fine recognition camera 3 by the distance between the coarse recognition camera 2 and the fine recognition camera 3 in the Z direction. Thereby, the position of the fine recognition camera 3 coincides with the coordinates of the first region in the Y coordinate and the Z coordinate. That is, the fine recognition camera 3 can face the first area and photograph the first area.

精認識カメラ３は、上記の撮影可能な位置に移動した後、第１領域を含む領域（以下、収穫対象の第２領域と称する）を撮像する。なお、収穫領域の第２領域には、房および房周辺の隣接する房や茎、葉などの収穫する際に障害となる物が含まれる。   The fine recognition camera 3 moves to the position where the image can be taken, and then images an area including the first area (hereinafter referred to as a second area to be harvested). Note that the second region of the harvesting region includes bunches and adjacent bunches around the bunches, stems, leaves, and the like that become obstacles when harvesting.

制御部１ｄは、例えば、精認識カメラ３により撮像された収穫対象の第２領域の画像（以下、第２画像と称する）を、例えば、撮像時における精認識カメラ３のレンズの位置を示す第２撮像位置情報（Ｙ座標およびＺ座標で表される）と関連づけてメモリ部１ｃに記憶させる。なお、第２撮像位置情報におけるＹ座標は、例えば、前述する第１撮像位置情報におけるＹ座標と同様に、撮像時の装置本体１０の位置情報から算出可能である。また、第２撮像位置情報におけるＺ座標は、例えば、スライド機構５ｃから取得可能であり、また、例えば、制御部１ｄがスライド機構５ｃを制御するときの制御情報から取得可能である。   For example, the control unit 1d uses an image of the second region to be harvested (hereinafter referred to as a second image) captured by the precision recognition camera 3, for example, a first position indicating the position of the lens of the precision recognition camera 3 at the time of imaging. 2 Stored in the memory unit 1c in association with the imaging position information (represented by the Y coordinate and the Z coordinate). The Y coordinate in the second imaging position information can be calculated from the position information of the apparatus main body 10 at the time of imaging, for example, similarly to the Y coordinate in the first imaging position information described above. In addition, the Z coordinate in the second imaging position information can be acquired from the slide mechanism 5c, for example, and can be acquired from control information when the control unit 1d controls the slide mechanism 5c, for example.

果実検出部１ｂは、メモリ部１ｃに記憶された第２画像を読み出し、第２画像が第２条件を満たすか否かを判断する。なお、第２条件としては、果実の色情報、および、房の前面にあり摘果用ハンド５ｂで収穫に容易な位置にあることなどをいい、具体的には、赤の色相が所定値以上である領域が存在し、当該領域を含む領域の輪郭（切り出した果実部分）の形状が予め定められた形状の範囲内であり（収穫対象の果実の手前側に障害となる物があるとき輪郭の形状は予め定められた形状の範囲から外れる）、輪郭の大きさが予め定められた大きさ以上であることをいう。第２条件を満たす輪郭内の領域を収穫対象の第２領域と称する。   The fruit detection part 1b reads the 2nd image memorize | stored in the memory part 1c, and judges whether a 2nd image satisfy | fills 2nd conditions. The second condition refers to the color information of the fruit and the fact that it is located in front of the bunches and is easy to harvest with the fruiting hand 5b. Specifically, the red hue is a predetermined value or more. If there is a certain area and the outline of the area including the area (the cut fruit portion) is within the predetermined shape (when there is an obstacle on the near side of the fruit to be harvested, The shape deviates from the range of the predetermined shape), and the size of the contour is equal to or larger than the predetermined size. The area within the contour that satisfies the second condition is referred to as a second area to be harvested.

果実検出部１ｂは、第２条件を満たすと判断した場合、第２撮像位置情報に基づいて収穫対象の第２領域の中心のＸ、ＹおよびＺの座標（Ｘ２，Ｙ２，Ｚ２）を算出し、算出した中心座標（Ｘ２，Ｙ２，Ｚ２）をメモリ部１ｃに記憶させる。なお、第２領域のＸ座標は、精認識カメラ３の撮像奥行方向に相当する。   When the fruit detection unit 1b determines that the second condition is satisfied, the fruit detection unit 1b calculates the X, Y, and Z coordinates (X2, Y2, Z2) of the center of the second region to be harvested based on the second imaging position information. The calculated center coordinates (X2, Y2, Z2) are stored in the memory unit 1c. The X coordinate of the second region corresponds to the imaging depth direction of the fine recognition camera 3.

果実検出部１ｂは、上記輪郭（切り出した果実部分）から第２領域の中心座標（Ｘ２，Ｙ２，Ｚ２）を算出する。   The fruit detection unit 1b calculates the center coordinates (X2, Y2, Z2) of the second region from the contour (the cut fruit part).

スライド機構５ｃは、関節型アーム５ａおよび摘果用ハンド５ｂを搭載する。スライド機構５ｃは、関節型アーム５ａ等をＺ方向に移動させる。関節型アーム５ａは、摘果用ハンド５ｂをＸ方向およびＹ方向に移動させる。これにより、摘果用ハンド５ｂは、ＸＹＺの３次元空間を移動可能となる。   The slide mechanism 5c is equipped with an articulated arm 5a and a fruit hand 5b. The slide mechanism 5c moves the articulated arm 5a and the like in the Z direction. The articulated arm 5a moves the fruit hand 5b in the X direction and the Y direction. As a result, the fruit hand 5b can move in the three-dimensional space of XYZ.

制御部１ｄは、収穫対象の第２領域の中心座標（Ｘ２，Ｙ２，Ｚ２）をメモリ部１ｃから読み出し、読み出した座標を基に、スライド機構５ｃ、関節型アーム５ａおよび摘果用ハンド５ｂの各動きを制御する。   The control unit 1d reads the central coordinates (X2, Y2, Z2) of the second region to be harvested from the memory unit 1c, and based on the read coordinates, each of the slide mechanism 5c, the articulated arm 5a, and the fruit hand 5b. Control movement.

装置本体１０の後方には、収納部７が設けられる。コンベア６は、マニピュレータ５によって収穫された果実を移動方向Ｄ１における後方の収納部７へ送る。   A storage unit 7 is provided behind the apparatus main body 10. The conveyor 6 sends the fruits harvested by the manipulator 5 to the rear storage unit 7 in the movement direction D1.

以下に、収穫装置１００による収穫動作を図１および図３を参照して説明する。
図３は、収穫装置１００の収穫動作を示すフローチャートである。 Hereinafter, the harvesting operation by the harvesting apparatus 100 will be described with reference to FIGS. 1 and 3.
FIG. 3 is a flowchart showing the harvesting operation of the harvesting apparatus 100.

制御部１ｄは、移動機構部４を制御して、装置本体１０のＹ方向の移動を開始させる（ステップＳ１）。なお、装置本体１０の移動開始時に、装置本体１０の停止位置として畝の終点のＹ座標を初期値としてターゲットリストに仮設定しておく。この時のＺ座標の初期値を０とする。   The control unit 1d controls the movement mechanism unit 4 to start the movement of the apparatus main body 10 in the Y direction (step S1). When the movement of the apparatus main body 10 is started, the Y coordinate of the end point of the eyelid is temporarily set as an initial value in the target list as the stop position of the apparatus main body 10. The initial value of the Z coordinate at this time is set to zero.

制御部１ｄは、装置本体１０が畝の終点に移動したか否かを判断する（ステップＳ２）。装置本体１０が畝の終点に移動した場合（ステップＳ２：ＹＥＳ）、収穫動作を完了する（Ｓ１３）。   The control unit 1d determines whether or not the apparatus main body 10 has moved to the end point of the bag (step S2). When the apparatus main body 10 has moved to the end point of the straw (step S2: YES), the harvesting operation is completed (S13).

装置本体１０が畝の終点に移動しない場合（ステップＳ２：ＮＯ）、装置本体１０の移動中に、粗認識カメラ２は一定距離間隔で撮像する（ステップＳ３）。これにより、粗認識カメラ２は、畝に沿った領域を撮像する。撮像した第１画像をメモリ部１ｃに記憶させる。   When the apparatus main body 10 does not move to the end point of the bag (step S2: NO), the coarse recognition camera 2 captures images at a constant distance interval during the movement of the apparatus main body 10 (step S3). Thereby, the coarse recognition camera 2 images the area along the eyelid. The captured first image is stored in the memory unit 1c.

房検出部１ａは、メモリ部１ｃに記憶された第１画像から収穫対象の第１領域（所定値以上の赤の色相領域）を検出し、検出した第１領域の中心座標（Ｙ１，Ｚ１）を算出し、算出した第１領域の中心座標（Ｙ１，Ｚ１）をリスト化したターゲットリストをメモリ部１ｃに格納させる。ここで、第１領域の検出、また、第１領域が検出された場合に、第１領域の中心座標をターゲットリストに格納するまでの一連の動作を粗認識動作と呼ぶ。   The tuft detection unit 1a detects the first region to be harvested (red hue region of a predetermined value or more) from the first image stored in the memory unit 1c, and the center coordinates (Y1, Z1) of the detected first region And the target list obtained by listing the calculated center coordinates (Y1, Z1) of the first region is stored in the memory unit 1c. Here, the detection of the first area and a series of operations until the center coordinates of the first area are stored in the target list when the first area is detected are referred to as coarse recognition operations.

図４はターゲットリストを示す。ターゲットリストはターゲット番号、第１領域の中心のＹ座標およびＺ座標からなる。図４では、第１領域の中心座標の具体的な数値を省略して示す。   FIG. 4 shows the target list. The target list includes a target number, a Y coordinate of the center of the first area, and a Z coordinate. In FIG. 4, specific numerical values of the center coordinates of the first region are omitted.

粗認識動作後、制御部１ｄは、ターゲットリストに格納された第１領域の中心座標のうち最も装置本体１０に近いＹ座標である、第１領域の中心座標Ｙ１に精認識カメラ３を移動させるように、移動機構部４を制御する。
制御部１ｄは、精認識カメラ３が第１領域の中心座標Ｙ１に到達したか否かを判断する（ステップＳ４）。 After the coarse recognition operation, the control unit 1d moves the fine recognition camera 3 to the center coordinate Y1 of the first area, which is the Y coordinate closest to the apparatus body 10 among the center coordinates of the first area stored in the target list. Thus, the moving mechanism unit 4 is controlled.
The control unit 1d determines whether or not the fine recognition camera 3 has reached the center coordinate Y1 of the first region (step S4).

精認識カメラ３が第１領域の中心座標Ｙ１に到達しない場合（ステップＳ４：ＮＯ）、所定時間後、処理をステップＳ４に戻し、装置本体１０が畝の終点に到達していない場合、装置本体１０を続けて移動させる。   If the precision recognition camera 3 does not reach the center coordinate Y1 of the first region (step S4: NO), the process returns to step S4 after a predetermined time, and if the device body 10 has not reached the end point of the bag, the device body 10 is moved continuously.

精認識カメラ３が第１領域の中心座標Ｙ１に到達した場合（ステップＳ４：ＹＥＳ）、装置本体１０を停止させるように、移動機構部４を制御する（ステップＳ５）。   When the precision recognition camera 3 reaches the center coordinate Y1 of the first region (step S4: YES), the moving mechanism unit 4 is controlled to stop the apparatus main body 10 (step S5).

そして、制御部１ｄは、精認識カメラ３の位置を第１領域の中心座標Ｚ１に移動させるように、スライド機構５ｃを制御する（ステップＳ６）。このとき、関節型アーム５ａは、精認識カメラ３と共にＺ方向に移動する。   And the control part 1d controls the slide mechanism 5c so that the position of the fine recognition camera 3 may be moved to the center coordinate Z1 of a 1st area | region (step S6). At this time, the articulated arm 5a moves in the Z direction together with the precision recognition camera 3.

次に、精認識カメラ３は、収穫対象の第２領域を撮像し、撮像した収穫対象の第２領域の第２画像をメモリ部１Ｃに記憶させる（ステップＳ７）。   Next, the precision recognition camera 3 images the second area to be harvested, and stores the captured second image of the second area to be harvested in the memory unit 1C (step S7).

次に、果実検出部１ｂは、メモリ部１ｃに記憶された第２領域の第２画像に基づいて収穫対象の果実を検出し、検出した収穫対象の果実の中心座標（Ｘ２，Ｙ２，Ｚ２）を算出し、メモリ部１ｃに格納させる（ステップＳ８）。また、果実検出部１ｂは、第２領域の第２画像に基づいて障害物を検出し、障害物の位置情報をメモリ部１ｃに記憶させる。ここで、収穫対象の果実の検出、また、第２領域が検出された場合に、果実の中心座標を格納するまでの一連の動作を精認識動作と呼ぶ。   Next, the fruit detection unit 1b detects the fruit to be harvested based on the second image of the second region stored in the memory unit 1c, and the center coordinates (X2, Y2, Z2) of the detected fruit to be harvested Is calculated and stored in the memory unit 1c (step S8). Moreover, the fruit detection part 1b detects an obstruction based on the 2nd image of a 2nd area | region, and memorize | stores the positional information on an obstruction in the memory part 1c. Here, when a fruit to be harvested is detected, or when the second region is detected, a series of operations until the center coordinates of the fruit are stored is called a fine recognition operation.

精認識動作後、果実検出部１ｂが収穫対象の果実を検出しない場合（ステップＳ９：ＮＯ）、ターゲットリストから第１領域の座標を消去する（ステップＳ１４）。その後、処理がステップＳ２に戻る。   If the fruit detection unit 1b does not detect the fruit to be harvested after the fine recognition operation (step S9: NO), the coordinates of the first region are deleted from the target list (step S14). Thereafter, the process returns to step S2.

果実検出部１ｂが収穫対象の果実を検出した場合（ステップＳ９：ＹＥＳ）、制御部１ｄは収穫対象の果実の中心座標（Ｘ２，Ｙ２，Ｚ２）および障害物の位置情報をメモリ部１ｃから読み出す。制御部１ｄは収穫対象の果実の中心座標と障害物の位置情報に基づいて、関節型アーム５ａの軌道を計算する（ステップＳ１０）。   When the fruit detection unit 1b detects the fruit to be harvested (step S9: YES), the control unit 1d reads the center coordinates (X2, Y2, Z2) of the fruit to be harvested and the position information of the obstacle from the memory unit 1c. . The control unit 1d calculates the trajectory of the articulated arm 5a based on the center coordinates of the fruit to be harvested and the position information of the obstacle (step S10).

次に、制御部１ｄは、関節型アーム５ａが果実を収穫するために作動した場合に障害物と干渉するか否かを、障害物の位置と関節型アーム５ａの軌道から判断する（ステップＳ１１）。   Next, the control unit 1d determines from the position of the obstacle and the trajectory of the articulated arm 5a whether or not it interferes with the obstacle when the articulated arm 5a is operated to harvest the fruit (step S11). ).

障害物と干渉せず、収穫可の場合（ステップＳ１１：ＹＥＳ）、制御部１ｄは、関節型アーム５ａの軌道に基づき、摘果用ハンド５ｂを収穫対象の果実に接近させ、その果実を収穫するように関節型アーム５ａおよび摘果用ハンド５ｂを制御する。これにより、収穫対象の果実を収穫する（Ｓ１２）。制御部１ｄは、収穫対象の果実の収穫を終えた場合、摘果用ハンド５ｂを元の位置に戻すように、関節型アーム５ａを制御する。次に、処理がステップＳ８に戻る。   If the harvesting is possible without interfering with the obstacle (step S11: YES), the control unit 1d brings the fruiting hand 5b closer to the fruit to be harvested based on the trajectory of the articulated arm 5a and harvests the fruit. Thus, the articulated arm 5a and the fruit hand 5b are controlled. Thereby, the fruit to be harvested is harvested (S12). When the harvesting of the fruit to be harvested is completed, the control unit 1d controls the articulated arm 5a so as to return the fruit hand 5b to its original position. Next, the process returns to step S8.

障害物と干渉し、関節型アーム５ａを収穫対象の果実に到達させることが困難であり、収穫不可の場合（ステップＳ１１：ＮＯ）、果実の収穫を中止し、処理がステップＳ８に戻る。   When it is difficult to cause the articulated arm 5a to reach the fruit to be harvested because it interferes with an obstacle and cannot be harvested (step S11: NO), the fruit harvesting is stopped and the process returns to step S8.

ステップＳ８に戻り、再度、上述する精認識動作を実行する。   Returning to step S8, the fine recognition operation described above is executed again.

そして果実検出部１ｂが収穫対象の果実を検出しない場合（ステップＳ９：ＮＯ）、制御部１ｄは、ターゲットリストから第１領域の中心座標を消去する（ステップＳ１４）。その後、果実検出部１ｂは、収穫対象の果実が無く、当該房での収穫動作が完了した旨を、制御部１ｄへ通知する。処理はステップＳ２に戻り、制御部１ｄは、装置本体１０が畝の終点に移動したか否かを判断する（ステップＳ２）。   When the fruit detection unit 1b does not detect the fruit to be harvested (step S9: NO), the control unit 1d deletes the center coordinates of the first region from the target list (step S14). Thereafter, the fruit detection unit 1b notifies the control unit 1d that there is no fruit to be harvested and that the harvesting operation in the bunch has been completed. The process returns to step S2, and the control unit 1d determines whether or not the apparatus body 10 has moved to the end point of the bag (step S2).

順次、上述の粗認識動作および精認識動作を繰り返しながら、装置本体１０は畝の終点まで移動する。畝の終点まで到達した装置本体１０は当該畝での収穫動作を終了する（ステップＳ１３）。   The apparatus main body 10 moves to the end point of the bag while sequentially repeating the above-described coarse recognition operation and fine recognition operation. The apparatus main body 10 that has reached the end point of the straw ends the harvesting operation with the straw (step S13).

以下、粗認識動作について図５を参照して説明する。図５は、図３に示した粗認識動作のフローチャートである。以下の説明で、収穫対象の第１領域（所定値以上の赤の色相領域）の中心のＹ座標を「目標のＹ座標」という場合があり、また、そのＺ座標を「目標のＺ座標」いう場合がある。   The rough recognition operation will be described below with reference to FIG. FIG. 5 is a flowchart of the rough recognition operation shown in FIG. In the following description, the Y coordinate of the center of the first area to be harvested (red hue area not less than a predetermined value) may be referred to as “target Y coordinate”, and the Z coordinate may be referred to as “target Z coordinate”. There is a case.

まず、制御部１ｄは、ターゲットリストのうち、最も装置本体１０に一番近いＹ座標を装置本体１０のターゲット停止位置（目標のＹ座標）に設定する（ステップＳ２１）。   First, the control unit 1d sets the Y coordinate closest to the apparatus main body 10 in the target list as the target stop position (target Y coordinate) of the apparatus main body 10 (step S21).

次に、制御部１ｄは、精認識カメラ３を目標のＹ座標に向かって移動させるように移動機構部４を制御する。精認識カメラ３を目標のＹ座標に移動させている途中、粗認識カメラ２は畝に沿った第１画像を撮像し、第１画像をメモリ部１ｃに記録させ、房検出部１ａは、メモリ部１ｃから読み出した第１画像に基づいて第１領域を検出し、検出した第１領域の中心のＹ座標およびＺ座標（Ｙ１，Ｚ１）を算出する粗認識機能を実行する。（ステップＳ２２）   Next, the control unit 1d controls the moving mechanism unit 4 so as to move the precision recognition camera 3 toward the target Y coordinate. While moving the fine recognition camera 3 to the target Y coordinate, the coarse recognition camera 2 captures the first image along the ridge, records the first image in the memory unit 1c, and the tuft detection unit 1a Based on the first image read from the unit 1c, a first area is detected, and a coarse recognition function is executed to calculate the Y coordinate and Z coordinate (Y1, Z1) of the center of the detected first area. (Step S22)

房検出部１ａは、算出した中心座標（Ｙ１，Ｚ１）をターゲットリストに格納する（ステップＳ２３）。   The tuft detector 1a stores the calculated center coordinates (Y1, Z1) in the target list (step S23).

なお、房の中から第１領域を検出する際、房の中に赤熟した果実とそうでない果実が混在している場合があり、また、同じ房の中で赤熟した果実が互いに離れて存在する場合がある。その場合、房検出部１ａが別々の房と検出してしまうこともあるので、算出した第１領域の中心のＹ座標（Ｙ１）が、ターゲットリストに既に格納されたＹ座標と一定以上の差が無い場合は、Ｙ座標（Ｙ１）をターゲットリストに格納しない。但し、Ｙ座標が一定以上の差が無い場合であっても、Ｚ座標が一定以上の差がある場合、異なる房とみなしてターゲットリストに格納する。格納されたＹ座標は畝の終点より手前にあるので、算出した第１領域の中心座標（Ｙ１、Ｚ１）をターゲットリストに格納する。   When detecting the first region from the bunches, there may be a mixture of red-ripe fruits and non-ripe fruits in the bunches, and the red-ripe fruits in the same bunches are separated from each other. May exist. In that case, since the tuft detection unit 1a may detect the tufts as separate tufts, the calculated Y coordinate (Y1) of the center of the first region is different from the Y coordinate already stored in the target list by a certain amount or more. If there is no, the Y coordinate (Y1) is not stored in the target list. However, even if the Y coordinate is not more than a certain difference, if the Z coordinate is more than a certain difference, it is regarded as a different tuft and stored in the target list. Since the stored Y coordinate is in front of the end point of the eyelid, the calculated center coordinates (Y1, Z1) of the first region are stored in the target list.

上記収穫装置１００によれば、収穫対象の第１領域を検出した場合のみ、装置本体１０を畝内で停止させ、収穫動作を実施するので、畝内で装置本体１０が停止する時間が最小限に抑えられ、効率的に収穫作業を実施することが可能となる。   According to the harvesting device 100, only when the first region to be harvested is detected, the device main body 10 is stopped in the basket and the harvesting operation is performed. Therefore, the time for the device main body 10 to stop in the basket is minimized. The harvesting operation can be carried out efficiently.

以下に、精認識カメラ３の補正動作について説明する。   Below, the correction | amendment operation | movement of the fine recognition camera 3 is demonstrated.

図６は、ターゲットマーク３０の斜視図である。   FIG. 6 is a perspective view of the target mark 30.

装置本体１０に複数のターゲットマーク３０が搭載されている。ターゲットマーク３０は既知のマーク形状、濃淡を有している。ここでは、二つのターゲットマーク３０が、二カ所の既知の距離間隔で設置される。   A plurality of target marks 30 are mounted on the apparatus main body 10. The target mark 30 has a known mark shape and shading. Here, two target marks 30 are installed at two known distance intervals.

収穫装置１００の作業環境である施設内には、昼夜の明るさの変化、比較的短時間で発生する晴天、曇天による明るさの変化、それらに伴う温度変化が発生する。   Within the facility, which is the work environment of the harvesting apparatus 100, changes in brightness between day and night, clear sky that occurs in a relatively short time, changes in brightness due to cloudy weather, and accompanying temperature changes occur.

そうした場合に精密機器である精認識カメラ３においては撮像される画像の色情報、明るさ情報、距離情報にバラつきが発生する。そのバラつきが発生すると収穫動作に支障をきたすので補正する必要がある。精認識カメラ３に搭載された補正機能を使用するとともに、より現環境に合わせた補正を行うため、収穫装置１００には、補正用のターゲットマーク３０が搭載される。   In such a case, in the precision recognition camera 3 that is a precision device, variations occur in the color information, brightness information, and distance information of the captured image. If the variation occurs, it will hinder the harvesting operation, so it must be corrected. A correction target mark 30 is mounted on the harvesting device 100 in order to use the correction function mounted on the precision recognition camera 3 and to perform correction in accordance with the current environment.

精認識カメラ３は所定の時間間隔でこのターゲットマーク３０を撮像する。   The precision recognition camera 3 images the target mark 30 at a predetermined time interval.

ターゲットマーク３０は既知のマーク形状、濃淡を有している。処理部１は、撮像した画像から適切な画像になるように、例えば撮影した画像とマーク形状等についての既知の濃淡値との差を加えることにより撮影した画像を補正する。   The target mark 30 has a known mark shape and shading. For example, the processing unit 1 corrects the captured image by adding a difference between the captured image and a known gray value of the mark shape or the like so that the captured image becomes an appropriate image.

精認識カメラ３が二カ所のターゲットマーク３０を撮像する。制御部１ｄは、撮影された画像に基づいて得られた距離情報と既知の距離間隔とを比較し、比較結果に基づいて距離情報を補正する。   The precision recognition camera 3 images two target marks 30. The control unit 1d compares the distance information obtained based on the captured image with a known distance interval, and corrects the distance information based on the comparison result.

ターゲットマーク３０の設置位置は精認識カメラ３の撮像に支障の無い箇所に設置すればよい。本収穫装置１００では粗認識カメラ２を支える支柱に設置し、例えば粗認識動作をしている間に精認識カメラ３をターゲットマーク３０の方向へ向け、撮像し、補正を行っている。   What is necessary is just to install the target mark 30 in the location which does not have trouble in the imaging of the fine recognition camera 3. In the harvesting apparatus 100, the coarse recognition camera 2 is installed on a support column, and, for example, the fine recognition camera 3 is directed toward the target mark 30 during the coarse recognition operation, and is imaged and corrected.

ターゲットマーク３０は既知のマーク形状、濃淡、距離間隔で設置しているので、周囲環境が変化しても、既知のターゲットマーク３０の情報から補正を行うので、より精度よく補正が可能となる。   Since the target mark 30 is installed at a known mark shape, shading, and distance interval, even if the surrounding environment changes, correction is performed from information on the known target mark 30, so that correction can be performed with higher accuracy.

上述の説明では房を検出してから、果実を検出しているが、必ずしも房を検出することに限定されるものではない。ナスなどのように単独で生る場合でも、粗認識カメラ２と房検出部１ａでナスのおおよその位置を検出し、おおよその位置に精認識カメラ３を移動させ、撮像し、果実検出部１ｂで詳細な位置を検出しても良い。   In the above description, the fruit is detected after detecting the tuft, but it is not necessarily limited to detecting the tuft. Even when it grows alone like an eggplant, the rough recognition camera 2 and the tuft detector 1a detect the approximate position of the eggplant, move the fine recognition camera 3 to the approximate position, image it, and the fruit detector 1b. A detailed position may be detected.

また、本発明は、畝にランダムに実るナスやキュウリなどの果菜類を収穫する収穫装置１００に適用可能である。   In addition, the present invention is applicable to the harvesting apparatus 100 that harvests fruit and vegetables such as eggplant and cucumber that randomly grows on the straw.

さらに、本発明は、無軌道で移動作業を行う収穫装置１００にも適用することができる。   Furthermore, the present invention can also be applied to the harvesting apparatus 100 that performs a moving operation without a track.

さらに、本発明では、粗認識カメラ２および精認識カメラ３の各撮像方向を装置本体１０の移動方向Ｄ１に対して直交する水平方向としたが、本発明は水平方向に限定されず、移動方向Ｄ１に対して直交する方向であればよく、例えば、斜め上方向や斜め下方向であってよい。   Furthermore, in the present invention, each imaging direction of the coarse recognition camera 2 and the fine recognition camera 3 is set to a horizontal direction orthogonal to the movement direction D1 of the apparatus body 10, but the present invention is not limited to the horizontal direction, and the movement direction. The direction may be a direction orthogonal to D1, and may be, for example, a diagonally upward direction or a diagonally downward direction.

本発明は、各種の果実、果菜類等の収穫時の作業効率を上げることが要求される収穫装置に適用することができる。   INDUSTRIAL APPLICABILITY The present invention can be applied to a harvesting device that is required to increase work efficiency at the time of harvesting various fruits, fruit vegetables and the like.

１ 処理部
２ 粗認識カメラ
３ 精認識カメラ
４ 移動機構部
５ マニピュレータ
５ａ 関節型アーム
５ｂ 摘果用ハンド
５ｃ スライド機構
６ コンベア
７ 収納部
１０ 装置本体
３０ ターゲットマーク
１００ 収穫装置 DESCRIPTION OF SYMBOLS 1 Processing part 2 Coarse recognition camera 3 Fine recognition camera 4 Movement mechanism part 5 Manipulator 5a Articulated arm 5b Fruiting hand 5c Slide mechanism 6 Conveyor 7 Storage part 10 Apparatus main body 30 Target mark 100 Harvesting apparatus

Claims (7)

果実が栽培された農場内を移動するように構成された装置本体と、
前記装置本体に設けられ、当該装置本体の移動時に第１領域を撮像する第１撮像部と、
前記第１撮像部により撮像された画像から第１領域の位置を検出する第１検出部と、
前記第１領域の位置を記憶する記憶部と、
前記装置本体に設けられ、前記第１領域を含む第２領域を撮像する第２撮像部と、
前記第２撮像部により撮像された第２領域の画像から収穫対象の果実の位置を検出する第２検出部と、
前記装置本体に設けられ、果実を収穫するマニピュレータと、
前記記憶部に記憶された前記第１領域の位置に基づいて、当該第１領域が前記第２撮像部で撮像できる撮像可能位置に前記装置本体を移動させ、前記撮像可能位置で前記第２領域を前記第２撮像部に撮像させ、当該撮像した前記第２領域の画像から前記第２検出部に収穫対象の果実の位置を検出させ、当該検出した前記果実の位置に基づき、前記マニピュレータに前記収穫対象の果実を収穫させる制御部と、
を備える、ことを特徴とする収穫装置。 An apparatus body configured to move within a farm where the fruit is grown;
A first imaging unit that is provided in the apparatus main body and images a first region when the apparatus main body is moved;
A first detection unit for detecting a position of the first region from an image captured by the first imaging unit;
A storage unit for storing the position of the first region;
A second imaging unit provided in the apparatus main body for imaging a second area including the first area;
A second detector for detecting the position of the fruit to be harvested from the image of the second region imaged by the second imaging unit;
A manipulator provided in the apparatus body for harvesting fruit;
Based on the position of the first area stored in the storage unit, the apparatus body is moved to an imageable position where the first area can be imaged by the second imaging unit, and the second area is captured at the imageable position. To the second imaging unit, the second detection unit to detect the position of the fruit to be harvested from the captured image of the second region, based on the detected position of the fruit, the manipulator A control unit for harvesting fruits to be harvested;
A harvesting device comprising: 前記制御部は、前記装置本体の移動中に前記第１撮像部に前記第１領域を撮像させる、請求項１に記載の収穫装置。   The harvesting device according to claim 1, wherein the control unit causes the first imaging unit to image the first region while the apparatus main body is moving. 前記第１撮像部は、前記第２撮像部に対して、前記装置本体の移動方向における前方の位置に設けられている、ことを特徴とする請求項１または２に記載の収穫装置。   The harvesting device according to claim 1, wherein the first imaging unit is provided at a position in front of the second imaging unit in the movement direction of the apparatus main body. 前記第１撮像部及び前記第２撮像部は、それぞれの撮像方向を前記装置本体の移動方向に対して直交する方向にして設けられている、ことを特徴とする請求項１から３のいずれかに記載の収穫装置。   4. The device according to claim 1, wherein the first imaging unit and the second imaging unit are provided with respective imaging directions orthogonal to a movement direction of the apparatus main body. Harvesting equipment as described in. 前記直交する方向は、水平な方向である、ことを特徴とする請求項４に記載の収穫装置。   The harvesting apparatus according to claim 4, wherein the orthogonal direction is a horizontal direction. 前記第１撮像部及び前記第２撮像部は、それぞれの撮像方向における視野が互いに重なりあわないように、相互に間隔をおいて設けられていることを特徴とする請求項１から５のいずれかに記載の収穫装置。   The first imaging unit and the second imaging unit are provided at intervals from each other so that the fields of view in the respective imaging directions do not overlap each other. Harvesting equipment as described in. 前記装置本体にターゲットマークが設けられ、
前記制御部は、前記第２撮像部により撮像された前記ターゲットマークの画像に基づいて、前記第２撮像部により撮像された画像、および、当該画像に基づいて得られる距離情報を補正する、ことを特徴とする請求項１から６のいずれかに記載の収穫装置。 A target mark is provided on the apparatus body,
The control unit corrects the image captured by the second imaging unit and the distance information obtained based on the image based on the image of the target mark captured by the second imaging unit. The harvesting device according to any one of claims 1 to 6, wherein:
JP2016071047A 2016-03-31 2016-03-31 Harvesting device Pending JP2017176087A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016071047A JP2017176087A (en) 2016-03-31 2016-03-31 Harvesting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016071047A JP2017176087A (en) 2016-03-31 2016-03-31 Harvesting device

Publications (1)

Publication Number Publication Date
JP2017176087A true JP2017176087A (en) 2017-10-05

Family

ID=60004696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016071047A Pending JP2017176087A (en) 2016-03-31 2016-03-31 Harvesting device

Country Status (1)

Country Link
JP (1) JP2017176087A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020174546A (en) * 2019-04-16 2020-10-29 本田技研工業株式会社 Harvesting method and fruit/vegetable harvesting device
CN113099845A (en) * 2021-04-15 2021-07-13 石家庄市农林科学研究院 Tomato picking robot and accurate picking method thereof
CN113395896A (en) * 2019-01-31 2021-09-14 株式会社久保田 Working device
CN113692854A (en) * 2021-09-10 2021-11-26 江苏理工学院 Tomato picking machine and control method thereof
JP2022070534A (en) * 2020-10-27 2022-05-13 株式会社デンソー Measurement management system
WO2023218568A1 (en) * 2022-05-11 2023-11-16 ヤマハ発動機株式会社 End effector

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113395896A (en) * 2019-01-31 2021-09-14 株式会社久保田 Working device
CN113395896B (en) * 2019-01-31 2024-02-23 株式会社久保田 Working device
JP2020174546A (en) * 2019-04-16 2020-10-29 本田技研工業株式会社 Harvesting method and fruit/vegetable harvesting device
JP7152351B2 (en) 2019-04-16 2022-10-12 本田技研工業株式会社 Harvesting method and fruit and vegetable harvesting device
JP2022070534A (en) * 2020-10-27 2022-05-13 株式会社デンソー Measurement management system
CN113099845A (en) * 2021-04-15 2021-07-13 石家庄市农林科学研究院 Tomato picking robot and accurate picking method thereof
CN113692854A (en) * 2021-09-10 2021-11-26 江苏理工学院 Tomato picking machine and control method thereof
WO2023218568A1 (en) * 2022-05-11 2023-11-16 ヤマハ発動機株式会社 End effector

Similar Documents

Publication Publication Date Title
JP2017176087A (en) Harvesting device
RU2747303C2 (en) System for controlling the working parameter of a harvester
KR102589076B1 (en) harvest
Van Henten et al. Field test of an autonomous cucumber picking robot
RU2771097C2 (en) Agricultural working machine
KR101374802B1 (en) Agricultural robot system
EP3136836B1 (en) Graze harvesting of mushrooms
EP3907469A1 (en) Automatic driving system for grain processing, and automatic driving method and path planning method therefor
JP5652756B2 (en) Fruit processing equipment
JP6842947B2 (en) Harvesting equipment and harvesting method
EP3626043B1 (en) Agricultural work apparatus, agricultural work management system, and program
JP2022516898A (en) Harvester and its automatic driving method
JP7259888B2 (en) Harvesting device, harvesting system, harvesting method and computer program
CN209983105U (en) Harvester
CN116749173A (en) Control method and system of fruit picking robot and fruit picking robot
Jin et al. Far-near combined positioning of picking-point based on depth data features for horizontal-trellis cultivated grape
KR102532031B1 (en) Crop growth measurement system based on crop images, and method thereof
JP6845485B2 (en) Onion harvesting work machine and onion harvesting work method
Fujinaga Cutting point detection for strawberry fruit harvesting and truss pruning by agricultural robot
JP2021185758A (en) Crop harvesting system and crop harvesting apparatus
US20230068556A1 (en) Harvesting device, harvesting method, and program
WO2022208973A1 (en) Information processing device, information processing method, and program
US20230069527A1 (en) Harvesting device, harvesting method, and program
JP2021122179A (en) Crop harvesting vehicle
US20230081931A1 (en) Harvesting method and harvesting device