JP2008022737A - Harvesting robot - Google Patents

Harvesting robot Download PDF

Info

Publication number
JP2008022737A
JP2008022737A JP2006197012A JP2006197012A JP2008022737A JP 2008022737 A JP2008022737 A JP 2008022737A JP 2006197012 A JP2006197012 A JP 2006197012A JP 2006197012 A JP2006197012 A JP 2006197012A JP 2008022737 A JP2008022737 A JP 2008022737A
Authority
JP
Japan
Prior art keywords
fruit
image
cameras
image processing
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006197012A
Other languages
Japanese (ja)
Other versions
JP4936362B2 (en
Inventor
Koichi Oka
宏一 岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kochi University of Technology
Original Assignee
Kochi University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kochi University of Technology filed Critical Kochi University of Technology
Priority to JP2006197012A priority Critical patent/JP4936362B2/en
Publication of JP2008022737A publication Critical patent/JP2008022737A/en
Application granted granted Critical
Publication of JP4936362B2 publication Critical patent/JP4936362B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Harvesting Machines For Specific Crops (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a harvesting robot of harvesting fruits at a proper harvesting time without being limited to the colors or the shapes of the fruits of fruit vegetables. <P>SOLUTION: The harvesting robot is constituted of a photographic means equipped with an illuminating device for illuminating the fruits and two cameras installed parallelly, a picking device, a moving device, and an image-treating means equipped with an image input board for acquiring the analog image information each taken by the two cameras and converting the images to digital values, an image-treating application for treating the image informations converted to the digital values by the image input board, and a controller for controlling the photographic means, the picking device and the moving device based on the image informations treated by the image-treating application. The image-treating application converts the color image data converted to the digital values to HSI values to form binary system, and judges the characteristic amount from a region of the fruits narrowed down by the binary system. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、収穫ロボットに関し、より詳しくは、収穫適期の果実を判別して収穫する収穫ロボットに関するものである。   The present invention relates to a harvesting robot, and more particularly to a harvesting robot that discriminates and harvests fruits in an appropriate harvest period.

労働力不足の解消や農作業の援助などのため、ハウス園芸における自動化が期待されており、温度管理や水やりなどの自動化とともに、ナスやイチゴなどの果菜類の収穫ロボットの研究開発が行われている。
例えば、ナス等の長物果実の収穫適期のもののみを選択的に自動収穫するため、カメラ撮影された長物果実の画像を取り込み、撮影画像の色情報を基に画像を処理して果実を検出すると共に、果実の位置から移動位置を決定し、果実に接近させ、果実の把持及び大きさ判定を行って収穫適期の果実の果梗を切断する技術が提案されている（下記特許文献１参照）。
このような技術によれば、長物果実のナス等であれば、赤緑青色の色情報を基に果実を認識することができ、その検出した果実の果実長さを判定して収穫適期のものを選択することが可能である。 Automation in house horticulture is expected to eliminate labor shortages and support agricultural work, and research and development of harvesting robots for fruit vegetables such as eggplants and strawberries is being performed along with automation of temperature management and watering. Yes.
For example, in order to automatically and selectively harvest only long fruits such as eggplants in a suitable harvesting period, an image of a long fruit photographed by a camera is captured, and the fruit is detected by processing the image based on color information of the photographed image. In addition, a technique has been proposed in which the moving position is determined from the position of the fruit, approached to the fruit, the fruit is grasped and the size is determined, and the fruit infarction at the appropriate harvest time is cut (see Patent Document 1 below). .
According to such a technique, if it is a long fruit eggplant or the like, the fruit can be recognized based on the color information of red, green and blue, and the fruit length of the detected fruit is determined to determine the fruit at the appropriate harvest time. Can be selected.

しかしながら、ピーマンやオクラ等の緑色の果実は、葉や茎と同じ緑色で、上記技術のような色情報を基に果実を認識することはできない。
また、ピーマン等の長物果実でない果実は、葉の形との区別もつきにくく、形状に基づいて認識することも困難である。 However, green fruits such as peppers and okra are the same green color as leaves and stems, and the fruits cannot be recognized based on the color information as described above.
In addition, fruits that are not long fruits such as bell peppers are difficult to distinguish from leaf shapes, and are also difficult to recognize based on the shape.

特開２０００−２６２１２８号公報JP 2000-262128 A

本発明は、上述したような従来技術の問題点を解決すべくなされたものであって、果菜類の果実の色や形状に限定されることなく、収穫適期の果実を収穫することができる収穫ロボットを提供するものである。   The present invention has been made to solve the problems of the prior art as described above, and is not limited to the color and shape of fruits and vegetables, and can harvest fruits at the appropriate harvest time. A robot is provided.

請求項１に係る発明は、撮影手段、画像処理手段、果柄を切断して果実を取り込む摘み取り装置及び移動装置からなる果菜類の収穫ロボットであって、前記撮影手段は、果菜を照明する照明装置と、２台のカメラとを備えてなり、前記画像処理手段は、２台のカメラによって夫々撮影されたアナログの画像情報を取得してデジタル変換する画像入力ボードと、該画像入力ボードがデジタル変換した画像情報を処理する画像処理アプリケーションと、該画像処理アプリケーションにて処理された画像情報に基づいて前記撮影手段、摘み取り装置及び移動装置を制御する制御手段とを備え、前記画像処理アプリケーションは、デジタル変換されたカラー画像データをＨＳＩ値に変換して二値化し、その二値化によって絞り込んだ果実の領域から特徴量を判別することを特徴とする収穫ロボットに関する。   The invention according to claim 1 is a fruit vegetable harvesting robot comprising a photographing means, an image processing means, a picking device that cuts fruit patterns and takes in fruits, and a moving device, wherein the photographing means illuminates the fruit vegetables An image input board for acquiring analog image information photographed by the two cameras and digitally converting the information, and the image input board is a digital An image processing application that processes the converted image information; and a control unit that controls the photographing unit, the picking device, and the moving device based on the image information processed by the image processing application, and the image processing application includes: Digitally converted color image data is converted into HSI values and binarized. About harvesting robot, characterized in that to determine the amount.

請求項２に係る発明は、前記照明装置は、その照明範囲が限定されていることを特徴とする請求項１記載の収穫ロボットに関する。   The invention according to claim 2 relates to the harvesting robot according to claim 1, wherein the illumination device has a limited illumination range.

請求項３に係る発明は、前記照明装置は、ＬＥＤであって、前記２台のカメラのうち、一方のレンズ周囲に複数個取り付けられていることを特徴とする請求項２記載の収穫ロボットに関する。   The invention according to claim 3 relates to the harvesting robot according to claim 2, wherein the illumination device is an LED, and a plurality of the illumination devices are attached around one lens of the two cameras. .

請求項４に係る発明は、前記撮影手段は、２台のカメラ位置を同時に移動する移動機構を備え、前記画像処理アプリケーションは、画像情報から認識された果実の中央位置、及び、前記２台のカメラによるステレオビジョンによって果実とカメラとの距離を算出し、前記制御手段は、前記果実の中央位置が画像における基準位置（ｘ，ｙ）に揃い、かつ、前記距離が所定距離となる基準位置（ｚ）にカメラが配置されるように、前記移動機構及び移動装置を制御することを特徴とする請求項１乃至３いずれか記載の収穫ロボットに関する。   According to a fourth aspect of the present invention, the photographing unit includes a moving mechanism that simultaneously moves two camera positions, and the image processing application includes a central position of the fruit recognized from image information, and the two The distance between the fruit and the camera is calculated by a stereo vision by the camera, and the control means is configured such that the center position of the fruit is aligned with a reference position (x, y) in the image and the distance is a predetermined distance (a predetermined distance). The harvesting robot according to any one of claims 1 to 3, wherein the moving mechanism and the moving device are controlled so that a camera is arranged at z).

請求項５に係る発明は、前記摘み取り装置は、ラック駆動機構を備え、水平面において所定角度回転及び前後にスライド可能に取り付けられていることを特徴とする請求項１乃至４いずれか記載の収穫ロボットに関する。   According to a fifth aspect of the present invention, in the harvesting robot according to any one of the first to fourth aspects, the picking device includes a rack driving mechanism, and is attached so as to rotate at a predetermined angle and slide back and forth on a horizontal plane. About.

請求項１に係る発明によれば、撮影手段における照明装置によって照明された果菜が２台のカメラで夫々撮影され、その撮影された各画像が画像処理手段においてＨＳＩ値に変換されて二値化されることによって、ピーマン等の葉等と色や形の区別がつきにくい果実であっても、葉等から区別して認識することができ、その二値化で絞り込んだ領域から特徴量（大きさ等）を判別して収穫適期の果実を選別することが可能である。   According to the first aspect of the present invention, fruit vegetables illuminated by the illumination device in the photographing means are photographed by the two cameras, and each photographed image is converted into an HSI value by the image processing means and binarized. As a result, even if it is difficult to distinguish the color and shape from the leaves, such as peppers, it can be distinguished from the leaves, etc., and the feature value (size) from the area narrowed down by binarization Etc.) can be selected to select the fruit at the appropriate harvest time.

請求項２に係る発明によれば、照明装置による照明範囲を限定することによって、果実同士が隣接したり重なったりした状態であっても、１つの果実に照明が集中するので、他の果実との光度及び彩度が異なり、２台のカメラで夫々撮影された画像から、その１つの果実を確実に一致して認識することが可能となる。   According to the invention which concerns on Claim 2, even if it is in the state where fruits adjoined or overlapped by limiting the illumination range by an illuminating device, since illumination concentrates on one fruit, The luminosity and saturation are different from each other, and it is possible to reliably recognize and recognize one fruit from images taken by two cameras.

請求項３に係る発明によれば、照明装置がＬＥＤであって、２台のカメラのうち、一方のレンズ周囲に複数個取り付けられていることによって、照明範囲が限定されるとともに、照明を均一に当てることができ、２台のカメラで夫々撮影された画像から、その１つの果実をより確実に一致して認識することが可能となる。   According to the invention of claim 3, the illumination device is an LED, and a plurality of two cameras are mounted around one lens, so that the illumination range is limited and illumination is uniform. It is possible to more reliably match and recognize one fruit from images taken by two cameras.

請求項４に係る発明によれば、さらに撮影手段が２台のカメラの位置を同時に移動する移動機構を備え、認識された果実の中央位置がカメラ画像の基準位置（x，ｙ）に揃うように、かつ、２台のカメラによるステレオビジョンによって算出された果実とカメラとの距離（奥行）を、所定距離（基準位置（ｚ））となるようにカメラ位置を移動することによって、摘み取り装置が果実に届く範囲に配置される。これによって、摘み取り装置は、果柄を切断して果実を収穫することができる。   According to the invention of claim 4, the photographing means further includes a moving mechanism for simultaneously moving the positions of the two cameras so that the recognized fruit center position is aligned with the reference position (x, y) of the camera image. In addition, the picking device moves the camera position so that the distance (depth) between the fruit and the camera calculated by stereo vision using two cameras becomes a predetermined distance (reference position (z)). Arranged to reach the fruit. Thereby, the picking device can cut the fruit handle and harvest the fruit.

請求項５に係る発明によれば、摘み取り装置は、ラック駆動機構を備えることによって、カメラの移動とは別に、水平面において所定角度回転及び前後にスライドして果実に接近することができ、より確実に果柄を切断することが可能である。   According to the fifth aspect of the present invention, the picking device is provided with the rack driving mechanism, so that, apart from the movement of the camera, the picking device can rotate at a predetermined angle on the horizontal plane and slide back and forth to approach the fruit, and more reliably. It is possible to cut the fruit handle.

以下、本発明に係る収穫ロボットの好適な実施形態について、図面を参照しつつ説明する。
図１は、本発明に係る収穫ロボットの実施形態の一例を示す概略構成図である。図２は、収穫ロボットにおける機能構成を示す構成図である。図３は、収穫ロボットにおける撮影手段及び摘み取り装置の一例を示す斜視図である。図４は、照明装置の一例を示す概略構成図である。図５は、摘み取り装置の機能構成を示す構成図である。
本発明に係る収穫ロボット１は、２台のカメラ１０を備える撮影手段２と、画像処理手段３と、移動装置４と、果柄を切断して果実を摘み取る摘み取り装置５と、摘み取った果実を収容するコンテナ６とで構成される。なお、図１においては、２台のカメラ１０が紙面垂直方向に重なっているので、１台のみが表されている。 Hereinafter, a preferred embodiment of a harvesting robot according to the present invention will be described with reference to the drawings.
FIG. 1 is a schematic configuration diagram showing an example of an embodiment of a harvesting robot according to the present invention. FIG. 2 is a configuration diagram illustrating a functional configuration of the harvesting robot. FIG. 3 is a perspective view showing an example of the photographing means and the picking device in the harvesting robot. FIG. 4 is a schematic configuration diagram illustrating an example of a lighting device. FIG. 5 is a configuration diagram showing a functional configuration of the picking device.
The harvesting robot 1 according to the present invention includes a photographing means 2 having two cameras 10, an image processing means 3, a moving device 4, a picking device 5 for cutting fruit patterns and picking fruits, and picking fruits. It is comprised with the container 6 to accommodate. In FIG. 1, since two cameras 10 are overlapped in the direction perpendicular to the paper surface, only one is shown.

画像処理手段３は、画像入力ボード２１と、画像処理アプリケーション２２と、制御手段２３とを有する。画像処理手段３は、後述する画像処理システムの主要機能を担っている。   The image processing unit 3 includes an image input board 21, an image processing application 22, and a control unit 23. The image processing means 3 has a main function of an image processing system described later.

撮影手段２は、２台のカメラ１０と、これらのカメラ位置を移動する移動機構２０と、撮影対象を照らす照明装置１７とからなる。カメラ１０は、カラー画像撮影用で、立体視（ステレオビジョン）によって果実の位置を検出するために、２台を平行配設する。２台のカメラ１０の周辺には、図３に示すように、電位差計１２、DCモータ１１と、その駆動によって作動するタイミングベルト１３及びスライドレール１４とで構成される移動機構２０が設けられている。２台のカメラ１０は、これらの構成によって、平行状態を保って同時に同方向へ３方向（水平、垂直、奥行）で位置決めすることができるようになっている。なお、２台のカメラは、必ずしも平行に設置する必要はなく、適度な間隔をあけてステレオビジョンを撮影することができればよい。例えば、２台のカメラを後方より前方の間隔が狭くなるように内向きに設置したりすることができる。   The photographing means 2 includes two cameras 10, a moving mechanism 20 that moves these camera positions, and an illumination device 17 that illuminates a subject to be photographed. Two cameras 10 are arranged in parallel for photographing color images and detecting the position of the fruit by stereoscopic vision (stereo vision). As shown in FIG. 3, a moving mechanism 20 including a potentiometer 12, a DC motor 11, a timing belt 13 and a slide rail 14 that are operated by driving thereof is provided around the two cameras 10. Yes. With these configurations, the two cameras 10 can be positioned in three directions (horizontal, vertical, and depth) in the same direction while maintaining a parallel state. Note that the two cameras do not necessarily have to be installed in parallel, as long as they can take a stereo vision at an appropriate interval. For example, two cameras can be installed inward so that the distance from the rear to the front is narrower.

照明装置１７は、図示例では、２台のカメラ１０のうちの一方のみに、そのレンズ１８周囲に複数個取り付けられたＬＥＤ照明装置である。照明装置１７は、ＬＥＤに限定されるものではなく、蛍光灯等、果実を照らすことができるものであればよいが、ＬＥＤのように照明範囲が限定されるものが好ましい。また、レンズ周囲に１個取り付けられたもの、２台のカメラの両方のレンズ周囲に１又は複数個取り付けられたもの、カメラのレンズ周囲以外の場所に取り付けられたものも除外するものではない。   In the illustrated example, the illumination device 17 is an LED illumination device in which a plurality of the illumination devices 17 are attached to only one of the two cameras 10 around the lens 18. The illumination device 17 is not limited to the LED, but may be any device that can illuminate the fruit, such as a fluorescent lamp. However, an illumination device having a limited illumination range such as an LED is preferable. Further, it is not excluded that one lens is attached around the lens, one or a plurality of lenses attached around both lenses of the two cameras, and one attached at a place other than the camera lens periphery.

摘み取り装置５は、図３に示すように２台のカメラの近傍に、カメラの移動に追従して移動可能に取り付けられ、かつカメラの移動とは別に、水平方向において所定角度回転及び前後にスライド可能に取り付けられ、水平面において移動可能である。これらの移動は、ＤＣモータ１６によって駆動するラック駆動機構１５によって実現される。また、図５に示すように、果菜を果柄で切断して果実を摘み取る剪定ハサミ３１と、剪定ハサミ３１の開閉を実現する並列連結機構３２と、並列連結機構３２を駆動するDCモータ３３とで構成される。   As shown in FIG. 3, the picking device 5 is attached in the vicinity of two cameras so as to be able to move following the movement of the camera, and separately from the movement of the camera, it rotates by a predetermined angle in the horizontal direction and slides back and forth. It can be mounted and moved in a horizontal plane. These movements are realized by a rack driving mechanism 15 driven by a DC motor 16. In addition, as shown in FIG. 5, a pruning scissors 31 that cuts fruit vegetables with a handle and picks fruits, a parallel coupling mechanism 32 that opens and closes the pruning shears 31, and a DC motor 33 that drives the parallel coupling mechanism 32. Consists of.

移動装置４は、当該収穫ロボット１を前後左右に移動するための図示しない駆動手段と、複数の車輪とで構成されている。   The moving device 4 includes a driving means (not shown) for moving the harvesting robot 1 forward, backward, left and right, and a plurality of wheels.

以上のように構成される収穫ロボット１は、農作業従事者と同様に、果実を認識し、それを摘み取り、摘み取った果実をコンテナ６に入れて、果実を収穫することができる。
この果実の収穫は、画像処理システムと、カメラ位置決めシステムとによって実現することができる。画像処理システムによって果実を認識し、その果柄を切断するため、カメラ位置決めシステムによって、認識した果実に対してカメラを位置決めする。 The harvesting robot 1 configured as described above can recognize a fruit, pick it, and put the picked fruit into the container 6 to harvest the fruit, like a farm worker.
This fruit harvesting can be realized by an image processing system and a camera positioning system. In order to recognize the fruit by the image processing system and cut the fruit handle, the camera is positioned with respect to the recognized fruit by the camera positioning system.

図６は、画像処理システムを機能構成によって示す構成図である。図７は、画像処理システムにおけるアルゴリズムを説明するフロー図である。
画像処理システムは、カメラ１０によって撮影された茎や葉とともにある果菜の画像を、画像処理アルゴリズムによって処理し、茎や葉から識別して果実を認識する。 FIG. 6 is a configuration diagram showing the image processing system by functional configuration. FIG. 7 is a flowchart illustrating an algorithm in the image processing system.
The image processing system processes an image of fruit and vegetables together with stems and leaves photographed by the camera 10 by an image processing algorithm, recognizes the fruits by identifying them from the stems and leaves.

この画像処理アルゴリズムにおいては、まず、画像入力ボード２１が左右のカメラ１０からの各デジタルカラー画像を取込み（ステップ１：Ｓ１）、赤（Ｒｅｄ），緑（Ｇｒｅｅｎ），青（Ｂｌｕｅ）からなるＲＧＢ値で表される画像を、輝度、彩度、色相からなるＨＳＩ空間表色系のＨＳＩ値に変換する（ステップ２：Ｓ２）。
そして、変換された画像データ２４（輝度、彩度、色相の各値）は、画像処理アプリケーション２２によって収穫しようとする果実ごとに予め設定した閾値に基づいて、その果実の色の領域に絞り込まれる（二値化）。二値化では、まず光度画像で選別し（ステップ３：Ｓ３）、彩度の二値化で葉等の大部分が果実と区別され（ステップ４：Ｓ４）、最後に色相でノイズを取り除く（ステップ５：Ｓ５）。 In this image processing algorithm, first, the image input board 21 captures each digital color image from the left and right cameras 10 (step 1: S1), and RGB including red (Red), green (Green), and blue (Blue). The image represented by the value is converted into an HSI value of the HSI space color system composed of luminance, saturation, and hue (step 2: S2).
Then, the converted image data 24 (luminance, saturation, and hue values) is narrowed down to the fruit color area based on a threshold set in advance for each fruit to be harvested by the image processing application 22. (Binarization). In binarization, first, the light intensity image is selected (step 3: S3), and most of the leaves and the like are distinguished from the fruit by binarization of saturation (step 4: S4), and finally noise is removed by hue (step 4). Step 5: S5).

このようにして絞り込んだ色の領域を、連続した固まりごとに一つのものとして認識させる（標識づけ）（ステップ６：Ｓ６）。
標識づけされた各領域について、特徴量（形状、大きさ等）を算出し（ステップ７：Ｓ７）、収穫しようとする果実ごとに予め設定された特徴量に合致する領域を果実として認識する（ステップ８：Ｓ８）。このとき、大きさで選別することによって、収穫適期の果実を認識することが可能である。 The color region thus narrowed down is recognized as one for each successive cluster (labeling) (step 6: S6).
For each labeled region, a feature value (shape, size, etc.) is calculated (step 7: S7), and a region that matches a feature value set in advance for each fruit to be harvested is recognized as a fruit ( Step 8: S8). At this time, it is possible to recognize the fruit at the appropriate harvest time by sorting by size.

なお、この果実の認識は、左右のカメラ１０において撮影された各画像について別個に処理され、別個に認識される。従って、左右の認識が異なる場合、認識できなかったものとして処理する。このように処理するのは、認識結果の整合性をとるためだけであれば、例えば、照明装置１７が取り付けられたカメラによる認識を優先するようにすることも可能であるが、後述するカメラ位置決めシステムにおけるステレオビジョンによる処理において、左右のカメラ１０によって同時に夫々撮影されて夫々認識された１つの果実の画像が必要とされるからである。   In addition, recognition of this fruit is processed separately about each image image | photographed with the camera 10 on either side, and is recognized separately. Therefore, if the left and right recognitions are different, processing is performed assuming that the recognition has failed. If the processing is performed only for the purpose of consistency of the recognition result, for example, it is possible to prioritize recognition by the camera to which the illumination device 17 is attached. This is because in the processing based on stereo vision in the system, one fruit image that is simultaneously photographed and recognized by the left and right cameras 10 is required.

従って、後述するステレオビジョンによる処理のためにも、左右のカメラ１０による果実の認識が異なることなく、１つの果実を認識することが必要である。このような認識を、本発明に係る収穫ロボットにおいては、果実に照明を当てることによって実現している。
ピーマン等のように果実の色が葉等と同じ緑色の果実については、普通に撮影された画像データについて二値化しただけでは、葉等から識別することが困難である。そこで、果実に照明装置１７のライトを当てることによって、彩度のグレー値は、果実と葉等とで明確に区別することができ、葉等とともにある画像の中から果実だけを認識することができる。 Therefore, it is necessary to recognize one fruit without the recognition of the fruit by the left and right cameras 10 being different for the processing by stereo vision described later. Such recognition is realized by illuminating the fruit in the harvesting robot according to the present invention.
For green fruits such as peppers whose fruit color is the same as that of the leaves, it is difficult to distinguish them from the leaves only by binarizing the normally captured image data. Therefore, by applying the light of the lighting device 17 to the fruit, the gray value of saturation can be clearly distinguished between the fruit and the leaf, and only the fruit can be recognized from the image together with the leaf. it can.

また、果実が複数隣接したり重なったりした状態において、１つの果実を他の果実と識別するには、果実に当てる照明範囲を限定することによって、左右のカメラで夫々撮影された画像から認識される果実を確実に一致させて１つの果実を認識することができる。
例えば、果実が２つ隣接した状態では、左カメラにＬＥＤが取り付けられていると左カメラ正面に照明範囲が限定され、そこに位置する果実に照明が集中して隣接する果実よりも明るく照らされ、光度や彩度が異なる。従って、明るく照らされた果実を認識するように、光度及び彩度の閾値を設定すれば、左右のカメラで夫々撮影された画像から、左カメラ正面に位置する１つの果実のみを確実に一致して認識することができる。 In addition, in order to distinguish one fruit from another fruit in a state where a plurality of fruits are adjacent or overlapped, it is recognized from images taken by the left and right cameras by limiting the illumination range applied to the fruit. It is possible to recognize one fruit by surely matching the same fruit.
For example, in the state where two fruits are adjacent, if the LED is attached to the left camera, the illumination range is limited to the front of the left camera, and the illumination is concentrated on the fruits located there, making it brighter than the adjacent fruits , Brightness and saturation are different. Therefore, if thresholds of light intensity and saturation are set so as to recognize brightly illuminated fruits, only one fruit located in front of the left camera is reliably matched from the images taken by the left and right cameras. Can be recognized.

また、例えば、前後方向に２つの果実が一部重なっている状態では、左カメラ正面の重なった果実に照明が当てられる場合、前方の果実が明るく照らされ、後方の果実は影になって前方の果実とは光度や彩度が異なり、左右のカメラで夫々撮影された画像から確実に一致して前方の１つの果実のみを認識することができる。
なお、画像処理領域を小さく限定することによって、左右のカメラで夫々撮影された画像から認識される果実を一致させることも考えられるが、その場合、果実を見つけ出すまでに時間がかかりすぎるという問題がある。これに対し、照明範囲を限定することによって時間をかけずに１つの果実を認識することが可能である。 For example, in the state where two fruits partially overlap in the front-rear direction, when the overlapping fruits in front of the left camera are illuminated, the front fruits are illuminated brightly, and the rear fruits are shaded forward The fruit is different in brightness and saturation, and can be recognized from the images taken by the left and right cameras, and only one fruit in front can be recognized.
Note that by limiting the image processing area to be small, it is possible to match the fruits recognized from the images taken by the left and right cameras, but in that case, it takes too much time to find the fruits. is there. On the other hand, it is possible to recognize one fruit without spending time by limiting the illumination range.

以上のように、本発明に係る収穫ロボットは、撮影手段２及び画像処理手段３によって実現される画像処理システムを備えることによって、撮影手段２における照明装置１７によって照明された果菜が２台のカメラ１０で夫々撮影され、その撮影された各画像が画像処理手段３においてＨＳＩ値に変換されて二値化されることによって、ピーマン等の葉等と色や形の区別がつきにくい果実であっても、葉等から区別して認識することができ、その二値化で絞り込んだ領域から特徴量（大きさ等）を判別して収穫適期の果実を選別することが可能である。   As described above, the harvesting robot according to the present invention includes the image processing system realized by the photographing unit 2 and the image processing unit 3, so that the fruit vegetables illuminated by the illumination device 17 in the photographing unit 2 are two cameras. 10, and each captured image is converted into an HSI value and binarized by the image processing means 3, so that it is difficult to distinguish the color and shape from leaves such as peppers. In addition, it is possible to distinguish and recognize from a leaf or the like, and it is possible to discriminate a feature amount (size or the like) from a region narrowed down by binarization and to select a fruit at an appropriate harvest time.

また、照明装置１７で照明範囲を限定することによって、果実同士が隣接したり重なったりした状態であっても、１つの果実に照明が集中するので、他の果実との光度及び彩度が異なり、２台のカメラで夫々撮影された画像から、その１つの果実を確実に一致して認識することが可能となる。
さらに、照明装置１７をＬＥＤとし、２台のカメラのうち、一方のレンズ周囲に複数個取り付けることによって、照明範囲が限定されるとともに、照明を均一に当てることができ、２台のカメラで夫々撮影された画像から、その１つの果実をより確実に一致して認識することが可能となる。 In addition, by limiting the illumination range with the illumination device 17, even if the fruits are adjacent to each other or overlapped with each other, the illumination is concentrated on one fruit, so the brightness and saturation with other fruits are different. It is possible to reliably recognize and recognize the one fruit from the images photographed by the two cameras.
Furthermore, the illumination device 17 is an LED, and a plurality of two cameras are mounted around one lens, so that the illumination range is limited and the illumination can be uniformly applied, and each of the two cameras is used. From the photographed image, it becomes possible to recognize that one fruit more consistently.

次に、カメラ位置決めシステムについて説明する。
カメラ位置決めシステムは、上述のように、画像処理システムによって認識された果実の果柄を切断するために、その果実に対してカメラの位置決めを行うシステムであり、画像処理を利用したビジュアルフィードバック制御を利用する。このように、カメラ位置決めシステムは、上述の画像処理システムを包含するシステムである。
図８は、ビジュアルフィードバック制御を利用したカメラ位置決めシステムを説明するための概念図である。図９は、図８のカメラ位置決めシステムを機能構成によって示す構成図である。図１０は、ステレオビジョンによって奥行を算出する原理を示す概念図である。図１１は、認識された果実の中央位置を画像の基準位置に合わせる様子を示す模式図である。図１２は、カメラ位置決めシステムによって果実を摘み取る動作を説明するフローチャート図である。 Next, the camera positioning system will be described.
As described above, the camera positioning system is a system that positions the camera with respect to the fruit pattern recognized by the image processing system, and performs visual feedback control using image processing. Use. Thus, the camera positioning system is a system including the above-described image processing system.
FIG. 8 is a conceptual diagram for explaining a camera positioning system using visual feedback control. FIG. 9 is a block diagram showing the camera positioning system of FIG. 8 by functional configuration. FIG. 10 is a conceptual diagram showing the principle of calculating depth by stereo vision. FIG. 11 is a schematic diagram showing how the center position of the recognized fruit is matched with the reference position of the image. FIG. 12 is a flowchart for explaining the operation of picking fruits by the camera positioning system.

カメラ位置決めシステムでは、まず、カメラ位置を移動して果菜の影像を撮影する（ステップ１１：Ｓ１１）。このときカメラ位置は、移動装置４と撮影手段２の移動機構２０によって移動させられる。
次いで、撮影された画像が、上述の画像処理システムによって処理される（ステップ１２：Ｓ１２）。この処理によって、左右のカメラによって同時に撮影された画像について夫々果実が認識され、左右のカメラで認識された果実がなければ（ステップ１３：Ｓ１３）、再びカメラ位置を移動するところから始める（ステップ１１：Ｓ１１）。なお、Ｓ１３までは、上述の画像処理システムにおける処理である。 In the camera positioning system, first, a camera image is moved to capture a shadow image of fruit vegetables (step 11: S11). At this time, the camera position is moved by the moving device 4 and the moving mechanism 20 of the photographing means 2.
Next, the captured image is processed by the above-described image processing system (step 12: S12). Through this process, fruits are recognized for images simultaneously captured by the left and right cameras, and if there are no fruits recognized by the left and right cameras (step 13: S13), the process starts again by moving the camera position (step 11). : S11). Note that up to S13 is processing in the above-described image processing system.

一方、左右のカメラで果実を認識すると（ステップ１３：Ｓ１３）、認識した果実の中心位置が算出され、図１１に示すように、一方のカメラ１０（例えば、左カメラ）による画像における果実の中心位置４１が、カメラ画像の基準位置（x，ｙ）４２に揃うように、カメラ位置を移動機構２０によって移動する（ステップ１４：Ｓ１４）。このとき、果実の位置は、２台のカメラ１０によって検知されており、その位置データによって各モータが制御手段２３によって制御され、カメラが移動する。   On the other hand, when the fruit is recognized by the left and right cameras (step 13: S13), the center position of the recognized fruit is calculated. As shown in FIG. 11, the center of the fruit in the image by one camera 10 (for example, the left camera) is calculated. The camera position is moved by the moving mechanism 20 so that the position 41 is aligned with the reference position (x, y) 42 of the camera image (step 14: S14). At this time, the position of the fruit is detected by the two cameras 10, and each motor is controlled by the control means 23 based on the position data, and the camera moves.

具体的には、図９のように、画像処理アプリケーション２２によって把握された果実の中心位置情報を、制御手段２３が取得する。制御手段２３は、取得した中心位置情報から、該中心位置４１をカメラ画像の基準位置４２に揃えるために、移動機構２０を制御する。即ち、制御手段２３は、垂直方向及び水平方向に動かすモータの増幅器に対し、ＤＳＰ回路２４を介して指示信号を送信する。これらの信号によって図３に示した移動機構２０におけるＤＣモータ１１が駆動され、タイミングベルト１３、スライドレール１４が作動して、垂直方向及び水平方向にカメラ１０が移動する。なお、２台のカメラ１０は平行に固定されているので、同時に移動することになる。   Specifically, as shown in FIG. 9, the control unit 23 acquires the fruit center position information grasped by the image processing application 22. The control means 23 controls the moving mechanism 20 to align the center position 41 with the reference position 42 of the camera image from the acquired center position information. That is, the control means 23 transmits an instruction signal via the DSP circuit 24 to the amplifier of the motor that moves in the vertical direction and the horizontal direction. The DC motor 11 in the moving mechanism 20 shown in FIG. 3 is driven by these signals, the timing belt 13 and the slide rail 14 are operated, and the camera 10 moves in the vertical direction and the horizontal direction. Since the two cameras 10 are fixed in parallel, they move simultaneously.

基準位置（x，ｙ）４２は、果実の中心位置４１がこの基準位置４２に揃うことによって、果実に対してカメラが一定の位置に配置されると同時に、摘み取り装置５が果実を摘み取り可能な範囲に配置されるように設定された位置である。
次いで、画像処理アプリケーション２２によって、ステレオビジョンによる画像処理が行われる。即ち、２台のカメラ１０によるステレオビジョンによって、カメラ１０と認識された果実との距離が測定される。例えば図１０に示すように、各カメラ１０で撮影された画像における果実の中央位置のＸ座標は異なるので、その差（ｘｌ−ｘｒ）によって、奥行ｄがｄ＝ｂｆ／（ｘｌ−ｘｒ）から算出される。なお、ｆは焦点長さ、ｂは２台のカメラの距離である。この画像処理によって、カメラから果実の奥行方向への位置を把握することができる。 The reference position (x, y) 42 is such that when the fruit center position 41 is aligned with the reference position 42, the camera is placed at a fixed position with respect to the fruit, and at the same time, the picking device 5 can pick the fruit. The position is set to be arranged in the range.
Next, image processing by stereo vision is performed by the image processing application 22. That is, the distance between the camera 10 and the recognized fruit is measured by stereo vision by the two cameras 10. For example, as shown in FIG. 10, since the X coordinate of the center position of the fruit in the image photographed by each camera 10 is different, the depth d is determined from d = bf / (xl−xr) by the difference (xl−xr). Calculated. Here, f is the focal length, and b is the distance between the two cameras. By this image processing, it is possible to grasp the position of the fruit in the depth direction from the camera.

そして、算出された奥行ｄに基づいて奥行方向の基準位置（ｚ）にカメラ位置を移動する（ステップ１５：Ｓ１５）。基準位置（x，ｙ）４２に加え、この奥行方向の基準位置（ｚ）にカメラ位置を移動することによって、摘み取り装置５の剪定ハサミ３１は果実に届く範囲に配置される。また、摘み取り装置５は、ラック駆動機構１５を備えているので、カメラの移動とは別に、水平面において所定角度回転又は前後にスライドして果実に接近することができる。   Then, the camera position is moved to the reference position (z) in the depth direction based on the calculated depth d (step 15: S15). By moving the camera position to the reference position (z) in the depth direction in addition to the reference position (x, y) 42, the pruning scissors 31 of the picking device 5 are arranged in a range reaching the fruit. In addition, since the picking device 5 includes the rack driving mechanism 15, apart from the movement of the camera, the picking device 5 can approach the fruit by rotating a predetermined angle or sliding back and forth on a horizontal plane.

次いで、剪定ハサミ３１は、図５に示したＤＣモータ１８が駆動して並列連結機構３２を開くことによって、当該剪定ハサミ３１を開く（ステップ１６）。そして、剪定ハサミ３１が果柄を挟む位置まで、摘み取り装置５をスライドさせ（ステップ１７）、並列連結機構３２を閉じることによって剪定ハサミ３１を閉じ、果柄を切断する（ステップ１８）。切断された果実は、コンテナ６内に落下して収容される。
さらに、別の果実の摘み取りを続行する場合には（ステップ１９）、ステップ１１に戻り、摘み取り作業を続行しない場合には終了する。 Next, the pruning shears 31 are opened by the DC motor 18 shown in FIG. 5 being driven to open the parallel coupling mechanism 32 (step 16). Then, the plucking device 5 is slid until the pruning scissors 31 sandwich the fruit handle (step 17), and the parallel coupling mechanism 32 is closed to close the pruning scissors 31 and cut the fruit handle (step 18). The cut fruit is dropped into the container 6 and stored.
Furthermore, when continuing picking of another fruit (step 19), it returns to step 11, and is complete | finished when not continuing picking work.

なお、ステレオビジョンによる奥行の算出は、基準位置（x，ｙ）へ移動するＳ１４の前に行うようにしてもよく、上述のようにＳ１４の後に行った場合と同様に基準位置（x，ｙ，ｚ）へ移動することができる。
また、本実施形態においては、ピーマンやオクラ等の軽量な果実を摘み取る場合を想定し、摘み取り装置５には、果実を把持してコンテナ６に収容する機構を設けていないが、従来既知の把持機構を備えるようにすれば、重量のある果実に対応することが可能である。 Note that the depth calculation by stereo vision may be performed before S14 that moves to the reference position (x, y), and as described above, the reference position (x, y) is the same as that performed after S14. , Z).
In the present embodiment, it is assumed that lightweight fruits such as bell peppers and okra are picked, and the picking device 5 is not provided with a mechanism for gripping the fruits and storing them in the container 6. If a mechanism is provided, it is possible to handle heavy fruits.

このようにカメラ位置決めシステムにおいてビジュアルフィードバック制御を利用することによって、画像処理によって得た果実の中心位置をフィードバックして、認識した果実に対してカメラを一定位置に位置決めすることができる。これによって、果柄と剪定ハサミとの相対位置を制御でき、摘み取り動作のための位置決めが可能となる。   Thus, by using visual feedback control in the camera positioning system, the center position of the fruit obtained by image processing can be fed back, and the camera can be positioned at a fixed position with respect to the recognized fruit. Accordingly, the relative position between the fruit handle and the pruning scissors can be controlled, and positioning for the picking operation can be performed.

以上のように、本発明に係る収穫ロボットは、画像処理システムにおいて１つの果実が認識されていることを前提に、撮影手段２が２台のカメラの位置を同時に移動する移動機構を備え、認識した果実の中央位置がカメラ画像の基準位置（x，ｙ）に揃うように、かつ、２台のカメラによるステレオビジョンによって算出された果実とカメラとの距離（奥行）を、所定距離（基準位置（ｚ））となるようにカメラ位置を移動することによって、摘み取り装置５が果実に届く範囲に配置される。これによって、摘み取り装置５は、果柄を切断して果実を収穫することができる。
また、摘み取り装置５は、ラック駆動機構１５を備えることによって、カメラの移動とは別に、水平面において所定角度回転及び前後にスライドして果実に接近することができ、より確実に果柄を切断することが可能である。 As described above, the harvesting robot according to the present invention includes a moving mechanism in which the photographing unit 2 moves the positions of the two cameras at the same time on the assumption that one fruit is recognized in the image processing system. The distance (depth) between the fruit and the camera calculated by stereo vision using two cameras is set to a predetermined distance (reference position) so that the center position of the fruit is aligned with the reference position (x, y) of the camera image. By moving the camera position so as to become (z)), the picking device 5 is arranged in a range reaching the fruit. Thereby, the picking device 5 can cut the fruit handle and harvest the fruit.
Further, the picking device 5 includes the rack driving mechanism 15 so that, apart from the movement of the camera, the picking device 5 can rotate at a predetermined angle on the horizontal plane and slide back and forth to approach the fruit, thereby cutting the fruit pattern more reliably. It is possible.

試験例Test example

（試験例１）
本発明に係る収穫ロボットにおける撮影手段及び画像処理手段の構成部分を作製し、実際に栽培されているハウス内の果菜（ピーマン）の画像データを収集し、画像処理アルゴリズムの検証試験を行った。なお、撮影手段に、移動機構は設けず、２台のカメラと照明装置で構成した。
有効画素数６４０×４８０のカラーＣＣＤカメラ（Ｌｏｇｃｏｏｌ製ＱｃａｍＰｒｏ４０００）２台を、１１０ｍｍの間隔で照明装置（蛍光灯２７Ｗ）に取り付け、画像入力ボード（Ｌｅｕｔｒｏｎ Ｖｉｓｉｏｎ製Ｐｉｃ−Ｐｏｒｔ）、画像処理アプリケーション（ＭＶＴｅｃ製ＨＡＬＣＯＮ）及び制御手段（ＤＳＰコントローラ）で構成される画像処理手段（ノート型パーソナルコンピュータ）に接続し、本試験例１における収穫ロボットとした。周囲の明るさの影響を確認するため、昼間と夜間の画像データを夫々収集し、これらの画像データにおいて認識できたピーマンの認識数を、人の目で確認したピーマンの個数と比較した。 (Test Example 1)
The components of the photographing means and the image processing means in the harvesting robot according to the present invention were produced, and image data of fruit vegetables (green peppers) in the house that was actually cultivated were collected, and a verification test of the image processing algorithm was performed. The photographing means is not provided with a moving mechanism, and is constituted by two cameras and a lighting device.
Two color CCD cameras (Qcam Pro4000 made by Logcool) with 640 × 480 effective pixels are attached to the illumination device (fluorescent lamp 27W) at an interval of 110 mm, an image input board (Pic-Port made by Leutron Vision), and an image processing application (MVTech) The harvesting robot in Test Example 1 was connected to image processing means (notebook personal computer) composed of HALCON (manufactured by HALCON) and control means (DSP controller). In order to confirm the influence of ambient brightness, daytime and nighttime image data were collected, and the number of bell peppers recognized in these image data was compared with the number of bell peppers confirmed by human eyes.

図１３は、試験例１における試験結果を示す一覧表である。
認識率は、昼間４７．６％、夜間７５．５％で、画像処理アルゴリズムは有効であった。夜間に認識率が高いのは、周囲の明るさの影響を受けにくく、安定して認識できたためと考えられる。なお、ピーマンが葉に一部隠れている状態では、大きさの判定や果柄部の認識は困難であったが、ピーマン自体の存在の認識は可能であった。 FIG. 13 is a list showing test results in Test Example 1.
The recognition rate was 47.6% in the daytime and 75.5% in the nighttime, and the image processing algorithm was effective. The reason why the recognition rate is high at night is thought to be because it was not easily affected by ambient brightness and was able to be recognized stably. In the state where the bell peppers were partially hidden by the leaves, it was difficult to determine the size and recognize the fruit portion, but it was possible to recognize the presence of the bell peppers themselves.

（試験例２）
本発明に係る収穫ロボットを試作し、撮影手段及び画像処理手段の構成によって果実を認識してカメラを位置決めし、その果実を摘み取り装置によって摘み取った。
有効画素数６４０×４８０のカラーＣＣＤカメラ（Ｌｏｇｃｏｏｌ製ＱｃａｍＰｒｏ４０００）２台を、１２０ｍｍの間隔で配設し、画像処理手段を、画像入力ボード（Ｌｅｕｔｒｏｎ Ｖｉｓｉｏｎ製Ｐｉｃ−Ｐｏｒｔ）、画像処理アプリケーション（ＭＶＴｅｃ製ＨＡＬＣＯＮ）及び制御手段（ＤＳＰコントローラ）で構成した。照明装置として、蛍光灯（２７Ｗ）は２台のカメラの下方に取り付けた。撮影手段における移動機構は、図３に示すように２台のカメラが平行状態を保って同時に同方向へ３方向（水平、垂直、奥行）で位置決めすることができるように設定した。また、摘み取り装置は、図３のように、右カメラの右側上方にカメラの移動に追従し、かつカメラの移動とは別に水平方向に移動可能なように取り付けた。 (Test Example 2)
The harvesting robot according to the present invention was prototyped, the fruit was recognized by the configuration of the photographing means and the image processing means, the camera was positioned, and the fruit was picked by the picking device.
Two color CCD cameras (Qcam Pro4000 made by Logcool) having an effective pixel number of 640 × 480 are arranged at intervals of 120 mm, the image processing means is an image input board (Pic-Port made by Leutron Vision), and an image processing application (made by MVTec). HALCON) and control means (DSP controller). As a lighting device, a fluorescent lamp (27W) was attached below the two cameras. As shown in FIG. 3, the moving mechanism in the photographing means is set so that the two cameras can be positioned in three directions (horizontal, vertical, and depth) in the same direction while maintaining a parallel state. Further, as shown in FIG. 3, the picking device is attached to the upper right side of the right camera so as to follow the movement of the camera and move in the horizontal direction separately from the movement of the camera.

図１４は、認識及び摘み取り目標となる果実の４種類の配置状態を示す画像である。
認識及び摘み取り目標の果実（ピーマン）は、カメラからのリアルタイムの影像を画像処理して認識した。なお、画像処理領域は小さく限定し、左右カメラで夫々撮影された画像において認識する果実を一致させるようにした。 FIG. 14 is an image showing four types of arrangement states of fruits that are recognition and picking targets.
Recognition and picking target fruits (green peppers) were recognized by image processing of real-time images from the camera. The image processing area is limited to a small size so that the fruits recognized in the images taken by the left and right cameras are matched.

図１５は、摘み取り装置による果柄の切断成功率を示す一覧表である。
図１４（ａ）のように果実が葉とともにあっても単体で存在する場合は、葉と区別して高い確率で果実の認識から摘み取りまでの動作ができることが確認できた。複数の果実が存在する場合、左右カメラで夫々撮影された画像において認識する摘み取りの目標となる果実が一致しないことがあり、認識が不安定となって摘み取り成功率が低くなった。図１４（ｃ），（ｄ）のように果実同士が接触したり、重なり合った状態では、切断成功率は低かったが、果実が２つ以上存在する場合でも図１４（ｂ）のように果実同士が隣接せずに離れている場合は、９３％と高い切断成功率であった。 FIG. 15 is a list showing the success rate of fruit cutting by the picking device.
As shown in FIG. 14 (a), when the fruit is present alone with the leaf, it can be confirmed that the operation from the recognition of the fruit to the picking can be performed with a high probability as distinguished from the leaf. When there are a plurality of fruits, the fruits to be picked which are recognized in the images photographed by the left and right cameras may not coincide with each other. In the state where the fruits are in contact with each other or overlapped as shown in FIGS. 14C and 14D, the success rate of cutting was low. When they were not adjacent but separated from each other, the cutting success rate was as high as 93%.

（試験例３）
試験例２と同じ収穫ロボットを試作し、さらに照明装置として、白色のＬＥＤ（光度：５５００ｍｃｄ／２０ｍＡ，指向特性：１８度）１６個を左カメラの周囲に取り付けた。左カメラ１台による認識状況を、ＬＥＤを用いた場合と蛍光灯を用いた場合とで比較した。
認識対象の果実としてピーマンを２個用い、隣接させて設置した場合と、１個を後方に置いて前方から重なって見える場合の２つのケースで実施した。大きさによる果実の絞込みや画像領域の制限は行わず、認識したピーマンをすべてマーキングさせた。 (Test Example 3)
The same harvesting robot as in Test Example 2 was prototyped, and 16 white LEDs (luminance: 5500 mcd / 20 mA, directivity: 18 degrees) were attached as a lighting device around the left camera. The recognition status by one left camera was compared between the case of using an LED and the case of using a fluorescent lamp.
Two peppers were used as the fruits to be recognized, and the two cases were placed adjacent to each other, and the case where one piece was placed behind and seen from the front. Without refining the fruit by size or limiting the image area, all the recognized bell peppers were marked.

図１６は、蛍光灯及びＬＥＤによって夫々認識された果実のマーキング結果を示す画像である。
隣接して果実を設置した場合、図１６（ａ），（ｂ）のように蛍光灯の照明では２つの果実を認識したが、図１６（ｃ），（ｄ）のようにＬＥＤの照明では、正面にあたる果実のみを認識した。また、重なりがあるように設置した場合、図１６（ｅ），（ｆ）のように蛍光灯の照明では２つの果実を１つと認識したが、図１６（ｇ），（ｈ）のようにＬＥＤの照明では、前方の果実のみを認識した。これらの結果から、蛍光灯を用いた照明では、広範囲の果実を認識するため、誤認や左右のカメラで認識する果実の不一致が生じる可能性が高いことが分かった。一方、ＬＥＤの場合、照明範囲が限定されるため、誤認が少なく、左右のカメラで夫々撮影された画像において認識する果実が一致する可能性が高いと考えられる。 FIG. 16 is an image showing fruit marking results recognized by the fluorescent lamp and the LED, respectively.
When fruits were installed adjacent to each other, two fruits were recognized in the fluorescent lamp illumination as shown in FIGS. 16 (a) and 16 (b), but in the LED illumination as shown in FIGS. 16 (c) and (d). Only the fruit in front was recognized. Moreover, when it installed so that there might be an overlap, as shown in FIG.16 (e) and (f), it was recognized that two fruits were one by the illumination of the fluorescent lamp, but as FIG.16 (g) and (h) Only the fruit in front was recognized by the illumination of LED. From these results, it was found that the illumination using a fluorescent lamp recognizes a wide range of fruits, so that there is a high possibility that misidentification or mismatch of fruits recognized by the left and right cameras will occur. On the other hand, in the case of LED, since the illumination range is limited, there are few misperceptions, and it is considered that there is a high possibility that fruits recognized in images taken by the left and right cameras match each other.

（試験例４）
試験例３と同じ収穫ロボットによって、左右２台のカメラによるステレオビジョンでの認識状況を、ＬＥＤを用いた場合と蛍光灯を用いた場合とで比較した。
認識対象の果実としてピーマンを２個用い、図１４（ｂ）の状態で、カメラ位置を移動させて、認識状況を確認した。カメラは、２個のピーマンに対して正面右側方、略真正面及び正面左側方に順次移動させた。画像処理領域は制限せず、ピーマンと認識されたものの中で最も大きいものを選択してマーキングさせた。また、同じカメラ位置で、複数回、認識状況を確認した。
蛍光灯照明の場合、左右カメラで夫々撮影された画像において認識するピーマンの不一致や、同じカメラ位置で撮影された画像でも認識するピーマンの変動が見られた。一方、ＬＥＤ照明の場合、カメラ位置によって認識するピーマンを限定できることが分かった。 (Test Example 4)
Using the same harvesting robot as in Test Example 3, the recognition status in stereo vision by two left and right cameras was compared between the case of using an LED and the case of using a fluorescent lamp.
Two peppers were used as the fruits to be recognized, and the camera position was moved in the state shown in FIG. The camera was sequentially moved with respect to the two green peppers to the right side on the front side, approximately in front of the front and left side of the front. The image processing area is not limited, and the largest one among those recognized as peppers is selected and marked. The recognition status was confirmed multiple times at the same camera position.
In the case of fluorescent lamp illumination, there was a discrepancy between the green peppers recognized in the images taken by the left and right cameras, and a change in green peppers recognized even in the images taken at the same camera position. On the other hand, in the case of LED illumination, it was found that the green pepper recognized by the camera position can be limited.

本発明は、果菜類の温度管理や水やりなどの自動化を進めているハウス園芸において好適に利用されるものである。   The present invention is suitably used in house horticulture in which automation of temperature management and watering of fruit vegetables is being promoted.

本発明に係る収穫ロボットの実施形態の一例を示す概略構成図である。It is a schematic block diagram which shows an example of embodiment of the harvest robot which concerns on this invention. 収穫ロボットにおける機能構成を示す構成図である。It is a block diagram which shows the function structure in a harvest robot. 収穫ロボットにおける撮影手段及び摘み取り装置の一例を示す斜視図である。It is a perspective view which shows an example of the imaging | photography means and picking apparatus in a harvest robot. 照明装置の一例を示す概略構成図である。It is a schematic block diagram which shows an example of an illuminating device. 摘み取り装置の機能構成を示す構成図である。It is a block diagram which shows the function structure of the picking apparatus. 画像処理システムを機能構成によって示す構成図である。It is a block diagram which shows an image processing system by a functional structure. 画像処理システムにおけるアルゴリズムを説明するフロー図である。It is a flowchart explaining the algorithm in an image processing system. ビジュアルフィードバック制御を利用したカメラ位置決めシステムを説明するための概念図である。It is a conceptual diagram for demonstrating the camera positioning system using visual feedback control. 図８のカメラ位置決めシステムを機能構成によって示す構成図である。It is a block diagram which shows the camera positioning system of FIG. 8 by a functional structure. ステレオビジョンによって奥行を算出する原理を示す概念図である。It is a conceptual diagram which shows the principle which calculates depth by stereo vision. 認識された果実の中央位置を画像の基準位置に合わせる様子を示す模式図である。It is a schematic diagram which shows a mode that the center position of the recognized fruit is match | combined with the reference position of an image. カメラ位置決めシステムによって果実を摘み取る動作を説明するフローチャート図である。It is a flowchart explaining the operation | movement which picks out a fruit with a camera positioning system. 試験例１における試験結果を示す一覧表である。6 is a list showing test results in Test Example 1. 認識及び摘み取り目標となる果実の４種類の配置状態を示す画像である。It is an image which shows four types of arrangement | positioning states of the fruit used as recognition and a picking target. 摘み取り装置による果柄の切断成功率を示す一覧表である。It is a table | surface which shows the cutting success rate of the fruit handle by a picking apparatus. 蛍光灯及びＬＥＤによって夫々認識された果実のマーキング結果を示す画像である。It is an image which shows the marking result of the fruit recognized by the fluorescent lamp and LED, respectively.

符号の説明Explanation of symbols

１ 収穫ロボット
２ 撮影手段
３ 画像処理手段
４ 移動装置
５ 摘み取り装置
６ コンテナ
DESCRIPTION OF SYMBOLS 1 Harvest robot 2 Image | photographing means 3 Image processing means 4 Moving device 5 Picking device 6 Container

Claims (5)

撮影手段、画像処理手段、果柄を切断して果実を取り込む摘み取り装置及び移動装置からなる果菜類の収穫ロボットであって、
前記撮影手段は、果菜を照明する照明装置と、２台のカメラとを備えてなり、
前記画像処理手段は、２台のカメラによって夫々撮影されたアナログの画像情報を取得してデジタル変換する画像入力ボードと、該画像入力ボードがデジタル変換した画像情報を処理する画像処理アプリケーションと、該画像処理アプリケーションにて処理された画像情報に基づいて前記撮影手段、摘み取り装置及び移動装置を制御する制御手段とを備え、
前記画像処理アプリケーションは、デジタル変換されたカラー画像データをＨＳＩ値に変換して二値化し、その二値化によって絞り込んだ果実の領域から特徴量を判別することを特徴とする収穫ロボット。 A fruit harvesting robot comprising a photographing means, an image processing means, a picking device that cuts the fruit handle and takes in the fruit, and a moving device,
The photographing means includes an illumination device that illuminates fruit vegetables and two cameras.
The image processing means includes an image input board that acquires and digitally converts analog image information captured by two cameras, an image processing application that processes image information digitally converted by the image input board, and Control means for controlling the photographing means, the picking device and the moving device based on image information processed by an image processing application,
The harvesting robot characterized in that the image processing application converts the digitized color image data into an HSI value and binarizes it, and discriminates the feature amount from the fruit region narrowed down by the binarization. 前記照明装置は、その照明範囲が限定されていることを特徴とする請求項１記載の収穫ロボット。   The harvesting robot according to claim 1, wherein an illumination range of the illumination device is limited. 前記照明装置は、ＬＥＤであって、前記２台のカメラのうち、一方のレンズ周囲に複数個取り付けられていることを特徴とする請求項２記載の収穫ロボット。   The harvesting robot according to claim 2, wherein the illumination device is an LED, and a plurality of the illumination devices are attached around one lens of the two cameras. 前記撮影手段は、２台のカメラ位置を同時に移動する移動機構を備え、
前記画像処理アプリケーションは、画像情報から認識された果実の中央位置、及び、前記２台のカメラによるステレオビジョンによって果実とカメラとの距離を算出し、
前記制御手段は、前記果実の中央位置が画像における基準位置（ｘ，ｙ）に揃い、かつ、前記距離が所定距離となる基準位置（ｚ）にカメラが配置されるように、前記移動機構及び移動装置を制御することを特徴とする請求項１乃至３いずれか記載の収穫ロボット。 The photographing means includes a moving mechanism that simultaneously moves two camera positions,
The image processing application calculates the distance between the fruit and the camera by the center position of the fruit recognized from the image information and the stereo vision by the two cameras.
The control means includes the moving mechanism and the moving mechanism so that the center position of the fruit is aligned with a reference position (x, y) in the image and the camera is disposed at a reference position (z) where the distance is a predetermined distance. 4. The harvesting robot according to claim 1, wherein the harvesting robot is controlled. 前記摘み取り装置は、ラック駆動機構を備え、水平面において所定角度回転及び前後にスライド可能に取り付けられていることを特徴とする請求項１乃至４いずれか記載の収穫ロボット。   The harvesting robot according to any one of claims 1 to 4, wherein the picking device includes a rack driving mechanism, and is attached to the horizontal plane so as to rotate at a predetermined angle and slide back and forth.
JP2006197012A 2006-07-19 2006-07-19 Harvesting robot Expired - Fee Related JP4936362B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006197012A JP4936362B2 (en) 2006-07-19 2006-07-19 Harvesting robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006197012A JP4936362B2 (en) 2006-07-19 2006-07-19 Harvesting robot

Publications (2)

Publication Number Publication Date
JP2008022737A true JP2008022737A (en) 2008-02-07
JP4936362B2 JP4936362B2 (en) 2012-05-23

Family

ID=39114038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006197012A Expired - Fee Related JP4936362B2 (en) 2006-07-19 2006-07-19 Harvesting robot

Country Status (1)

Country Link
JP (1) JP4936362B2 (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012055207A (en) * 2010-09-07 2012-03-22 Nikon Corp System and plant for cultivating plant, harvesting device, and method for cultivating plant
KR101328487B1 (en) 2011-12-27 2013-11-13 한국식품연구원 Prediction Method and Device of Rough Rice Harvesting Time
KR101405858B1 (en) * 2013-12-04 2014-06-16 안성훈 Robot apparatus for harvesting fruit
CN105075521A (en) * 2015-08-31 2015-11-25 梧州市旺捷机械制造有限公司 Tea picker
JP2016183826A (en) * 2015-03-26 2016-10-20 日本電産コパル株式会社 Imaging unit and refrigerator
CN108811758A (en) * 2018-05-11 2018-11-16 哈尔滨理工大学 A kind of novel more mechanical arm fruit collecting carts
CN109729836A (en) * 2019-02-25 2019-05-10 广西职业技术学院 A kind of self-action fruit picking apparatus
KR20190136209A (en) 2018-05-30 2019-12-10 주식회사 에스피투로보틱스 Robot apparatus for harvesting fruit
WO2020085076A1 (en) * 2018-10-26 2020-04-30 パナソニックＩｐマネジメント株式会社 Hydroponics method for stem tubers and hydroponics system for stem tubers
CN112715159A (en) * 2020-12-30 2021-04-30 武汉晴川学院 Automatic citrus picking method and device based on mechanical arm
CN113261429A (en) * 2021-06-23 2021-08-17 安徽农业大学 Intelligent walnut picking vehicle
CN113395896A (en) * 2019-01-31 2021-09-14 株式会社久保田 Working device
CN113383642A (en) * 2021-07-12 2021-09-14 扬州大学 Intelligent melon and vegetable picking robot and picking method thereof
CN114586546A (en) * 2022-03-14 2022-06-07 西南大学 Automatic strawberry picking device based on electronic nose and image recognition and control method thereof
CN115039574A (en) * 2022-05-12 2022-09-13 山东农业大学 Online grading fruit picking robot and method
JP7459921B2 (en) 2018-10-10 2024-04-02 井関農機株式会社 Harvesting vehicles

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61271916A (en) * 1985-05-25 1986-12-02 株式会社クボタ Working robot
JPH02234608A (en) * 1989-03-08 1990-09-17 Yanmar Agricult Equip Co Ltd Harvester for fruit and vegetable
JPH02234013A (en) * 1989-03-08 1990-09-17 Yanmar Agricult Equip Co Ltd Fruit/vegetable position recognizing device
JPH05297152A (en) * 1992-04-15 1993-11-12 Minolta Camera Co Ltd Object recognizing device
JPH0837883A (en) * 1994-08-02 1996-02-13 Iseki & Co Ltd Picture image-discriminating device eof harvest robot
JP2002077694A (en) * 2000-08-30 2002-03-15 Kyocera Corp Ir camera

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61271916A (en) * 1985-05-25 1986-12-02 株式会社クボタ Working robot
JPH02234608A (en) * 1989-03-08 1990-09-17 Yanmar Agricult Equip Co Ltd Harvester for fruit and vegetable
JPH02234013A (en) * 1989-03-08 1990-09-17 Yanmar Agricult Equip Co Ltd Fruit/vegetable position recognizing device
JPH05297152A (en) * 1992-04-15 1993-11-12 Minolta Camera Co Ltd Object recognizing device
JPH0837883A (en) * 1994-08-02 1996-02-13 Iseki & Co Ltd Picture image-discriminating device eof harvest robot
JP2002077694A (en) * 2000-08-30 2002-03-15 Kyocera Corp Ir camera

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012055207A (en) * 2010-09-07 2012-03-22 Nikon Corp System and plant for cultivating plant, harvesting device, and method for cultivating plant
KR101328487B1 (en) 2011-12-27 2013-11-13 한국식품연구원 Prediction Method and Device of Rough Rice Harvesting Time
KR101405858B1 (en) * 2013-12-04 2014-06-16 안성훈 Robot apparatus for harvesting fruit
JP2016183826A (en) * 2015-03-26 2016-10-20 日本電産コパル株式会社 Imaging unit and refrigerator
CN105075521A (en) * 2015-08-31 2015-11-25 梧州市旺捷机械制造有限公司 Tea picker
CN108811758A (en) * 2018-05-11 2018-11-16 哈尔滨理工大学 A kind of novel more mechanical arm fruit collecting carts
KR20190136209A (en) 2018-05-30 2019-12-10 주식회사 에스피투로보틱스 Robot apparatus for harvesting fruit
JP7459921B2 (en) 2018-10-10 2024-04-02 井関農機株式会社 Harvesting vehicles
WO2020085076A1 (en) * 2018-10-26 2020-04-30 パナソニックＩｐマネジメント株式会社 Hydroponics method for stem tubers and hydroponics system for stem tubers
CN113395896A (en) * 2019-01-31 2021-09-14 株式会社久保田 Working device
CN113395896B (en) * 2019-01-31 2024-02-23 株式会社久保田 Working device
CN109729836B (en) * 2019-02-25 2024-02-23 广西职业技术学院 Automatic fruit picking device
CN109729836A (en) * 2019-02-25 2019-05-10 广西职业技术学院 A kind of self-action fruit picking apparatus
CN112715159A (en) * 2020-12-30 2021-04-30 武汉晴川学院 Automatic citrus picking method and device based on mechanical arm
CN113261429A (en) * 2021-06-23 2021-08-17 安徽农业大学 Intelligent walnut picking vehicle
CN113383642A (en) * 2021-07-12 2021-09-14 扬州大学 Intelligent melon and vegetable picking robot and picking method thereof
CN113383642B (en) * 2021-07-12 2022-08-05 扬州大学 Intelligent picking method for melons and vegetables
CN114586546A (en) * 2022-03-14 2022-06-07 西南大学 Automatic strawberry picking device based on electronic nose and image recognition and control method thereof
CN115039574A (en) * 2022-05-12 2022-09-13 山东农业大学 Online grading fruit picking robot and method

Also Published As

Publication number Publication date
JP4936362B2 (en) 2012-05-23

Similar Documents

Publication Publication Date Title
JP4936362B2 (en) Harvesting robot
Yaguchi et al. Development of an autonomous tomato harvesting robot with rotational plucking gripper
US10687476B2 (en) Automated plant trimmer
Hannan et al. Current developments in automated citrus harvesting
KR101374802B1 (en) Agricultural robot system
KR102301658B1 (en) Apparatus for growing plant and control method of the same
Kitamura et al. Recognition and cutting system of sweet pepper for picking robot in greenhouse horticulture
Tejada et al. Proof-of-concept robot platform for exploring automated harvesting of sugar snap peas
Kondo et al. A machine vision system for tomato cluster harvesting robot
Silwal et al. A hierarchical approach to apple identification for robotic harvesting
Rajendra et al. Machine vision algorithm for robots to harvest strawberries in tabletop culture greenhouses
JPH08103139A (en) Detector for harvesting object of fruit vegetable
JP4961555B2 (en) Method for locating target part of plant, target part locating device by the method, and working robot using the device
WO2015121809A1 (en) Portable device for selective harvest with identification of the fruit by colour
Hannan et al. A real-time machine vision algorithm for robotic citrus harvesting
US9335275B2 (en) Device and method for identifying anomalies on instruments
TW200921087A (en) Apparatus for determining defect position of panel
JP7259888B2 (en) Harvesting device, harvesting system, harvesting method and computer program
Kondo et al. A machine vision for tomato cluster harvesting robot
CN108669600B (en) Full-automatic mushroom separator
CN106906519A (en) Electronic recognition simultaneously selects the method and its silk cocoon screening system of inferior silk cocoon
JP2000262128A (en) Automatic harvesting of eggplant and apparatus therefor
US10909713B2 (en) System and method for item location, delineation, and measurement
US20210342597A1 (en) Apparatus and method for identifying organisms
JP2003000031A (en) Method for detecting fruit

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090312

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110705

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110712

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120216

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees