JPH02142410A - Guide unit for fruit tree operating machine - Google Patents

Abstract

PURPOSE:To avoid the erroneous recognition of the highlight zone in vegetables and fruits from the sun light by not extracting the highlight area, when the area of a specific color zone is larger than the prescribed value. CONSTITUTION:The picked-up image information is image processed to know the specific color area F1 corresponding to the fruit color, the highlight area F2 whose brightness is larger than a prescribed value in the area F1 and the gravity center F3 between F1 and F2. When the highlight area F'2 is larger than the prescribed value corresponding to the specific color area F'1, it is regarded as of corresponding to the sun light so that the sun light may not be recognized to be from fruits.

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、作業対象果菜類を撮像する撮像手段と、その
撮像情報に基づいて果菜類の色に対応する特定色領域を
抽出し、その特定色領域内において明るさが設定値より
大なるハイライト領域を抽出する画像処理手段と、その
画像処理手段の情報に基づいて、前記果菜類を捕捉する
作業用ハンドを前記ハイライト領域の位置する方向に向
けて誘導するハンド誘導手段とが設けられた果菜類用作
業機の誘導装置に関する。[Detailed Description of the Invention] [Industrial Application Field] The present invention provides an imaging means for imaging fruits and vegetables to be worked, and a method for extracting a specific color region corresponding to the color of the fruits and vegetables based on the imaging information. An image processing means for extracting a highlight region whose brightness is higher than a set value within a specific color region, and a working hand for capturing the fruits and vegetables based on the information of the image processing means, and a position of the highlight region. The present invention relates to a guiding device for a working machine for fruits and vegetables, which is provided with a hand guiding means for guiding the machine in the direction of the fruit and vegetables.

〔従来の技術〕[Conventional technology]

上記この種の果菜類用作業機の誘導装置は、−船釣に果
菜類が球形であることから、その表面上の一箇所に周囲
よりも明るく見えるハイライト領域が生じる点と、色に
よって作業対象果菜類と背景となる枝や葉とを識別でき
る点とを利用して、果菜類の色に対応する特定色領域内
において明るさが設定値より大なるハイライト領域を、
作業対象果菜類を代表する位置情報として抽出し、その
抽出されたハイライト領域の位置する方向に向けて作業
用ハンドを誘導するように構成されたものである。The above-mentioned guidance device for this type of working machine for fruit and vegetables has the following features: - Because fruit and vegetables are spherical in shape, a highlight area appears in one spot on the surface that looks brighter than the surrounding area, and the color is used to guide the work. By using the points that can distinguish the target fruits and vegetables from the background branches and leaves, highlight areas whose brightness is greater than the set value within a specific color area corresponding to the color of the fruits and vegetables,
It is configured to extract positional information representative of fruits and vegetables to be worked on, and to guide the working hand in the direction where the extracted highlight area is located.

〔発明が解決しようとする課題〕[Problem to be solved by the invention]

ところで、上記この種の果菜類用作業機においては、屋
外で使用されることが多く、例えば、いわゆる逆光状態
で撮像すると背景に太陽光が入ることがある。Incidentally, this type of working machine for fruits and vegetables is often used outdoors, and for example, when an image is taken in a so-called backlit state, sunlight may enter the background.

太陽光は果菜類に対応する色情報を含み、且つ、明るさ
が上記設定値よりも大であることから、上記逆光状態で
撮像したときに太陽光が入射していると、その太陽光に
対応する領域を、上記特定色領域内で且つハイライト領
域であると誤抽出して、作業用ハンドの誘導方向を誤る
虞れが生じる。Sunlight contains color information corresponding to fruits and vegetables, and the brightness is greater than the above setting value, so if sunlight is incident when the image is taken in the above backlit condition, the sunlight will There is a risk that the corresponding area will be erroneously extracted as being within the specific color area and as a highlight area, and the guiding direction of the working hand will be incorrect.

本発明は、上記実情に鑑みてなさてれたものであって、
その目的は、太陽光と果菜類に対応するハイライト領域
とを誤認識しないようにすることにある。The present invention has been made in view of the above circumstances, and
The purpose is to avoid misrecognizing highlight areas corresponding to sunlight and fruits and vegetables.

〔課題を解決するための手段〕[Means to solve the problem]

本発明による果菜類用作業機の誘導装置は、作業対象果
菜類を撮像する撮像手段と、その撮像情報に基づいて果
菜類の色に対応する特定色領域を抽出し、その特定色領
域内において明るさが設定値より大なるハイライト領域
を抽出する画像処理手段と、その画像処理手段の情報に
基づいて、前記果菜類を捕捉する作業用ハンドを前記ハ
イライト領域の位置する方向に向けて誘導するハンド誘
導手段とが設けられたものでって、その特徴構成は以下
の通りである。The guidance device for a working machine for fruits and vegetables according to the present invention includes an imaging means for taking an image of the fruits and vegetables to be worked, and extracts a specific color area corresponding to the color of the fruits and vegetables based on the imaging information, and extracts a specific color area corresponding to the color of the fruits and vegetables within the specific color area. an image processing means for extracting a highlight region whose brightness is greater than a set value, and a working hand for capturing the fruits and vegetables directed toward the direction in which the highlight region is located, based on information from the image processing means. It is equipped with a hand guiding means for guiding, and its characteristic configuration is as follows.

すなわち、前記画像処理手段は、前記特定色領域に対す
る前記ハイライト領域の大きさが設定値より大なる場合
には、そのハイライト領域を前記果菜類に対応する情報
として抽出しないように構成されている点にある。That is, the image processing means is configured not to extract the highlight area as information corresponding to the fruits and vegetables when the size of the highlight area with respect to the specific color area is larger than a set value. It is in the point where it is.

〔作　用〕[For production]

前述の如く、果菜類は球形であることから、その果菜類
の色に対応する特定色領域内におけるハイライト領域の
大きさは、抽出された特定色領域よりも小となる。一方
、太陽光に対応する領域は果菜類よりも明るいので、そ
の太陽光に対応する特定色領域に対するハイライト領域
の大きさは、果菜類に対応する特定色領域に対するハイ
ライト領域の大きさよりも大となる。As mentioned above, since fruits and vegetables are spherical, the size of the highlight area within the specific color area corresponding to the color of the fruits and vegetables is smaller than the extracted specific color area. On the other hand, since the area corresponding to sunlight is brighter than fruits and vegetables, the size of the highlight area for the specific color area corresponding to sunlight is larger than the size of the highlight area for the specific color area corresponding to fruits and vegetables. Becomes large.

つまり、抽出された特定色領域に対するハイライト領域
の大きさが設定値より大である場合には、抽出されたハ
イライト領域が太陽光に対応するものであるとして、果
菜類に対応する情報として抽出しないようにすると、太
陽光の影響を的確に除去できるのである。In other words, if the size of the highlight area for the extracted specific color area is larger than the set value, the extracted highlight area is assumed to correspond to sunlight and is treated as information corresponding to fruits and vegetables. By not extracting it, the influence of sunlight can be accurately removed.

〔発明の効果〕〔Effect of the invention〕

従って、太陽光を果菜類と誤認識することがないように
できるので、作業用ハンドを誤動作なく的確に誘導でき
るに至った。Therefore, since it is possible to prevent sunlight from being mistakenly recognized as fruit and vegetables, it has become possible to accurately guide the working hand without malfunctioning.

〔実施例〕〔Example〕

以下、本発明を果実収穫機の誘導装置に適用した場合に
おける実施例を図面に基づいて説明する。EMBODIMENT OF THE INVENTION Hereinafter, an embodiment in which the present invention is applied to a guidance device for a fruit harvesting machine will be described based on the drawings.

第７図に示すように、左右一対の走行車輪（１）を前後
に備えた車体（ｖ）に、ブーム（２）が昇降駆動並びに
旋回駆動自在に取り付けられ、そのブーム（２）の先端
部に、補助ブーム（３）が水平方向に揺動駆動自在に取
り付けられ、そして、果実収穫用の作業用ハンド（Ｈ）
を備んた１乍業用マニブレーク（４）が、前記補助ブー
ム（３）の先端部に取り付けられている。As shown in FIG. 7, a boom (2) is attached to a vehicle body (v) equipped with a pair of left and right running wheels (1) at the front and rear so that it can be driven up and down and rotated, and the tip of the boom (2) An auxiliary boom (3) is attached to the auxiliary boom (3) so as to be able to swing freely in the horizontal direction, and a working hand (H) for fruit harvesting is attached to the auxiliary boom (3).
A single-use manibrake (4) equipped with a manibrake is attached to the tip of the auxiliary boom (3).

尚、図中、（５）はブーム昇降用油圧シリンダ、（６）
はブーム旋回用油圧シリンダ、（７）は補助ブーム揺動
用油圧シリンダである。In the figure, (5) is the hydraulic cylinder for lifting the boom, (6)
(7) is a hydraulic cylinder for swinging the boom, and (7) is a hydraulic cylinder for swinging the auxiliary boom.

前記作業用マニプレータ（４）は、多関節型の伸縮アー
ム（８）　　と、その伸縮アーム（８）の先端部に取り
付けられた作業用ハンド（Ｈ）　　とからなる。The working manipulator (4) consists of a multi-jointed telescoping arm (8) and a working hand (H) attached to the tip of the telescoping arm (8).

そして、前記伸縮アーム（８）は、電動モータ（９ａ）
にて縦軸芯（Ｙ）周りで旋回操作され、且つ、電動モー
タ（９ｂ）にて横軸芯（Ｘ）周りで揺動操作され、さら
に電動モータ（９Ｃ）にて伸縮操作されるように構成さ
れている。The telescopic arm (8) is powered by an electric motor (9a).
It is rotated around the vertical axis (Y) by the electric motor (9b), swung around the horizontal axis (X) by the electric motor (9b), and expanded and contracted by the electric motor (9C). It is configured.

前記作業用ハンド（Ｈ）について説明すれば、第６図に
示すように、その先端部に、作業対象としての果実（Ｆ
）を吸着するためのバキニームパッド（１０）と、その
バキュームパッド（１０）の吸引口（１０ａ）に吸着さ
れた果実（Ｆ）を覆うための捕捉部ケース（１２）と、
その捕捉部ケース（１２）内に取り込んだ果実（Ｆ）の
柄部分を上下方向に挟み込んだ状態で切断する柄切断装
置（１３）とが設けられている。尚、前記バキュームパ
ッド（ｌＯ）は、果実（Ｆ）を傷つけないように、ゴム
等の弾性を有する可撓性部材で形成されている。To explain the working hand (H), as shown in FIG.
), a trapping part case (12) for covering the fruit (F) adsorbed to the suction port (10a) of the vacuum pad (10);
A handle cutting device (13) is provided which cuts the handle part of the fruit (F) taken into the trapping part case (12) while vertically sandwiching the handle part. Incidentally, the vacuum pad (lO) is formed of a flexible member having elasticity such as rubber so as not to damage the fruit (F).

前記捕捉部ケース（１２）は、前記バキュームパッド（
ｌＯ）が果実（Ｆ）を吸着するまではアプローチの邪魔
にならないようにハンド後方側に引退させ、且つ、前記
バキュームパッド（１０）が果実（Ｆ）を吸着した後は
、吸着された果実（Ｆ）を覆うようにハンド前方側に突
出させるために、前記バキュームパッド（１０）の通気
管（１１）に封して前後方向に出退操作自在に外嵌支持
されている。The trapping part case (12) includes the vacuum pad (
The hand is retired to the rear side so as not to interfere with the approach until the fruit (F) is adsorbed by the vacuum pad (10), and after the vacuum pad (10) has adsorbed the fruit (F), the adsorbed fruit ( In order to protrude to the front side of the hand so as to cover F), the vacuum pad (10) is sealed and externally supported so as to be movable in the front and rear directions.

尚、前記通気管（１１）は、蛇腹式のホース（１４）（
第７図参照）にて、前記車体（ｖ）側に搭載された吸引
ポンプ（１７）に配管接続されている。The ventilation pipe (11) is a bellows-type hose (14) (
(see FIG. 7), and is connected via piping to a suction pump (17) mounted on the vehicle body (v) side.

又、前記捕捉部ケース（１２）は、前記通気管（１１）
に外嵌される支持部材（１２ａ）に固着された上部ケー
ス（１２ｂ）　　と、前記支持部材（１２ａ）に対して
縦軸芯周りに揺動駆動自在に枢着された下部ケース（１
２Ｃ）　　とに二分割形成され、前記下部ケース（１２
ｃ）を前記通気管（１１）に対して横方向に揺動させる
ことによって、前記捕捉部ケース（１２）内に保持され
る柄を切断された果実（Ｆ）を外部に排出できるように
なっている。Further, the trapping part case (12) is configured to be connected to the ventilation pipe (11).
an upper case (12b) fixed to a support member (12a) fitted externally to the support member (12a), and a lower case (12b) pivotally connected to the support member (12a) so as to be swingable around a vertical axis.
2C) and the lower case (12C) is formed into two parts.
c) by swinging the fruit (F) laterally with respect to the ventilation pipe (11), the fruit (F) with the stem cut off held in the trapping part case (12) can be discharged to the outside. ing.

前記柄切断装置（１３）は、前記果実（Ｆ）の柄を切断
するバリカン型の刃体（１３ａ）　　と、その刃体（１
３ａ）に前記果実（Ｆ）の柄を下方側から抑圧支持する
柄支持部材（１３ｂ）　　とからなる。The handle cutting device (13) includes a clipper-shaped blade (13a) for cutting the handle of the fruit (F), and a blade (1) for cutting the handle of the fruit (F).
3a) and a handle support member (13b) that presses and supports the handle of the fruit (F) from below.

但し、詳述はしないが、前記作業用ハンド（（１）には
、前記捕捉部ケース（１２）を出退操作するためのアク
チュエータや前記柄切断装置（１３）を駆動するための
アクチュエータ等の収穫作動用の各種空圧式のアクチュ
エータや、前記バキュームパッド（ｌＯ）に果実（Ｆ）
を吸着したことを検出する負圧センサ（Ｓ＊）（第１図
参照）、前記捕捉部ケース（１２）の出退位置検出用の
センサ、及び、前記柄切断装置（１３）の駆動状態検出
用のセンサ等の各種センサ類が設けられることになる。However, although not described in detail, the working hand ((1) includes an actuator for moving the catching part case (12) in and out, an actuator for driving the handle cutting device (13), etc.). Various pneumatic actuators for harvesting operation and the fruit (F) are placed on the vacuum pad (lO).
a negative pressure sensor (S*) (see Fig. 1) that detects the suction of the handle, a sensor for detecting the exit/retraction position of the trapping part case (12), and a drive state detection of the handle cutting device (13). Various sensors such as sensors for

尚、第６図中、（Ｓ１）は前記作業用ハンド（１１）が
向いた方向に位置する果実（Ｆ）を撮像する撮像手段と
してのカラー式のイメージセンサ、（Ｓ２）は前記作業
用ハンド（）１）が作業対象果実（Ｆ）に対して設定距
離内に接近したことを検出する赤外光利用の反射式近接
センサであって、それら両センサ（Ｓ１）、　（Ｓ２）
はアプローチや果実収穫の邪魔にならないようにするた
めに、前記バキュームパッド（ｌＯ）の内部に設けられ
ている。又、（１５）は前記イメージセンサ（Ｓｔ）の
撮像処理に同期して前記作業用ハンド（Ｈ）の前方側を
設定光量で照光するための照光手段としての照光装置で
あって、−船釣には、いわゆるストロボ発光装置が用い
られることになる。In FIG. 6, (S1) is a color image sensor serving as an imaging means for capturing an image of the fruit (F) located in the direction in which the working hand (11) is facing, and (S2) is a color image sensor that is used as an imaging means for photographing the fruit (F) located in the direction that the working hand (11) is facing. ()1) is a reflective proximity sensor that uses infrared light to detect when fruit (F) approaches within a set distance to the target fruit (F), and both sensors (S1) and (S2)
is provided inside the vacuum pad (lO) so as not to interfere with approach and fruit harvesting. Further, (15) is an illumination device as an illumination means for illuminating the front side of the working hand (H) with a set light amount in synchronization with the imaging processing of the image sensor (St), For this purpose, a so-called strobe light emitting device is used.

そして、前記捕捉部ケース（１２）をハンド後方側に引
退させて前記バキュームパッド（１０）の吸引口（１０
ａ）が前記捕捉部ケース（１２）よりも前方側に突出す
る状態で、前記作業用ハンド（Ｈ）を予め設定された初
期位置としてのアプローチ開始位置に位置させ、且つ、
収穫対象となる果実（Ｆ）が位置する方向に向けて、前
記イメージセンサ（Ｓ１）にて撮像処理すると共に、そ
の撮像画像情報を画像処理した情報に基づいて前記作業
用ハンド（Ｈ）の誘導方向としてのアプローチ方向を決
定するようにしである。Then, the catching part case (12) is retired to the rear side of the hand, and the suction port (10) of the vacuum pad (10) is removed.
a) positioning the working hand (H) at an approach start position as a preset initial position in a state where the handle protrudes further forward than the catching part case (12), and
The image sensor (S1) captures and processes an image in the direction in which the fruit (F) to be harvested is located, and guides the working hand (H) based on information obtained by image processing the captured image information. This is to determine the direction of approach.

アプローチ方向を決定した後は、前記作業用ハンド（Ｈ
）が決定されたアプローチ方向に向かって直線的に移動
するように、前記各電動モータ（９ａ）、　（９ｂ）、
　（９ｃ）を作動させると共に、前記近接センサ（Ｓ１
）が果実（Ｆ）を感知するに伴って、前記バキュームパ
ッド（１０）を吸引作動させて収穫対象果実（Ｆ）を吸
着させ、そして、前記捕捉部ケース（１２）を突出させ
て、その内側に果実（Ｆ）を取り込んだ後、柄を切断し
て収穫させることになる。After determining the approach direction, the work hand (H
) move linearly toward the determined approach direction, each of the electric motors (9a), (9b),
(9c), and the proximity sensor (S1
) detects the fruit (F), the vacuum pad (10) is operated to attract the fruit (F) to be harvested, and the trapping part case (12) is protruded and the inside of the fruit (F) is protruded. After the fruit (F) is taken in, the stalk is cut and harvested.

但し、前記イメージセンサ（Ｓ１）の撮像視野内に複数
個の果実（Ｆ）がある場合には、何れの果実（Ｆ）から
先にアプローチさせるかを、後述の如く、前記イメージ
センサ（Ｓ１）による撮像画像の明るさ情報に基づいて
自動的に決定させるようにしである。However, if there are multiple fruits (F) within the imaging field of the image sensor (S1), the image sensor (S1) determines which fruit (F) should be approached first, as described below. The brightness information is automatically determined based on the brightness information of the captured image.

ところで、前記近接センサ（Ｓ２）は、果実（Ｆ）への
接近を感知する設定距離の値は、前記近接センサ（Ｓ２
）が検出作動した時点から前記バキュームパッド（ｌＯ
）の吸引作動を開始させて、前記バキュームパッド（ｌ
Ｏ）が前記設定距離を移動する間にその吸引力が果実吸
着に要する値よりも大になるように設定しである。又、
前記近接センサ（Ｓ２）が検出作動するまでは前記作業
用ハンド（Ｈ）を高速移動させ、且つ、前記近接センサ
（Ｓ２）が検出作動し後は前記作業用ハンド（１１）を
低速移動させるように、前記近接センサ（ｓ２）ｔ’−
検出情報に基づいて前記伸縮アーム（８）の伸長速度を
高低に切り換えるようにしである。そして、前記負圧セ
ンサ（Ｓ３）がＯＮ作動して果実吸着を検出するに伴っ
て、前記伸縮アーム（８）の伸長を停止させて収穫作動
を開始させることになる。By the way, the value of the set distance at which the proximity sensor (S2) detects the approach to the fruit (F) is determined by the proximity sensor (S2).
) is detected, the vacuum pad (lO
) starts the suction operation of the vacuum pad (l
The suction force is set to be larger than the value required for fruit adsorption while the fruit O) moves the preset distance. or,
The working hand (H) is moved at high speed until the proximity sensor (S2) is activated for detection, and the working hand (11) is moved at low speed after the proximity sensor (S2) is activated for detection. , the proximity sensor (s2) t'-
The extension speed of the telescoping arm (8) is switched between high and low based on the detected information. Then, as the negative pressure sensor (S3) turns on and detects fruit adsorption, the extension of the telescoping arm (8) is stopped and the harvesting operation is started.

尚、詳しくは後述するが、前記近接センサ（Ｓ２）が作
動した後、前記作業用ハンド（Ｈ）を前記近接センサ（
Ｓ１）が作動する設定距離分、前方側に移動させる間に
前記負圧センサ（Ｓ１）が作動しない場合には収穫失敗
と判断させて、前記設定距離を手前側に後退させた位置
から、アプローチ方向を修正して再アプローチさせるよ
うにしである。Although details will be described later, after the proximity sensor (S2) is activated, the working hand (H) is moved to the proximity sensor (S2).
If the negative pressure sensor (S1) does not operate while the negative pressure sensor (S1) is moved forward by the set distance that S1) is activated, it is determined that the harvest has failed, and the approach is made from the position where the set distance is moved back to the front side. I decided to correct the direction and approach again.

次に、前記イメージセンサ（Ｓ１）による撮像画像情報
に基づいて、果実（Ｐ）の位置する方向つまり前記作業
用ハンド（Ｈ）のアプローチ方向を求めて、前記作業用
ハンド（Ｈ）を誘導するための制御構成について説明す
る。Next, based on the image information captured by the image sensor (S1), the direction in which the fruit (P) is located, that is, the approach direction of the working hand (H) is determined, and the working hand (H) is guided. The control configuration for this will be explained.

第１図に示すように、前記イメージセンサ（Ｓ１）によ
る撮像画像情報を画像処理して、収穫対象果実（Ｆ）の
位置する方向を求める画像処理手段（１００）　と、そ
の画像処理手段（１００）の情報に基づいて前記各油圧
シリンダ（５）、　（６）、　（７）や前記各電動モー
タ（９ａ）、　（９ｂ）、　（９ｃ）の夫々を制御して
、前記作業用ハント責１１）をアプローチ開始位置から
収１３対象果実（Ｆ）に向けて誘導するハンド誘導手段
（１０１）　と、収穫失敗時に起動されて前記作業用ハ
ンド（１（）を再誘導する補助誘導手段（１０２＞　と
、前記負圧センサ（Ｓ１）が検出作動するに伴って起動
されて前記作業用ハンド（１］）の捕捉作動を制御する
ハンド制御手段（１０３）の夫々を構成するマイクロコ
ンピュータ利用の制御装置（１６）が設けられ、その制
御波＠（１６）に、前記各センサ（Ｓ１）、　（Ｓ２）
、　（Ｓ３）や前記照光装置（１５）、及び、前記各油
圧シリンダ（５）、　（６）、　（７）や前記各電動モ
ータ（９ａ）、　（９ｂ）、　（９ｃ）が接続されてい
る。尚、第１図中、（１８）は液晶等を利用した電子式
シャッタであって、詳述はしないが、前記イメージセン
サ（Ｓ１）の撮像処理に同期して設定時間のみ開作動さ
せることになる。As shown in FIG. 1, an image processing means (100) that performs image processing on image information captured by the image sensor (S1) to determine the direction in which the fruit to be harvested (F) is located; ), the hydraulic cylinders (5), (6), (7) and the electric motors (9a), (9b), (9c) are controlled based on the information of the work hunt controller 11. ) from the approach start position toward the harvest target fruit (F); and an auxiliary guide means (102) that is activated when harvesting fails to re-guide the working hand (1()). and a microcomputer-based control device constituting each of hand control means (103) that is activated when the negative pressure sensor (S1) detects and controls the capturing operation of the working hand (1). (16) is provided, and the control wave @ (16) is provided with each of the sensors (S1), (S2).
, (S3), the illumination device (15), the hydraulic cylinders (5), (6), (7), and the electric motors (9a), (9b), (9c) are connected. . In Fig. 1, (18) is an electronic shutter that uses a liquid crystal or the like, and although it will not be described in detail, it is designed to open only for a set time in synchronization with the imaging process of the image sensor (S1). Become.

次に、第２図に示すフローチャートに基づいて前記制御
装置（１６）の動作を説明しながら、前記各手段（１０
０）、　（１０１）、　（１０２）、　（１０３）につ
いて詳述する。Next, while explaining the operation of the control device (16) based on the flowchart shown in FIG.
0), (101), (102), and (103) will be explained in detail.

先ず、前記作業用ハンド（１１）を、予め設定されたア
プローチ開始位置にセットした状態で撮像処理し、その
撮像画像情報を画像処理することにより、果実（Ｆ）の
色に対応した特定色領域（Ｆ１）と、その特定色領域（
Ｆ１）内において明るさが設定値より大なるハイライト
領域（Ｆ２）と、そのハイライト領域（Ｆ２）の重心（
Ｆ１）とを求める（第４図参照）。First, the working hand (11) is set at a preset approach start position and image processing is performed, and the captured image information is image processed to create a specific color area corresponding to the color of the fruit (F). (F1) and its specific color area (
F1), the highlight area (F2) whose brightness is greater than the set value, and the center of gravity of the highlight area (F2) (
F1) (see Figure 4).

そして、前記ハイライト領域（Ｆ２）の大きさに基づい
て、大きさが最も大きいものの重心（Ｆ３）が位置する
方向に向けて前記作業用ハンド（Ｈ）を移動させるよう
に、前記作業用ハンド（Ｈ）のアプローチ方向を決定し
て前記伸縮アーム（８）を伸長させることになる。Based on the size of the highlight area (F2), the working hand (H) is moved in a direction where the center of gravity (F3) of the largest area is located. (H) The approach direction is determined and the telescopic arm (8) is extended.

説明を加えれば、前記画像情報の明るさは、距離に反比
例して近いものほど明るくなることから、前記ハイライ
ト領域（Ｆ２）の大きさは近距離に位置するものほど大
になるのである（第５図参照）。つまり、前記作業用ハ
ンド（Ｈ）に対して手前側に位置する収穫し易い果実（
Ｆ）から先にアプローチさせるようにしているのである
。To explain, the brightness of the image information is inversely proportional to the distance, and the closer the image information is, the brighter it becomes, so the size of the highlight area (F2) becomes larger as the image information is located closer to it. (See Figure 5). In other words, the fruit that is easy to harvest (
F) is approached first.

つまり、前記イメージセンサ（Ｓ＋）の撮像情報を画像
処理して前記特定色領域（Ｆ１）、前記ハイライト領域
（Ｆ２）、及び、そのハイライト領域（Ｆ２）の重心（
Ｆ１）を求め、且つ、前記ハイライト領域（Ｆ１）の大
きさに基づいてアプローチ方向を決定する処理が、前記
画像処理手段（１００）に対応することになる。In other words, the imaging information of the image sensor (S+) is image-processed to determine the specific color area (F1), the highlight area (F2), and the center of gravity of the highlight area (F2).
The process of obtaining F1) and determining the approach direction based on the size of the highlight area (F1) corresponds to the image processing means (100).

ところで、例えば、逆光状態で撮像するような場合には
、背景に太陽光が入る状態となる場合がある。そして、
太陽光は果実（Ｆ）の色と同じ色成分を含み且つ果実（
Ｆ）よりも明るいために、太陽光を果実（Ｆ）として誤
認識する虞れがある。By the way, for example, when capturing an image in a backlit state, sunlight may enter the background. and,
Sunlight contains the same color components as the color of the fruit (F) and
Since it is brighter than fruit (F), there is a risk that sunlight may be mistakenly recognized as fruit (F).

そこで、詳しくは後述するが、太陽光に対応する領域を
前記特定色領域（Ｆ１）及び前記ハイライト領域（Ｆ２
）として誤抽出しないように、特定色領域（Ｆ１）に対
するハイライト領域（Ｆ２）の大きさに基づいて、太陽
光と果実（Ｆ）とを識別するようにしである。Therefore, as will be described in detail later, the area corresponding to sunlight is the specific color area (F1) and the highlight area (F2).
), the sunlight and the fruit (F) are discriminated based on the size of the highlight area (F2) with respect to the specific color area (F1).

前記伸縮アーム（８）の伸長を開始した後は、前記近接
センサ（Ｓ２）の情報に基づいて、前記作業用ハンド（
Ｈ）が収穫対象果実（Ｆ）に対して前記設定距離手前側
まで接近したか否かを判別し、前記設定距離内に接近す
るに伴って、前記伸縮アーム（８）の伸長速度を低速に
切り換えると共に、前記バキュームパッド（ｌＯ）の吸
引作動を開始して、更に前記負圧センサ（Ｓ１）がＯＮ
作動するまで前記作業用ハンド（１１）を果実側に移動
させる。After starting the extension of the telescopic arm (8), the working hand (
H) determines whether or not the fruit (F) to be harvested has approached the set distance to the front side, and as the fruit (F) approaches within the set distance, the extension speed of the telescoping arm (8) is reduced to a lower speed. At the same time, the suction operation of the vacuum pad (lO) is started, and the negative pressure sensor (S1) is also turned on.
The working hand (11) is moved to the fruit side until it is activated.

前記負圧センサ（Ｓ１）がＯＮ作動して果実吸着を検出
すると、前言己伸縮アーム（８）を停止させて、収穫作
動を開始させることになる。When the negative pressure sensor (S1) turns on and detects fruit adsorption, the self-extensible arm (8) is stopped and the harvesting operation is started.

つまり、前記作業用ハンド（）Ｉ）が決定されたアプロ
ーチ方向に向けて移動するように、前記前記負圧センサ
（Ｓ１）がＯＮ作動するまで前記伸縮アーム（８）を伸
長させる処理が、前記誘導手段（１０１）に対応するこ
とになり、前記負圧センサ（Ｓ３）がＯＮ作動するに伴
って、前記伸縮アーム（８）を停止させて収穫作動させ
る処理が、前記ハンド誘導手段（１０３）に対応するこ
とになる。In other words, the process of extending the telescoping arm (8) until the negative pressure sensor (S1) is turned on so that the working hand (I) moves in the determined approach direction is The hand guiding means (103) corresponds to the hand guiding means (101), and the process of stopping the telescoping arm (8) and operating the harvesting operation when the negative pressure sensor (S3) turns on is the hand guiding means (103). It will correspond to

但し、前記伸縮アーム（８）をその最大伸長距離に基づ
いて設定された設定距離に達するまで伸長しても前記近
接センサ（Ｓ２）が作動しない場合には収穫不能として
前記作業用ハンド（Ｈ）を前記アプローチ開始位置まで
戻すようにしである。However, if the proximity sensor (S2) does not operate even if the telescoping arm (8) is extended until it reaches a set distance set based on its maximum extension distance, it is determined that harvesting is not possible and the working hand (H) is returned to the approach starting position.

又、前記近接センサ（Ｓ２）が検出作動しても前記設定
距離を移動する間に前記負圧センサ（Ｓ１）が作動しな
い場合にも、収穫失敗と判断させるようにしである。但
し、前記近接センサ（Ｓ２）が作動して前記負圧センサ
（Ｓ３）が作動しない場合には、前記作業用ハンド（Ｈ
）を前記近接センサ（Ｓ２）が作動する位置まで一旦戻
して、その位置から再度アプローチさせるようにしであ
る。Further, even if the proximity sensor (S2) detects and operates but the negative pressure sensor (S1) does not operate while moving the set distance, it is determined that the harvest has failed. However, if the proximity sensor (S2) operates but the negative pressure sensor (S3) does not operate, the work hand (H
) is temporarily returned to the position where the proximity sensor (S2) is activated, and then approached again from that position.

説明を加えれば、前記アプローチ開始位置から決定され
たアプローチ方向に向けて誘導するときに、前記近接セ
ンサ（Ｓ２）が作動するに伴って、前記伸縮アーム（８
）の伸長を停止させることなく、前記イメージセンサ（
Ｓ１）にて再撮像処理させて、前記作業用ハンド（Ｈ）
が収穫対象果実（Ｆ）に対して前記設定距離手前側に位
置する状態におけるアプローチ方向を再検出させておく
。To explain further, when guiding from the approach start position toward the determined approach direction, the telescopic arm (8) operates as the proximity sensor (S2) operates.
) without stopping the elongation of the image sensor (
After performing the re-imaging process in step S1), the working hand (H)
The approach direction is re-detected in a state where the target fruit (F) is located at the set distance in front of the fruit (F) to be harvested.

そして、前記負圧センサ（Ｓ３）の情報に基づいて収穫
失敗と判断した場合には、前記作業用ハンド（Ｈ）を前
記近接センサ（Ｓ２）が作動した位置まで手前側に戻し
、且つ、前記作業用ハンド（１１）の誘導方向を最初の
アプローチ中において先に求めておいたアプローチ方向
に修正して、再アプローチさせるのである。If it is determined that the harvest has failed based on the information of the negative pressure sensor (S3), return the working hand (H) to the front side to the position where the proximity sensor (S2) is activated, and The guiding direction of the work hand (11) is corrected to the approach direction determined previously during the first approach, and the approach is made again.

尚、この再撮像処理においても、例えば、複数個の果実
（Ｆ）が密集しているような場合には、前記特定色領域
（Ｆ１）や前記ハイライト領域（Ｆ２）の複数個が抽出
される場合があるが、その場合にも、前述の如く、太陽
光に対応する領域を除去した後、抽出されたハイライト
領域（Ｆ２）の大きさに基づいてアプローチ順序を再決
定することになる。In addition, in this re-imaging process, for example, in a case where a plurality of fruits (F) are crowded together, a plurality of the specific color areas (F1) and the highlight areas (F2) are extracted. However, even in that case, as described above, after removing the area corresponding to sunlight, the approach order will be re-determined based on the size of the extracted highlight area (F2). .

つまり、前記近接センサ（Ｓ２）が作動しても収穫を失
敗した場合には、最初のアプローチ中に再撮像された画
像情報に基づいて求めておいたアプローチ方向に修正し
て再誘導する処理が、前記補助誘導手段（１０２）に対
応することになる。In other words, if harvesting fails even if the proximity sensor (S2) is activated, a process is performed to correct and re-guide the approach direction based on the image information re-captured during the first approach. , corresponds to the auxiliary guiding means (102).

最初のアプローチ又は再アプローチによって適正通りに
果実（Ｆ）を収穫できた場合には、前記捕捉部ケース（
１２）内に柄を切断された果実（Ｆ）を保持する状態で
、前記作業用ハンド（Ｈ）を前記アプローチ開始位置ま
で戻して、果実（Ｆ）を排出することになる。If the fruit (F) can be harvested properly by the first approach or the second approach, the trapping part case (
12) While holding the fruit (F) whose handle has been cut inside, the working hand (H) is returned to the approach start position and the fruit (F) is discharged.

収穫した果実（Ｆ）を排出した後は、前記アプローチ開
始位置において最初の撮像画像情報から抽出した特定色
領域（Ｆ１）やハイライト領域（Ｆ２）の個数等に基づ
いて、作業終了か否かを判別して、作業終了でない場合
には、前記作業用ハンド（Ｈ）をアプローチ開始位置に
再セットして撮像処理させ、そして、残りの果実（Ｆ）
に対するアプローチ方向及びアプローチ順序を決定して
、決定されたアプローチ方向に向けて前記作業用ハンド
（Ｉｔ）を誘導する各処理を繰り返すことになる。After discharging the harvested fruit (F), it is determined whether the work is finished or not based on the number of specific color areas (F1) and highlight areas (F2) extracted from the first captured image information at the approach start position. If the work is not completed, the work hand (H) is reset to the approach start position and image processing is performed, and the remaining fruit (F)
The approach direction and approach order are determined, and each process of guiding the working hand (It) toward the determined approach direction is repeated.

前記特定色領域（Ｆ１）を抽出するための画像処理につ
いて説明を加えれば、前記イメージセンサ〈Ｓ１）から
出力される画像信号のうちの三原色信号（Ｒ）、　（Ｇ
）、　（Ｅ１）を用いて、果実（Ｆ）の色成分を含む赤
色信号（Ｒ）からそれ以外の色信号（Ｇ又はＢ）を減算
した信号を、設定闇値に基づいて２値化することにより
、前記イメージセンサ（Ｓ１）にて撮像された元画像（
第４図（イ）参照）から、前記果実（Ｆ）の色に対応す
る特定色領域（Ｆ１）を抽出した２値化画像（第４図（
ロ）参照）を得るようにしである。To explain the image processing for extracting the specific color region (F1), three primary color signals (R), (G
), (E1) to binarize the signal obtained by subtracting the other color signals (G or B) from the red signal (R) containing the color component of the fruit (F) based on the set darkness value. By doing so, the original image (
The specific color area (F1) corresponding to the color of the fruit (F) is extracted from the binarized image (see FIG. 4(a)) (see FIG. 4(a)).
b))).

そして、前記特定色領域（Ｆ１）をマスクとして用いて
、前記イメージセンサ（Ｓ１）から出力される画像信号
のうちの輝度信号（Ｙ）を、設定量１：！！に基づいて
２値化することにより、前記特定色領域（Ｆ１）内にお
いて明るさが設定値よりも大となる２値化されたハイラ
イト領域（Ｆ２）を抽出するようにしである。Then, using the specific color area (F1) as a mask, the luminance signal (Y) of the image signal output from the image sensor (S1) is adjusted by a setting amount of 1:! ! By performing binarization based on , a binarized highlight area (F2) whose brightness is greater than a set value is extracted within the specific color area (F1).

但し、詳述はしないが、前記近接センサ（Ｓ２）が作動
する設定距離において行う再撮像処理時には、前記照光
装置（１５）の照光量を、前記設定距離に応じた適正光
量となるように減光した状態で作動させることになる。However, although not described in detail, when re-imaging is performed at a set distance where the proximity sensor (S2) is activated, the amount of light from the illumination device (15) is reduced to an appropriate amount of light according to the set distance. It will operate when the light is on.

次に、第３図に示すフローチャートに基づいて、抽出さ
れたハイライト領域（Ｆ２）から太陽光に対応するもの
を除去するための処理について説明する。Next, a process for removing those corresponding to sunlight from the extracted highlight area (F2) will be described based on the flowchart shown in FIG.

前述の如く、果実（Ｆ）の色に対応する特定色領域（Ｆ
１）と、その特定色領域（Ｆ１）内において明るさが設
定値よりも大となるハイライト領域（Ｆ２）の夫々を抽
出した後に、抽出された特定色領域（Ｆ１）の面積に対
するハイライト領域（Ｆ２）の面積の比を求め、その面
積比が約１であるか否かを判別する。As mentioned above, the specific color area (F) corresponding to the color of the fruit (F)
1) and a highlight area (F2) whose brightness is greater than the set value within the specific color area (F1), and then extract the highlight area for the area of the extracted specific color area (F1). The area ratio of the region (F2) is determined, and it is determined whether the area ratio is approximately 1 or not.

説明を加えれば、太陽光は非常に明るいことから、太陽
光に対応する領域（Ｆ、°）は、撮像画像上においてそ
の明るさが略飽和した状態となる。従って、太陽光に対
応する特定色領域（Ｆ、’）内において前記設定値より
明るさが大となるハイライト領域（Ｆ２°）の大きさは
、抽出された特定色領域（Ｆｌｏ）の大きさと略同じに
なる（第４図参照）。To explain, since sunlight is very bright, the brightness of the area (F,°) corresponding to sunlight is approximately saturated on the captured image. Therefore, the size of the highlight area (F2°) whose brightness is greater than the set value in the specific color area (F,') corresponding to sunlight is the size of the extracted specific color area (Flo). (See Figure 4).

そこで、抽出された特定色領域（Ｆ１）に対するハイラ
イト領域（Ｆ２）の大きさが、設定値よりも大であるか
否かを判別すれば、抽出されたハイライト領域（Ｆ２）
が太陽光に対応する領域（Ｆ２”）であるか否かを判別
できるのである。Therefore, if it is determined whether the size of the highlight area (F2) with respect to the extracted specific color area (F1) is larger than a set value, the extracted highlight area (F2)
It is possible to determine whether or not the area corresponds to sunlight (F2'').

但し、誤動作を防止するために、前記特定色領域（Ｆ１
）に対するハイライト領域（Ｆ２）の比が略１である場
合には、そのハイライト領域（Ｆ２）の明るさが、太陽
光の明るさに対応して予め設定した閾値よりも大である
か否かを判別して、大である場合に、そのハイライト領
域（Ｆ２）は太陽光に対応するものであるとして、アプ
ローチ順序を決定するための処理対象から除去するよう
にしである。However, in order to prevent malfunction, the specific color area (F1
) is approximately 1, whether the brightness of the highlight area (F2) is greater than a preset threshold corresponding to the brightness of sunlight. If the highlight area (F2) is large, the highlight area (F2) is determined to correspond to sunlight and is removed from the processing target for determining the approach order.

説明を加えれば、前述の如く、太陽光は果実（Ｆ）より
も明るいことから、それに対応するハイライト領域（Ｆ
２’）の明るさは、果実（Ｆ）　　に対応するハイライ
ト領域（Ｆ２）の明るさよりも大になる。そこで、前記
特定色領域（Ｆ１）に対するハイライト領域（Ｆ２）の
比が略１で、且つ、その明るさが前記閾値よりも大であ
る場合に、抽出されたハイライト領域は太陽光に対応す
るものであるとして処理対象から除去するようにしてい
るのである。To explain, as mentioned above, sunlight is brighter than the fruit (F), so the corresponding highlight area (F)
2') is greater than the brightness of the highlight area (F2) corresponding to the fruit (F). Therefore, when the ratio of the highlight area (F2) to the specific color area (F1) is approximately 1 and the brightness thereof is greater than the threshold value, the extracted highlight area corresponds to sunlight. Therefore, it is removed from the processing target.

〔別実施例〕 上記実施例では、太陽光を除去するために、特定色領域
（Ｆ１）に対するハイライト領域（Ｆ２）の大きさと、
ハイライト領域（Ｆ２）の明るさの両方をチエツクさせ
るようにした場合を例示したが、特定色領域（Ｆ１）に
対するハイライト領域（Ｆ２）の大きさのみをチエツク
させるように簡略化してもよい。ちなみに、ハイライト
領域（Ｆ２）の大きさのみをチエツクさせる場合には、
太陽光と判断させるための面積比の値を、果実（Ｆ）に
対応する特定色領域（Ｆ１）に対するハイライト領域（
Ｆ２）の大きさを計測した値の最大値等に基づいて、そ
の最大値よりも大で且つ１未満となる値に設定するよう
にすればよい。[Another Example] In the above example, in order to remove sunlight, the size of the highlight area (F2) with respect to the specific color area (F1),
Although we have shown an example in which both the brightness of the highlight area (F2) is checked, it may be simplified so that only the size of the highlight area (F2) with respect to the specific color area (F1) is checked. . By the way, if you want to check only the size of the highlight area (F2),
The value of the area ratio for determining sunlight is determined by the highlight area (F1) corresponding to the fruit (F).
Based on the maximum value of the measured value of F2), the value may be set to a value greater than the maximum value and less than 1.

又、上記実施例では、本発明を果実収穫用作業機の誘導
装置に適用した場合を例示したが、本発明は、トマト等
の野菜用収穫機等、各種の果菜類用作業機に適用できる
ものであって、作業用ハンド（Ｈ）の具体構成等、各部
の具体構成は各種変更できる。Further, in the above embodiment, the present invention is applied to a guidance device for a fruit harvesting working machine, but the present invention can be applied to various fruit and vegetable working machines, such as a tomato and other vegetable harvesting machine. The specific configuration of each part, such as the specific configuration of the working hand (H), can be changed in various ways.

尚、特許請求の範囲の項に図面との対照を便利にする為
に符号を記すが、該記入により本発明は添付図面の構造
に限定されるものではない。Incidentally, although reference numerals are written in the claims section for convenient comparison with the drawings, the present invention is not limited to the structure shown in the accompanying drawings.

【図面の簡単な説明】[Brief explanation of the drawing]

図面は本発明に係る果菜類用作業機の誘導装置の実施例
を示し、第１図は制御構成のブロック図、第２図は制御
作動のフローチャート、第３図は太陽光除去処理のフロ
ーチャート、第４図（イ）乃至（ハ）は画像処理の説明
図、第５図は各領域の説明図、第６図は作業用ハンドの
概略構成を示す切欠側面図、第７図は作業機の概略側面
図である。 （Ｈ）・・・・・・作業用ハンド、（Ｓ１）・・・・・
・撮像手段、（Ｆ１）・・・・・・特定色領域、（Ｆ２
）・・・・・・ハイライト領域、（１００）・・・・・
・画像処理手段、導手段。 （１０１）・・・・・・ハンド誘 第３図The drawings show an embodiment of the guidance device for a working machine for fruits and vegetables according to the present invention, in which FIG. 1 is a block diagram of the control configuration, FIG. 2 is a flowchart of control operation, and FIG. 3 is a flowchart of sunlight removal processing. Figures 4 (a) to (c) are explanatory diagrams of image processing, Figure 5 is an explanatory diagram of each area, Figure 6 is a cutaway side view showing the schematic configuration of the working hand, and Figure 7 is an illustration of the working machine. It is a schematic side view. (H)...Working hand, (S1)...
・Imaging means, (F1)...Specific color area, (F2
)...Highlight area, (100)...
・Image processing means, guiding means. (101)...Hand invitation figure 3

Claims (1)

【特許請求の範囲】[Claims] 作業対象果菜類を撮像する撮像手段（Ｓ＿１）と、その
撮像情報に基づいて果菜類の色に対応する特定色領域（
Ｆ＿１）を抽出し、その特定色領域（Ｆ＿１）内におい
て明るさが設定値より大なるハイライト領域（Ｆ＿２）
を抽出する画像処理手段（１００）と、その画像処理手
段（１００）の情報に基づいて、前記果菜類を捕捉する
作業用ハンド（Ｈ）を前記ハイライト領域（Ｆ＿２）の
位置する方向に向けて誘導するハンド誘導手段（１０１
）とが設けられた果菜類用作業機の誘導装置であって、
前記画像処理手段（１００）は、前記特定色領域（Ｆ＿
１）に対する前記ハイライト領域（Ｆ＿２）の大きさが
設定値より大なる場合には、そのハイライト領域（Ｆ＿
２）を前記果菜類に対応する情報として抽出しないよう
に構成されている果菜類用作業機の誘導装置。An imaging means (S_1) that images the fruits and vegetables to be worked, and a specific color area (S_1) corresponding to the color of the fruits and vegetables based on the imaging information.
F_1) and extract the highlight area (F_2) whose brightness is greater than the set value within the specific color area (F_1).
based on the information of the image processing means (100) and the image processing means (100), the working hand (H) for capturing the fruits and vegetables is directed in the direction where the highlight area (F_2) is located. Hand guiding means (101)
) A guiding device for a working machine for fruits and vegetables,
The image processing means (100) is configured to process the specific color area (F_
If the size of the highlight area (F_2) for 1) is larger than the set value, the highlight area (F_2)
2) A guidance device for a working machine for fruits and vegetables configured so as not to extract the information corresponding to the fruits and vegetables.