JPH01320921A - 果樹用作業機の誘導装置 - Google Patents
果樹用作業機の誘導装置Info
- Publication number
- JPH01320921A JPH01320921A JP63153892A JP15389288A JPH01320921A JP H01320921 A JPH01320921 A JP H01320921A JP 63153892 A JP63153892 A JP 63153892A JP 15389288 A JP15389288 A JP 15389288A JP H01320921 A JPH01320921 A JP H01320921A
- Authority
- JP
- Japan
- Prior art keywords
- fruit
- area
- region
- information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 154
- 238000003384 imaging method Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 24
- 238000013459 approach Methods 0.000 abstract description 20
- 238000000034 method Methods 0.000 description 11
- 238000003306 harvesting Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000005286 illumination Methods 0.000 description 4
- 238000009423 ventilation Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 2
- 208000019300 CLIPPERS Diseases 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
Landscapes
- Harvesting Machines For Specific Crops (AREA)
- Sorting Of Articles (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は、果樹を撮像する撮像手段が果実捕捉用の捕捉
部に設けられ、前記撮像手段によって果樹を撮像した画
像情報に基づいて、果実に対応する果実領域、葉に対応
する葉領域、及び、枝に対応する枝領域の夫々を抽出す
る領域抽出手段と、前記果実領域における幾何学的特徴
点を抽出する特徴点抽出手段と、その特徴点抽出手段の
情報に基づいて前記捕捉部の中心を前記幾何学的特徴点
の位置する方向に向けて誘導する誘導手段とが設けられ
ている果樹用作業機の誘導装置に関する。
部に設けられ、前記撮像手段によって果樹を撮像した画
像情報に基づいて、果実に対応する果実領域、葉に対応
する葉領域、及び、枝に対応する枝領域の夫々を抽出す
る領域抽出手段と、前記果実領域における幾何学的特徴
点を抽出する特徴点抽出手段と、その特徴点抽出手段の
情報に基づいて前記捕捉部の中心を前記幾何学的特徴点
の位置する方向に向けて誘導する誘導手段とが設けられ
ている果樹用作業機の誘導装置に関する。
上記この種の果樹用作業機の誘導装置は、果樹を撮像し
た画像情報に基づいて抽出された果実に対応ず乞果実領
域の幾何学的特徴点の位置する方向に向けて、果実捕捉
用の捕捉部を誘導する際に、果実領域の他、葉に対応す
る葉領域と枝に対応する枝領域をも抽出できるようにし
て、それら葉領域や枝領域が画像上において果実領域に
接しているか否かに基づいて、葉や技が捕捉対象果実に
対する捕捉部の誘導経路内にあるか否かを判別できるよ
うにしたものである(本出願人が先に提案した特願昭6
3−32332号参照)。
た画像情報に基づいて抽出された果実に対応ず乞果実領
域の幾何学的特徴点の位置する方向に向けて、果実捕捉
用の捕捉部を誘導する際に、果実領域の他、葉に対応す
る葉領域と枝に対応する枝領域をも抽出できるようにし
て、それら葉領域や枝領域が画像上において果実領域に
接しているか否かに基づいて、葉や技が捕捉対象果実に
対する捕捉部の誘導経路内にあるか否かを判別できるよ
うにしたものである(本出願人が先に提案した特願昭6
3−32332号参照)。
ところで、撮像画像情報は距離情報のない二次元情報で
あり、撮像情報から抽出した葉領域や枝領域の画像上に
おける情報のみでは、捕捉部に対する大小関係を判別す
ることができないので、果実を捕捉可能か否かを的確に
は判別することができなかった。
あり、撮像情報から抽出した葉領域や枝領域の画像上に
おける情報のみでは、捕捉部に対する大小関係を判別す
ることができないので、果実を捕捉可能か否かを的確に
は判別することができなかった。
説明を加えれば、葉や枝の実際の大きさが同じであって
も、それらに対応する葉領域や枝領域の画像上の大きさ
は、撮像距離に応じて大小に変化することになる。従っ
て、撮像距離が遠い場合には、葉領域や枝領域が果実領
域に重なった状態であっても、捕捉部が果実を捕捉する
領域の外に位置する状態であれば、実際には捕捉可能で
ある。一方、葉領域や枝領域が果実領域に対して僅かに
重なっている状態にあっても、撮像距離が短い場合には
、それら葉領域や枝領域が果実を捕捉する領域内に位置
して、実際には捕捉不能な状態になっていることがある
。つまり、距離情報が無いと、画像上における各領域の
情報のみでは、果実を捕捉可能か否かを的確に判別する
ことは困難であった。
も、それらに対応する葉領域や枝領域の画像上の大きさ
は、撮像距離に応じて大小に変化することになる。従っ
て、撮像距離が遠い場合には、葉領域や枝領域が果実領
域に重なった状態であっても、捕捉部が果実を捕捉する
領域の外に位置する状態であれば、実際には捕捉可能で
ある。一方、葉領域や枝領域が果実領域に対して僅かに
重なっている状態にあっても、撮像距離が短い場合には
、それら葉領域や枝領域が果実を捕捉する領域内に位置
して、実際には捕捉不能な状態になっていることがある
。つまり、距離情報が無いと、画像上における各領域の
情報のみでは、果実を捕捉可能か否かを的確に判別する
ことは困難であった。
このため従来では、果実領域に葉領域や枝領域が重なっ
ている場合にも、捕捉部を果実に向けて誘導し、所望通
り捕捉できなと、収穫不能であると判別させるようにし
ていた。(例えば特開昭63−102611号公報参照
) 〔発明が解決しようとする課題〕 本発明は、上記実情に鑑みてなされたものであって、そ
の目的は、撮像画像情報に基づいて果実を捕捉可能か否
かを的確に判別できるようにして、捕捉部の無駄な誘導
を極力回避することにある。
ている場合にも、捕捉部を果実に向けて誘導し、所望通
り捕捉できなと、収穫不能であると判別させるようにし
ていた。(例えば特開昭63−102611号公報参照
) 〔発明が解決しようとする課題〕 本発明は、上記実情に鑑みてなされたものであって、そ
の目的は、撮像画像情報に基づいて果実を捕捉可能か否
かを的確に判別できるようにして、捕捉部の無駄な誘導
を極力回避することにある。
本発明による果樹用作業機の誘導装置は、果樹を撮像す
る撮像手段が果実捕捉用の捕捉部に設けられ、前記撮像
手段によって果樹を撮像した画像情報に基づいて、果実
に対応する果実領域、葉に対応する葉領域、及び、枝に
対応する枝領域の夫々を抽出する領域抽出手段と、前記
果実領域における幾何学的特徴点を抽出する特徴点抽出
手段と、その特徴点抽出手段の情報に基づいて前記捕捉
部の中心を前記幾何学的特徴点の位置する方向に向けて
誘導する誘導手段とが設けられているものであって、そ
の特徴構成は、前記捕捉部が誘導対象果実に対して設定
距離内に接近したか否かを判別する距離判別手段が前記
捕捉部に設けられ、その距離判別手段の情報に基づいて
前記捕捉部を前記誘導対象果実に対して前記設定距離手
前側に位置させた状態において撮像した画像情報から抽
出された前記各領域及び前記幾何学的特徴点の情報と、
前記捕捉部を果実に対して前記設定距離手前側に位置さ
せた状態における前記捕捉部の撮像画像上での大きさの
情報とに基づいて、前記捕捉部に対応する領域内に前記
葉領域又は前記枝領域がある場合には、前記果実を捕捉
できないと判別する捕捉不能判別手段が設けられている
点にある。
る撮像手段が果実捕捉用の捕捉部に設けられ、前記撮像
手段によって果樹を撮像した画像情報に基づいて、果実
に対応する果実領域、葉に対応する葉領域、及び、枝に
対応する枝領域の夫々を抽出する領域抽出手段と、前記
果実領域における幾何学的特徴点を抽出する特徴点抽出
手段と、その特徴点抽出手段の情報に基づいて前記捕捉
部の中心を前記幾何学的特徴点の位置する方向に向けて
誘導する誘導手段とが設けられているものであって、そ
の特徴構成は、前記捕捉部が誘導対象果実に対して設定
距離内に接近したか否かを判別する距離判別手段が前記
捕捉部に設けられ、その距離判別手段の情報に基づいて
前記捕捉部を前記誘導対象果実に対して前記設定距離手
前側に位置させた状態において撮像した画像情報から抽
出された前記各領域及び前記幾何学的特徴点の情報と、
前記捕捉部を果実に対して前記設定距離手前側に位置さ
せた状態における前記捕捉部の撮像画像上での大きさの
情報とに基づいて、前記捕捉部に対応する領域内に前記
葉領域又は前記枝領域がある場合には、前記果実を捕捉
できないと判別する捕捉不能判別手段が設けられている
点にある。
〔作 用〕
撮像手段が捕捉部に設けられていることから、捕捉部に
設けた距離判別手段の情報に基づいて、捕捉部が誘導対
象果実に対して設定距離手前側に位置する状態で撮像さ
せると、その撮像画像上における捕捉部の大きさは常に
同じ大きさの領域として判別することができる。
設けた距離判別手段の情報に基づいて、捕捉部が誘導対
象果実に対して設定距離手前側に位置する状態で撮像さ
せると、その撮像画像上における捕捉部の大きさは常に
同じ大きさの領域として判別することができる。
そこで、捕捉部が誘導対象果実に対して設定距離手前に
位置する状態で撮像させて、その撮像画像情報から抽出
した葉領域又は枝領域が、同じ撮像画像上において捕捉
部に対応する領域内にある場合には、前記果実を捕捉で
きないと判別させるのである(第3図(ハ)参照)。
位置する状態で撮像させて、その撮像画像情報から抽出
した葉領域又は枝領域が、同じ撮像画像上において捕捉
部に対応する領域内にある場合には、前記果実を捕捉で
きないと判別させるのである(第3図(ハ)参照)。
従って、誘導対象となる果実を捕捉できるか否かを的確
に判別できるので、捕捉不能な果実に対して捕捉部を無
駄に誘導することがないようにできる。又、捕捉部を捕
捉の邪魔になる枝に衝突させて、捕捉部や果樹を傷つけ
ることがないようにできる。もって、捕捉部を捕捉可能
な作業対象果実のみに向けて的確に誘導できるに至った
。
に判別できるので、捕捉不能な果実に対して捕捉部を無
駄に誘導することがないようにできる。又、捕捉部を捕
捉の邪魔になる枝に衝突させて、捕捉部や果樹を傷つけ
ることがないようにできる。もって、捕捉部を捕捉可能
な作業対象果実のみに向けて的確に誘導できるに至った
。
以下、本発明の実施例を図面に基づいて説明する。
第4図に示すように、走行車輪(1)を備えた走行機体
(V)に、昇降並びに左右揺動自在なブーム(2)が枢
着され、そのブーム(2)、の先端部に、補助ブーム(
3)が水平揺動自在に枢着され、そして、その補助ブー
ム(3)の先端部に、多関節型の伸縮式アーム(4)が
、上下左右の両方向に向き変更自在に取り付けられ、も
って、果樹用の作業機が構成されている。
(V)に、昇降並びに左右揺動自在なブーム(2)が枢
着され、そのブーム(2)、の先端部に、補助ブーム(
3)が水平揺動自在に枢着され、そして、その補助ブー
ム(3)の先端部に、多関節型の伸縮式アーム(4)が
、上下左右の両方向に向き変更自在に取り付けられ、も
って、果樹用の作業機が構成されている。
前記伸縮式アーム(4)の先端部には、収穫対象果実(
F)を吸着する捕捉部としてのベキ5−ムバツド(5)
を備えた果実収穫用の作業用ハンド(6) が取り付け
られている。そして、前記バキュームパッド(5)の内
部に、撮像手段としてのカラー式のイメージセンサ(S
l)が、その撮像視野方向が前記バキュームパッド(5
)の向きと一致する状態で、且つ、前記バキュームパッ
ド(5)が誘導対象つまり収穫対象となる果実(1月ご
対して設定距離(30cmに設定しである)内に接近し
たことを検出する赤外光利用の距離判別手段としての近
接センサ(S2)が、その感知範囲の向きが前記バキュ
ームパッド(5)の向きと一致する状態で、夫々取り付
けられている。
F)を吸着する捕捉部としてのベキ5−ムバツド(5)
を備えた果実収穫用の作業用ハンド(6) が取り付け
られている。そして、前記バキュームパッド(5)の内
部に、撮像手段としてのカラー式のイメージセンサ(S
l)が、その撮像視野方向が前記バキュームパッド(5
)の向きと一致する状態で、且つ、前記バキュームパッ
ド(5)が誘導対象つまり収穫対象となる果実(1月ご
対して設定距離(30cmに設定しである)内に接近し
たことを検出する赤外光利用の距離判別手段としての近
接センサ(S2)が、その感知範囲の向きが前記バキュ
ームパッド(5)の向きと一致する状態で、夫々取り付
けられている。
前記作業用ハンド(6)の構成について説明を加えれば
、第5図に示すように、前記バキュームパッド(5)に
吸着された果実(F)を覆うように、前記バキュームパ
ッド(5)の通気管(7)に対して前後方向に出退自在
に外嵌支持された捕捉部ケース(8)と、その捕捉部ケ
ース(8)内に取り込んだ果実(F)の柄部分を上下方
向に挾み込んだ状態で切断する柄切断装置(9)とを備
えている。
、第5図に示すように、前記バキュームパッド(5)に
吸着された果実(F)を覆うように、前記バキュームパ
ッド(5)の通気管(7)に対して前後方向に出退自在
に外嵌支持された捕捉部ケース(8)と、その捕捉部ケ
ース(8)内に取り込んだ果実(F)の柄部分を上下方
向に挾み込んだ状態で切断する柄切断装置(9)とを備
えている。
尚、前記通気管(7)は、蛇腹式のホース(10)(第
4図参照)にて、前記機体(V) に搭載された吸引ポ
ンプ(図示せず)に配管接続されている。
4図参照)にて、前記機体(V) に搭載された吸引ポ
ンプ(図示せず)に配管接続されている。
前記捕捉部ケース(8)は、前記通気管(7)に外嵌さ
れる支持部材(8a)に固着された上部ケース(8b)
と、前記支持部材(8a)に対して縦軸芯周りに揺動自
在に枢着された下部ケース(8C)とに2分割して形成
しである。つまり、前記下部ケース(8C)を、前記通
気管(7)に対して漢方向に揺動させることによって、
前記捕捉部ケース(8)内に保持される柄を切断された
果実(F)を、外部に排出できるようにしているのであ
る。
れる支持部材(8a)に固着された上部ケース(8b)
と、前記支持部材(8a)に対して縦軸芯周りに揺動自
在に枢着された下部ケース(8C)とに2分割して形成
しである。つまり、前記下部ケース(8C)を、前記通
気管(7)に対して漢方向に揺動させることによって、
前記捕捉部ケース(8)内に保持される柄を切断された
果実(F)を、外部に排出できるようにしているのであ
る。
又、前記柄切断装置(9)は、前記果実(F)の柄を切
断するバリカン型の刃体(9a)と、その刃体(9a)
に前記果実(F)の柄を下方側から押圧支持する柄支持
部材(9b)とを備えている。
断するバリカン型の刃体(9a)と、その刃体(9a)
に前記果実(F)の柄を下方側から押圧支持する柄支持
部材(9b)とを備えている。
但し、図示を省略するが、前言己作業用ハンド(6)に
は、前記捕捉部ケース(8)を出退操作するためのアク
チュエータや前記柄切断装置(9)を駆動するためのア
クチュエータ等の収穫作動させるための各種アクチュエ
ータや、前記バキュームパッド(5)に果実(F)を吸
着したことを検出するためのセンサ、前記捕捉部ケース
(8)の出退位置を検出するためのセンサ、及び、前記
柄切断装置(9)の駆動状態を検出するためのセンサ等
の各種センサが設けられることになる。
は、前記捕捉部ケース(8)を出退操作するためのアク
チュエータや前記柄切断装置(9)を駆動するためのア
クチュエータ等の収穫作動させるための各種アクチュエ
ータや、前記バキュームパッド(5)に果実(F)を吸
着したことを検出するためのセンサ、前記捕捉部ケース
(8)の出退位置を検出するためのセンサ、及び、前記
柄切断装置(9)の駆動状態を検出するためのセンサ等
の各種センサが設けられることになる。
尚、図中、(11)は前記イメージセンサ(Sl)の撮
像処理に同期して前記作業用ハンド(5)の前方側を設
定光量で照光するための照光装置であって、その発光部
(Ila)の温度が設定温度以上になった場合には、設
定温度以下に冷えるまで照光作動を一時停止させること
ができるように、温度センサ(S3)を備えている。つ
まり、詳述はしないが、前記照光装置(11)は、前記
イメージセンサ(Sl)の撮像処理に同期して繰り返し
発光作動することになるため、その発光間隔が短いと、
温度が異常上昇して耐久性が低下する虞れがあることか
ら、設定温度以上になると、安全のために撮像処理を自
動的に一時休止させることができるようにしているので
ある。
像処理に同期して前記作業用ハンド(5)の前方側を設
定光量で照光するための照光装置であって、その発光部
(Ila)の温度が設定温度以上になった場合には、設
定温度以下に冷えるまで照光作動を一時停止させること
ができるように、温度センサ(S3)を備えている。つ
まり、詳述はしないが、前記照光装置(11)は、前記
イメージセンサ(Sl)の撮像処理に同期して繰り返し
発光作動することになるため、その発光間隔が短いと、
温度が異常上昇して耐久性が低下する虞れがあることか
ら、設定温度以上になると、安全のために撮像処理を自
動的に一時休止させることができるようにしているので
ある。
そして、前記作業用ハンド(6)を収穫対象果実が位置
する方向に向けた状態で、前記照光装置(11)にて照
光しながら、前記イメージセンサ(S、)にて撮像処理
し、撮像した画像情報に基づいて、前記作業用ハンド(
6)のアプローチ方向つまり前記作業用ハンド(6)の
誘導方向を決定するようにしである。
する方向に向けた状態で、前記照光装置(11)にて照
光しながら、前記イメージセンサ(S、)にて撮像処理
し、撮像した画像情報に基づいて、前記作業用ハンド(
6)のアプローチ方向つまり前記作業用ハンド(6)の
誘導方向を決定するようにしである。
アプローチ方向を決定した後は、前記作業用ハンド(6
)が決定されたアプローチ方向に向かって移動するよう
に、前記伸縮式アーム(4)のアクチュエータ(図示せ
ず)を作動させると共に、前記近接センサ(S2)がO
N作動するに伴って、前記作業用ハンド(6)の移動を
停止させた状態で再撮像させ、そして、詳しくは後述す
るが、再撮像した画像情報に基づいて捕捉可否を判別さ
せることになる。
)が決定されたアプローチ方向に向かって移動するよう
に、前記伸縮式アーム(4)のアクチュエータ(図示せ
ず)を作動させると共に、前記近接センサ(S2)がO
N作動するに伴って、前記作業用ハンド(6)の移動を
停止させた状態で再撮像させ、そして、詳しくは後述す
るが、再撮像した画像情報に基づいて捕捉可否を判別さ
せることになる。
捕捉可能であることを判別した場合には、作業用ハンド
(6)の移動を再開すると共に、前記バキュームバッド
(5)を吸引作動させて収穫対象果実(F)を吸着し、
そして、前記捕捉部ケース(8)内に果実(F)を取り
込んだ後、柄を切断して収穫させることになる。
(6)の移動を再開すると共に、前記バキュームバッド
(5)を吸引作動させて収穫対象果実(F)を吸着し、
そして、前記捕捉部ケース(8)内に果実(F)を取り
込んだ後、柄を切断して収穫させることになる。
但し、前記イメージセンサ(Sl)の撮像視野内に複数
個の果実がある場合には、何れの果実から先にアプロー
チさせるかを、後述の如く、前記イメージセンサ(Sl
)による撮像画像の明るさ情報に基づいて、アプローチ
順序を自動的に決定させるようにしである。
個の果実がある場合には、何れの果実から先にアプロー
チさせるかを、後述の如く、前記イメージセンサ(Sl
)による撮像画像の明るさ情報に基づいて、アプローチ
順序を自動的に決定させるようにしである。
次に、前記イメージセンサ(Sυによる撮像画像情報に
基づいて、果実(F)の位置する方向つまりアプローチ
方向を決定して、前記作業用ハンド(5)を誘導するた
めの制御構成について説明する。
基づいて、果実(F)の位置する方向つまりアプローチ
方向を決定して、前記作業用ハンド(5)を誘導するた
めの制御構成について説明する。
第1図に示すように、前記イメージセンサ(Sl)は、
三原色情報(R)、 (G)、 (B) と明るさ情
報としての輝度情報(Y) とを同時に出力するよう
に構成されている。
三原色情報(R)、 (G)、 (B) と明るさ情
報としての輝度情報(Y) とを同時に出力するよう
に構成されている。
そして、前記三原色情報(R)、 (G)、 (B)を
利用して果実(F)に対応する果実領域(C1)及び葉
(H)に対応する葉領域(C2)を抽出すると共に、そ
れら果実領域(C1)及び葉領域(C2)の情報と前記
輝度情報(Y)とを利用して枝(IE)に対応する枝領
域(C4)を抽出するように構成しである。
利用して果実(F)に対応する果実領域(C1)及び葉
(H)に対応する葉領域(C2)を抽出すると共に、そ
れら果実領域(C1)及び葉領域(C2)の情報と前記
輝度情報(Y)とを利用して枝(IE)に対応する枝領
域(C4)を抽出するように構成しである。
説明を加えれば、第3図(ハ)、(ニ)に示すように、
果実(F) は一般的に暖色系の色であることから、前
記三原色情報(R)、 (G)、 (B)のうちの果実
(F)に対応する色情報を含む赤色情報(R)からそれ
以外の色情報としての緑色情報(G)を減算して2値化
することにより、果実(F)に対応する果実領域(C,
)を抽出するようにしである。同様にして、前記三原色
情報(R)、 (G)、 (B)のうちの葉(H)に対
応する色情報を含む緑色情報(G)からそれ以外の色情
報としての赤色情報(R)を減算して2値化することに
より、葉(H)に対応する葉領域(C2)を抽出するよ
うにしである。
果実(F) は一般的に暖色系の色であることから、前
記三原色情報(R)、 (G)、 (B)のうちの果実
(F)に対応する色情報を含む赤色情報(R)からそれ
以外の色情報としての緑色情報(G)を減算して2値化
することにより、果実(F)に対応する果実領域(C,
)を抽出するようにしである。同様にして、前記三原色
情報(R)、 (G)、 (B)のうちの葉(H)に対
応する色情報を含む緑色情報(G)からそれ以外の色情
報としての赤色情報(R)を減算して2値化することに
より、葉(H)に対応する葉領域(C2)を抽出するよ
うにしである。
但し、枝(E) は一般的には茶色系の色であるが、苔
等が付着して緑色系に見えることがあるために、前記果
実領域(C,)や葉領域(C2)のように、前記三原色
情報(R)、 (G)、 (B)を利用して前記波(E
)に対応する枝領域(C4)を直接抽出することはでき
ないが、前記波(巳)は前記果実領域(C1)でもなく
且つ前記葉領域(C2)でもない領域(C3)において
、前記波(E)の明るさよりも暗い影等の背景でなく、
且つ、前記波(E)の明るさよりも明るい空等の背景で
もない領域となることから、前記輝度情報(Y) と前
記果実領域(C1)でもなく且つ前記葉領域(C2)で
もない領域(C3)との情報に基づいて抽出するように
しである。
等が付着して緑色系に見えることがあるために、前記果
実領域(C,)や葉領域(C2)のように、前記三原色
情報(R)、 (G)、 (B)を利用して前記波(E
)に対応する枝領域(C4)を直接抽出することはでき
ないが、前記波(巳)は前記果実領域(C1)でもなく
且つ前記葉領域(C2)でもない領域(C3)において
、前記波(E)の明るさよりも暗い影等の背景でなく、
且つ、前記波(E)の明るさよりも明るい空等の背景で
もない領域となることから、前記輝度情報(Y) と前
記果実領域(C1)でもなく且つ前記葉領域(C2)で
もない領域(C3)との情報に基づいて抽出するように
しである。
そしで、前記赤色情報(R)と前記緑色情報(G)とか
ら果実(F) に対応する果実領域(C1)を抽出する
果実領域抽出手段としての果実領域抽出回路(100)
、前記緑色情報(G)と前記赤色情報(R)とから葉(
l() に対応する葉領域(C2)を抽出する葉領域抽
出手段としての葉領域抽出回路(101)、前記輝度情
報(Y) と、前記果実領域(C1)及び前記葉領域(
C2)の情報とに基づいて伎(E)に対応する枝領域(
C1)を抽出する枝領域抽出手段としての枝領域抽出回
路(102)、前記果実領域(C8)に対応する画像情
報を記憶する第1画像メモリ(12a)、前記葉領域(
C2)に対応する画像情報を記憶する第1画像メモリJ
(12b)、前記枝領域(C1)に対応する画像情報を
記憶する第3画像メモリ(12c)、前記輝度情報(Y
)を各画素毎に対応した状態で設定段階に量子化した濃
度値に変換するA/D変換器(13)、そのA/D変換
器(13)にて変換された濃度値を記憶する第4画像メ
モリ(12d)、及び、前記各画像メモリ(12a)、
(12b)。
ら果実(F) に対応する果実領域(C1)を抽出する
果実領域抽出手段としての果実領域抽出回路(100)
、前記緑色情報(G)と前記赤色情報(R)とから葉(
l() に対応する葉領域(C2)を抽出する葉領域抽
出手段としての葉領域抽出回路(101)、前記輝度情
報(Y) と、前記果実領域(C1)及び前記葉領域(
C2)の情報とに基づいて伎(E)に対応する枝領域(
C1)を抽出する枝領域抽出手段としての枝領域抽出回
路(102)、前記果実領域(C8)に対応する画像情
報を記憶する第1画像メモリ(12a)、前記葉領域(
C2)に対応する画像情報を記憶する第1画像メモリJ
(12b)、前記枝領域(C1)に対応する画像情報を
記憶する第3画像メモリ(12c)、前記輝度情報(Y
)を各画素毎に対応した状態で設定段階に量子化した濃
度値に変換するA/D変換器(13)、そのA/D変換
器(13)にて変換された濃度値を記憶する第4画像メ
モリ(12d)、及び、前記各画像メモリ(12a)、
(12b)。
(12c)、 (12d)の夫々に記憶された画像情報
に基づいて前記果実(F)の位置する方向を判別すると
共に、収穫対象となる果実(F)の捕捉可否を判別して
、前記作業用ハンド(6)を誘導するための各種手段を
構成するマイクロコンピュータ利用の制御装置(14)
の夫々を設けである。
に基づいて前記果実(F)の位置する方向を判別すると
共に、収穫対象となる果実(F)の捕捉可否を判別して
、前記作業用ハンド(6)を誘導するための各種手段を
構成するマイクロコンピュータ利用の制御装置(14)
の夫々を設けである。
尚、第1図中、(15)は液晶利用の電子式シャッタで
あって、前記イメージセンサ(S1)の撮像処理に同期
して設定時間の間のみ前記イメージセンサ(S1)を露
光するようになっている。又、(16)は前記ブーム(
2)、前記補助ブーム(3)、前記アーム(4)、及び
、前記作業用ハンド(6)の夫々を操作するためのアク
チュエータであって、前記制御装置(14)を利用して
判別される前記果実(F)の位置情報に基づいて、前記
作業用ハンド(6)を前記果実(F)に向けて誘導する
ように操作されることになる。
あって、前記イメージセンサ(S1)の撮像処理に同期
して設定時間の間のみ前記イメージセンサ(S1)を露
光するようになっている。又、(16)は前記ブーム(
2)、前記補助ブーム(3)、前記アーム(4)、及び
、前記作業用ハンド(6)の夫々を操作するためのアク
チュエータであって、前記制御装置(14)を利用して
判別される前記果実(F)の位置情報に基づいて、前記
作業用ハンド(6)を前記果実(F)に向けて誘導する
ように操作されることになる。
つまり、前記制御装置(14)を利用して、前記果実領
域(C3)における幾何学的特徴点(P)を抽出する特
徴点抽出手段(103)、その特徴点抽出手段(103
)の情報に基づいて捕捉部としての前記バキュームパッ
ド(6)の中心を前記果実漁期(C1)の幾何学的特徴
点(P)が位置する方向に向けて誘導する誘導手段(1
04)、及び、前記各領域(C,)、 (C2)、 C
4>及び前記幾何学的特徴点(P)の情報と、捕捉部と
しての前記バキュームパッド(5)を果実に対して前記
設定距離手前側に位置させた状態における前記バキュー
ムパッド(5)の撮像画像上での大きさの情報とに基づ
いて、前記バキュームパッド(5)に対応する領域内に
前記葉領域(C2)又は前記枝領域(C1)がある場合
には、前記果実(F)を捕捉できないと判別する捕捉不
能判別手段(105)の夫々が構成されることになる。
域(C3)における幾何学的特徴点(P)を抽出する特
徴点抽出手段(103)、その特徴点抽出手段(103
)の情報に基づいて捕捉部としての前記バキュームパッ
ド(6)の中心を前記果実漁期(C1)の幾何学的特徴
点(P)が位置する方向に向けて誘導する誘導手段(1
04)、及び、前記各領域(C,)、 (C2)、 C
4>及び前記幾何学的特徴点(P)の情報と、捕捉部と
しての前記バキュームパッド(5)を果実に対して前記
設定距離手前側に位置させた状態における前記バキュー
ムパッド(5)の撮像画像上での大きさの情報とに基づ
いて、前記バキュームパッド(5)に対応する領域内に
前記葉領域(C2)又は前記枝領域(C1)がある場合
には、前記果実(F)を捕捉できないと判別する捕捉不
能判別手段(105)の夫々が構成されることになる。
次に、各部の構成について詳述する。
前記果実領域抽出回路(100)は、前記果実(F)の
色成分を含む赤色情報(1?)から前記果実(F)の色
成分を含まない緑色情報(G)を減算する第1減算器(
17)と、その第1減算器(17)の出力信号の値が前
記果実(F)の色に対応して予め設定された第1設定閾
値(THDI)より大となる信号を2値化して前記果実
領域(c’s)(第3図(ニ)参照)として抽出する第
1コンパレータ(18)とから構成されている。
色成分を含む赤色情報(1?)から前記果実(F)の色
成分を含まない緑色情報(G)を減算する第1減算器(
17)と、その第1減算器(17)の出力信号の値が前
記果実(F)の色に対応して予め設定された第1設定閾
値(THDI)より大となる信号を2値化して前記果実
領域(c’s)(第3図(ニ)参照)として抽出する第
1コンパレータ(18)とから構成されている。
前記葉領域抽出回路(101)は、前記果実領域抽出回
路(100)と同様にして、前記葉(H)の色成分を含
む緑色情報(G)から前記葉(II)の色成分を含まな
い前記赤色情報(R)を減算する第2減算器(19)と
、その第2減算器(19)の出力信号の値が前記葉(l
()の色に対応して予め設定された第2設定閾値(TH
D2)より大となる信号を2値化して前記葉領域(C2
X第3図(ニ)参照)として抽出する第2コンパレータ
(20)とから構成されている。
路(100)と同様にして、前記葉(H)の色成分を含
む緑色情報(G)から前記葉(II)の色成分を含まな
い前記赤色情報(R)を減算する第2減算器(19)と
、その第2減算器(19)の出力信号の値が前記葉(l
()の色に対応して予め設定された第2設定閾値(TH
D2)より大となる信号を2値化して前記葉領域(C2
X第3図(ニ)参照)として抽出する第2コンパレータ
(20)とから構成されている。
前記枝領域抽出回路(102) は、前記輝度情報(Y
)の値が、前記波(B)の明るさよりも暗い影等の背景
に対応して予め設定された第3設定閾値(TM01)よ
り大となる領域を2値化して抽出する第3コンパレータ
(21)と、前記輝度情報(Y)の値が、前記波(E)
の明るさよりも明るい空等の背景に対応して予め設定さ
れた第4設定閾値(THO4)より小となる領域を2値
化して抽出する第4コンパレータ(22)と、前記果実
領域抽出回路(100)から出力される前記果実領域(
C1)と前記葉領域抽出回路(101)から出力される
前記葉領域(C2)との論理和を反転させた領域、すな
わち、前記果実領域(C1)でなく且つ前記葉領域(C
2)でもない領域(C3)に対応する信号を演算するN
ORゲート(23)と、そのNORゲー) (23)の
出力信号と前記両コンパレータ(21)、 (22)の
出力信号との論理積を演算するANDゲート(24)と
から構成されている。
)の値が、前記波(B)の明るさよりも暗い影等の背景
に対応して予め設定された第3設定閾値(TM01)よ
り大となる領域を2値化して抽出する第3コンパレータ
(21)と、前記輝度情報(Y)の値が、前記波(E)
の明るさよりも明るい空等の背景に対応して予め設定さ
れた第4設定閾値(THO4)より小となる領域を2値
化して抽出する第4コンパレータ(22)と、前記果実
領域抽出回路(100)から出力される前記果実領域(
C1)と前記葉領域抽出回路(101)から出力される
前記葉領域(C2)との論理和を反転させた領域、すな
わち、前記果実領域(C1)でなく且つ前記葉領域(C
2)でもない領域(C3)に対応する信号を演算するN
ORゲート(23)と、そのNORゲー) (23)の
出力信号と前記両コンパレータ(21)、 (22)の
出力信号との論理積を演算するANDゲート(24)と
から構成されている。
つまり、前記枝領域(C4)(第3図(ニ)参照)は、
前記果実領域(Cυでもなく、且つ、前記葉領域(C2
)でもない領域(C3)内において、前記影等の前記第
3設定閾値(TM01)よりも明るく且つ前記空等の前
記第4設定闇値(T)!D4)よりも暗い領域として抽
出されて、前記ANDゲー) (24)から出力される
のである。
前記果実領域(Cυでもなく、且つ、前記葉領域(C2
)でもない領域(C3)内において、前記影等の前記第
3設定閾値(TM01)よりも明るく且つ前記空等の前
記第4設定闇値(T)!D4)よりも暗い領域として抽
出されて、前記ANDゲー) (24)から出力される
のである。
ところで、前記作業用ハンド(6)をアプローチ開始位
置に位置させた状態で撮像しても、前記イメージセンサ
(Sl)と前記果実(F) との距離情報が無いため
に、前記各領域(Cυ、(C2)、(C4)の大きさと
前記バキュームパッド(5)が前記果実(F)を吸着す
る範囲の大きさとの関係を、前記各画像メモリ(12a
)、 (12b)、 (12c)、 (12d)の夫々
に記憶された画像情報のみからは判別できないので、前
記バキュームパッド(5)が前記果実(F)を吸着でき
るか否かを判断することはできないものである。
置に位置させた状態で撮像しても、前記イメージセンサ
(Sl)と前記果実(F) との距離情報が無いため
に、前記各領域(Cυ、(C2)、(C4)の大きさと
前記バキュームパッド(5)が前記果実(F)を吸着す
る範囲の大きさとの関係を、前記各画像メモリ(12a
)、 (12b)、 (12c)、 (12d)の夫々
に記憶された画像情報のみからは判別できないので、前
記バキュームパッド(5)が前記果実(F)を吸着でき
るか否かを判断することはできないものである。
そこで、前記近接センサ(S2)の情報を利用して、前
記作業用ハンド(6)が前記近接センサ(S2)が果実
(F)への接近を感知する設定距離に達した状態で、−
旦停止させて再撮像処理すると共に、その再撮像した画
像情報に基づいて前記各領域(C1)、 (C2)、
(C4)を再抽出して、捕捉可能か否かを判別させるよ
うにしである。
記作業用ハンド(6)が前記近接センサ(S2)が果実
(F)への接近を感知する設定距離に達した状態で、−
旦停止させて再撮像処理すると共に、その再撮像した画
像情報に基づいて前記各領域(C1)、 (C2)、
(C4)を再抽出して、捕捉可能か否かを判別させるよ
うにしである。
すなわち、前記作業用ハンド(6)を前記近接センサ(
S2)が果実(F)への接近を感知する設定距離手前側
に位置させた状態においては、誘導対象となる果実(F
)に対する撮像距離が一定の値となるので、第3図(ハ
)に示すように、前記バキュームパッド(5)が果実(
F)を吸着する第1捕捉領域(A、)及び前記捕捉部ケ
ース(8)の外形に対応する第2捕捉領域(A2)の夫
々は、撮像画像上において一定の大きさの領域として判
別させることができる。
S2)が果実(F)への接近を感知する設定距離手前側
に位置させた状態においては、誘導対象となる果実(F
)に対する撮像距離が一定の値となるので、第3図(ハ
)に示すように、前記バキュームパッド(5)が果実(
F)を吸着する第1捕捉領域(A、)及び前記捕捉部ケ
ース(8)の外形に対応する第2捕捉領域(A2)の夫
々は、撮像画像上において一定の大きさの領域として判
別させることができる。
つまり、前記作業用ハンド(6)を前記近接センサ(S
2)が果実(F)への接近を感知する設定距離手前側に
位置させた状態における撮像画像上において、前記葉領
域(C2)又は前記枝領域(C4)が前記第1捕捉領域
(A1)の内側にある場合、及び、前記枝領域(C4)
が前記第2捕捉領域(A2)の内側に位置する場合には
、捕捉不能であると判別できるのである。尚、前記葉領
域(C2)が前記第2捕捉領域(A2)の内側に位置す
る状態にあっても、前記葉領域(C2)又は前記枝領域
(C1)が前記第1捕捉領域(Aυの内側にない場合に
は、前記バキュームパッド(5)が葉(It)を吸着す
る虞れは無(、葉(H)が誘導の邪魔になることはない
ので捕捉可能である。
2)が果実(F)への接近を感知する設定距離手前側に
位置させた状態における撮像画像上において、前記葉領
域(C2)又は前記枝領域(C4)が前記第1捕捉領域
(A1)の内側にある場合、及び、前記枝領域(C4)
が前記第2捕捉領域(A2)の内側に位置する場合には
、捕捉不能であると判別できるのである。尚、前記葉領
域(C2)が前記第2捕捉領域(A2)の内側に位置す
る状態にあっても、前記葉領域(C2)又は前記枝領域
(C1)が前記第1捕捉領域(Aυの内側にない場合に
は、前記バキュームパッド(5)が葉(It)を吸着す
る虞れは無(、葉(H)が誘導の邪魔になることはない
ので捕捉可能である。
次に、第2図に示すフローチャートに基づいて、前記制
御装置(14)の動作を説明する。
御装置(14)の動作を説明する。
先ず、前記作業用ハンド(6)を、予め設定されたアプ
ローチ開始位置にセットした状態で撮像処理し、その撮
像情報(第3図(イ)参照)を前記果実(F)に対応し
た果実領域(C1)と前記輝度情報(Y)の値とに基づ
いて画像処理することにより、前記果実領域(C1)内
において明るさが最大となる位置、いわゆるハイライト
点を前記幾何学的特徴点(P)として抽出する(第3図
(ロ)参照)。
ローチ開始位置にセットした状態で撮像処理し、その撮
像情報(第3図(イ)参照)を前記果実(F)に対応し
た果実領域(C1)と前記輝度情報(Y)の値とに基づ
いて画像処理することにより、前記果実領域(C1)内
において明るさが最大となる位置、いわゆるハイライト
点を前記幾何学的特徴点(P)として抽出する(第3図
(ロ)参照)。
説明を加えれば、前記果実(F)は球状体であることか
ら、その表面において最も明るく見える一点が存在する
状態となることが知られている。そこで、前記果実(F
) に対応する前記果実領域(C1)内において明るさ
が最大となるハイライト点つまり前記幾何学的特徴点(
P)を、果実(F)の位置する方向を代表する情報とし
て用いることができるのである。
ら、その表面において最も明るく見える一点が存在する
状態となることが知られている。そこで、前記果実(F
) に対応する前記果実領域(C1)内において明るさ
が最大となるハイライト点つまり前記幾何学的特徴点(
P)を、果実(F)の位置する方向を代表する情報とし
て用いることができるのである。
但し、第3図(ロ)にも示すように、アプローチ開始位
置において撮像された画像内に前記果実領域(C1)の
複数個が存在する場合には、それら複数個の果実領域(
C1)の夫々における明るさが設定値より大となる領域
の大きさに基づいて、その領域の大きさが最も大きいも
のを抽出して、その最も大きい設定領域に向けて前記作
業用ハンド(6)をアプローチさせるべく、前記作業用
ハンド(6)の向きを調節して、前記アーム(4)を伸
長させるようにしである。
置において撮像された画像内に前記果実領域(C1)の
複数個が存在する場合には、それら複数個の果実領域(
C1)の夫々における明るさが設定値より大となる領域
の大きさに基づいて、その領域の大きさが最も大きいも
のを抽出して、その最も大きい設定領域に向けて前記作
業用ハンド(6)をアプローチさせるべく、前記作業用
ハンド(6)の向きを調節して、前記アーム(4)を伸
長させるようにしである。
説明を加えれば、前記画像情報の明るさは、距離に反比
例して近いものほど明るくなることから、前記果実領域
(C1)内において明るさが設定値以上となる設定領域
の大きさは、近距離に位置するものほど大になるのであ
る。つまり、前記輝度情報(Y)を利用して、手前側に
位置する収穫し易い果実(F)から先にアプローチさせ
るようにしているのである。
例して近いものほど明るくなることから、前記果実領域
(C1)内において明るさが設定値以上となる設定領域
の大きさは、近距離に位置するものほど大になるのであ
る。つまり、前記輝度情報(Y)を利用して、手前側に
位置する収穫し易い果実(F)から先にアプローチさせ
るようにしているのである。
前記アーム(4)の伸長を開始した後は、前記近接セン
サ(S2)がON作動して、収穫対象果実(F) に
対して設定距離内に接近したことを検出するまで、前記
作業用ハンド(6)が収穫対象果実(F)に向けて直進
するように、前記アーム(4)を伸長させることになる
。
サ(S2)がON作動して、収穫対象果実(F) に
対して設定距離内に接近したことを検出するまで、前記
作業用ハンド(6)が収穫対象果実(F)に向けて直進
するように、前記アーム(4)を伸長させることになる
。
前記近接センサ(S2)がON作動して収穫対象果実に
対して設定距離内に接近したこと検出するに伴って、−
旦停止させて、再撮像処理すると共に、その撮像情報に
基づいて、前述の如く、前記バキュームパッド(5)に
対応する第1領域(Aυ及び前記捕捉部ケース(8)に
対応する第2領域(A2)夫々の内側に、前記葉領域(
C2)や前記枝領域(C4)が位置するか否かに基づい
て、捕捉可否を判別して、捕捉不能である場合には、前
記アーム(4)を縮めてアプローチ開始位置に戻すこと
になる。
対して設定距離内に接近したこと検出するに伴って、−
旦停止させて、再撮像処理すると共に、その撮像情報に
基づいて、前述の如く、前記バキュームパッド(5)に
対応する第1領域(Aυ及び前記捕捉部ケース(8)に
対応する第2領域(A2)夫々の内側に、前記葉領域(
C2)や前記枝領域(C4)が位置するか否かに基づい
て、捕捉可否を判別して、捕捉不能である場合には、前
記アーム(4)を縮めてアプローチ開始位置に戻すこと
になる。
つまり、前記バキュームパッド(5)を収穫対象となる
果実(F)に対して設定距離手前側に位置させた状態で
再撮像した画像情報に基づいて、捕捉可否を判別する処
理が、捕捉不能判別手段(105)に対応することにな
る。
果実(F)に対して設定距離手前側に位置させた状態で
再撮像した画像情報に基づいて、捕捉可否を判別する処
理が、捕捉不能判別手段(105)に対応することにな
る。
尚、この再撮像処理によって得られた画像情報に基づい
て前記幾何学的特徴点(P)を再抽出して、前記バキュ
ームパッド(5)の中心が前記再抽出された幾何学的特
徴点(P)の位置する方向に向いて移動するように、誘
導方向を補正するようにしである。
て前記幾何学的特徴点(P)を再抽出して、前記バキュ
ームパッド(5)の中心が前記再抽出された幾何学的特
徴点(P)の位置する方向に向いて移動するように、誘
導方向を補正するようにしである。
つまり、前記アプローチ開始位置において撮像された画
像情報に基づいて抽出された前記果実領域(C1)内に
おける明るさが最大となるハイライト点を前記幾何学的
特徴点(P) として抽出する処理、及び、前記前記バ
キュームパッド(5)を収穫対象となる果実(F) に
対して設定距離手前側に位置させた状態で再撮像した画
像情報に基づいて抽出された前記果実領域(C1)内に
おける明るさが最大となるハイライト点を前記幾何学的
特徴点(P) として抽出する処理の夫々が、特徴点
抽出手段(103)に対応し、前記バキュームパッド(
5)の中心を、前記幾何学的特徴点(P)の位置する方
向に向けて誘導するように、前記アーム(4)を伸長さ
せる処理が、誘導手段(104)に対応することになる
。
像情報に基づいて抽出された前記果実領域(C1)内に
おける明るさが最大となるハイライト点を前記幾何学的
特徴点(P) として抽出する処理、及び、前記前記バ
キュームパッド(5)を収穫対象となる果実(F) に
対して設定距離手前側に位置させた状態で再撮像した画
像情報に基づいて抽出された前記果実領域(C1)内に
おける明るさが最大となるハイライト点を前記幾何学的
特徴点(P) として抽出する処理の夫々が、特徴点
抽出手段(103)に対応し、前記バキュームパッド(
5)の中心を、前記幾何学的特徴点(P)の位置する方
向に向けて誘導するように、前記アーム(4)を伸長さ
せる処理が、誘導手段(104)に対応することになる
。
但し、前記アーム(4)を予め設定された設定距離に達
するまで伸長させても、前記近接センサ(S2)がON
作動しない場合には、収穫不能であると判断して、前記
アーム(4)を縮めてアプローチ開始位置まで戻すこと
になる。
するまで伸長させても、前記近接センサ(S2)がON
作動しない場合には、収穫不能であると判断して、前記
アーム(4)を縮めてアプローチ開始位置まで戻すこと
になる。
捕捉可能である場合には、前記作業用ハンド(6)の移
動を低速状態で再開すると共に、前記バキュームパッド
(5)の吸引作動を開始して、収穫作動させることにな
る。
動を低速状態で再開すると共に、前記バキュームパッド
(5)の吸引作動を開始して、収穫作動させることにな
る。
収穫作動を開始した後は、前記作業用ハンド(6)に付
設された各種センサの検出情報に基づいて、収穫を失敗
したか否かを判別し、収穫失敗である場合には、収穫不
能であると判断して、アプローチ開始位置まで戻すこと
になる。
設された各種センサの検出情報に基づいて、収穫を失敗
したか否かを判別し、収穫失敗である場合には、収穫不
能であると判断して、アプローチ開始位置まで戻すこと
になる。
適正通りに果実(F)を収穫できた場合には、アプロー
チ開始位置まで戻して、収穫した果実を排出させること
になる。
チ開始位置まで戻して、収穫した果実を排出させること
になる。
収穫した果実を排出した後は、前記アプローチ開始位置
において最初に撮像した画像情報から抽出した果実領域
(C3)の個数等に基づいて、作業終了か否かを判別し
て、作業終了でない場合には、前記作業用ハンド(6)
をアプローチ開始位置にセットして撮像させる処理以降
の各処理を繰り返させることになる。
において最初に撮像した画像情報から抽出した果実領域
(C3)の個数等に基づいて、作業終了か否かを判別し
て、作業終了でない場合には、前記作業用ハンド(6)
をアプローチ開始位置にセットして撮像させる処理以降
の各処理を繰り返させることになる。
上記実施例では、幾何学的特徴点(P)として、果実領
域(C1)内における明るさが最大となるハイライト点
の位置情報を用いるようにした場合を例示したが、前記
果実領域(C1)内における明るさが設定値以上となる
設定領域の重心や、前記果実領域(C1)自体の重心の
位置情報を用いることもできる。
域(C1)内における明るさが最大となるハイライト点
の位置情報を用いるようにした場合を例示したが、前記
果実領域(C1)内における明るさが設定値以上となる
設定領域の重心や、前記果実領域(C1)自体の重心の
位置情報を用いることもできる。
又、上記実施例では、捕捉不能判別手段(105)を、
前記バキュームパッド(5)に対応する第1領域(AI
)内に前記葉領域(C2)又は前記枝領域(C4)があ
る場合、及び、前記捕捉部ケース(8)に対応する第2
領域(A2)内に前記枝領域(C4)がある場合の夫々
において、捕捉不能であると判別させるようにした場合
を例示したが、前記第1領域(A、)内に前記葉領域(
C2)又は前記枝領域(C1)がある場合のみ捕捉不能
であると判別させるようにしてもよい。
前記バキュームパッド(5)に対応する第1領域(AI
)内に前記葉領域(C2)又は前記枝領域(C4)があ
る場合、及び、前記捕捉部ケース(8)に対応する第2
領域(A2)内に前記枝領域(C4)がある場合の夫々
において、捕捉不能であると判別させるようにした場合
を例示したが、前記第1領域(A、)内に前記葉領域(
C2)又は前記枝領域(C1)がある場合のみ捕捉不能
であると判別させるようにしてもよい。
又、上記実施例では、本発明を果実収穫用の作業機に適
用した場合を例示したが、収穫機以外の各種作業機にも
適用できるものであって、果実領域(Cυ、葉領域(C
2)、及び、枝領域(C3)の夫々を抽出するための各
領域抽出手段(10[1)。
用した場合を例示したが、収穫機以外の各種作業機にも
適用できるものであって、果実領域(Cυ、葉領域(C
2)、及び、枝領域(C3)の夫々を抽出するための各
領域抽出手段(10[1)。
(101)、 (102)の具体構成、捕捉部の具体構
成、その捕捉部を果実(F) に向けて誘導するため
の誘導手段(104)の具体構成、並びに、本発明を実
施する上で必要となる各部の具体構成は、各種変更でき
る。
成、その捕捉部を果実(F) に向けて誘導するため
の誘導手段(104)の具体構成、並びに、本発明を実
施する上で必要となる各部の具体構成は、各種変更でき
る。
尚、特許請求の範囲の項に図面との対照を便利にする為
に符号を記すが、該記入により本発明は添付図面の構造
に限定されるものではない。
に符号を記すが、該記入により本発明は添付図面の構造
に限定されるものではない。
図面は本発明に係る果樹用作業機の誘導装置の実施例を
示し、第1図は制御構成のブロック図、第2図は制御作
動のフローチャート、第3図(イ)乃至(ニ)は画像処
理の説明図、第4図は作業機の概略側面図、第5図は捕
捉部の概略構成を示す断面図である。 (Sl)・・・・・・撮像手段、(S2)・・・・・・
距離判別手段、(F)・・・・・・果実、(H)・・・
・・・葉、(ε)・・・・・・枝、(C1)・・・・・
・果実領域、(C2)・・・・・・葉領域、(C1)・
・・・・・枝領域、(P)・・・・・・幾何学的特徴点
、(5)・・・・・・捕捉部、(100)、 (101
)、 (102)・・・・・・領域抽出手段、(103
)・・・・・・特徴点抽出手段、(104)・・・・・
・誘導手段、(105)・・・・・・捕捉不能判別手段
。
示し、第1図は制御構成のブロック図、第2図は制御作
動のフローチャート、第3図(イ)乃至(ニ)は画像処
理の説明図、第4図は作業機の概略側面図、第5図は捕
捉部の概略構成を示す断面図である。 (Sl)・・・・・・撮像手段、(S2)・・・・・・
距離判別手段、(F)・・・・・・果実、(H)・・・
・・・葉、(ε)・・・・・・枝、(C1)・・・・・
・果実領域、(C2)・・・・・・葉領域、(C1)・
・・・・・枝領域、(P)・・・・・・幾何学的特徴点
、(5)・・・・・・捕捉部、(100)、 (101
)、 (102)・・・・・・領域抽出手段、(103
)・・・・・・特徴点抽出手段、(104)・・・・・
・誘導手段、(105)・・・・・・捕捉不能判別手段
。
Claims (1)
- 果樹を撮像する撮像手段(S_1)が果実捕捉用の捕捉
部(5)に設けられ、前記撮像手段(S_1)によって
果樹を撮像した画像情報に基づいて、果実(F)に対応
する果実領域(C_1)、葉(H)に対応する葉領域(
C_2)、及び、枝(E)に対応する枝領域(C_4)
の夫々を抽出する領域抽出手段(100)、(101)
、(102)と、前記果実領域(C_1)における幾何
学的特徴点(P)を抽出する特徴点抽出手段(103)
と、その特徴点抽出手段(103)の情報に基づいて前
記捕捉部(5)の中心を前記幾何学的特徴点(P)の位
置する方向に向けて誘導する誘導手段(104)とが設
けられている果樹用作業機の誘導装置であって、前記捕
捉部(5)が誘導対象果実に対して設定距離内に接近し
たか否かを判別する距離判別手段(S_2)が前記捕捉
部(5)に設けられ、その距離判別手段(S_2)の情
報に基づいて前記捕捉部(5)を前記誘導対象果実に対
して前記設定距離手前側に位置させた状態において撮像
した画像情報から抽出された前記各領域(C_1)、(
C_2)、(C_4)及び前記幾何学的特徴点(P)の
情報と、前記捕捉部(5)を果実に対して前記設定距離
手前側に位置させた状態における前記捕捉部(5)の撮
像画像上での大きさの情報とに基づいて、前記捕捉部(
5)に対応する領域内に前記葉領域(C_2)又は前記
枝領域(C_4)がある場合には、前記果実(F)を捕
捉できないと判別する捕捉不能判別手段(105)が設
けられている果樹用作業機の誘導装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP63153892A JPH074099B2 (ja) | 1988-06-21 | 1988-06-21 | 果樹用作業機の誘導装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP63153892A JPH074099B2 (ja) | 1988-06-21 | 1988-06-21 | 果樹用作業機の誘導装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH01320921A true JPH01320921A (ja) | 1989-12-27 |
JPH074099B2 JPH074099B2 (ja) | 1995-01-25 |
Family
ID=15572394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP63153892A Expired - Lifetime JPH074099B2 (ja) | 1988-06-21 | 1988-06-21 | 果樹用作業機の誘導装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH074099B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004126800A (ja) * | 2002-09-30 | 2004-04-22 | Secom Co Ltd | 搬送ロボット及び搬送ロボットを用いた搬送システム。 |
-
1988
- 1988-06-21 JP JP63153892A patent/JPH074099B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004126800A (ja) * | 2002-09-30 | 2004-04-22 | Secom Co Ltd | 搬送ロボット及び搬送ロボットを用いた搬送システム。 |
Also Published As
Publication number | Publication date |
---|---|
JPH074099B2 (ja) | 1995-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US4873644A (en) | Guide system for a working machine having a product identifying system | |
JPH074097B2 (ja) | 果菜類収穫装置 | |
JPH01320921A (ja) | 果樹用作業機の誘導装置 | |
JP2548828B2 (ja) | 果菜類収穫機の誘導装置 | |
JPH078176B2 (ja) | 作業機の誘導装置 | |
JPH0746940B2 (ja) | 果菜類用作業機の誘導装置 | |
JPS62275610A (ja) | 果菜類用作業機の誘導装置 | |
JPH078177B2 (ja) | 果菜類収穫機の誘導装置 | |
JPH074098B2 (ja) | 果菜類の収穫用ハンド | |
JPS63119614A (ja) | 果菜類用作業機の誘導装置 | |
JPH0695849B2 (ja) | 果菜類用作業機の誘導装置 | |
JPH0560323B2 (ja) | ||
JPS63119612A (ja) | 果菜類用作業機の誘導装置 | |
JP2813697B2 (ja) | 果菜類収穫機の画像処理装置 | |
JPH04311314A (ja) | 果実収穫装置 | |
JPH072052B2 (ja) | 果菜類の収穫用ハンド | |
JPH0585128B2 (ja) | ||
JPH02142410A (ja) | 果菜類用作業機の誘導装置 | |
JPS63116615A (ja) | 果菜類用の作業用ハンド | |
JPS62275611A (ja) | 果菜類用作業機の誘導装置 | |
JPS6291116A (ja) | 果菜類収穫装置 | |
JPH0488917A (ja) | 果菜類収穫機の誘導装置 | |
JP2574950B2 (ja) | 果菜類収穫機の誘導装置 | |
JPH0582163B2 (ja) | ||
JPH02152780A (ja) | 作業機の誘導装置 |