JPH0582163B2 - - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、果菜類を撮像する撮像手段、その撮
像手段の撮像画像情報に基づいて果菜類を抽出す
ると共にその果菜類の位置する方向を求める画像
処理手段、及び、前記撮像手段の撮像時に撮像視
野方向に向けて照光する照光手段の夫々が設けら
れると共に、伸縮アームに付設した作業ハンドを
前記抽出した果菜類の位置する方向に向けて誘導
すべく、前記画像処理手段の情報に基づいて前記
伸縮アームを作動させるアーム制御手段が設けら
れた果菜類用作業機の誘導装置に関する。

〔従来の技術〕

上記この種の果菜類用作業機の誘導装置におけ
る画像処理について説明すれば、例えば、作業対
象果菜類の色に基づいて、撮像画像情報を２値化
することにより、作業対象果菜類のみに対応した
領域を抽出し、そして、その抽出した領域の重心
等の幾何学的特徴点を求める等の処理を行うこと
により、果菜類を抽出し、その位置する方向を、
画像情報における座標値と作業機との関係から求
める手段等が用いられることとなる。

つまり、撮像画像情報の明るさを正規化した状
態で、画像処理を行う必要があるが、上記この種
の果菜類用作業機の誘導装置は、屋外において作
業を行うことが多いため、自然光の影響が問題と
なる。つまり、自然光の明るさは不定であること
から、色温度が変動したり、又、果菜類の位置に
よつては、撮像条件がいわゆる逆光状態となるこ
ともある。

従つて、自然光の影響も除去するために、撮像
手段の撮像時に、その視野方向に向けて照光する
照光手段を設けることとなる。

そして、従来では、自然光の影響を充分に除去
できるように、上記照光手段を、その照光量が大
きなものを使用するようにしてあつた。

〔発明を解決しようとする問題点〕

しかしながら、上記従来構成においては、以下
に示すような不都合があり、改善の余地があつ
た。

すなわち、作業ハンドが付設された伸縮アーム
の伸縮可能な距離範囲は有限であり、例えば、照
光手段の光量を大きくしすぎると、伸縮アームつ
まり作業ハンドの作動距離範囲よりも遠くに位置
する果菜類をも認識することとなる。その結果、
作業ハンドが到達できる距離範囲外に位置する果
菜類に対しても誘導することとなり、無駄な誘導
を行つて作業効率が低下する不利が生じるものと
なる。

本発明は、上記実情に鑑みてなされたものであ
つて、その目的は、画像処理手段が、作業ハンド
を誘導し得る範囲内に位置する果菜類を抽出でき
るように、撮像画像情報の明るさを適正化するこ
とにより、作業ハンドを誘導し得る範囲外に位置
する果菜類に対して作業ハンドが誘導される無駄
を防止することにある。

〔問題点を解決するための手段〕

本発明による果菜類用作業機の誘導装置の特徴
構成は、前記照光手段が、前記画像処理手段にて
抽出される果菜類が前記作業ハンドを誘導し得る
範囲内のもとなる光量で照光するように構成され
ている点にあり、その作用並びに効果は以下の通
りである。

〔作用〕

すなわち、照光手段の光量を、画像処理手段に
て抽出される果菜類が前記作業ハンドを誘導し得
る範囲内のもとなるようにすることで、作業ハン
ドを誘導できないような遠距離に位置する果菜類
に対してまで、作業ハンドが誘導されることを防
止できる。

〔発明の効果〕

従つて、照光手段を、画像処理手段が抽出する
果菜類の距離範囲が作業ハンドの誘導距離範囲内
となる光量で照光するように構成することで、作
業ハンドを誘導できない範囲の果菜類に対して作
業ハンドが誘導される無駄を防止できるに至つ
た。又、作業ハンドの誘導範囲に応じた光量で照
光させることにより、照光手段の光量を適正化で
きるので、照光手段が不必要に大型化することを
防止できる。

〔実施例〕

以下、本発明の実施例を図面に基づいて説明す
る。

第５図に示すように、左右一対の車輪１，１を
前後に備えた車体Ｖに、側面視がくの字形状のブ
ーム２を昇降並びに旋回自在に取り付けると共
に、その先端部に、水平揺動自在な補助ブーム３
を取り付け、更に、その補助ブーム３の先端部
に、作業用のマニプレータ４を上下揺動並びに旋
回自在に取り付けて、ミカン等の果実収穫用の作
業機を構成してある。尚、図中、５はブーム昇降
用の油圧シリンダ、６はブーム旋回用の電動モー
タ、７は補助ブーム揺動用の電動モータである。

前記マニプレータ４は、多関節型の伸縮アーム
８と、その先端部に取り付けた果実収穫用の作業
ハンドＨとからなり、前記伸縮アーム８を、電動
モータ９ａにて縦軸芯Ｘ周りで旋回操作され、且
つ、電動モータ９ｂにて水平軸芯Ｙ周りで揺動操
作されるように構成すると共に、伸縮用の電動モ
ータ９ｃにて伸縮操作するようにしてある。

又、第５図及び第６図に示すように、果菜類を
撮像する撮像手段としてのカラービデオカメラS₀
と、前記カラービデオカメラS₀の視野方向に向け
て設定光量で照光する照光手段としてのストロボ
発光装置Ａとを、それらの視野方向が前記作業ハ
ンドＨの方向を向く状態となるように、前記伸縮
アーム８の縦軸芯Ｘと水平軸芯Ｙとの交点部分に
格納してある。

但し、第１図に示すように、前記ストロボ発光
装置Ａの照光量を、前記伸縮アーム８をその初期
位置まで短縮した状態における前記作業ハンドＨ
の先端部が位置する箇所に果実が位置する場合
に、前記カラービデオカメラS₀の受光量が最大と
なり、且つ、前記伸縮アーム８を略直線状となる
状態まで伸長した状態における前記作業ハンドＨ
の先端部が位置する箇所に果実が位置する場合
に、後述の画像処理手段１００が果実を抽出でき
る下限の受光量となるように設定してある。つま
り、前記作業ハンドＨの初期位置L₀と最大伸長
距離L₁との間が前記作業ハンドＨを誘導し得る
距離範囲となり、そして、前記画像処理手段１０
０を、その距離範囲内に位置する果実を抽出する
ように構成してある。

前記作業ハンドＨについて説明すれば、第７図
及び第８図に示すように、平面視がＵの時状の基
枠１０を、前記伸縮アーム８の先端部に取り付け
ると共に、その基枠１０の先端部に捕捉部ケース
１１を取り付けてある。

又、軟質ゴム製のバキユームパツド１３を先端
部に外嵌着した通気管１２を、前記捕捉部ケース
１１の筒状部に対してスライド移動自在に内嵌支
持させると共に、前記通気管１２の基部に、通気
用の分岐管１４を外嵌着し、その分岐管１４に、
伸縮自在な蛇腹式ホース１５を接続してある。そ
して、第２図に示すように、前記前記蛇腹式ホー
ス１５を、吸気用ポンプ１６に配管接続してあ
る。

前記バキユームパツド１３に果実Ｆが吸着した
ことを検出するための負圧センサS₁を、前記分岐
管１４に付設すると共に、前記作業ハンドＨが果
実Ｆに対して設定距離内に接近したことを非接触
に検出する赤外光投光式の近接センサS₂を、その
検出作用部が前記バキユームパツド１３の先端部
前方を向く状態で設けてある。

前記近接センサS₂の構成について説明を加えれ
ば、投光部及び受光部等を収納するセンサ本体１
７を、前記分岐管１４内に保持させると共に、前
記センサ本体１７に対する投受光用の光を導く光
フアイバ１８を、前記通気管１２の内部を通して
前記バキユームパツド１３の内部に延出し、その
延出端を、ホルダ１９にて前記バキユームパツド
１３の開口部中心に支持させてある。

又、前記捕捉部ケース１１には、前記バキユー
ムパツド１３に吸着される状態で捕捉された果実
の果梗いわゆる柄を切断する帯板状で且つ半円弧
状に形成されたバリカン型のカツタ２０ａと前記
柄を押圧支持する帯板状で半円弧状に形成された
柄支持部材２０ｂとを、同軸芯周りで回動操作自
在に枢着した柄切断装置２０を設けてある。

前記柄切断装置２０について説明すれば、前記
カツタ２０ａと柄支持部材２０ｂとを、捕捉した
果実の柄をそれらの間に支持すべく前記捕捉部ケ
ース１１から前方に突出させる状態と、それらの
間に果実を導入する通路を形成すべく後方側に退
避させる状態とに切り換え操作できるように、差
動機構２１を介して電動モータ２２に連動連結し
てある。つまり、前記カツタ２０ａ及び柄支持部
材２０ｂの何れか一方が先に柄に接当した場合
に、その接当した一方の起立作動を停止させた状
態で他方を引き続き起立作動させることができる
ようにしてある。又、前記柄切断装置２０の起立
作動完了検出用のリミツトスイツチS₃、及び、引
退作動完了検出用のリミツトスイツチS₄の夫々
を、前記差動機構２１の入力ギヤ２３に付設の突
片２４にて操作されるように設けてある。尚、図
中、２４は前記カツタ２０ａの切断作動用エアシ
リンダ、２５は前記作業ハンドＨの誘導中に果実
Ｆを傷つけないようにするための防護用カバー、
２６はその開閉用エアシリンダ、２７は前記バキ
ユームパツド１３の出退操作用エアシリンダであ
る。

次に、前記カメラS₀による撮像画像情報に基づ
いて、果実Ｆを抽出すると共に、その位置する方
向を求める画像処理手段１００の構成について説
明する。

第２図に示すように、前記カメラS₀から出力さ
れる赤色成分の色信号Ｒと青色成分の色信号Ｂと
を減算することにより、果実Ｆの色のみに対した
画像信号を得る減算器A₁、前記減算器A₁から出
力される画像信号Ｒ−Ｂを、第１図に示すよう
に、前記作業ハンドＨの最大伸長距離L₁に対応
した明るさの閾値（Vref）に基づいて２値化す
ることにより、果実Ｆのみに対応した領域F₀を
抽出した２値化画像情報C₁、（第４図ロ参照）を
得るコンパレータA₂、前記カメラS₀から出力さ
れる明るさ情報としての輝度信号Ｙ、（第４図イ
参照）をそのグレイレベルに基づいて量子化した
濃淡画像情報C₂、（第４図ハ参照）に変換する
Ａ／Ｄ変換器A₃、前記２値化画像情報C₁と前記
濃淡画像情報C₁とを記憶するメモリＭ、及び、
前記メモリＭに記憶された画像情報に基づいて前
記領域F₀の位置する方向つまり果実Ｆの位置す
る方向を求めると共に各部の作動を制御する画像
処理用の制御部（CPU）の夫々を設けてある。

つまり、果実Ｆとその周囲にある枝や刃、ある
いは背景となる空等は、その色が果実Ｆとは異な
ることから、前記カメラS₀による撮像画像情報
C₀、第４図イ参照）から果実の色のみに対応し
た領域F₀を抽出すれば、果実Ｆのみを抽出でき
るのである。又、果実は一般的に球形であり、前
記ストロボ装置Ａによる照光により、その表面で
の反射が強くなる箇所が少なくとも果実一個に対
して各一箇所は存在することととなる。従つて、
前記抽出された領域F₀内における前記濃淡画像
情報C₁のグレイレベルに基づいて最も明るく見
えるハイライト部分P₁（第４図ニ参照）を抽出す
れば、その位置の情報を、抽出した果実Ｆの夫々
の位置する方向を示す情報として用いることがで
きることを利用して、前記制御部（CPU）にて、
前記ハイライト部分P₁の位置する方向を果実Ｆ
の位置する方向として求める処理を行うようにし
てある。但し、前記ストロボ発光装置Ａは、前記
制御部（CPU）からの指令に基づいて、前記カ
メラS₀の撮像作動に同期して発光するように制御
されることとなる。

尚、図中、２８は、前記画像処理手段１００の
検出情報に基づいて、前記作業ハンドＨを果実Ｆ
に向けて誘導すべく、前記伸縮アーム８の作動を
制御するアーム制御手段１０１を構成する制御装
置、２９は前記バキユームパツド１３の吸引作動
用の電磁弁である。

つまり、前記制御装置２８は、前記画像処理手
段１００、前記負圧センサS₁、前記近接センサ
S₂、及び、リミツトスイツチS₃，S₄夫々の検出情
報や予め記憶設定された各種情報に基づいて、前
記昇降用シリンダ６、バキユームパツド１３、前
記作業ハンドＨを作動させる各エアシリンダ２
４，２５，２６や電磁弁２９、旋回並びに揺動用
の各電動モータ６，７，９ａ，９ｂ，９ｃ等の各
アクチユエータの作動を制御することにより、前
記作業ハンドＨが前記抽出された果実Ｆの位置す
る方向に向けて誘導されるように前記伸縮アーム
８を伸縮作動させると共に、果実Ｆを収穫すべく
各部の作動を制御するのである。

以下、第３図に示すフローチヤートに基づい
て、前記制御装置２８の動作を説明する。

先ず、前記伸縮アーム８を最も短縮した状態の
アプローチ開始位置に位置させた状態で、前記ス
トロボ発光装置Ａにて照光しながら，前記カメラ
S₀にて撮像処理し、前記画像処理手段１００にて
果実Ｆの位置する方向を求める。

次に、前記画像処理手段１００にて抽出された
方向つまり前記ハイライト部分P₁の位置する方
向に向けて前記作業ハンドＨを直線的に突出させ
るように、前記バキユームパツド１３を前記捕捉
部ケース１１よりも前方側に突出させた状態で、
前記近接センサS₁が作動するまで、前記伸縮アー
ム８を伸長させてアプローチを開始する。

但し、前記伸縮アーム８をその最大伸長距離で
ある前記作業ハンドＨの最大誘導距離L₁（第１図
参照）まで伸長させても前記近接センサS₁が作動
しない場合は、収穫不能と判断して、前記伸縮ア
ーム８を短縮させて、元のアプローチ開始位置ま
で戻す。

前記近接センサS₁が作動するに伴つて、前記バ
キユームパツド１３の吸引作動を開始すると共
に、前記負圧センサS₁が作動して果実の吸着を検
出するまで、前記伸縮アーム８を、前記近接セン
サS₁の作動距離に基づいて設定した設置距離をそ
のまま前方側に向けて伸長させる。但し、前記設
定距離を伸長しても、前記負圧センサS₁が作動し
ない場合は、捕捉失敗と判断して、前記バキユー
ムパツド１３の吸引作動を停止すると共に、前記
伸縮アーム８を短縮させて元のアプローチ開始位
置まで戻す。

前記負圧センサS₁が作動するに伴つて、前記伸
縮アーム８の伸長を一旦停止した後、前記バキユ
ームパツド１３に吸着され果実Ｆが前記柄切断装
置２０の作動範囲に取り込まれるように、前記バ
キユームパツド１３を伸縮アーム８側に後退させ
ながら、前記伸縮アーム８を更に前方側に低速移
動させて停止させる。

そして、前記リミツトスイツチS₃による検出情
報に基づいて、前記カツタ２０ａ及び柄支持部材
２０ｂをハンド前方側に向けて起立作動させて柄
をそれらの間に支持させる。

但し、前記リミツトスイツチS₃が作動しない場
合は収穫不能と判断して、前記柄切断装置２０を
伸縮アーム８側に倒伏させた後、前記バキユーム
パツド１３を捕捉部ケース１１の前方側に突出さ
せて、吸引作動を停止して、前記伸縮アーム８を
アプローチ開始位置まで戻すこととなる。

起立作動が終了するに伴つて、前記バキユーム
パツド１３の吸引作動を停止して、前記伸縮アー
ム８を果実Ｆに対して手前下方側に設定距離を後
退させることにより、前記果実Ｆの柄が短くなる
ように、柄に対する柄切断装置２０の位置を補正
した後、前記カツタ２０ａを作動させて柄を切断
する。

柄を切断した後は、前記バキユームパツド１３
の吸引作動を再開して、柄を切断された果実Ｆが
前記バキユームパツド１３に吸着保持される状態
を維持しながら、前記柄切断装置２０を倒伏さ
せ、前記伸縮アーム８を短縮して元のアプローチ
開始位置まで作業ハンドＨを戻す。

前記作業ハンドＨをアプローチ開始位置まで戻
した後に、前記バキユームパツド１３を、前記捕
捉部ケース１１よりも前方側に突出させることに
より、収穫した果実Ｆを排出して一つの果実Ｆに
対する収穫作動を終了する。

一つの果実Ｆに対する収穫作動を終了した後
は、例えば、前記アプローチ開始位置において、
抽出された果実Ｆの個数やその位置等に基づい
て、収穫すべき果実があるか否かを判別させるこ
とにより、作業を終了させるか否かを判別し、収
穫する果実がある場合は、上述した処理を繰り返
すこととなる。

〔別実施例〕

上記実施例では、画像処理手段１００を、果実
Ｆの色に基づいて抽出し、且つ、果実Ｆの位置す
る方向を、果実Ｆの色に基づいて抽出した領域
F₀内において最も明るく見えるハイライト部分
P₁の位置する方向として求めるように構成した
場合を例示したが、例えば、果実Ｆの形状を特徴
として抽出したり、抽出した領域F₀の重心等の
幾何学的特徴点を、位置する方向として用いるよ
うにしてもよく、画像処理手段１００の具体構成
は各種変更できる。

又、上記実施例では、撮像手段としてもカラー
ビデオカメラS₀及び照光手段としてのストロボ発
光装置Ａを、伸縮アーム８の基端部側に設けた場
合を例示したが、例えば、前記作業ハンドＨに設
ける等、具体構成は各種変更できる。

又、上記実施例では、伸縮アーム８を多関節型
のアームに構成した場合を例示したが、具体構成
は各種変更できる。

又、上記実施例では、本発明を、果実の収穫用
作業機に適用した場合を例示したが、トマト等の
野菜の収穫等、各種の作業にも適用できるもので
あつて、作業ハンドＨの具体構成、作業ハンドＨ
を誘導するための具体構成等、各部の構成は、作
業対象や作業形態に応じて各種変更できる。

尚、特許請求の範囲の項に図面との対照を便利
にするために符号を記すが、該記入により本発明
は添付図面の構造に限定されるものではない。

【図面の簡単な説明】

図面は本発明に係る果菜類用作業機の誘導装置
の実施例を示し、第１図は照光手段の光量と作業
ハンドの誘導距離との関係を示す図面、第２図は
画像処理手段並びにアーム制御手段の構成を示す
ブロツク図、第３図は制御装置の動作を示すフロ
ーチヤート、第４図イ〜ニは画像処理の説明図、
第５図は果菜類用作業機の全体側面図、第６図は
撮像手段及び照光手段の取り付け状態を示す伸縮
アームの概略正面図、第７図は作業ハンドの切り
欠平面図、第８図は同切り欠側面図である。 S₀……撮像手段、Ａ……照光手段、Ｈ……作業
ハンド、８……伸縮アーム、１００……画像処理
手段、１０１……アーム制御手段。

Claims (1)

【特許請求の範囲】
1. １ 果菜類を撮像する撮像手段S₀、その撮像手段
   S₀の撮像画像情報に基づいて果菜類を抽出すると
   共にその果菜類の位置する方向を求める画像処理
   手段１００、及び、前記撮像手段S₀の撮像時に撮
   像視野方向に向けて照光する照光手段Ａの夫々が
   設けられると共に、伸縮アーム８に付設した作業
   ハンドＨを前記抽出した果菜類の位置する方向に
   向けて誘導すべく、前記画像処理手段１００の情
   報に基づいて前記伸縮アーム８を作動させるアー
   ム制御手段１０１が設けられた果菜類用作業機の
   誘導装置であつて、前記照光手段Ａが、前記画像
   処理手段１００にて抽出される果菜類が前記作業
   ハンドＨを誘導し得る範囲内のものとなる光量で
   照光するように構成されている果菜類用作業機の
   誘導装置。