JPH02234608A - 果菜物収穫機 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） この発明は、自動操向すると共に果菜物を撮像し画像処
理によりその位置を検出して収穫する果菜物収穫機に関
する。

（従来の技術〕 果菜物収穫機である果実の収穫ロボッ１−においては、
通常２台のビデオカメラを用い、これらにより果実を撮
像し、例えば２つの画面の対応点を視野の中心となるよ
うにビデオカメラを動かし、そのときの２台のビデオカ
メラの方向により三角測量の原理を用いて収穫対象の果
実の位置を認識している。

〔発明が解決しようとする課題〕

このような収穫ロポットを自動操向させる場合、果樹園
内にワイヤーロープ等のガイドラインを設け、それに倣
って自動操向させる、又はカラービデオカメラ等の撮像
手段により撮像情報を画像処理することにより風景．樹
木等の特徴を抽出してそれをもとに自動操向させる等が
考えられる。

ガイドラインを設ける方法は、それを設けるのに長時間
を要し、その作業が煩わしくあまり実用的ではない。ま
た画像処理による方法は、カラービデオカメラは高価で
あり、収穫用に２台使用したうえ、さらに自動操向用に
１台使用した場合、収穫ロボットが高価となるという問
題があった。

この発明は斯かる事情に鑑みてなされたものであり、果
実位置検出用のカラービデオカメラと自動操向用カラー
ビデオカメラとを兼用化し、その設置台数を減らすこと
により、全体コストを低減させた果菜物収穫機を提供す
ることである。

〔課題を解決するための手段〕

この発明に係る果菜物収穫機は、収穫対象の果菜物が植
えられた作業場内を自動操向すると共に、撮像手段によ
り前記果菜物を撮像してその位置を検出し、収穫する果
菜物収穫機であって、自動操向時、前記撮像手段を車体
前方の作業場内の風景を撮像すべく制御する撮像制御手
段と、該撮像制御手段により制御された撮像手段にて撮
像された前記作業場内の風景の画像を２値化して画像処
理する手段と、画像処理された風景の特徴に基づき操向
制御する手段とを備えることを特徴とする。

〔作用〕

この発明によれば、果菜物の位置を検出するための撮像
手段を自動操向に用いて、車体前方の作業場内の風景を
撮像すべく制御し、その画像を２値化し、撮像された風
景の特徴に基づき操向制御される。

〔実施例〕

以下、この発明をその一実施例を示す図面に基づいて説
明する。第１図はこの発明に係る果菜物収穫機である果
実収穫ロボットの外観を示す斜視図である。

図において１は後述する収穫用マニピュレーク６を搭載
した車体であり、該車体１は２つの駆動輪２及び１つの
操向輪３により自動操向されている。操向輪３にはその
操舵角を検出する舵角センサ１９が取付けられており、
自動操同時の目標操舵角とのずれ量の検出に用いられる
。また操舵用の操向モータ１８が設けられており、それ
により左右に操舵される。

車体１の中央上部にはマニピュレータ６が載置されてい
る。マニピュレータ６は５軸の多間接型ロポットを用い
てなり、そのアーム先端部には果実１０を捕捉するため
のハンド７が取付けられている。ハンド７はサーボモー
夕を用いたハンドアクチヱエータ１７により開閉自在な
収穫部８を有しており、その把握力はその内側に設けた
圧カセンサｌ５にて検出され、それが所定値となるよう
に制御される。また同じく内側の接触部には対向した一
対のゲル状導電物質からなる熟度センサ２０が設けられ
ている。そして果実１０を捕捉した後導電物質の一方６
。．コ電し、他方への通電量を測定することにより果実
１０の糖度を検出し、収穫部８にて収穫する果実の熟度
を知ることができる。

またハンド７の位置及び方向はマニビュレータ６の各軸
を動かすロボットアクチュエータ１６を構成する５台の
サーボモータに取付けられた各ロークリエンコーダの検
出値に基づきハンド姿勢検出部１２により検出される。

即ちマニピュレータ６の旋回部、肩部及び財部の３台の
モータのロークリエンコーダの検出値によりハンド７の
位置を求め、さらに手首部の旋回及び傾動の２台のモー
タのロータリエンコーダによりハンド７の方向を求める
。

車体１のマニピュレータ６を挟んだ前後部には撮像手段
である２台のカラービデオカメラ（以下カメラという）
　ｌｌｆ，Ｉ１ｒが夫々傾動及び旋回自在に取付けられ
ている。この傾動及び旋回はロータリエンコーダ付の２
台のモータからなる夫々のカメラアクチュエータ１３ｆ
　，　１３ｒにより行われている。

そして夫々のカメラＩｌｆ，ｌｌｒの撮像方向は前述の
２ヶのロークリアクチュエー夕により検出される。

また作業地である果樹園内にはリンゴの木が碁盤目状に
所定間隔で規則正しく植えられており、その周囲には走
行案内用のマークが前記間隔で設けられている。マーク
は周囲の環境との識別が可能となるように−、例えは黒
地には白丸等を描いたものを作業場内に向けて植設され
てなり、操向制御はそれを撮像し画像処理することによ
り行われる。

従って、果樹園内を自動操向する場合は、前部のカメラ
ｌｌｆにてマークを撮像し、それに基づき目標操舵角を
定め、舵角センサ３１で検出された操舵角とを比較して
必要操舵量が求められ、それにより操向制御される。な
おこのとき後部のカメラ１１ｒは車体１の進行方向と交
差する方向を撮像しており、それにより目標となるリン
ゴの木を検出する。

第２図は果実収穫ロボッ１・の制御部の構成を示すブロ
ック図、第３図は画像処理部の構成を示すブロック図で
ある。

制御部は夫々マイクロプロセッサを用いてなる操向制御
を行う操自制御部４とマニビュレー夕の制御を行う収穫
制御部５とからなり、操向制御部４の入力端子には舵角
センサ１９からの操舵角信号及び後述する画像処理部６
０からの目標操舵角が人力される。そしてそれらにより
操向モータ１８への操向指示量が送出される。

画像処理部６０は１６ビットのマイクロプロセッサを用
いてなり、第３図に示す如く前後部のカメラ１１ｆ，ｌ
ｌｒからのＮＴＳＣ方式のビデオ信号が与えられる。与
えられた夫々のビデオ信号はＮＴＳＣデコーダからなる
各別のカメラ信号変換部６０１ｆ，６０ｂに与えられ、
ＮＴＳＣ方式のビデオ信号が赤，緑，青の各色信号Ｒ，
Ｇ，Ｂに分離される。分離された各色信号Ｒ，Ｇ，Ｂは
２地化演算部６０２に与えられ、自動操向制御と収穫制
御との各制御モードに応して所定の２値化がなされる。

前記制御モートは撮像制御部５０からの制御モード信号
により選択され、その切換は手動又は自動により切換え
られる。

２値化演算部６０２では例えば自動操向のときは、前記
カメラｌｌｆからの撮像画像は、マークの白を検出でき
るように各色信号Ｒ，Ｇ，Ｂが共に所定の闇値より高い
ところで２値化し、後部のカメラｌｂからの撮像画像は
リンゴの木の葉の緑を検出できるように緑色信号Ｇが所
定の闇値より高く、残りの２色の色信号Ｒ，Ｂが低いと
ころを２値化する。

また収穫制御のときは、共にリンゴの赤を検出できるよ
うに、赤色信号Ｒが所定の闇値より高いところを２値化
する。２値化された画素は次の画素抽出部６０３に与え
られ、そこで所定のマスク処理が施され、その後自動操
向時は目標操舵角演算部６０４に与えられる。目標操舵
角演算部６０４ではカラービデオカメラＩｌｆからの抽
出されたマークを示す画素の数及びその重心の画面の中
心からの偏差によりマークまでの距離及び方向を算出し
、それに基づき目標操舵角を操向制御部４に出力ずる。

また収穫制御時に抽出された画素は面積算出部６０５及
び形状比較部６０７に与えられる。そして面積算出部６
０５では画素数により果実１０の面積を算出し、それに
基づき次の重心検出部６０６でその重心が検出され、そ
の重心位置が収穫制御部５に与えられる。一方形状比較
部６０７では予め定められた所定のバクーンとのパター
ン照合が行われ、収穫する果実】Ｏの形状比較を行い、
比較結果と面積算出部６０５からの面積信号とが等級判
定部６０８に与えられ、その果実の等級が判別され、そ
の等級信号が収穫制御部５に与えられる。

撮像制御部５０は前述した制御モード信号を画像処理部
６０に出力すると共に、カメラＩｌｆ，Ｉｌｒに撮像動
作の制御信号を出力し、撮像のオンオフ等の制御を行っ
ている。また制御モード信号は収穫制御部５にも与えら
れ、カメラアクチュエーク＋３ｆ１３ｒの制御に用いら
れている。

収穫制御部５の人力端子には、その他カメラ方向検出部
１４ｆ，１４ｒからの方向、ハンド姿勢検出部１２から
のハンド７の位置及び方向、熟度センサ２０からの果実
１０の熟度及び圧カセンザ１５からの把握力が人力され
ている。

また出力端子からは、カメラアクチュエータ１３ｆ１３
ｒ１　ロボットアクチュエータ１６及びハントアクチュ
エータｌ７への夫ｈの制御信号が出力されている。

次にこのように構成された果実収穫ロボットの動作につ
いて説明する。

第４図（ａ），　（ｂＬ　（Ｃ）は制御部の動作を示す
フローチャートである。

作業開始時、果実収穫ロボットは果樹園内の所定のスタ
ート位置に手動操作にて誘導される。そこで作業者によ
り図示しない自動制御ボタンが押されると（ステップ１
）、自動操向制御が開始する（ステップ２）。撮像制御
部５０ではそれを検出すると、２値化演算部６０２及び
収穫制御部５に自動操向を示す制御モード信号を出力す
る（ステップ３）。収穫制御部５では制御モード信号が
入力されると前部のカメラｌｌｆを車体１の水平方向前
方のマークを撮像できるようにカメラアクチュエーク１
３ｆを動作させて固定すると共に、後部のカメラｌｌｒ
を右側上方に向けてリンゴの葉を撮像できるようにカメ
ラアクチュエータ１３ｒを動作させて固定する（ステッ
プ４）。

そして前後部のカメラ１１ｆ．１１ｒにて車体１前方及
び側方を撮像し（ステップ５）、カメラ信号変換部６０
１ｆ　，　６０１ｒからの変換された各色信号Ｒ，Ｇ，
Ｂを撮像制御部により制御し時分割で２値化演算部６０
２に入力する（ステップ６）。

次に前部カメラｌｌｆからの色信号Ｒ，Ｇ，Ｂか否かを
判定され（ステップ７）、前部カメラｌｌｆからの場合
、白を抽出するように各色信号共が夫々所定の闇値より
大きい画素を抽出し２値化する（ステップ８）。次に所
定のマスク処理により雑音成分を除去し（ステップ９）
、抽出された画素数及びその中心位置を演算し（ステッ
プ１０）、それに基づきマークとの距離及び方向を求め
、目標操舵角を算出する　（ステップ１１）。

また後部のカメラＩｌｒからの場合、緑を抽出するよう
に緑色信号Ｇが所定闇値より高く、他が低い画素を抽出
し、２値化し（ステップ１２）、同様にマスク処理が施
され（ステップ１３）、雑音が除去され、緑の画素数が
算出される（ステップ１４）。

次にステップ１５で緑の画素数が所定値Ｎ．より多いか
否かを判定され、多い場合は木の前を通過中であると判
定し、車体ｌは停止する（ステップ１６）。また少ない
場合はステップ５に戻る。

次に制御モードが操向モードから収穫モードに移る（ス
テップ１７）。そしてカメラｌｌｆ，ｌｌｒをカメラア
クチュエータ１３ｆ　，　１３ｒにより収穫時の初期位
置に動かす（ステップ１８）。そして撮像し（ステップ
Ｉ９）、赤を抽出する２値化を行う（ステンプ２０）。

即ち赤色信号Ｒが所定の闇値より高く、緑色及び青色信
号Ｇ，　Ｂが低い画素を抽出して２値化する。そしてマ
スク処理により雑音成分を除ｌ１ 去し（ステップ２１）、抽出された画素数を計数する（
ステップ２２）。そして画素数が所定値Ｎｒより多いか
否かが判定され（ステップ２３）、大きい場合はその画
素に基づき面積が算出され（ステップ２４）、それに基
づき画面内の重心位置が算出され（ステップ２５）、重
心位置と視野中心とのずれ量が算出される　（ステップ
２６）。

一方ステップ２３で画素数が少ない場合、画素数が略Ｏ
か否かが判定され（ステップ２７）、略０のときはその
木の果実１０を全て収穫したと判定し、収穫を終了し（
ステップ２８）、次に果樹園内の収穫対象の最終の木か
否かが判定され（ステップ２９）、最終の木の場合は制
御を終了し、そうでない場合はステップ２に戻る。また
ステップ２７で略０でないと判定された場合はカメラア
クチュエータ１３ｆ，１３ｒを所定量駆動し（ステップ
３０）、カメラｌｌｆ，１１ｒを移動させてステップ１
９から繰り返す。

ステップ２６でずれ量が算出されると、ずれ量に基づき
カメラアクチュエータ１３ｆ．１３ｒが夫々駆動され（
ステップ３１）、重心位置が視野中心に一致したか否か
が判定され（ステップ３２）、視野中心に一致しないと
きは、ステップ１９に戻り、一致したときは、果実１０
の位置を、カメラアクチュエータ１３ｆ　，　１３ｒの
夫々２個のロークリアクチェエー夕からの傾動角及び旋
回角に基づき算出されたカメラ方向検出部１４ｆ，１４
ｒからのカメラ方向により算出する（ステップ３３）。

そして画像処理部６０で形状比較（ステップ３４）及び
等級判定（ステップ３５）がなされ、検出された果実１
０の位置によりハンド７から果実１０への距離及び方向
が求められ、それにより、マニピュレータ６のロボット
アクチュエータ１６が駆動され（ステップ３６）、ハン
ド７が果実１０に接近する。そしてステップ３７でハン
ド７の収穫部８に設けた図示しないセンサによりハンド
７が果実１０を捕捉できる位置まで接近したことを検出
するとハンド７の収穫部８が閉じ（ステップ３８）、果
実１０を捕捉する。接近していない場合はステップ３６
に戻る。

そして熟度センサ２０により熟度が判定され（ステップ
３９）、熟度及び等級が所定以上の水準の場合（ステッ
プ４０）、ハンド７の収穫部８による収穫が行われ（ス
テンブ４１）、マニピュレータ６を原点に復帰させ、さ
らに等級に応じた収穫箱に果実１０を入れ（ステップ４
３）、ステップｌ９に戻る。

また水準以下の場合ハンド７の収穫部８は開き、マニビ
ュレータ６は原点に復帰すると共にカメラアクチュエー
タ］．３ｆ，１３ｒは所定量駆動され、次の果実１０を
撮像すべくステップ１９に戻る。

このようにしてこの発明ではカメラを操向制御と収穫制
御との双方に兼用化して用いているのでカメラ台数を増
加せずにすみ、コストダウンに寄与する。

また形状比較により果実を選別できると共に熟度センサ
により熟度を判定でき、効率的な収穫作業が行える。

なおこの実施例ではカメラを２台設けたが、これは１台
でもよく、この場合ステップ光投光手段をハンド部に取
付け、ステップ光を果実の重心に照射してそれを視野中
心で撮像するように制御して果実の位置を求め、それに
より収穫し、そのカメラを操向制御に用いてもよいこと
は言うまでもない。

〔効果〕

以上説明したとおり、この発明によれば撮像手段を操向
制御と収穫制御とで兼用化したので、撮像手段の台数を
減らすことができ、装置の価格の低減を可能とする等優
れた効果を奏する。

【図面の簡単な説明】

第１図はこの発明に係る果菜物収穫機の外観斜視図、第
２図は制御部の構成を示すブロック図、第３図は画像処
理部の構成を示すブロック図、第４図（ａ）．　（ｂ）
．　（ｃ）は制御動作を示すフローチャ−１・である。 １・・・車体　２・・・操向輪　１０・・・果実　１１
ｆ．　ｌｌｒ・カラービデオカメラ　４・・・操向制御
部　５・・・収穫制御部　５０・・・撮像制御部　６０
・・・画像処理部代理人　弁理士　　河　野　登　夫 図（Ｃ）

Claims (1)

1. 【特許請求の範囲】 １、収穫対象の果菜物が植えられた作業場内を自動操向
   すると共に、撮像手段により前記果菜物を撮像してその
   位置を検出し、収穫する果菜物収穫機であって、 自動操向時、前記撮像手段を車体前方の作 業場内の風景を撮像すべく制御する撮像制御手段と、 該撮像制御手段により制御された撮像手段 にて撮像された前記作業場内の風景の画像を２値化して
   画像処理する手段と、 画像処理された風景の特徴に基づき操向制 御する手段と を備えることを特徴とする果菜物収穫機。