JP3757279B2

JP3757279B2 - 果菜類の選択収穫方法及び装置

Info

Publication number: JP3757279B2
Application number: JP2002349712A
Authority: JP
Inventors: 茂彦林; 勝宣雁野; 秀仁黒崎; 真人河野
Original assignee: 独立行政法人農業・生物系特定産業技術研究機構
Priority date: 2002-12-02
Filing date: 2002-12-02
Publication date: 2006-03-22
Anticipated expiration: 2022-12-02
Also published as: JP2004180554A

Description

【０００１】
【発明の属する技術分野】
本発明は、ナス、キュウリ、ピーマン、イチゴなど収穫適期と収穫適期前の果実が混在する中から収穫適期の果実を選択し、収穫対象となる果実に接近し、果実部分に接触することなく果柄を切断して採果することにより、栽培施設において効率的に自動収穫する方法及び装置に関する。
【０００２】
【従来の技術】
従来はナスやキュウリの収穫は手作業で行われ、収穫適期果実と適期前の果実が混在する中から、収穫適期の果実を選択して収穫している。
近年、キュウリ等の自動収穫に関し、その方法や装置が提案されている（例えば、特許文献１，特許文献２等参照）。この先行技術においては、果実部分を挟持し収穫を行うことを基本としているため、果実に損傷を与える可能性がある。また切断位置の決定はマニピュレータ先端が果実に接近した状態で行っているため、接近工数が掛かる。
【０００３】
また、ナスの自動収穫に関する方法や装置も提案されている（例えば、特許文献３参照）。この先行技術においては、上記キュウリ等の自動収穫の場合と同様に、果実部を把持して摘み取る機構であり、エンドエフェクタが果実に接触する距離まで接近した状態で収穫適否の判定を行うことから収穫工数が掛かる。さらに、施設内の自然光下における移動機構と組み合わせた収穫方法は示されていない。そのため、収穫装置を栽培施設で効率利用するには課題が残されている。
【０００４】
【特許文献１】
特許第３０１８５８１号公報
【特許文献２】
特開平８−５６４５９号公報
【特許文献３】
特許第３０５４７０６号公報
【０００５】
【発明が解決しようとする課題】
したがって、果菜類の自動収穫は実現されず、収穫作業は依然として手作業で行われ、長時間労働が強いられている。また、品質の低下を防ぐため早朝に収穫作業が行われ、果皮に傷つけないように丁寧に採果されている。
本発明は、上記のような問題点、課題を解決するためになされたもので、ナス等の果菜類が栽培されている施設内において、畝間を移動走行しながら、収穫適否の判定工程を低減し、収穫適期果実を損傷なく選択的に収穫する方法と装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、上記目的を達成するために、
Ａ．マニピュレータ先端に取り付けたカメラで撮影した果菜類の全体画像を解析し、画面内にある果実の方向を計算した結果から、上下左右及び前後移動、垂直及び水平旋回が可能なマニピュレータを制御し、該マニピュレータ先端を果実方向に向け接近させた後、前記カメラにより再度撮影した画像データとマニピュレータ先端から果実までの距離データを融合させて果実の大きさ判定と果柄の位置検出を行い、採果ハサミを果柄に接近させて果柄を切断するとともに、採果ハサミの下側に取り付けた果柄挟持用下刃で果柄を把持し果実部分に接触することなく採果し、この動作を走行車両の両側の果実に対して繰り返すとともに順次移動走行することにより、栽培施設内の収穫適期果実を選択的に収穫することを特徴とする果菜類の選択収穫方法である。
【０００７】
Ｂ．左右の畝の果実に先端が届くように走行車両の左右中央に設置され、上下左右及び前後移動と垂直及び水平旋回が可能なマニピュレータと、該マニピュレータ先端に取り付けたカメラと、果実までの距離を測定する距離センサと、撮影画像を解析し果実位置と果柄位置を計算する画像装置と、前記計算の結果を基に前記マニピュレータの移動位置を決定するコンピュータと、該コンピュータの計算結果に基づき、前記マニピュレータを駆動するコントローラと、前記コンピュータからのデジタル信号により開閉し果柄挟持用下刃を有する採果ハサミとを備え、前記カメラで撮影した果菜類の全体画像を前記画像装置で解析し、画面内にある果実の方向を計算した前記コンピュータの結果から、前記コントローラによって前記マニピュレータを制御して、該マニピュレータ先端を果実方向に向け接近させ、前記コンピュータは、前記カメラにより再度撮影した画像データと前記マニピュレータ先端から果実までの距離データを融合させて果実の大きさ判定と果柄の位置検出を行い、前記採果ハサミを果柄に接近させて果柄を切断するともに、前記果柄挟持用下刃で果柄を把持する信号を出力することを特徴とする果菜類の選択収穫装置である。
【０００８】
【作用】
上記手段、構成により、施設内に栽培された果菜類のうち収穫適期の果実のみを自動収穫するときに、マニピュレータ先端に取り付けたカメラで一定領域内の画像を撮影し、コンピュータで解析し、検出した果実の方向にマニピュレータ先端を向け接近し、前記カメラで再度撮影した画像データと距離データを融合させて果実の大きさを推定するため、マニピュレータが果実に接触する位置まで接近する前に収穫適期果実を自動で判定できる。また、このセンシングにより果柄位置、つまり採果ハサミを挿入する位置が決定されことから、収穫作業工程を低減することができる。さらに、採果ハサミが果柄を切断した後、採果ハサミの開閉に連動して動作する果柄挟持用下刃により果実を把持したまま収穫箱に搬送するため、エンドエフェクタ部は果皮に接触することなく果実への損傷を防止できる。
また、走行車両により栽培施設内の任意の位置に移動できることから、茎葉に隠れて正面位置からでは検出できない果実に対しても、走行車両の位置を変更することにより、収穫適否判定と収穫動作が可能となり、効率的な収穫作業が実現する。
【０００９】
【発明の実施の形態】
以下、ナス収穫に適応したときの本発明の一実施の形態を、図面を参照にして具体的に説明する。
本発明に係る果菜類の選択収穫装置１は、図１及び図２に示すように、走行車両２、制御部３、視覚部４、マニピュレータ部５、エンドエフェクタ部６等から構成されている。
走行車両２は、制御部３からのデジタル信号によりバッテリ等からの電源で走行車両モータ２ａを駆動させ、施設内に敷設された配管パイプ７上を移動する。移動距離は走行車両ロータリエンコーダ２ｂで検出され、任意の位置で走行車両２を停止させることが可能である。また、走行軌道内に障害物がある場合には、リミットスイッチＡ２ｃまたはリミットスイッチＢ２ｄが作動し、走行車両２は自動で停止する。
【００１０】
制御部３は、コンピュータ３ａと、超音波距離センサ６ａの出力値を変換するＡＤ／ＤＡ変換ボード３ｂと、採果ハサミ６ｂ及び走行車両２を制御するデジタルＩ／Ｏボード３ｃと、走行車両２の移動距離を検出するためのエンコーダカウンタボード３ｄと、からなる。コンピュータ３ａは走行車両２の後方に設置され、その中にＡＤ／ＤＡ変換ボード３ｂ、デジタルＩ／Ｏボード３ｃ及びエンコーダカウンタボード３ｄが挿入されている。
【００１１】
視覚部４にはＣＣＤカラーカメラ４ａを採用し、マニピュレータ５ａ先端に取り付けられている。また、画像処理ボード４ｂを設けている。
マニピュレータ部５は、コンピュータ３ａとの通信を行うマニピュレータコントローラ５ｂと、その通信情報を基に作動し収穫動作を行うマニピュレータ６ａと、からなる。マニピュレータコントローラ５ｂは走行車両２の後方でコンピュータ３ａに隣接して設置しているが、コンピュータ３ａやマニピュレータコントローラ５ｂをマニピュレータ５ａの下部に収納させる構造としても良い。マニピュレータ５ａは両側の果実を収穫できるように走行車両２の左右方向の中央に設置している。
【００１２】
エンドエフェクタ部６は、図３にも示すように、コンピュータ３ａからの信号により開閉する電動開閉ハンド６ｃと、電動開閉ハンド６ｃの往復動作によりナスの果柄を切断する採果ハサミ６ｂと、採果ハサミ６ｂの下側に取り付けられ、採果ハサミ６ｂの動作に伴い開閉し果柄を挟持する果柄挟持用下刃６ｄと、マニピュレータ５ａが果実に接近する際に果実までの距離を測定する超音波距離センサ６ａと、から構成され、マニピュレータ５ａ先端に取り付けられている。
【００１３】
以下、上記構成の果菜類の選択収穫装置１の動作について説明する。
図４及び図５に示すように、走行車両２は、走査原点を出発して、マニピュレータ５ａ先端が左右両側の下段、中段、上段の位置でナス画像を走査し収穫処理を行い、両側の株の収穫が終了すると株間距離だけ移動し、次のナスの株の手前で停止する。この自動収穫動作を繰り返し、目的とする範囲の収穫が終了すると走査原点に復帰する。
【００１４】
選択収穫装置１は、図６に示すように、ナスが栽培された畝間の通路中央を移動し、通路側に傾いた主茎の節から伸びる結果枝に着果した果実にマニピュレータ５ａ先端を到達させることができる。また、マニピュレータ５ａは走行車両２の左右方向の中央に設置し、配管パイプ７を通路中央に敷設することにより、１回の走行で両側の果実の収穫が可能である。下段または中段から収穫する場合には、カメラ４ａの仰角方向にある葉裏果実の検出が容易である。さらに、ナスの株の正面から果実を検出できなかった場合でも、走行機能によりカメラ４ａ視点を走行車両２の前後方向に移動させることができるため、果実の検出率が向上する。
【００１５】
走行車両２がナスの株の正面で停止し、マニピュレータ５ａ先端を下段、中段または上段の初期位置に移した後の果実への接近と採果動作を図７を用いて詳しく説明する。初期位置でナス画像をＣＣＤカラーカメラ４ａにより撮影し画像処理を行う。この画像処理の方法については後述する。画像処理により図８のような検出結果を得て、画面の中心位置からの変位を基に果実方向を決定する。そして左上から右下の順で検出果実に接近し、収穫処理を行う。収穫順序はカメラ４ａから近い順、つまり画面中央に近い順としても良い。マニピュレータ５ａ先端を最初の果実方向に旋回、前進させ、超音波距離センサ６ａで果実までの距離を測定する。
【００１６】
さらに後述する画像処理、マニピュレータ５ａ先端の旋回と前後進を繰り返すことにより果実が画面に納まる範囲でいっぱいになるまで接近する。この位置で再度画像処理を行い、果実長を基に収穫適否を判定する。イチゴなどの場合では、果実部分の赤色度合いにより収穫適否を判定する。適期果実ならば、果実基部の方向にマニピュレータ５ａ先端を旋回及び前進させ、図９のように採果ハサミ６ｂで果柄を挟む。コンピュータ３ａからのデジタル信号で電動開閉ハンド６ｃを閉じ、採果ハサミ６ｂで果柄を切断する。この動作と同時に果柄挟持用下刃６ｄが閉じ、果柄は切断されても下刃６ｄにより把持させるため、果実は落下しない。ナスの果柄は強靱であるため切断のとき後方に逃げるが、図１０のように採果ハサミ６ｂが閉じるとともに支点が前方に移動すること、マニピュレータ５ａ先端を前方に制御すること、により果柄の逃げを押さえ切断できる。最後に採果した果実を収穫箱８に入れる。この一連の動作を初期位置で検出した果実がなくなるまで続ける。この収穫方法では、採果から収穫箱８への搬送までの工程において果実に接触しないため果実品質の向上が見込める。特にイチゴなどでは、果実の接触による品質の低下が起こりやすいため、果柄を挟持して運搬するメリットが大きい。
【００１７】
次にマニピュレータ５ａ先端の初期位置及び果実への接近途中での画像処理手法について図１１を用いて詳しく説明する。
ＣＣＤカラーカメラ４ａで撮影したカラー画像のＧ画像（緑成分）からＢ画像（青成分）を減算し、２値化することにより緑以外の部分を抽出する。Ｇ画像を２値化することにより背景以外の暗い部分を抽出し、緑以外の部分と背景以外の部分との論理積の画像を求める。得られた画像に対し、膨張、収縮及び穴埋め処理を行い、図１２のような果柄を含む黒紫色の果実部分を抽出する。イチゴなどの場合、Ｒ画像（赤成分）とＧ画像（緑成分）の比などにより果実部分を抽出する。そして、果柄径に相当する画像上での画素数だけ水平方向に収縮、膨張処理を行うことにより、果実基部より上側の部分を除去し果実部のみを抽出する。さらに、画像上での収穫適期果実の最低果実長に相当する画素数だけ垂直方向に収縮、膨張処理を行うことにより、収穫適期前の短い果実を除去する。
【００１８】
次に、マニピュレータ５ａ先端が初期位置の場合は、画面上に数個の収穫適期果実が存在する可能性があるので、果実数とそれぞれの面積、重心位置を計算する。一方、マニピュレータ５ａ先端が収穫目的果実に接近した場合は、最大面積の果実のみを対象に計算を行い、重心位置、最大長、最大幅及び果実基部位置を計算する。ナスやキュウリの場合の収穫適否の判定は、図１２に示す最大長から推定した果実長を基に行うが、丸形のナス品種やピーマンなどでは果実長と果実幅を組み合わせた判定も可能である。
【００１９】
本発明による果菜類の選択収穫装置１の動作試験を実施した結果について説明する。施設内の畝方向距離４．０ｍ、高さ１．７ｍ、両側２０株の領域を対象に、画像走査試験を２回、収穫動作試験を４回行った。
初期位置で撮影した画像に対し、果実検出の画像処理を施した結果を図１３に示す。自然光下の施設内においても、通路側から目視できる果実の内５９．６〜８３．３％（全体平均６９．３％）を自動で検出でき、隣接する株の果実も２５．０〜６３．９％（全体平均４０．９％）で検出することができた。ただし、正面及び左右方向から見ても果実が茎葉に隠れている場合には果実を検出できなかった。
【００２０】
選択収穫装置１による試験結果を図１４に示す。収穫成功割合は茎葉の剪定の仕方に影響され、１２．８〜４６．７％（全体平均２９．１％）であった。収穫適期前果実の誤収穫は０．０〜８．０％（全体平均３．５％）であった。なお、収穫に成功した果実に対しては、果皮への損傷は見られなかった。切断した果柄部の径が果柄挟持用下刃６ｄの隙間より小さいため収穫箱８への搬送工程で落下する果実が０．０〜１０．６％（全体平均７．６％）あった。収穫ミスの主な原因は、果実が茎葉に隠れることから生じる画像処理による果実検出ミスであった。
【００２１】
選択収穫装置１の動作時間については、設定した領域の画像走査に必要な時間は３１２〜３１９秒であった。また、収穫処理時間は９６５〜３１５７秒で、収穫適期の果実数と収穫処理時間の関係は図１５のように、果実数の増加に伴い処理時間も比例して増加した。原点復帰を含めた収穫作業能率は４．５６〜１４．９２ｍ／ｈ（全体平均６．９８ｍ／ｈ）であった。時間あたりの収穫果実数は９．１〜２６．２果／ｈ（全体平均２０．５果／ｈ）であった。なお、収穫に成功した果実の収穫処理のみに必要な動作時間は全体平均で４３．２秒／果であった。
【００２２】
次に果実の収穫状態については、図１６に示すように果実基部から２５．６〜２８．６ｍｍ上側で切断され、切断径は５．９〜６．３ｍｍであった。果柄に挟持の際の圧痕が残るが、採果及び運搬工程で果実を把持しないため果皮への損傷は見られなかった。途中落下した果実の切断位置は図１７に示すように基部から１６．０〜３４．０ｍｍ上側とばらつき、切断面の直径は３．５〜４．０ｍｍであった。
【００２３】
【発明の効果】
以上説明したように、本発明の果菜類の収穫方法及び装置によれば、請求項１及び２記載の手段・構成を有することにより、以下の作用効果を奏することができる。
日射量の変化する自然光下の施設内で栽培された果菜類の畝間を走行しながら、両側にある果実を検出し、果実の方向と収穫適否の判定と果柄の位置検出を行い、果柄を切断、挟持し収穫箱に収納することができ、自動かつ効率的な収穫技術を提供する。
また、果柄の切断と同時に果柄を挟持するため、果実に接触することなく把持し運搬することができ、果皮に傷つけず果実の品質を低下させないという効果も発揮する。
【図面の簡単な説明】
【図１】選択収穫装置の全体図である。
【図２】選択収穫装置のブロック図である。
【図３】エンドエフェクタ部の側面図（ａ）、正面図（ｂ）、底面図（ｃ）である。
【図４】畝間両側果実の収穫方法の行程図である。
【図５】畝間走行と収穫処理のフローチャートである。
【図６】畝間走行の概念図である。
【図７】果実への接近方法と採果動作のフローチャートである。
【図８】果実検出画像処理と果実方向の推定を行う説明図である。
【図９】果柄の切断と果柄の挟持動作である。
【図１０】採果ハサミの開閉図で、閉じた状態（ａ）、開いた状態（ｂ）である。
【図１１】果実検出のための画像処理のフローチャートである。
【図１２】果実基部の検出と収穫適否の判定方法を示す説明図である。
【図１３】画像処理による果実の検出結果を示すグラフである。
【図１４】施設内のナス果実の収穫結果を示すグラフである。
【図１５】収穫適期の果実数と収穫処理時間の関係を示すグラフである。
【図１６】収穫成功果実の果柄切断位置と切断部の果柄径を示すグラフである。
【図１７】途中落下果実の果柄切断位置と切断部の果柄径を示すグラフである。
【符号の説明】
１果菜類の選択収穫装置
２走行車両２ａ走行車両モータ２ｂ走行車両ロータリエンコーダ２ｃリミットスイッチＡ２ｄリミットスイッチＢ
３制御部３ａコンピュータ３ｂＡＤ／ＤＡ変換ボード３ｃデジタルＩ／Ｏボード３ｄエンコーダカウンタボード
４視覚部４ａＣＣＤカラーカメラ４ｂ画像処理ボード
５マニピュレータ部５ａマニピュレータ５ｂマニピュレータコントローラ
６エンドエフェクタ部６ａ超音波距離センサ６ｂ採果ハサミ６ｃ電動開閉ハンド６ｄ果柄挟持用下刃
７配管パイプ
８収穫箱

Claims

マニピュレータ先端に取り付けたカメラで撮影した果菜類の全体画像を解析し、画面内にある果実の方向を計算した結果から、上下左右及び前後移動、垂直及び水平旋回が可能なマニピュレータを制御し、該マニピュレータ先端を果実方向に向け接近させた後、前記カメラにより再度撮影した画像データとマニピュレータ先端から果実までの距離データを融合させて果実の大きさ判定と果柄の位置検出を行い、採果ハサミを果柄に接近させて果柄を切断するとともに、採果ハサミの下側に取り付けた果柄挟持用下刃で果柄を把持し果実部分に接触することなく採果し、この動作を走行車両の両側の果実に対して繰り返すとともに順次移動走行することにより、栽培施設内の収穫適期果実を選択的に収穫することを特徴とする果菜類の選択収穫方法。
左右の畝の果実に先端が届くように走行車両の左右中央に設置され、上下左右及び前後移動と垂直及び水平旋回が可能なマニピュレータと、
該マニピュレータ先端に取り付けたカメラと、
果実までの距離を測定する距離センサと、
撮影画像を解析し果実位置と果柄位置を計算する画像装置と、
前記計算の結果を基に前記マニピュレータの移動位置を決定するコンピュータと、
該コンピュータの計算結果に基づき、前記マニピュレータを駆動するコントローラと、
前記コンピュータからのデジタル信号により開閉し果柄挟持用下刃を有する採果ハサミとを備え、
前記カメラで撮影した果菜類の全体画像を前記画像装置で解析し、画面内にある果実の方向を計算した前記コンピュータの結果から、前記コントローラによって前記マニピュレータを制御して、該マニピュレータ先端を果実方向に向け接近させ、
前記コンピュータは、
前記カメラにより再度撮影した画像データと前記マニピュレータ先端から果実までの距離データを融合させて果実の大きさ判定と果柄の位置検出を行い、前記採果ハサミを果柄に接近させて果柄を切断するともに、前記果柄挟持用下刃で果柄を把持する信号を出力することを特徴とする果菜類の選択収穫装置。