JP4761177B2

JP4761177B2 - 果実の検出方法

Info

Publication number: JP4761177B2
Application number: JP2001187576A
Authority: JP
Inventors: 智彦太田; 俊彦伊吹
Original assignee: National Agriculture and Food Research Organization
Current assignee: National Agriculture and Food Research Organization
Priority date: 2001-06-21
Filing date: 2001-06-21
Publication date: 2011-08-31
Anticipated expiration: 2021-06-21
Also published as: JP2003000031A

Description

【０００１】
【発明の属する技術分野】
本発明は、果実や果菜が着果している作物に光を照射し、その画像を取り込んで果実や果菜を自動的に検出するようにした果実の検出方法に関する。
【０００２】
【従来の技術】
従来、画像を利用して作物に着果している果実や果菜を自動検出するようにした各種の方法や装置が提案されており、周知である。例えば、特開平６−２６１６２２号公報「果菜収穫ロボット等の視覚装置」には、対象物を波長の異なる複数の光で撮影するＣＣＤカメラを備え、該カメラに撮影された画像が各画素に与える複数の波長の輝度から、画素毎に所定の演算式を用いて各波長の輝度の比を算出し、この算出した値を一定以上の部分と一定未満の部分とに２値化した画像として対象物の選定を行いながら、その形状を検出する視覚装置を前提として、この画像に欠落を生ずる対象物の鏡面反射部分を、この鏡面反射部分を特に強く検出する波長の画像の輝度が一定以上の部分と輝度が一定未満の部分とに２値化した画像で補う装置が開示されている。
【０００３】
一方、画像を利用して果実を自動検出する場合、自然光の下では太陽光の影響が大きく、特に照度が高い場合には、果実が複数個隣接・重複している状態では１つの果実と他の果実との境界を認識することが難しく、個々の果実及びその重心位置を検出することが困難であった。
【０００４】
【発明が解決しようとする課題】
果菜類果実の検出方法としては上記特開平６−２６１６２２号公報や特開平２０００−２６２１２８号公報等に記載され、キュウリやナスのように果実同士が接近しない場合の果実の検出は、果実の光学的反射特性や色彩特徴により個々の果実のそれぞれの位置を検出することができる。しかし、トマトのように果房の状態で個々の果実が近接している場合は、果実同士が画像上で重なり合うために複数個の果実が１つの果実として認識され、果実の正確な位置、個数が検出できない、という問題があった。
【０００５】
【課題を解決するための手段】
上記の課題を解決するために本発明は、以下の手段を特徴としている。
Ａ．作物果実を画像により自動的に検出する果実の検出方法において、作物に光を照射して画像を取り込み、光を強く反射する白く光った部分を鏡面反射部分であると決定し、該鏡面反射部分及びその周囲に隣接する設定した色範囲を持つ部分を果実と決定し、鏡面反射部分が１個存在する果実と複数個存在する果実とを、鏡面反射部分の面積に閾値を設けて判定することで個々の果実を検出する。
【０００６】
Ｂ．鏡面反射部分及び設定した色範囲を持つ部分の決定に当たり、赤色輝度、緑色輝度、青色輝度及びそれぞれの加減演算結果の範囲を両方の部分に対して別々に設定し、輝度範囲の設定によって識別した部分が鏡面反射部分または設定した色範囲を持つ部分であるとする。
【０００７】
Ｃ．鏡面反射部分の座標から果実の画像重心位置を求める。
【０００８】
【作用】
上記Ａ．〜Ｃ．の手段によって本発明の果実の検出方法は、次のような作用をする。
【０００９】
果実に極端な凹凸がない場合には、照明によって１個の果実に１つの鏡面反射が生じる。照明器具及びカメラを果実に対して適切に配置することにより、自然光の下でも、画像果実の中央部分に鏡面反射を生じさせることができ、これを検出することで２次元の重心位置を検出できる。なお、鏡面反射は果実以外にも生じる場合があるので、鏡面反射部分に隣接する周辺部の果実色を抽出する方法を使用することによって、葉や茎を誤って果実として検出することを避ける。
【００１０】
鏡面反射が１個存在する果実と複数個存在する果実の区別は、複数個存在する果実では鏡面反射が生ずる部分の表面凹凸が小さくなり、そのため鏡面反射部分の面積が狭くなることを利用して判定する。また、鏡面反射部分が複数個存在する果実では、それらの中央付近に重心が存在するので複数の鏡面反射の位置から重心を算出する。
【００１１】
【発明の実施の形態】
以下、本発明の一実施の形態を添付の図面に基づいて具体的に説明する。
従来の果実の検出技術では、▲１▼自然光により影響される、▲２▼果房中の果実は複数個が近接しているので個々に検出できない、▲３▼果実が茎葉により隠れる、等の問題がある。
そこで本実施例では、▲１▼自然光の影響を少なくするために人工照明を利用する方式、▲２▼複数果実を個別に検出するために、人工照明を照射したときに果実が鏡面反射し、白色に見える部分を抽出する方式、▲３▼茎葉の影響を少なくするために果実を覆っている茎葉をブラシで上方に掻き上げる方式、としている。
【００１２】
図１は、果実の検出装置１の概略正面図で、この検出装置１は、作物果実（果菜）を画像により自動的に検出するものであり、果実栽培における収穫作業の機械化・自動化のために必要な栽植状態でのトマト（作物）２の果実位置を検出できる検出システムを構築している。検出装置１には、人工照明としての高速度カメラ用ライト３、光を照射したトマト２から画像を取り込むカラーＣＣＤカメラ４、画像処理ボード５、コンピュータ（ＣＰＵ）６、ブラシからなり、果房を覆っている茎葉１０を掻き上げる茎葉掻き上げ体７等が設けられている。
【００１３】
図２は、重なりがある果実９の画像における鏡面反射部分１１及び果実９の着色状況を示す正面図で、収穫すべき着色した果実１２が示されている。トマト２には、幹茎８に果実（トマト）９が着果し、多数の茎葉１０を有している。図３は、重なりがある果実９の画像における抽出された鏡面反射部分１３を示す正面図である。図４は、赤色果実検出方法１４のプログラム（ステップ）である。図５は、果実検出における異なる太陽光照度における検出成功割合を示すグラフである。図６は、赤色果実の検出誤差を示すグラフであり、（ａ）はＸ軸方向検出誤差、（ｂ）はＹ軸方向検出誤差を示している。
【００１４】
そして、本発明では、
１）作物２に光を照射して画像を取り込み、光を強く反射する白く光った鏡面反射部分１１及びその周囲に隣接する適当な部分を果実９と決定することで、個々の果実９を検出する。
２）鏡面反射部分１１，１３及び適当な部分の決定に当たり、赤色輝度、緑色輝度、青色輝度及びそれぞれの加減演算結果の範囲を両方の部分に対して別々に設定し、輝度範囲の設定によって識別した部分が鏡面反射部分１１，１３または適当な部分であるとする。
【００１５】
３）鏡面反射部分１１が１個存在する果実と複数個存在する果実との区別を、鏡面反射部分１１，１３の面積に閾値を設けて判定する。
４）鏡面反射部分１１，１３の座標から果実９の画像重心位置を求める。
５）カメラ４により画像を取り込む場合に、果実９の前側を覆ってカメラ４による検出を妨げている茎葉１０などをブラシ７により持ち上げた後に画像を取り込む。
６）人工照明３を使用することで、果実９の色の測定が同じ条件で行え、収穫適期に達した果実１２を検出することができる。
【００１６】
果実の検出装置１の検出システムにより、栽植状態のトマト２の株を対象として果実検出試験を行った。
（試験条件）
▲１▼検出システムによる果実９の検出個数を測定し、検出成功割合を調べた。また、一部の条件では、照明による効果を確認するため、人工照明３を利用せず、赤色部分のみを検出する方法と比較した。
▲２▼検出可能であった果実９の２次元の重心位置計測を行い、その誤差を調べた。検出条件としてはカメラ４をトマト２の株から６０ｃｍ離れた位置とした。光環境は夜間や晴天時昼間（照度１２８〜５５６００Ｌｕｘ）とした（表１参照）。果実条件として果実９がカメラ４側に着果している果房を対象とした。
【００１７】
▲３▼人工照明３は高速度カメラ用ライト（６０ｃｍでの照度約６０００Ｌｕｘ）とし、果房正面から照射することとした。
▲４▼自動で果実９を背景と識別し、果実９の重心位置を計算する画像処理のプログラム（図４）を作成した。主な処理手順は、画像の取り込み、赤色部分・鏡面反射部分それぞれの検出、周囲に赤色部分が存在する鏡面反射部分の抽出・２値化、２値化部分の重心位置の計算とした。
【００１８】
図４の赤色果実検出方法１４のプログラム（ステップ）について説明する。
ステップａの画像入力においては、カメラ４から取り込んだ果実９，茎葉１０を含む画像を画像処理装置に入力する。
ステップｂの（Ｒ−Ｇ）値・面積設定においては、果実９における収穫すべき着色した果実１２を抽出するための色範囲を赤色輝度値と緑色輝度値の差（Ｒ−Ｇ）により設定し、設定した色範囲を持つ部分の面積を設定する。
ステップｂの（Ｒ−Ｇ）の設定によって赤色輝度値の高く、緑色輝度値の低い果実の着色部分が抽出しやすくなり、赤色輝度値と緑色輝度値ともに高い値となる白色の部分を誤って抽出することを避ける。（Ｒ−Ｇ）値の設定により着色度の大きい果実を抽出することができる。
ステップｂの面積設定により、個々の果実の赤色部分の面積が大きい果実を抽出することができる。
【００１９】
ステップｃの赤色部分抽出・２値化においては、ステップｂで設定した（Ｒ−Ｇ）値が高く、かつ面積の大きい部分を抽出する。抽出した部分を２値化することによって穴埋め処理、膨張処理等の画像形状処理を行えるようにする。画像形状処理により重心位置の計算精度を高めることができる。
ステップｄの穴埋めにおいては、ステップｃで抽出した赤色部分の領域内で鏡面反射部分やノイズ等で部分的にデータが欠落している部分の穴埋めを行う。
ステップｅの膨張・収縮においては、２値化部分を膨張・収縮することによって、２値化部分の突起や凹の部分を除去し、赤色部分の境界を滑らかにする。ステップｄ及びｅの形状処理によりほぼ円形状の赤色部分が抽出できる。
【００２０】
ステップｆのＲＧＢ値設定においては、赤色輝度値・緑色輝度値・青色輝度値全てが高い部分を設定する。このステップによって、鏡面反射した部分は入力画像において白色であるので、赤色輝度値・緑色輝度値・青色輝度値全てが設定値より高い白色の部分を抽出することができる。
ステップｇの鏡面反射抽出・２値化においては、鏡面反射部分を２値化する。２値化することによってステップｈの赤色部分と鏡面反射部分の重なりの抽出を行えるようにする。
【００２１】
ステップｈの重なり抽出においては、ステップｅで２値化・形状処理した赤色部分とステップｆで２値化した白色部分の重なりを抽出することで、白く光った鏡面反射部分とその周囲に隣接する赤色の部分とを抽出することができる。
ステップｉのノイズ除去においては、ノイズ等により生ずる小さい面積を持つ鏡面反射部分を除去する。果実１個に対し、鏡面反射部分が１個生ずるようにする。
ステップｊの抽出部分重心位置計算においては、ステップｈで抽出した部分の重心を計算し、果実の重心とする。この操作により個々の果実の重心位置を計算することができる。
【００２２】
【表１】

【００２３】
（試験結果）
試験結果の概要は以下の通りである。
▲１▼赤色果実の６４〜７８％が検出可能であり（表１）、検出システムの検出成功率は人工照明を利用しない方法と比べ、検出成功割合が高かった（図５）。
▲２▼ブラシ７で茎葉１０を掻き上げることにより、茎葉１０，果実９に損傷を与えず、ほとんどの果房の画像が入力可能であった。
▲３▼果実同士の重なりがあっても、重なりの面積がほぼ半分以下の果実は確実に検出が可能であった。
▲４▼Ｘ軸，Ｙ軸方向共に画像上の検出誤差が±１０ｍｍ以下であった割合は７９％であった（図６）。
▲５▼以上総合して栽植状態のトマト２の果実９を６０％以上検出できた。
【００２４】
【発明の効果】
以上説明したように本発明の果実の検出方法によれば、以下の効果を奏することができる。
【００２５】
▲１▼．作物に光を照射して画像を取り込み、光を強く反射する白く光った鏡面反射部分及びその周囲に隣接する適当な部分を果実と決定することで、個々の果実を検出するので、果実に極端な凹凸がない場合には、照明によって１個の果実に１つの鏡面反射が生じ、照明器具及びカメラを果実に対して適切に配置することにより、自然光の下でも、画像果実の中央部分に鏡面反射を生じさせることができ、これを検出することで２次元の重心位置を検出することができる。
【００２６】
▲２▼．鏡面反射部分及び適当な部分の決定に当たり、赤色輝度、緑色輝度、青色輝度及びそれぞれの加減演算結果の範囲を両方の部分に対して別々に設定し、輝度範囲の設定によって識別した部分が鏡面反射部分または適当な部分であるとするので、鏡面反射は果実以外にも生じる場合があるが、鏡面反射部分に隣接する周辺部の果実色を抽出する方法を使用することによって、葉や茎を誤って果実として検出することを避けることができる。
【００２７】
▲３▼．鏡面反射部分が１個存在する果実と複数個存在する果実との区別を、鏡面反射部分の面積に閾値を設けて判定するので、鏡面反射が複数個存在する果実では表面凹凸の曲率が小さくなり、そのため鏡面反射部分の面積が狭くなることを利用して判定することができる。また、鏡面反射部分が複数個存在する果実では、それらの中央付近に重心が存在するので複数の鏡面反射の位置から重心を算出することができる。
▲４▼．鏡面反射部分の座標から果実の画像重心位置を求めるので、果実が複数個隣接・重複している状態でも個々の果実の画像重心が求まる。
【図面の簡単な説明】
【図１】本発明による果実の検出装置の概略正面図である。
【図２】重なりがある果実の画像における鏡面反射部分及び果実の着色状況を示す正面図である。
【図３】重なりがある果実の画像における抽出された鏡面反射部分を示す正面図である。
【図４】赤色果実検出方法のプログラム（ステップ）である。
【図５】果実検出における人工照明の変化を示すグラフである。
【図６】赤色果実の検出誤差を示すグラフで、（ａ）はＸ軸方向検出誤差、（ｂ）はＹ軸方向検出誤差である。
【符号の説明】
１果実の検出装置
２トマト（作物）
３高速度カメラ用ライト
４カラーＣＣＤカメラ
５画像処理ボード
６コンピュータ（ＣＰＵ）
７茎葉掻き上げ体
８トマトの幹茎
９果実（トマト）
１０茎葉
１１鏡面反射部分
１２収穫すべき着色した果実
１３抽出された収穫果樹の鏡面反射部分
１４赤色果実の検出方法

Claims

作物果実を画像により自動的に検出する果実の検出方法において、
作物に光を照射して画像を取り込み、光を強く反射する白く光った部分を鏡面反射部分であると決定し、該鏡面反射部分及びその周囲に隣接する設定した色範囲を持つ部分を果実と決定し、鏡面反射部分が１個存在する果実と複数個存在する果実とを、鏡面反射部分の面積に閾値を設けて判定することで個々の果実を検出することを特徴とする果実の検出方法。
鏡面反射部分及び設定した色範囲を持つ部分の決定に当たり、赤色輝度、緑色輝度、青色輝度及びそれぞれの加減演算結果の範囲を両方の部分に対して別々に設定し、輝度範囲の設定によって識別した部分が鏡面反射部分または設定した色範囲を持つ部分であるとすることを特徴とする請求項１記載の果実の検出方法。
鏡面反射部分の座標から果実の画像重心位置を求めることを特徴とする請求項１又は２記載の果実の検出方法。