JP6929136B2 - 果実検出装置および果実検出方法 - Google Patents

Description

本発明は、トマトなどの果実を自動的に収穫する収穫ロボットなどに搭載される果実検出装置および収穫ロボットなどで用いられる果実検出方法に関するものである。

日本の農業を取り巻く環境は、高齢化が進んでいることによる労働不足の影響で、非常に厳しい状況にある。農業従事者、新規就農者が減少傾向にあり、また平均年齢も高齢化し、労働力不足が浮き彫りになっている。このことにより、耕作放棄地も増大する状況であり、地域の営農環境に悪影響を与える状況である。

そのような中、農業の自動化による労働力不足への対応は重要な課題であり、経済産業省の「２０１２年ロボット産業の市場動向」によれば、２０１８年から２０２４年にかけて農業関連ロボットの国内市場は大きく伸びるとされ、約２２００億円の規模になると予想されている。そのため果実などの収穫を自動化する取り組みが行われておりその収穫ロボットの開発が進められている。

そしてその収穫ロボットにおいて、実った果実を収穫するためには果実かどうかを識別するための画像処理が必要である。

従来の画像処理においては、収穫対象となる果実を撮像する撮像手段で得られた画像情報を処理して、収穫対象の果実の色に対応した特定色領域とその特定色領域内において明るさが大なるハイライト領域とを求める処理を行っている。

そして、収穫対象となる果実を検出するために、同一の特定色領域に複数のハイライト領域が検出された時、ハイライト領域を中心とした特定色領域の輪郭に内接する所定形状の仮想領域を求め、それらの仮想領域がハイライト領域のそれぞれに対応する特定色領域、つまり果実に対応する領域であると推定することで、収穫対象とする果実を検出するという方法がある（例えば、特許文献１参照）。

特許第２８１３６９７号公報

しかし、従来の検出方法では、収穫対象の果実の色と収穫対象の果実以外の箇所、たとえば葉や茎が収穫対象の果実と同じ色の場合、収穫対象の果実以外の箇所にハイライト領域が検出されると、収穫対象の果実以外の箇所を果実として、誤って検出することとなる。

本発明は、上記課題を解決するものであり、収穫対象の果実と収穫対象の果実以外のハイライト領域（以下、「輝点」という。）とを区別することが可能となり、収穫対象となる果実を確実に検出することで、収穫対象の果実の安定的な収穫ができるようにする果実検出装置および果実検出方法を提供することを目的とする。

上記目的を達成するために、本発明の果実検出装置は、画像を取得する画像取得部と、前記画像取得部により取得された前記画像の輝点を検出する輝点検出部と、前記輝点検出部により検出された前記輝点を中心とした所定の領域における色の分布の分散値を算出する分散算出部と、前記分散算出部により算出された前記分散値が閾値未満であれば、当該輝点が果実に対応する輝点であると判断し、前記分散値が前記閾値以上であれば、当該輝点が前記果実以外に対応する輝点であると判断する判断部と、を備える。

また、上記目的を達成するために、本発明の果実検出方法は、画像を取得する画像取得ステップと、前記画像取得ステップにより取得された前記画像の輝点を検出する輝点検出ステップと、前記輝点検出ステップにより検出された前記輝点を中心とした所定の領域における色の分布の分散値を算出する分散算出ステップと、前記分散算出ステップにより算出された前記分散値が閾値未満であれば、当該輝点が果実に対応する輝点であると判断し、前記分散値が前記閾値以上であれば、当該輝点が前記果実以外に対応する輝点であると判断する判断ステップ、を含む。

本発明の果実検出装置および果実検出方法によれば、収穫対象の果実と収穫対象の果実以外の輝点を区別することが可能となり、収穫対象となる果実を確実に検出することで、収穫対象の果実の安定的な収穫ができる。

果実検出装置の構成の一例を示すブロック図 果実収穫処理の処理手順の一例を示すフローチャート 色相の閾値を算出するフローを説明する図 房の生り方を説明する図 房の構成を説明する図 ＩＲ光を照射して得られたＩＲ画像の一例を示す 色相の分散値を求める領域を示す図 果実の輝点の領域における色相の分布を示す図 果実以外の輝点の領域における色相の分布を示す図

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、図面において、同じ構成要素には同じ符号を付してある。

まず、本発明の実施の形態における果実検出方法の理解を助けるために、図４、図５を用いて収穫対象であるトマトの形態について説明する。図４は、房の生り方を説明する図であり、図５は、房の構成を説明する図である。

本発明の収穫対象であるトマトは、図４に示すとおり、果実が複数密集して構成され、ぶどうの房のように生っている。そして、その房は、果梗３０５が主茎２０１に連なるように生っている。また、収穫の際は、房に付いている果実の成熟度合いが異なることもあり、房として収穫するのではなく、収穫対象の赤く熟した果実を一つ一つもぎ取ることで収穫している。つまりもぎ取る際に、収穫対象の赤く熟した果実を検出する必要がある。

またトマトの房の構成について、図５を用いて説明する。図５に示すように、一つの房は、果梗３０５といわれる茎を中心に構成されている。この果梗３０５から、小果梗３０１、ガク３０３が生り、その先に果実３０４が生っている。小果梗３０１の途中部分には、離層３０２とよばれる箇所があり、小果梗３０１に力を加えたときに、離層３０２で小果梗３０１が分断される。

また、収穫対象となる果実を検出し、検出した果実を収穫するためには、房に果実がどのような構成で生っているかを知る必要がある。これは、房の下部にある果実は比較的収穫することが難しいためで、赤く熟した果実であっても、房の下部に生っている果実であれば、その果実の収穫を行わないと判断しなければならない場合があるためである。

そのため、緑色の果実を含め、房に生っているすべての果実を検出することで、赤く熟した果実が房の下部に位置するかどうか判断する。

すなわち、房全体になっている果実の位置を知ることで、房の下部に緑色の果実があれば、検出した赤い果実は緑の果実の上部にある、つまり房の下部には生っていないことがわかる。この場合、その赤い果実は収穫しやすいと判断し、その赤い果実の収穫を行う。

また、房の下部に緑の果実が無ければ、検出した赤い果実のうち、下部に位置する赤い果実は、房の下部にあるということで、その赤い果実の収穫を行わないと判断する場合がある。

このように、本発明の実施の形態においては、緑色の果実を検出する必要もある。また、房に生っている緑色の果実以外にも、その周囲に主茎２０１などの緑色の箇所もあるので、後述する画像取得部１０２（図１参照。）は、その主茎２０１などの画像も取得する。

そして、その主茎２０１の箇所に輝点が現れた場合、従来の方法では、ハイライト領域、つまり輝点の有無のみで果実であることを判断しているため、同じ緑色である主茎２０１を果実３０４であると誤って判定することとなる。

また、主茎２０１を誤って収穫対象の果実３０４と判定しないために、検出対象の果実の色を赤色に限定すると、緑色の果実を検出できなくなってしまう。すなわち本方法は、果実のみを検出し、果実以外の部分、例えば主茎２０１を誤って収穫対象の果実として検出することを防止するものである。

本方法を実現する果実検出装置の構成について、図１を用いて説明する。この果実検出装置は、果実を収穫する果実収穫装置などに搭載される。図１は、果実検出装置の構成の一例を示すブロック図である。

この果実検出装置は、光源１０１、画像取得部１０２、画像処理部１０３、判断部１０７を有する。また、画像処理部１０３は、色相変換部１０４、輝点検出部１０５、分散算出部１０６を有する。

光源１０１は、収穫対象であるトマトの房方向に向けて光を照射する。画像取得部１０２は、光が照射された領域を撮像する。

ここでは果実３０４を検出するために、光源１０１としてＩＲ（ＩｎｆｒａＲｅｄ）光源を使用しているが、収穫対象の果実に輝点が現れやすくするために、収穫対象となる果実に対応した光源を用いても良い。

また、画像取得部１０２としては、ＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）カラー画像、ＩＲ画像を取得することができるカメラを用いている。画像取得部１０２は、取得したＲＧＢカラー画像とＩＲ画像とを画像処理部１０３に入力する。

画像処理部１０３は、以下で説明する画像処理を施し、判断部１０７は、画像処理の結果得られた画像に基づいて、撮像された物体が収穫対象の果実かどうか判定し、果実を検出する。

次に、本実施形態にかかる果実収穫処理の処理手順について図２を用いて説明する。図２は、果実収穫処理の処理手順の一例を示すフローチャートである。

まず、光源１０１からＩＲ光を発光する（ステップＳ１０）。画像取得部１０２は、ＲＧＢカラー画像とＩＲ画像とを同タイミング、同軸で取得する（ステップＳ１０）。ＲＧＢカラー画像は太陽光による反射により得られるものであり、ＩＲ画像は光源１０１により発光されたＩＲ光の反射により得られるものである。

本発明では画像取得部１０２としてＲＧＢカラー画像とＩＲ画像とを同タイミング、同軸で取得するカメラを用いているが、ＲＧＢカラー画像を取得するカメラとＩＲ画像を取得するカメラとが別々のカメラであっても良い。

また、本発明において、光源１０１から照射された光の反射光を利用しているのは、光を画像取得部１０２の方向から照射することで、画像取得部１０２がより顕著に現れた輝点を撮像できるからである。

すなわち、太陽光は、房や主茎２０１に対して全方向から照射されており、輝点が鮮明に現れ難いからである。また、ＩＲ光を用いることにより、特定の波長の光を画像取得部１０２が撮像することで、外乱光（太陽光の乱反射など）による影響を低減できる利点があるからである。

続いて、色相変換部１０４は、画像取得部１０２で得られたＲＧＢカラー画像の色表現を色相表現に変換する（ステップＳ１１）。

また、輝点検出部１０５は、画像取得部１０２で得られたＩＲ画像から輝点を検出する（ステップＳ１２）。

図６は、ＩＲ光を照射して得られたＩＲ画像の一例を示す図である。図６に示すように、果実部輝点４０１や主茎部輝点４０２などの輝点ではＩＲ画像の輝度が周辺より大きくなっている。

果実部輝点４０１は、果実の凸部においてＩＲ光の反射により輝度が高くなっている箇所である。主茎部輝点４０２は、主茎２０１に生っていた房の果梗３０５を切り取った箇所で、ＩＲ光の反射により輝度が高くなっている箇所である。

果実部輝点４０１や主茎部輝点４０２以外にもガク３０３や葉に輝点が発生することもあるが、ここでは果実部輝点４０１と主茎部輝点４０２を用いて説明する。

次に、分散算出部１０６は、輝点検出部１０５が検出した輝点を中心とした所定の領域の色相の情報を色相変換部１０４から取得し、その情報から色相の分散値を算出する（ステップＳ１３）。

図７は、色相の分散値を求める領域を示す図である。図７における破線の矩形部分が、色相の分散値を算出する領域である。分散検出部１０６は、この領域に現れる色相の頻度のバラつきを分散値として算出する。図７では、果実部輝点４０１の色相の分散値を算出する領域５０１と主茎部輝点４０２の色相の分散値を算出する領域５０２とが示されている。

本実施形態では、色相の分散値を算出する所定の領域として、あらかじめ計測した複数の果実３０４の半径の平均値を短辺とする矩形が用いられる。ただし、このような矩形の代わりに正方形が用いられても良い。また、短辺の長さは、輝点または果実３０４の大きさ、形状を考慮して設定されてもよい。

図８は、果実３０４の輝点、つまり果実部輝点４０１を中心とした領域の色相の分布を示す図である。果実３０４は一様な赤色や緑色となるため、色相の頻度の分布のバラつきは小さい。

つまり、赤い果実は色相として赤の頻度が大きく、緑色の果実は色相として緑の頻度が大きくなるので、いずれの場合もその頻度の分布のバラつきは小さくなり、分散値が小さくなる。

図９は、果実３０４以外の輝点の領域における色相の分布を示す図である。ここでは、主茎２０１に現れた輝点、つまり主茎部輝点４０２を中心とした領域の色相の分布が示されている。

主茎２０１には、緑色の色成分以外にも、赤色、青色の色成分も含まれている。特に、果梗３０５を切り取ったあとの切り口の部分は白色や茶色に変色しており、緑色の色成分以外にも赤色、青色の色成分も多く含まれる。

また、主茎２０１は果実３０４の半径よりも細い場合がある。この場合、主茎２０１の直径は設定した矩形の短辺の長さより短いため、設定した矩形の領域に主茎２０１の背景も映り込むこととなる。

そうすると、主茎２０１の緑色以外の色成分が多分に含まれることとなり、主茎２０１に現れた輝点を中心とした領域の色相の分布のバラつきは大きくなり、分散値も大きくなる。

判断部１０７は、分散算出部１０６で算出された各輝点の色相の分散値が閾値以上であるか否かを判断する（ステップＳ１４）。

分散算出部１０６で算出された各輝点の色相の分散値が閾値未満であれば（ステップＳ１４においてＮＯの場合）、判断部１０７は、その輝点は果実３０４の輝点であると判断する（ステップＳ１５）。

分散値が閾値以上であれば（ステップＳ１４においてＹＥＳの場合）、判断部１０７は、その輝点は果実３０４以外の輝点であると判断し（ステップＳ１６）、そのままこの果実収穫処理を終了する。

そして、ステップＳ１５で輝点が果実３０４の輝点であると判断されると、判断部１０７は、その輝点の位置に対応した色相が赤いか否かを判断することにより、その輝点に対応する果実３０４が収穫対象となる赤い果実であるか否かを判断する（ステップＳ１７）。

そして、輝点に対応する果実３０４が収穫対象となる赤い果実である場合には（ステップＳ１７においてＹＥＳの場合）、果実検出装置を搭載した果実収穫装置は、その果実の収穫を行う（ステップＳ１８）。

また、輝点に対応する果実３０４が収穫対象となる赤い果実でない場合には（ステップＳ１７においてＮＯの場合）、未熟な果実３０４として、収穫を行わず、そのままこの果実収穫処理を終了する。

なお、果実３０４は、アクチュエータなどを使用して収穫される。その場合、果実収穫装置は、収穫対象となる果実３０４の輝点の位置に対応したＲＧＢカラー画像の位置を画像情報から求め、その位置を目標位置として、アクチュエータを動作させ、果実３０４を収穫する。

また、果実収穫装置は、距離を計測できるセンサを用い、収穫対象の果実までの距離を求めることで、より精度よくアクチュエータを動作させることができる。

ここで、図２のステップＳ１４で用いた閾値の算出方法について、図３を用いて説明する。

まず、分散算出部１０６は、あらかじめ複数の果実３０４の輝点を中心とした領域の色相の分散値を算出する（ステップＳ２０）。また、分散算出部１０６は、果実３０４以外の箇所に発生した輝点を中心とした領域の色相の分散値を算出する（ステップＳ２１）。

そして、分散算出部１０６は、果実３０４の輝点を中心とした領域の色相の分散値の最大値Ｖａを算出し（ステップＳ２２）、さらに果実３０４以外の箇所を中心とした領域の色相の分散値の最小値Ｖｂを算出する（ステップＳ２３）。

そして、分散算出部１０６は、以下の式１から閾値Ｖｔを求める（ステップＳ２４）。
Ｖｔ＝（Ｖａ＋Ｖｂ）／２ ・・・・（１）

分散値を算出する果実３０４は、赤く熟した収穫対象となる果実３０４はもちろんであるが、緑色で収穫に未熟な果実３０４も含まれる。これは先述の通り、房に生っている果実３０４のすべてを検出する必要があるためである。

また、果実３０４以外の箇所の輝点の色相の分散値も算出される。具体的には、画像取得部１０２が、あらかじめ房以外の箇所、例えば、主茎２０１や葉、また房の背後に映る果実３０４の栽培施設の器具などを撮像し、輝点検出部１０５が輝点を検出し、分散算出部１０６が、検出された輝点を中心とした領域の色相の分散値を求める。

なお、本実施形態では、色相変換部１０４を設けて、ＲＧＢカラー画像の色表現を色相表現に変換しているが、色相変換部１０４を設けず、ＲＧＢカラー画像におけるＲ、Ｇ、Ｂの各色成分の値、あるいは、Ｒ、Ｇ、Ｂの各色成分の値から算出される値の分散値を色の分布の分散値として算出し、その分散値に基づいて輝点が果実に対応する輝点か否かを判断するようにしてもよい。

この場合、図２のステップＳ１３において、分散算出部１０６は、輝点検出部１０５が検出した輝点を中心とした所定の領域のＲＧＢの各値から色の分布の分散値を算出する。そして、ステップＳ１５において、判断部１０７は、分散算出部１０６で算出された各輝点の色の分布の分散値が閾値以上であるか否かを判断する。

なお、本実施形態においては、房状に生る果実を例に挙げて説明したが、本発明の適用範囲は房状に生る果実に限定されるものではなく、また収穫対象の果実の色も赤色に限定されるものではない。

また、房になっているトマトをはじめ、果梗に果実が集まり房を構成している他の果実に対してはもちろん、果実が個別に生っている場合にも本発明は適用され得る。

本発明は、果実を検出する果実検出装置に用いるのに好適である。

１０１ 光源
１０２ 画像取得部
１０３ 画像処理部
１０４ 色相変換部
１０５ 輝点検出部
１０６ 分散算出部
１０７ 判断部
２０１ 主茎
３０１ 小果梗
３０２ 離層
３０３ ガク
３０４ 果実
３０５ 果梗
４０１ 果実部輝点
４０２ 主茎部輝点
５０１ 果実の色相の分散値を算出する領域
５０２ 主茎の色相の分散値を算出する領域

Claims (5)

1. 画像を取得する画像取得部と、
   前記画像取得部により取得された前記画像の輝点を検出する輝点検出部と、
   前記輝点検出部により検出された前記輝点を中心とした所定の領域における色の分布の分散値を算出する分散算出部と、
   前記分散算出部により算出された前記分散値が閾値未満であれば、当該輝点が果実に対応する輝点であると判断し、前記分散値が前記閾値以上であれば、当該輝点が前記果実以外に対応する輝点であると判断する判断部と、
   を備える果実検出装置。
2. 前記判断部は、前記分散算出部により算出された前記分散値と、果実の色の分布の分散値、および、果実以外の色の分布の分散値から決定された閾値とを比較することにより、前記輝点が果実に対応する輝点か否かを判断する請求項１に記載の果実検出装置。
3. 前記輝点は、光源から照射された光の反射により生じた輝度が周囲より大なる領域である請求項１または２に記載の果実検出装置。
4. 前記画像取得部により取得された前記画像の色表現を色相表現に変換する色相変換部をさらに備え、前記分散算出部は、前記輝点を中心とした所定の領域における色相の分布の分散値を算出する請求項１〜３のいずれか１項に記載の果実検出装置。
5. 画像を取得する画像取得ステップと、
   前記画像取得ステップにより取得された前記画像の輝点を検出する輝点検出ステップと、
   前記輝点検出ステップにより検出された前記輝点を中心とした所定の領域における色の分布の分散値を算出する分散算出ステップと、
   前記分散算出ステップにより算出された前記分散値が閾値未満であれば、当該輝点が果実に対応する輝点であると判断し、前記分散値が前記閾値以上であれば、当該輝点が前記果実以外に対応する輝点であると判断する判断ステップ、
   を含む果実検出方法。

Images