JP2012191903A - 植物選別装置、ロボット、植物栽培システム、植物選別方法、及びプログラム - Google Patents

植物選別装置、ロボット、植物栽培システム、植物選別方法、及びプログラム Download PDF

Info

Publication number
JP2012191903A
JP2012191903A JP2011059320A JP2011059320A JP2012191903A JP 2012191903 A JP2012191903 A JP 2012191903A JP 2011059320 A JP2011059320 A JP 2011059320A JP 2011059320 A JP2011059320 A JP 2011059320A JP 2012191903 A JP2012191903 A JP 2012191903A
Authority
JP
Japan
Prior art keywords
plant
unit
detected
information
growth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011059320A
Other languages
English (en)
Inventor
Yoshikazu Sugiyama
喜和 杉山
Norio Kaneko
則夫 金子
Yuji Kunigome
祐司 國米
Masataka Morio
昌隆 森尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011059320A priority Critical patent/JP2012191903A/ja
Publication of JP2012191903A publication Critical patent/JP2012191903A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】農作物の選別を省力化できる植物選別装置、ロボット、植物栽培システム、植物選別方法、及びプログラムを提供する。
【解決手段】検出対象である個々の農作物の複数の物理量を検出する検出部(65)と、前記検出された物理量を前記個々の農作物を識別する識別情報に関連付けて記憶する記憶部(690)と、前記記憶部に記憶された前記複数の物理量を含む時系列情報に基づいて成長度及び成熟度を推定し、前記個々の農作物をクラス分けする判定部(680)と、を備える。
【選択図】図9

Description

本発明は、植物選別装置、ロボット、植物栽培システム、植物選別方法、及びプログラムに関する。
植物栽培システムは、栽培作業による負荷を低減し、植物の供給を安定化することができるものとして注目されている(例えば、特許文献1、非特許文献1参照)。
植物栽培システムにおいて栽培した植物から収穫した大量の農作物は、植物選別装置によるクラス分けが行われ出荷される。
また、農作物のクラス分けには、外観から判定可能な大きさ及び形状による階級によるクラス分けと、質により定められる等級によるクラス分けとがある。
大きさ及び形状による階級にクラス分けするための判定は、予め定められた判定基準に基づいて比較的容易に判定することができる。一方、質を示す等級にクラス分けするための判定は、商品として維持した状態のままで容易に測定できる項目は限られる。特定の質を測定できる項目としては、糖度の測定が知られている。
実開平5−17505号公報
仁科 弘重、「地域拠点型"知的太陽光植物工場"の進展」、日本学術会議、公開シンポジウム「知能的太陽光植物工場」、2009年7月3日。
ところで、これまでは、栽培する生産者の経験と勘に依存しつつ、農作物の栽培が行われていた。
一方、植物栽培システムは、さらなる管理コスト低減が望まれ、栽培設備(植物栽培システム)の大規模化が望まれている。そのため、栽培規模の大規模化に伴って育成環境を管理できる栽培方法が必要とされる。
しかしながら、従来までの経験と勘に依存した管理方法では、農作物が収穫されるまでどのような状態で成長しているかを定量的に把握することは困難であり、作付け状況の把握は、選別後にしかわからないという問題があった。また、栽培規模の大規模化に伴って、収穫後の選別作業を効率よく行ない、省力化することが必要となる。
本発明は、このような事情に鑑みてなされたものであり、農作物の選別を省力化できる植物選別装置、ロボット、植物栽培システム、植物選別方法、及びプログラムを提供することを目的とする。
上記課題を解決するために、本発明は、検出対象である個々の農作物の複数の物理量を検出する検出部と、前記検出された物理量を前記個々の農作物を識別する識別情報に関連付けて記憶する記憶部と、前記記憶部に記憶された前記複数の物理量を含む時系列情報に基づいて成長度及び成熟度を推定し、前記個々の農作物をクラス分けする判定部と、を備えることを特徴とする植物選別装置である。
また、本発明は、上記発明に記載の植物選別装置が取り付けられているロボットアームを備えることを特徴とするロボットである。
また、本発明は、上記発明に記載のロボットを備えることを特徴とする植物栽培システムである。
また、本発明は、上記発明に記載の植物選別装置を備えることを特徴とする植物栽培システムである。
また、本発明は、検出対象である個々の農作物の複数の物理量を検出する過程と、前記検出された物理量が前記個々の農作物を識別する識別情報に関連付けて記憶する過程と、前記記憶された前記複数の物理量を含む時系列情報に基づいて成長度及び成熟度を推定し、前記個々の農作物をクラス分けする過程と、を含むことを特徴とする植物選別方法である。
また、本発明は、植物選別装置が備えるコンピュータに、検出対象である個々の農作物の複数の物理量を検出するステップと、前記検出された物理量を前記個々の農作物を識別する識別情報に関連付けて記憶させるステップと、前記記憶された前記複数の物理量を含む時系列情報に基づいて、成長度及び成熟度を推定し、前記個々の農作物をクラス分けするステップと、を実行させるためのプログラムである。
以上説明したように、本発明によれば、農作物の選別を省力化できることが可能となる。
本発明の本実施形態による植物栽培プラントの構成を示すブロック図である。 本実施形態における移動型検出装置40を示す図である。 本実施形態における植物栽培システムの構成を示すブロック図である。 本実施形態における植物の収穫時期の制御を示す図である。 本実施形態における花と実の位置関係を示す図である。 本実施形態における実の成熟度の検出を説明する図である。 本実施形態における葉の状態を示す図である。 本実施形態における移動型選別装置60を示す図である。 本実施形態における移動型選別装置60を示すブロック図である。 本実施形態における果実が成熟する過程を2つの指標によりモデル化して示す図である。 本実施形態における消費者の評価情報を収集する構成を示す図である。
以下、本発明の一実施形態について、図面を参照して説明する。
図1は、本実施形態による植物栽培システムの概要を示す図である。図1(a)は、その断面図を示し、図1(b)は、その平面図を示す。
本発明の植物栽培システム4は、植物栽培システム1(図3)を備え、植物の栽培を行う設備である。
図1に示すように、植物栽培システム4は、植物栽培用の植生床6と、植生床6を外気空間7と隔てるために囲うプラント囲い8と、植生床6で植生される植物9に光を照射するランプ10とを備える。植物栽培システム雰囲気調整装置2はプラント囲い8の内側空間13の雰囲気を調整するものである。植生床6は、図示の例では土の床であるが、不図示の液肥循環装置を備える水耕栽培用の水耕床であってもよい。
プラント囲い8は、植生床6の周辺を外気空間7と隔てて、栽培される植物に適した雰囲気に保つためのものである。ランプ10は、図示の例ではプラント囲い8の内部に設置される。
さらに、植物栽培システム4はプラント囲い8の内部に、所定条件に調整された空気を供給するための空調機12を備える。通常、空調機12は内側空間13から吸入口16を通じて空気を取り込んで、調整し、排出口18から内側空間13に戻す。
植物栽培システム雰囲気調整装置2においては、ランプ10がランプ囲い20で囲われている。ランプ囲い20の壁の少なくとも一部は透明である。ランプ囲い20には、ランプ囲い20の内側と、内側空間13及び外気空間7とを選択的に導通する一の管路22が接続されている。また、ランプ囲い20には、ランプ囲い20の内側と、内側空間13及び外気空間7とを選択的に導通するほかの管路24が接続されている。即ち、一の管路22は二股管26の根元で分岐し、二股管26の一方が内側空間13に通じ、他方が外気空間7に通じている。他の管路24は二股管28の根元で分岐し、二股管28の一方が内側空間13に通じ、他方が外気空間7に通じている。二股管26、28の根元には2方切り替え弁部30、32がそれぞれ設けられている。
外気空間7の温度が内側空間13の設定温度より高いときには、一の管路22、他の管路24とも、外気空間7に通ずるように2方切り替え弁部30、32で設定する。外気空間7の温度が内側空間13の設定温度より低いときには、一の管路22、他の管路24とも、内側空間13に通ずるように2方切り替え弁部30、32で設定する。
この選択的な設定により、外気空間7の温度が内側空間13の設定温度より高いときには、空気が外気空間7から取り込まれ、空気が一の管路22、ランプ囲い20、他の管路24をこの順に経由して矢印Aの方向に進行して再び外気空間7に放出されるので、ランプ10がこの空気で冷却される。また、ランプ10の熱で暖められた空気が内側空間13に流入することがない。従って、ランプ10の熱による空調機12の冷房負荷の増大を防ぎ、空調負荷が軽減される。
また、選択的な設定により、外気空間7の温度が内側空間13の設定温度より低いときには、空気が内側空間13から取り込まれ、空気が一の管路22、ランプ囲い20、他の管路24をこの順に経由して矢印Bの方向に進行して再び内側空間13に放出されるので、ランプ10がこの空気で冷却されるとともにランプ10の熱で暖められた空気が内側空間13に還流する。従って、ランプ10の熱により空調機12の暖房負荷を軽減することができる。
なお、一の管路22には、空気を矢印A或いは矢印Bの方向に送風するためのファンのような送風手段36が備えられている。
また、図1(b)に示すように、プラント囲い8の内側空間13は、移動型隔壁38によって分割され、内側空間13−1と13−2とに分かれている。内側空間13−1と13−2のそれぞれが、異なる環境条件に設定することができる。
植物9が栽培されている植生床6の間の通路では、移動型検出装置40が自走して植物9の状態を検出し、また、移動型選別装置60が自走して、収穫対象である植物9をクラス分けして収穫する。移動型選別装置60は、植物9の全体又は植物9の一部、すなわち実・葉・根などを収穫対象(以下、収穫対象部という。)とする。
(植物の栽培状況の管理)
最初に、植物栽培システム4において、移動型検出装置40が移動しながら、植物の状態を検出する場合を例示する。
図2を参照し、植物栽培システム4における植物の状態を検出する移動型検出装置40を示す。
図2は、本実施形態における移動型検出装置40を示す図である。
移動型検出装置40は、移動型車両本体41を台車とする。移動型車両本体41は、移動手段とする車輪41Wを備え、駆動部(不図示)から供給される動力により移動する。
移動型車両本体41の上面には、鉛直軸を中心として回転自在に支持されるブラケット42Bが設けられる。そのブラケット42Bには、アーム部42が設けられ、ブラケット42Bは、アーム部42を前後方向に転動自在に支持している。また、図2に示すように、移動型検出装置40が、連続して接続される複数のアーム部42(42−1、42−2、42−3、42−4)を備え、アーム部42の移動型車両本体41と反対側の先端には、撮像部300が設けられている。
移動型検出装置40は、アーム部42、撮像部300、移動型検出装置40の制御部(不図示)を機能させ、自走可能とする電源部(不図示)を備えている。
移動型検出装置40の制御部は、移動型車両本体41の移動制御、アーム部42を要求に応じて駆動して、撮像部300の位置及び方向を定める駆動制御、撮像部300を機能させる撮像制御、撮像した画像情報に基づいて検出処理、処理結果などを通信する通信制御などを行う。
移動型検出装置40は、植物栽培プラント4(図1)において栽培される植物9(図1)の状態を移動しながら検出する。
また、移動型検出装置40は、移動型車両本体41の代わりに固定的に設けられた台座であってもよい。
ここで、図3を参照し、植物、すなわち農作物の栽培を制御する植物栽培システムの概要について説明する。
図3は、本実施形態における植物栽培システムの構成を示すブロック図である。
植物栽培システム1は、栽培する植物を収穫して出荷されるまでの工程において、育成環境などの環境条件について制御を施すことにより収穫時期を制御して、収穫予定時期の収穫量を高めることができる。
収穫予定時期の収穫量を高めるには、発芽から収穫までの各工程で、植物の生長を管理する直接的な制御と、間接的な制御とがある。
直接的な制御とは、間引き、剪定などにより植物自体を加工することなどが含まれる。
また、間接的な制御とは、各種環境条件の設定を行うことなどが含まれる。
植物栽培システム1は、植物と、その植物を栽培する環境を制御対象として、その植物の育成状況、収穫時期などを最適化して、収穫予定時期の収穫量を増加するように制御する。
本実施形態に示す植物栽培システム1では、植物の栽培環境を制御対象として、モデル化することにより、それぞれの栽培工程の制御を容易化する。
その制御にあたり、植物自体を直接的な方法だけで完全に制御しきれないこと、屋内環境であったとしても、バラツキがなくなるように環境の均一性を確保することが困難であることなどが、制御を困難とする要因となる。また、成長度合いが植物の個体差に依存することや、同一の個体内であっても、実の収穫時期がバラツクことにより、制御を困難とする要因となっている。
本実施形態では、その制御対象をモデル化し、制御を困難とする要因を外乱として捉え、育成状況に応じて、そのモデルを最適化することにより、収穫予定時期の収穫量を確保する制御を容易にする。
このような植物栽培システムの構成例について説明する。
この図3に示される植物栽培システム1は、例えば、制御対象部100、判定部200、撮像部300、撮像位置移動部400、制御部500、及び、移動型選別装置60を備える。
制御対象部100は、管理対象である植物9と、植物9の育成環境を制御する環境駆動部120を備える。
植物9は、発芽後の葉、茎、花・実、及び根の状態によって育成状況を判定できる。その育成状況は、基準時(発芽時など)からの経過時間に関係付けて判定することができる。
例えば、葉の状態による判定では、葉の枚数、1枚の葉の大きさ、生い茂った葉の投影面積、しおれ具合(角度、縦横比)などがあげられる。茎の状態による判定では、背丈、枝の張り具合、太さなどがあげられる。花・実の状態による判定では、数、密度、配置、実の成熟度などがあげられる。根の状態による判定では、長さ、広がり具合などがあげられる。
環境駆動部120は、制御部500から供給される環境制御量に応じて、植物が栽培される育成環境を制御する。
環境駆動部120は、光制御部121、空調設備122、二酸化炭素処理部123及び水調整設備124を備える。
光制御部121(光制御手段)は、発光部又は遮光部を含み、植物9に与える光の光量又は波長を制御する。一般的な植物9は、適当な光の強度及び照射時間に依存する光の量により光合成を行う。そのような植物9では、その光合成に基づいて、植物9の成長が促進される。また、光制御部121は、植物9の好日性を利用して、光の照射方向を制御して、植物9の成長する方向を制御する。また、光制御部121は、太陽などの自然光と異なり、特定の波長を制限して与えることにより、特定の成長を促進させる。例えば、発光波長を制限できる発光部としては、発光ダイオード、高圧ネオンランプなどがある。遮光部によって波長を制限する場合には、波長選択性のフィルターを用いる。
なお、光制御部121は、波長帯に分けて検出可能な光量検出部を備え、検出された光量に基づいて、波長に応じた光量制御を行うことができる。
空調設備122は、植物9が置かれている周囲温度、湿度、及び、風量を制御する。
十分な容量の空気を、適正な周囲温度、湿度、及び、風量に制御して与えることにより、植物9の成長にダメージを与えることなく成長を促進させることができる。
なお、空調設備122は、複数箇所に設けられた温度計測部を備え、検出された温度情報に基づいて温度制御を行うことができる。
二酸化炭素処理部123は、空調設備122によって管理されている空気中の二酸化炭素濃度を制御する。適正量の二酸化炭素濃度を維持することにより、光合成を促進させることができる。二酸化炭素処理部123は、単に二酸化炭素を発生させるのではなく、他の設備が発生した二酸化炭素を再利用してもよい。
なお、二酸化炭素処理部123は、二酸化炭素濃度を検出することができ、検出された二酸化炭素濃度に基づいて制御することができる。
水調整設備124は、植物9に給水する水量、水温、及び、養分濃度のうちから、少なくとも1つを制御する。特に水耕栽培である場合、水温及び養分濃度は大事な管理項目である。
なお、水調整設備124は、植物9に給水する水量、水温、及び、養分濃度を検出することができ、検出した情報を記録することができる。
このように、植物栽培システム1では、環境駆動部120を備えることにより、屋外環境の変化を遮蔽して、人工環境の元で栽培環境を構築する形態と、屋外環境の変化も利用しつつ、適切な環境を補助的に構築する管理支援型の栽培環境とする形態のいずれにも適用可能である。いずれの形態を採用するかは、栽培する植物の種別、栽培時期、成長過程、施設が置かれた環境などの条件により適宜選択される。
例えば、発芽から所定の期間は、人工光を用いて連続照射することにより、成長が促進される植物があることが知られている。また、照射する波長を選択することにより、成長量を制御して目的の成長を促進させることを可能とする。
判定部200は、撮像部300によって撮像された画像情報と、植物9の育成モデルとに基づいて、植物9の育成状況を判定する。
判定部200は、検出部210、育成モデル部220、状況記憶部230、及び、育成状況判定部240を備える。
検出部210は、撮像された植物9の画像情報から、該植物9の成育状況を検出し、該画像情報と該成育状況を状況記憶部230に記憶させる。
また、検出部210は、撮像された植物9の画像情報と、その画像を撮像した位置情報から、その画像情報に含まれる植物9の特徴点の位置を検出し、検出した位置情報と撮像した時間情報とを、状況記憶部230に記憶される画像情報に関連付けて記憶する。
育成モデル部220は、複数の育成モデルを備える。育成モデル部220に設定される複数の育成モデルは、例えば、基準時(発芽時など)からの経過時間と植物9の育成状況とを関連付ける、経過時間による成長状況を示す育成状況モデル221(第1育成モデル)、花が成実したときの実の位置を推定した、花の位置に対する実の配置モデル222(第2育成モデル)、及び、大きさ、形又は色を基準とするパターンを用いて、検出する対象の特徴を抽出し、収穫時期を判定する収穫時期判定モデル223(第3育成モデル)を含む。
状況記憶部230は、植物9の画像情報、成育状況、画像情報に含まれる植物9の特徴点の位置情報、及び、撮像した時間情報を関連付けて記憶する。また、状況記憶部230は、光制御部121、空調設備122、二酸化炭素処理部123及び水調整設備124が検出した環境情報を上記の植物9の情報に関連付けて記憶することができる。
育成状況判定部240は、記憶された画像情報と成育状況との少なくとも一方を用いて、植物9の育成モデルに基づいて育成状況を判定する。
育成状況判定部240は、育成モデル部220に含まれる、経過時間による育成状況モデル221(第1育成モデル)、花の位置に対する実の配置モデル222(第2育成モデル)、及び、収穫時期判定モデル223(第3育成モデル)の少なくとも一つを基準として、植物9の育成状況を判定する。
撮像部300は、植物9(と該植物9の周囲の状況)を撮像し、画像情報を生成する。撮像部300は、CCD又はCMOSセンサなどを搭載した撮像装置、及び、撮像用の補助光の発光装置を備える。
撮像部300は、撮像位置移動部400に含まれる移動型検出装置40(図2)が備えるアーム部42の先端部に搭載される。アーム部42の先端部の動きに応じて、撮像位置が変更され、被写体である植物9との相対位置が変化する。また、アーム部42の先端部に設けられた旋回台に撮像部300が搭載され、旋回台の制御により任意の方向に旋回可能となる。これらの制御を組み合わせることにより、撮像部300は、任意の位置、任意の方向から植物9を撮像することが可能となる。
撮像位置移動部400(撮像位置移動手段)は、指示された位置まで撮像部300が撮像する位置を移動させて、指示された方向から植物9を撮像可能とする。
撮像位置移動部400(撮像位置移動手段)は、撮像する位置を移動させる移動型検出装置40(図2)を備え、移動型検出装置40(図2)には(多関節型の)アーム部42(ロボットアーム)が設けられる。
そのアーム部42の先端には、撮像部300に被写体からの光を導く光学系が設けられており、撮像位置移動部400は、その光学系の光軸を指示された方向に転回させる。
移動型選別装置60は、制御部500からの指令に基づいて、対象となる植物9から農作物として収穫する収穫対象部の選別を行ない、又、その収穫対象部を収穫する。移動型選別装置60は、自走可能な移動手段を備えており、必要に応じて植物栽培システム4内を移動する。
制御部500(制御部)は、撮像位置移動部400(撮像位置移動手段)によって移動した位置から撮像部300によって撮像された植物9の画像情報、及び、移動型選別装置60によって撮像された植物9の画像情報に基づいて、植物9の育成モデルを基準として育成状況を判定した結果に従って、植物9の育成環境を制御する。
制御部500は、育成モデル生成部510、環境制御部520、位置制御部530、生産計画設計部540、収穫計画設計部550、剪定計画設計部570、及び作業司令部580を備える。
育成モデル生成部510は、育成モデルを画像情報に基づいて生成し、育成モデル部220に保持される育成モデルを更新する。
育成モデル生成部510は、画像情報から生成された育成状況によって第1育成モデルを決定する第1モデル生成部、画像情報から開花時の花の位置を検出し第2育成モデルを生成する第2モデル生成部、画像情報から収穫時期を判定する第3育成モデルを生成する第3モデル生成部を備える。
環境制御部520は、判定された育成状況に応じて育成環境を制御する環境制御量を生成する。例えば、環境制御部520は、判定された育成状況に応じて植物9に与える光を制御する場合には、光制御部120によって、植物9に与える光の光量又は波長を制御する。環境制御部520は、判定された育成状況に応じて植物9に与える二酸化炭素濃度を制御する場合には、二酸化炭素発生部123によって、植物9が置かれている二酸化炭素濃度を制御する。環境制御部520は、判定された育成状況に応じて植物9に与える空気を制御する場合には、空調設備121によって、植物9に供給する空気の温度、湿度、及び、風量の少なくともいずれか1つを制御する。環境制御部520は、判定された育成状況に応じて植物9に与える水を制御する場合には、水調整設備124によって、植物9に給水する水量、水温、及び、養分濃度の少なくともいずれか1つを制御する。
位置制御部530は、撮像位置移動部400を制御して、植物9を撮像する位置及び方向を指示する。位置制御部530は、撮像部300の位置、撮像方向を変更して目的に応じた画像情報を撮像するために撮像位置移動部400を制御する。
生産計画設計部540は、撮像された画像情報に基づいて生産計画を設計する。
収穫計画設計部550は、生成された第3育成モデルに基づいて、収穫計画を設計する。
また、収穫計画設計部550は、選別装置制御部600に対して、移動型選別装置60に選別作業を行わせる収穫位置を制御指令値を作成する。
配置計画設計部560は、対象となる植物9の第1育成モデルに応じて、対象となる植物9の周囲に位置する他の植物9の配置計画を設計する。
剪定計画設計部570は、第1育成モデルに応じて、植物9を剪定する剪定計画を設計する。また、剪定計画設計部570は、第2育成モデルに応じて、植物9の花(実)を剪定する剪定計画を設計する。
作業司令部580は、選別装置制御部600に対して、移動型選別装置60に選別及び収穫作業を行わせる位置を制御指令値として通知する。作業司令部580は、収穫計画設計部550が、第3育成モデルに基づいて作成した収穫計画に基づいて、移動型選別装置60に収穫作業を行わせる。
(植物の収穫時期の制御)
図4を参照し、本実施形態における植物の収穫時期の制御について説明する。
図4は、本実施形態における植物の収穫時期の制御を示す図である。
この図4に示されるグラフは、横軸を発芽からの経過日数(時間)、縦軸が植物の成長度合いを示し、いわゆる成長曲線の形状を有する。このグラフが示すように、成長度合いは経過日数に応じた関数として定義することができ、特定の環境条件下における傾向を、過去のデータに基づいて生成された育成モデルを植物9の育成状況管理の基準とする。
グラフS4aは、植物9の育成状況管理の基準とする成長曲線を示す育成モデルである。このグラフS4aに基づいて、収穫時期を設定することができる。
グラフS4bは、植物の育成状況管理を行わずに、グラフS4aに示した育成モデルより遅れて成長する過程を示す。このグラフS4bに示すように育成すると収穫時期が、計画より遅れてしまうことになる。そこで、本植物栽培システム1では、育成の過程で検出された育成状況の遅れを、周囲の環境を制御することにより、育成状況を促進させるように制御する。
育成状況を促進する場合には、制御対象である植物9の種別、及び、対策を実施する時期に応じて処理内容が選択される。例えば、対策の内訳として、光照射量を増加させたり、周囲温度、水温を高めたり、必要な養分量を増加させたりするなどの方法があげられる。
一方、育成状況を遅らせる場合にも、制御対象である植物9の種別、及び、対策を実施する時期に応じて処理内容が選択される。例えば、対策の内訳として、光照射量を減少させたり、周囲温度、水温を低下させたり、必要な養分量を減少させたりするなどの方法があげられる。
また、検出部210による育成状況の検出は、各個体の状況を検出し、それぞれ検出された結果に基づいて総合的に判定することも可能である。その総合的な判定では、それぞれ検出された検出結果を平均化したり、バラツキを検出したりするなど、各種統計処理の手法を適用できる。
例えば、全体を複数の区画に分割し、その区画に含まれる植物9から検出された結果を区画ごとにまとめて判定することも可能である。このように区画を分割することにより、配置された位置によるバラツキを検出することができる。
また、異なる種類の植物を区画ごとに配置して、それぞれに適した環境を設定することも可能である。
植物9の育成状況の検出には、1つの判定基準によって検出してもよく、或いは、複数の判定基準によって検出した複数の変数に基づいて判定してもよい。
(植物の育成状況の判定)
図5から7を参照し、本実施形態における植物の育成状況の判定について説明する。
判定部200によって行われる植物9の育成状況の判定では、検出対象に応じて複数の判定方法を選択することができる。
検出対象を、葉、茎、花・実、根のそれぞれを選択することができる。
検出部210は、以下に示す判定項目に応じて、選択された検出対象の状態を検出する。
育成状況判定部240は、検出された検出対象の状態について、記憶された画像情報と成育状況との少なくとも一方を用いて、植物9の育成モデルに基づいて育成状況を判定する。育成状況判定部240は、判定の基準とする育成モデルを、育成モデル部220に備えられている複数の育成モデルの中から判定項目に応じて選択する。
判定部200における葉の状態による判定では、葉の枚数、1枚の葉の大きさ、生い茂った葉の投影面積、しおれ具合(角度、一枚の葉の縦横比)などが判定項目としてあげられる。
葉の枚数は、予め定められた範囲に内に存在する枚数、或いは、茎(特定された枝)に着いた葉の枚数を計数することにより検出する。
1枚の葉の大きさは、特定された葉の大きさ、予め定められた範囲に内に存在する葉の大きさの平均、或いは、茎(特定された枝)に着いた葉の大きさの平均を算出することにより検出する。葉の大きさは、長手方向(縦)の長さ、長手方向と直交する方向(横)の長さ、面積とすることができる。
生い茂った葉の投影面積は、植物9の側面から鉛直面に投影された面積を検出する。
葉のしおれ具合は、水分不足などのストレスを容易に検出できる。しおれた状態では、葉先が下を向くことから、水平面と葉の表面とがなす角度から検出することができる。或いは、一枚の葉の縦横比を算出してもよい。しおれたことにより葉の張りがなくなり、見かけ上の横幅が狭くなる。そのため、しおれ具合により、一枚の葉の縦横比が変化する。
判定部200における茎の状態による判定では、背丈、枝の張り具合、太さなどが判定項目としてあげられる。
背丈は、茎(或いは先端の葉)の先の高さを検出する。撮像部300の高さを茎の高さと一致させることにより、撮像部300の高さから検出できる。
枝の張り具合は、枝分かれしている分岐数、或いは、枝の長さを検出する。
茎の太さは、基準の高さの茎の太さを検出する。
判定部200における花・実の状態による判定では、数、密度、配置、実の成熟度などが判定項目としてあげられる。
図5は、花と実の位置関係を示す図である。
図5(a)、(c)に開花期の状態を示し、図5(b)、(d)に成実期の状態を示す。
実の位置は、花の位置に依存することから、花の数及び位置を特定することにより、実の数と位置を特定することができる。開花期に示す花f1とf2は、成実期には実F1とF2として変化する。
花(実)の数は、予め定められた範囲に内に存在する数量、或いは、茎(特定された枝)に着いた花(実)の数量を計数することにより検出する。
花(実)の密度は、検出した花(実)の数量を単位容量で除算することにより算出できる。或いは、簡易的には、撮像された画像の所定の範囲に存在する花(実)の数量を計数する。
花(実)の配置は、3次元計測の手法を用いることにより検出する。例えば、3次元計測の手法として、光切断法やパターン投影法などの方法が知られている。
また、検出された花の位置から、成実期の実の位置を推定することができる。実の大きさ、重量を仮定して、その実がぶら下がる枝の強度と長さを演算条件とすることより、花の3次元位置に基づいて、実の推定位置を算出することができる。
この算出された推定位置から、隣接する実との干渉を推定することができる。つまり、実の大きさより、相対距離が近い場合には、干渉が生じると推定することができる。
実の成熟度は、実の色の変化に基づいて検出できる場合がある。
図6は、実の成熟度の検出を説明する図である。
図6(a)に示されるように、熟した実F3の色と熟しきらない実F4の色とが異なる場合に適用できる。熟しきらない実F4の色C1に対し、熟した実F3の色C2への色の変化を検出することにより、成熟度を検出できる。
図6(b)に示されるように、実の一部(例えば、下側)の色C2が変色し、その変色した範囲(Z2)を検出することにより成熟度を検出できる。
実の成熟度は、成熟度が高くなるにつれ、光の透過量が高く変化する場合がある。実に対して所定の光量の光(測定補助光)を照射して、その透過光の量を検出する。例えば、実の下部(又は側面)に接近した位置から測定補助光を照射して、撮像部300は、透過された光を検出する。その際、撮像部300の画角に、補助光源からの直接光が入らないように位置関係を調整してもよい。
判定部200における根の状態による判定では、長さ、広がり具合などが判定項目としてあげられる。水耕栽培であれば、根の長さを検出できる場合がある。根の長さは、株の位置からの長さを検出する。根の広がり具合は、株の位置から根が広がった面積を検出する。根の長さも広がり具合も、いずれも水中であることから直接的に検出しにくいが、補助光を照射して、根による影を間接的に検出することができる。
上記に示した、検出部210は、植物9を検出する直接的な検出方法のほかに、直接検出された結果に基づいた3次元モデルを作成することにより、直接検出できない情報を間接的に検出してもよい。
図7は、葉の状態を示す図である。
図7(a)に、4枚の葉の着いた茎を俯瞰した画像として示す。
植物9の側面から撮像した画像情報では、この図に示されるような画像情報を取得できるが、平面的な状態を検出するのは困難である。そこで、4枚の葉を3次元情報として抽出する。
図7(b)に、図7(a)に示した4枚の葉を3次元情報とした結果に基づいて、水平面に投射した結果を示す。このような次数変換の方法を採ることにより、植物9の上部からの撮像が困難な場合でも、任意の高さの範囲に含まれる葉の平面投射図を作成することができる。破線の円は、葉の先端の近傍を通過する円を示す。
図7(c)に、図7(a)に示した4枚の葉が、しおれた状態を示す。それぞれの葉の先端が地面に向かって垂れ下がった状態を示す。この状態の4枚の葉を3次元情報として抽出する。
図7(d)に、図7(b)と同様に図7(c)に示した4枚の葉を3次元情報とした結果に基づいて、水平面に投射した結果を示す。4枚の葉がしおれた状態となったことにより、葉の先端の近傍を通過する円は、図7(b)に示した葉の先端の近傍を通過する円より小さな円となる。
このように投射された葉のイメージが示す葉の先端の近傍を通過する円の直径により、葉の成長度合い、しおれ具合などの検出を行うことができる。
また、茎の先端に花が咲く「菊」のような植物の花の状態を検出することに応用できる。
(育成モデルの生成)
次に、制御部500において育成モデル生成部510が生成する育成モデルについて説明する。
前述の「(植物の育成状態の判定)」において、判定項目に応じて目的にあった検出条件による植物9の育成状態の検出について示した。検出された育成状態を判定するための基準(判定項目)として用いる育成モデルの生成について示す。
最初に、基準時(発芽時など)からの経過時間に応じて、植物9の育成状況を判定するために、基準時(発芽時など)からの経過時間と植物9の育成状況とを関連付ける経過時間による育成状況モデル(第1育成モデル)が必要とされる。
この第1育成モデルには、各種項目を選択することができる。例えば、葉の状態による判定では、葉の枚数、1枚の葉の大きさ、生い茂った葉の投影面積、しおれ具合(角度、縦横比)などがあげられる。茎の状態による判定では、背丈、枝の張り具合、太さなどがあげられる。花・実の状態による判定では、数、密度、配置、実の成熟度などがあげられる。根の状態による判定では、長さ、広がり具合などがあげられる。
選択された項目において、例えば、基準時(発芽時など)からの経過時間に応じた成長曲線に基づいた数値を基準値とすることにより、モデル化することができる。
この第1育成モデルは、個体の成長の基準とするだけでなく、隣接する個体との干渉を判定する場合にも用いることができる。
また、花が成実したときの実の位置を推定した、花の位置に対する実の配置モデル(第2育成モデル)が必要とされる。
この第2育成モデルには、花・実の状態による判定では、数、密度、配置などがあげられる。
選択された項目において、花の位置に対する実の配置を推定した位置、特徴点に対する位置、実の大きさを基準値とすることにより、モデル化することができる。
この第2育成モデルは、個々の実の成長の基準とするだけでなく、隣接する実のそれぞれの大きさと隔離距離により、隣接する実の干渉を判定する場合にも用いることができる。
また、大きさ、形、色、質を基準とするパターンを用いて、検出する対象の特徴を抽出して収穫時期を判定する収穫時期判定モデル(第3育成モデル)が必要とされる。この収穫時期判定モデル(第3育成モデル)の詳細については、後述する。
つまり、育成モデル生成部510は、判定項目として選択された項目を数値化してモデル化することにより、成長度合を示す基準値を生成し、育成モデル部220の初期値とする。
育成モデル生成部510は、育成モデルの生成を画像情報に基づいて生成して、更新する。生成した育成モデルと、実際の状態との乖離が大きい場合には、無理な制御量を与えることとなる場合がある。その場合には、育成モデル生成部510は、予め定めた閾値を基準に、判定し育成モデルを補正して、育成モデル部に保持された値を更新する。なお、育成モデルの更新は、段階的に定めた成長課程によって更新周期を変更してもよい。
判定部200では、検出部210によって検出された値と、育成モデル部220に保持された各育成モデルの値とに基づいて育成状況判定部240によって判定(演算)することにより、検出された値と、育成モデル部220に保持された各育成モデルの値との差を算定し、育成状況を判定する。
なお、育成モデル生成部510は、育成モデルの値を、過去に検出された検出値、過去に設定されたモデルの値などを統計処理して算定してもよい。
(周囲環境の制御)
環境制御部520は、判定された育成状況に応じて育成環境を制御する環境制御量を生成する。例えば、環境制御部520は、判定された育成状況に応じて植物9に与える光を制御する場合には、光制御部120によって、植物9に与える光の光量又は波長を制御する。環境制御部520は、判定された育成状況に応じて植物9に与える二酸化炭素濃度を制御する場合には、二酸化炭素発生部123によって、植物9が置かれている二酸化炭素濃度を制御する。環境制御部520は、判定された育成状況に応じて植物9に与える空気を制御する場合には、空調設備121によって、植物9に供給する空気の温度、湿度、及び、風量の少なくともいずれか1つを制御する。環境制御部520は、判定された育成状況に応じて植物9に与える水を制御する場合には、水調整設備124によって、植物9に給水する水量、水温、及び、養分濃度の少なくとも1つを制御する。
例えば、育成状況を促進させるためには、環境制御部520は、光制御部120によって、植物9に与える光の照度を高め、照射時間を長くして、光量が増加するように制御する。また、空調設備121によって、植物9の周囲温度を高めることにより、育成状況を促進させることができる。このような条件の制御では、植物の種類、育成過程などによって異なり、それぞれに適する制御内容が定められる。
周囲環境の制御は、栽培時には、環境制御部520により比較的短い周期で繰り返し行われ、異常値の検出を早く行うことにより、植物9へのダメージを低減し、適切な環境で栽培できるようにする。
(撮像位置の制御)
位置制御部530は、撮像位置移動部400を制御して、植物9を撮像する位置及び方向を指示する。位置制御部530は、撮像部300の位置、撮像方向を変更して目的に応じた画像情報を撮像するために撮像位置移動部400を制御する。
撮像位置移動部400は、多間接型のアーム部42を備える移動型検出装置40を備えていることから、撮像部300の位置を柔軟に設定することができる。
植物9の実が、葉や他の実の影になるような位置であっても、それらに影響されない位置に撮像部300を移動させることができる。これにより、撮影対象の植物9の実が葉や他の実の影に隠れていたとしても、それらに妨げられることなく、撮影対象の植物9の実を撮像部300で確実に撮像することができる。
なお、撮像部300は、アーム部42の先端部に配置するものとしたが、アーム部42の先端に近いアームや、同アームに設けられた雲台に設けられていてもよい。また、アーム部42の先端としたが、アーム部42に内蔵されていてもよい。
(生産計画の設計)
生産計画設計部540は、撮像された画像情報に基づいて生産計画を設計する。画像情報に基づいた生産計画を設計することにより、収穫するか否かの判定に限らず、植物栽培システム1の設備を有効に利用して、効率よく植物9を栽培することが可能となる。また、この生産計画は、目的の時期の出荷量を調整することにも利用できる。
(収穫計画の設計)
収穫計画設計部550は、第3育成モデルに基づいて、収穫計画を設計する。
第3育成モデルに基づいて設計することにより、収穫可能か否かの判定の精度を高めることができる。この判定を行うことにより、例えば、それぞれの実の収穫時期を適正化させることができ、品質を揃えることが可能となる。
収穫計画を作成するための画像情報は、各植物9に対して他の処理を行うために接近した際に、所得することもできる。或いは、過去に設計した収穫計画によって、収穫順序が策定されていれば、その収穫順に応じて検出頻度を制御することも可能である。すなわち、収穫計画により収穫時期が遅くなると判定された実に対する検出頻度を粗くして、収穫時期が近い実に対する検出頻度を高めることができるので、検出効率を高めることができる。
また、収穫時期を繰り上げ、或いは延期させる判定条件として用いることもできる。これにより、必要な出荷量に応じた量を収穫することができる。
(配置計画の設計)
配置計画設計部560は、第1育成モデルに応じて、周囲に位置する植物9の配置計画を設計する。第1育成モデルに基づいて設計することにより、成長後の植物9の個体の大きさを算定することができる。
この配置計画を策定することにより、成長過程で隣接する植物、或いは、施設との干渉を未然に防いで、効率よく植物を配置することができる。この配置計画は、いわゆる、間引きを行う場合や、互いの異なる種類の植物同士の相性が合わない場合の適切な配置等の判定基準となる。
(剪定計画の設計)
剪定計画設計部570は、第1育成モデルに応じて、植物9を剪定する剪定計画を設計する。
これにより、隣接する植物9、或いは、自らの枝に干渉する場合を推定することができ、剪定する枝とその位置を適正に選定することができる。
また、剪定計画設計部570は、第2育成モデルに応じて、植物9の花(実)を剪定する剪定計画を設計する。
これにより、植物9に成実する位置を算定することにより、自らの枝や実に干渉する場合を推定することができ、剪定する枝や実を選定し、剪定する位置を適正に選定することができる。
(植物栽培システムの制御)
本実施形態に示した植物栽培システム1では、撮像部300は、植物9を撮像し、画像情報を生成する。
撮像位置移動部400は、撮像部300が撮像する位置を移動させるアーム部42(ロボットアーム)を備えることにより、自由な位置と方向から植物9の状況を測定することができ、その測定された画像情報に基づいて、環境条件を制御することにより、収穫時期を制御することが可能となる。
このような、植物栽培システム1によって大規模化が容易に行えるようになることから、収穫作業を効率よく行うことが必要とされる。また、収穫作業は、従来からも労力を必要とする作業であったため、効率を向上させるだけでなく省力化を図る必要がある。
[植物の選別処理]
続いて、植物栽培システム4において、移動型選別装置60が移動しながら、植物を選別する場合を例示する。
図8を参照し、植物栽培システム4における植物を選別する移動型選別装置60を示す。
図8は、本実施形態における移動型選別装置60を示す図である。
図8(a)に示すように、移動型選別装置60は、移動型車両本体61を台車とする。移動型車両本体61は、移動手段とする車輪61Wを備え、駆動部(不図示)から供給される動力により移動する。その駆動部は、移動型車両本体61に搭載されており、移動型選別装置60を移動させる制御量に応じて車輪61Wを駆動する。
移動型車両本体61の上面には、水平方向に回転自在に支持されるブラケット62Bが設けられる。そのブラケット62Bには、アーム部62が設けられ、ブラケット62Bは、アーム部62を前後方向に転動自在に支持している。また、図8(a)に示すように、移動型選別装置60は、連続して接続される複数のアーム部62(62−1、62−2、62−3)を備える。
アーム部62の移動型車両本体61と反対側の先端部(62−3)の先端には、エンドイフェクタ部63、保持部64、撮像部65、補助光射出部66が設けられている(図8(b))。
エンドイフェクタ部63は、植物9を間に挟んで保持する1対の可動部63B(爪)を供え、その可動部63Bによって植物9を収穫するために挟んで保持することができる。また、エンドイフェクタ部63は、植物9を収穫するために切り離す切断部63Cを合わせて備えてもよい。その切断部63Cは、エンドイフェクタ部63によって挟まれた植物を、可動部63Bによって挟まれた収穫対象部の近傍で切断する。また、エンドイフェクタ部63は、植物9に接する面には、弾性体の保護部材によって覆われており、その一部には、植物9を押圧する圧力を検出する圧力検出部63Aが設けられる。エンドイフェクタ部63は、植物9を押圧する圧力を圧力検出部63Aが検出した値に応じて制御される。
また、エンドイフェクタ部63は、植物9を収穫するために挟んで保持することを必要としない場合には、切断部63Cのみを機能させて、植物9を切断することもできる。なお、エンドイフェクタ部63は、植物9を収穫するほかに、選別処理、剪定処理に用いてもよい。
保持部64は、中央部が下に凹んだ皿部を備える。その皿部は、アーム部62の先端部からエンドイフェクタ部63の向きと同じ方向に向けて、エンドイフェクタ部63の下部になるように支持されている。保持部64は、収穫する植物の収穫対象部の下部に配置されて、植物の収穫対象部を下から保持する。また、保持部64の皿部の上面には、圧力検出部64Aが設けられており、植物の収穫対象部の重量を検出するために、保持部64が保持する植物の収穫対象部からの圧力を検出する。また、保持部64には、加速度センサー(不図示)を設けて、圧力検出部64Aによって検出された圧力を、検出した加速度に基づいて補正させてもよい。
撮像部65は、植物9(と該植物9の周囲の状況)を撮像し、画像情報を生成する。撮像部65は、CCD又はCMOSセンサなどを搭載した撮像装置、撮像装置に付帯する光学系、及び、撮像用の補助光の発光装置を備える。撮像部65は、検出対象である個々の農作物の複数の物理量を検出する。複数の物理量とは、大きさ、長さなどの外観を示す量、並びに、農作物のできばえに依存する蓄積された成分や、内部の状態を示す量などから選定される。
撮像部65は、補助光射出部66から補助光が照射されている期間に同期して、物理量を検出する。
補助光射出部66は、撮像部65が植物9を撮像する際の補助光を植物9に対し射出する。補助光射出部66は、測定対象の植物9の内部に蓄積されている成分、及び、内部の状態を検出可能とする光量及び波長の光を射出する。補助光射出部66は、物理量の検出を容易とするための補助光を照射する。
例えば、植物9に照射する光として近赤外光を利用することにより、例えば、糖分量の検出が可能となる。
また、補助光射出部66は、目的に応じて任意の光量及び波長の光を選択でき、検出対照にあわせて、任意の光量及び波長の光を設定することができる。例えば、植物9に照射する光としてテラヘルツ光(1THz(テラヘルツ)近傍の周波数帯の光)を利用することにより、植物9の内部の均一性を検出することが可能となる。テラヘルツ光を用いることにより、植物9の一部が部分的に変質した状態、すが入った状態、害虫に荒らされた状態などの有無を鮮明に検出することができる。テラヘルツ光を利用する検出手法についての参考文献として、ニコン社ホームページなどを参照できる(「http://www.nikon.co.jp/profile/technology/core/optical/terahertz/index.htm」)。
光の透過量を検出する場合には、撮像部65と補助光射出部66とを、検出対象を挟む位置に配置して対向させ、検出対象における透過光を検出する。検出対象の内部状態により透過量が変化することにより、撮像部65は、検出対象における内部の状態を検出することができる。撮像部65により検出対象の透過光を検出するには、例えば、エンドイフェクタ部63の可動部63Bが備え持つ、対をなす爪に撮像部65と補助光射出部66とをそれぞれ配置して、その間に測定対象物(植物9)が配置される位置まで、エンドイフェクタ部63を移動させることにより実現できる。
選別或いは収穫する植物を撮像し、その植物の状態を検出する。撮像部65及び補助光射出部66をエンドイフェクタ部63のいずれの位置に設けるかは、エンドイフェクタ部63の用途、収穫対象とする植物の種類などによって定められる。
撮像部65は、エンドイフェクタ部63の移動に応じて、撮像位置が変更され、被写体である植物9との相対位置が変化する。また、アーム部62の先端部に設けられた旋回台に撮像部65が搭載され、旋回台の制御により任意の方向に旋回可能としてもよい。これらの制御を組み合わせることにより、撮像部65は、任意の位置、任意の方向から植物9を撮像することが可能となる。
刻印部67は、レーザー光を植物9に射出して、読み取り可能なマーキングを植物9に焼き付ける。このマーキングは、植物9を判定し、クラス分けされた結果を示すものである。例えば、文字、記号、図形などを、そのクラス分けに応じて予め定めておく。これにより、そのマーキングが施された植物9は、クラス分け結果を示す情報が焼き付けられていることになる。
また、刻印部67によって、レーザー光を植物9に射出して焼き付ける過程において、その焼付け状況を撮像部65によって検出する。その焼付け状況から、植物9の状態を検出することができる。例えば、植物9の表皮の水分量が、多くなると焼き付けにくくなり、逆に水分量が少なくなると焼き付けやすくなる。焼き付けられた刻印の濃さを検出することにより、植物9の表皮の水分量を間接的に検出することができる。植物9の成熟が進むと、細胞組織幕が薄くなり、水分量が多くなることから焼き付けにくくなる傾向にある。この検出は、所定時間幅のパルスを複数回照射し、所定の濃さの焼付けが生じるまでのパルス数などを検出することにより得ることができる。
また、移動型車両本体61の上面には、収穫した植物を収納する収納部61Cが設けられている。この収納部61Cは、収穫する植物の種類、大きさ、形状、等級などによって必要に応じて分割されており、その分割に応じて、収穫した植物をクラス分けして収納することができる。
さらに、図示していないが、移動型選別装置60は、蓄電池と、蓄電池からの電力を供給する電源部とを備え、電源部が移動型選別装置60に備えられている各部に電力を供給している。
図9は、本実施形態における移動型選別装置60(植物選別装置)を示すブロック図である。図3、図8に示した構成と同じ構成には、同じ符号を附す。
移動型選別装置60は、移動型選別装置60に備えられている各部を制御する選別装置制御部600を備えている。
選別装置制御部600は、移動制御部610、収穫位置制御部620、エンドイフェクタ制御部630、保持制御部640、撮像制御部650、刻印制御部670、選別判定処理部680、及び、記憶部690を備える。
移動制御部610は、選別判定処理部680からの指令情報に従って、複数の車輪61Wをそれぞれ駆動して移動型選別装置60を目標位置に移動させる制御を行う。また、移動制御部610は、移動範囲の地図情報を記憶しており、選別判定処理部680からの指令情報は、その地図情報に応じた座標情報(目標位置座標情報)によって指示される。また、移動制御部610は、慣性航法などの手段により現在位置の位置座標を検出することができ、指示された座標情報と、現在位置の位置座標との差がなくなるように、フィードバック制御を行って、目標位置に移動させる。なお、選別判定処理部680からの指令情報は、現在位置を基準とした相対的な位置情報であってもよい。
収穫位置制御部620は、選別判定処理部680からの指令情報に従って、アーム部62を駆動してアーム部62の先端部を目標位置に移動させる制御を行う。また、収穫位置制御部620は、アーム部62の状態を状態変数によって示し、状態変数を用いた多値制御を行う。収穫位置制御部620は、アーム部62を移動させる範囲内に植物9が存在することを、撮像部65によって撮像された画像情報を判定することにより検出でき、植物9への接触を防止することができる。また、収穫位置制御部620は、第2育成モデルによって示される植物9の空間情報に基づいて、植物9に接触するか否かを検出してもよい。
エンドイフェクタ制御部630は、選別判定処理部680からの指令情報に従って、エンドイフェクタ部63を駆動して収穫する植物をクラス分けさせる制御や、収穫する植物を切断させる制御や、エンドイフェクタ部63を駆動して収穫する植物を挟んで保持する制御を行う。また、エンドイフェクタ制御部630は、エンドイフェクタ部63の状態を、圧力検出部63Aによって検出された圧力、撮像部65によって得られた画像から検出された状態に基づいて、指令情報に応じたフィードバック制御を行う。また、エンドイフェクタ制御部630は、選別判定処理部680からの指令情報に従って、エンドイフェクタ部63を駆動して剪定処理を行うために植物を切断させる制御を行うこともできる。
保持制御部640は、選別判定処理部680からの指令情報に従って、保持部64の位置を制御してクラス分けする植物及び収穫する植物の収穫対象部の下部を保持する制御を行う。
保持制御部640は、保持部64をエンドイフェクタ部63の爪の向きと同じ方向に向けて、エンドイフェクタ部63の下部になるように制御する。保持制御部640は、収穫する植物の収穫対象部の下部に保持部64を配置する。そして、保持制御部640は、クラス分けする植物の収穫対象部の下から、保持部64によって保持させる。また、保持制御部640は、エンドイフェクタ部63によって切断された植物の収穫対象部の下から、保持部64によって保持させる。
そして、保持制御部640は、収穫した植物の収穫対象部が保持部64から、収納するまでに生じうる不意な落下をしないように保持させる。
撮像制御部650は、選別判定処理部680からの指令情報に従って、撮像部65及び補助光射出部66を制御して収穫する植物9、及び、該植物9の周囲の状況を撮像し、それぞれの画像情報を生成させる。撮像制御部650は、撮像部65が備えている撮像装置、及び、撮像装置に付帯する光学系を制御する。
撮像制御部650は、アーム部62及びエンドイフェクタ部63の動きに応じて、撮像部65の撮像位置が変更され、被写体である植物9との相対位置が変化する。また、アーム部62の先端部に設けられた旋回台に撮像部65が搭載されている場合は、撮像制御部650は、旋回台の制御により撮像部65を任意の方向に旋回させることができる。これらの制御を組み合わせることにより、撮像制御部650は、撮像部65を制御して、任意の位置、任意の方向から植物9を撮像することが可能となる。
また、撮像制御部650は、撮像部65が撮像した植物9の画像情報に基づいて、植物9の状態を検出するための画像処理を行って、必要とされる情報を抽出する。例えば、花・実の状態の検出は、図5、図6を参照する。
また、撮像制御部650は、撮像部65が撮像する際に、補助光射出部66を制御して植物9に補助光を照射する。撮像部65が撮像した植物9の画像情報に基づいて画像処理を行って、必要とされる情報を抽出する。例えば、補助光射出部66が照射する光が、テラヘルツ光の場合は、検出される画像情報からコントラストを高める処理などを行うことにより、植物9の内部の不均一な状態を検出することができる。
刻印制御部670は、選別判定処理部680による判定結果に基づいて、所望の印字パターンを植物9の収穫対象部に刻印する。例えば、へた、茎など目立ちにくい部位を選択して刻印させるほかに、収穫対象部の表皮に明示的に刻印させてもよい。
選別判定処理部680は、収穫計画設計部550から通知される、移動型選別装置60に選別作業を行わせる位置を制御指令値として受け付ける。
選別判定処理部680は、受け付けた制御指令値に従って、移動制御部610を制御して、車輪61Wを駆動させて、移動型選別装置60を目標位置に移動させる。
選別判定処理部680からの指令情報は、移動型選別装置60が移動する範囲の地図情報に応じた座標情報(目標位置座標情報)によって指示される。
選別判定処理部680は、収穫位置制御部620を制御する指令情報を生成して、アーム部62を駆動してアーム部62の先端部を目標位置に移動させる。選別判定処理部680からの指令情報は、アーム部62を駆動してアーム部62の先端部を移動させる目標位置の座標情報(目標位置座標情報)を含む。
選別判定処理部680は、エンドイフェクタ制御部630を制御する指令情報を生成して、エンドイフェクタ部63を駆動して収穫する植物をクラス分けさせる制御や、収穫する植物を切断させる制御や、エンドイフェクタ部63を駆動して収穫する植物を挟んで保持する制御を行わせる。選別判定処理部680からの指令情報は、エンドイフェクタ部63を駆動して収穫する植物をクラス分けさせる制御や、収穫する植物を切断させる制御や、エンドイフェクタ部63を駆動して収穫する植物を挟んで保持する制御を指示する情報を含む。
選別判定処理部680は、保持部64の位置を制御する指令情報を生成して、クラス分けする植物及び収穫する植物の収穫対象部の下部を保持させる。選別判定処理部680からの指令情報は、保持部64の位置を制御してクラス分けする植物及び収穫する植物の収穫対象部の下部の位置を示す目標位置の座標情報(目標位置座標情報)を含む。
選別判定処理部680は、撮像部65及び補助光射出部66を制御する指令情報を生成して、収穫する植物9、及び、該植物9の周囲の状況を撮像させて、それぞれの画像情報を生成させる。選別判定処理部680からの指令情報は、撮像部65及び補助光射出部66を制御する情報と、撮像する対象を示す位置情報とを含む。
選別判定処理部680は、収穫する植物9、及び、該植物9の周囲の状況のそれぞれの画像情報に基づいた画像処理により、所望の物理量を得る。前述のように、収穫する植物9、及び、該植物9の周囲の状況のそれぞれの画像情報は、撮像部65によって生成されたものである。選別判定処理部680は、撮像部65によって生成された画像情報と、得られた物理量とを対応付けて記憶部690に記憶させる。
選別判定処理部680は、判定結果に基づいて刻印制御部670を制御して、所望の印字パターンを植物9の収穫対象部に刻印させる。
また、選別判定処理部680は、記憶部690に記憶された複数の物理量を含む時系列情報に基づいて成長度及び成熟度を推定し、推定結果に応じて個々の農作物をクラス分けを行う。
個々の農作物をクラス分けは、以下の方法を選択することができる。
例えば、選別判定処理部680は、物理量の変化量から成長度及び成熟度を推定し、推定結果に応じて個々の農作物をクラス分けしてもよい。これにより、物理量の変化量から成長度及び成熟度を推定することにより、判定精度を高めることができる。
選別判定処理部680は、識別情報が同一の農作物を検出対象として検出された時系列情報に基づいて、個々の農作物をクラス分けしてもよい。例えば、識別情報によって同一と識別される農作物から得られた時系列情報に基づくことにより、成長の傾向が同じ傾向を示すことが推定できる。これにより、平均的な情報からでは得られない個体差による傾向を判定条件に含めることができる。
選別判定処理部680は、識別情報が同一の農作物を検出対象として、農作物の同じ部位において検出された時系列情報に基づいて、個々の農作物をクラス分けしてもよい。
例えば、識別情報によって同一と識別される農作物であっても、部位ごとに傾向が異なる場合がある。これにより、識別情報が同一の農作物の同じ部位において検出された時系列情報に基づくことにより、成長の傾向が同じ傾向を示すことが推定できる。これにより、平均的な情報からでは得られない個体差による傾向を判定条件に含めることができる。
また、選別判定処理部680は、記憶部690に記憶された時系列情報に基づいたデータマイニングにより成長度及び成熟度を推定し、個々の農作物をクラス分けを行う。
記憶部690に記憶された時系列情報は、前述のように、識別情報が同一の農作物において検出された時系列情報としたり、識別情報が同一の農作物の同じ部位において検出された時系列情報としたりすることができる。
データマイニングは、既知の手法により実施することができる。このデータマイニングは、記憶部690に記憶された各種時系列情報に基づいて処理をする。
このデータマイニングにより、記憶部690に記憶された時系列情報に基づいて、成長度及び成熟度を推定するためのモデルを予め算出することができる。
選別判定処理部680は、記憶部690に記憶された時系列情報に基づいたデータマイニングにより予め算出されたモデルに基づいて成長度及び成熟度を推定し、個々の農作物をクラス分けしてもよい。これにより、成長度及び成熟度を推定するためのモデルを過去に検出された時系列データに基づいて生成することができ、成長度及び成熟度の推定精度を高めることができる。
或いは、このデータマイニングにより、記憶部690に記憶された時系列情報に基づいて、成長度及び成熟度を推定するためのモデルを生成し、生成したモデルを状況に応じて適応させることができる。
選別判定処理部680は、記憶部690に記憶された時系列情報に基づいたデータマイニングを行い生成するモデルに基づいて成長度及び成熟度を推定し、個々の農作物をクラス分けしてもよい。これにより、成長度及び成熟度を推定するためのモデルを検出された時系列データに基づいて適応させることができ、成長度及び成熟度の推定精度をより高めることができる。
或いは、記憶部690に複数のモデルを記録しておき、記録されているモデルの中から類似モデルを選択してもよい。この選択においては、記憶部690に記憶された時系列情報に基づいたデータマイニングにより、記録されているモデルとの類似性を判定し、類似性の高いモデルを選択してもよい。
選別判定処理部680は、記憶部690に記憶された時系列情報に基づいたデータマイニングにより、記憶部690に記録されているモデルの中から選択された類似モデルに基づいて、成長度及び成熟度を推定し、個々の農作物をクラス分けしてもよい。
さらに、選別判定処理部680は、環境情報を含めた情報に基づいて、個々の農作物をクラス分けしてもよい。植物の成長は、その周囲の環境に依存して変化する。そのため、その周囲の環境の環境情報を含めた情報に基づいて、上記に示した各種処理を行うことにより、環境に依存して変化する変化分についても、環境の変化による影響度を打ち消すように推定することができるようになる。これにより、成長度及び成熟度の推定精度を高めることができ、個々の農作物を適正にクラス分けすることができるようになる。
また、撮像部65は、補助光射出部66から射出される補助光を利用して、所定の物理用を検出することができる。補助光射出部66は、連続的に光を射出するものと(連続発光型)と、断続的に光を射出するもの(パルス発光型)とがある。
補助光射出部66がパルス発光型である場合、撮像部65は、補助光射出部66から補助光が射出されている期間に、所定の物理用を検出することにより、所望の物理量の検出精度を高め、効率よく検出することができる。
そして、選別判定処理部680は、補助光を照射している期間に検出された物理量を、その補助光に射出した光の透過量、或いは、反射量などの光量に基づいて補正してもよい。
記憶部690は、検出された物理量を個々の農作物を識別する識別情報に関連付けて記憶する。例えば、検出された物理量とは、撮像部65によって検出された画像情報に基づいて間接的に検出される、大きさや長さなどの物理量であったり、また、補助光射出部66からの補助光により検出された光の透過量、或いは、反射量などの光量などの物理量である。
また、記憶部690は、さらに、個々の農作物を識別する識別情報に関連付けて、検出された環境情報を記憶してもよい。
続いて、本実施形態における移動型選別装置に係るそれぞれの処理について示す。
(選別位置の司令)
制御部500における作業司令部580は、移動型選別装置60に選別作業を指示して行わせる選別位置を定める。
作業司令部580は、選別装置制御部600に対して、移動型選別装置60に選別作業を行わせる選別位置を制御指令値として通知する。
選別装置制御部600では、選別判定処理部680が、その制御指令値である選別位置を受ける。選別判定処理部680からの指令情報に従って、移動制御部610が車輪61Wを駆動して移動型選別装置60を目標位置に移動させる。
選別判定処理部680からの指令情報は、移動型選別装置60が移動する範囲の地図情報に応じた座標情報(目標位置座標情報)によって指示される。
(選別位置への移動)
移動制御部610は、選別判定処理部680からの指令情報に従って、移動型選別装置60を移動させる。
移動制御部610は、内部の記憶領域に、移動型選別装置60が移動する範囲の地図情報を記憶しており、選別判定処理部680からの指令情報が、その地図情報に応じた座標情報であることから、変換することなく制御目標とすることができる。
さらに、移動制御部610は、慣性航法などの手段により現在位置の位置座標を検出することができる。仮に、初期の地図情報には登録されていない、移動に障害となる情報を付加して記憶することができる。移動制御部610は、繰り返して移動する際に、移動の障害となる箇所として判定した位置の情報や、実際に通過できた経路情報などを記憶する。これにより、移動制御部610は、障害箇所を避けて、実際に通過できた経路が集中し、通過頻度の高いところが通りやすい場所として判定することができる。このように、記憶された情報に基づいて、通路の状態を判定しながら移動することができるので、効率よい経路を選択して移動することができる。
移動制御部610は、指示された座標情報と、現在位置の位置座標との差がなくなるように、位置情報によるフィードバック制御を行って、移動型選別装置60を目標位置に到達させる。
また、移動制御部610は、選別判定処理部680からの指令情報を、選別作業を開始させる位置として、その位置を基準に、予め定められた方向に順次移動して作業を行うことも選択できる。その選択は、作業司令部580からの指示に応じて選択することができる。
さらに、移動制御部610は、移動効率を高めるために、位置に応じた速度制御を行ってもよい。移動制御部610は、地図情報を参照して、目標位置まで遠い場合、直線的に移動する距離が長い場合、障害物が移動経路近傍にない場合などの状況を検出し移動速度を高める。その逆に、移動制御部610は、地図情報を参照して、停止位置が近い場合、方向変換を行う場所に近い場合、障害物近傍を通過する場合、悪路を通過する場合などの状況を検出し移動速度を低減させる。また、移動制御部610は、収穫物などの積載量に応じて速度を制御してもよい。また、移動制御部610は、速度制御を行う条件として、参照した地図情報のほかに、撮像部65が検出した画像情報や、移動型選別装置60の本体に設けられた加速度センサなどによって検出された情報に基づいて進路の状態を検出して、速度制御のための情報として用いることができる。
(選別位置の植物の検出・判定)
移動型選別装置60は、目標位置に到達すると、続いて、その位置に対応する植物9の状態を検出する。その収穫対象である植物9の花や実を判定し選別する。
その判定を行う植物9の収穫対象部とする花や実の位置は、前述した実の配置モデル222として登録され管理されている。
移動型選別装置60の選別判定処理部680は、その実の配置モデル222(第2育成モデル)の情報に基づいて、収穫対象である植物9の花や実を、順に収穫可能であるか否かを判定し、収穫可能と判定された花や実を収穫対象部として特定する。
選別判定処理部680による収穫可能であるか否かの判定は、撮像部65によって撮像された画像から、撮像制御部650による画像処理によって対象物の特徴抽出を行ない、前述の収穫時期判定モデル223(第3育成モデル)を基準とする判定処理により行われる。
また、選別判定処理部680は、収穫日(収穫処理)の収穫状況に応じて、収穫時期判定モデル223を基準に調整することにより、収穫するか否かの判定レベルを制御することができる。
例えば、制御部500の収穫計画設計部550が、第3育成モデルに基づいて設計した収穫計画と、移動型選別装置60が収穫した実際の収穫量とに基づいて、選別判定処理部680は、当日見込まれる収穫量が、予定の収穫量より多く、明日以降の収穫量が少なく見込まれた場合、品質に影響が出ない範囲で、本日収穫する対象からはずし、明日以降と判定するように調整できる。
同じ環境の中で作付けされた植物9であれば、ほぼ同じ傾向で成長し、収穫量も同じ傾向で変化する。全領域のうちの一部分の範囲の収穫を終えた段階で、単位面積あたりの収穫量を算定し、その結果に基づいて全領域の収穫量を予測できる。
また、選別判定処理部680は、移動型選別装置60によって収穫された収穫量を、収穫計画設計部550にフィードバックすることにより、収穫計画設計部550によって設計される収穫計画を調整することも可能となる。
(果実の成熟過程のモデル化)
図10を参照し、植物9における収穫対象の成熟過程のモデル化、即ち第3育成モデルの生成について説明する。ここでは、植物9における収穫対象を果実である場合を例にして説明する。
以下に示す植物9における収穫対象の成熟過程のモデルは、収穫時期判定モデル223(第3育成モデル)として利用することができる。
例えば、果実が成熟する過程を2つの指標を用いてモデル化する。第1の指標は、果実の大きさに係る指標である。第2の指標は、果実の成熟度に係る指標である。
図10は、果実が成熟する過程を2つの指標によりモデル化して示す図である。
この図10に示されるグラフは、受粉時を基準とする時間の経過(横軸)に応じた、果実の大きさの変化(グラフg1)と、成熟度の変化(グラフg2)とを、完熟時を基準に規格化して示す。
果実は、雌しべの基部にある子房やその周辺の組織などが肥大して多肉化したものである。その果実が果物である場合は、多肉質で糖や酸などがその内部に適度に貯まった状態が好まれており、完熟状態に近くなるほど糖度が増す傾向にある。
段階的に説明すると、まず、受粉(t)により、雌しべにおける細胞***が盛んになり細胞数が増加して、子房の肥大が始まる(細胞***期:tからt)。また、細胞***が進み、ある程度の細胞数に達すると、細胞ごとの肥大成長が始まり、果実が急速に大きくなる(肥大成長期:tからt)、(グラフg1)。
そして、果実が一定の大きさに達すると、肥大成長は停止して、成熟期(tからt)に入る。
細胞***期、肥大成長期には、細胞***や肥大生長などの細胞活動に必要とされる量より多量の光合成産物や窒素化合物が、果実に転流されてくる。未熟な果実は、転流される物質を、主としてでん粉などに変換して貯蔵する。そして、肥大成長期の後半になると、でん粉から有機酸、フェノール成分などを合成して蓄積するようになる。
成熟期に入ると、でん粉からの糖類合成、アミノ酸や香気成分の合成、色素類の合成、細胞壁の部分溶解が徐々に進み、完熟状態(t)になる。(グラフg2)。その結果、成熟が進んだ果実では、中央部から細胞壁の部分溶解が生じて果肉が柔らかくなるとともに、光の透過性が高くなる。この状態は、例えば、りんごであれば蜜が入った状態である。
このように、果実の成熟過程においては、肥大成長期までと、成熟期とにおける果実内部の状態変化が異なっている。単に大きさや重量を測定するだけでは、成熟度を得ることが困難であるが、成熟度の指標を含めてモデル化することにより、成熟度を得ることができるようになる。
また、収穫後すぐに食べるのであれば、よく熟した状態で収穫することが望ましい。しかし、完熟した果実は果肉が柔らかく、流通時の振動などによる果実の損傷を招いて、商品価値が低下する恐れがある。そのため、完熟させた果実を輸送して流通させることには適していない。つまり、果実の輸送は、ある程度の硬さが確保されている状態で行うことが必要とされる。
逆に、早く収穫し過ぎると、未成熟な果実を出荷することになってしまう。例えば、さらに成熟度が低い段階(t)に収穫したとする。この段階で収穫した果実は、成熟度が低く、成熟に必要とされる十分な貯蓄が行われていないので、商品としての評価が低くなる。
そこで、以上に示したような条件を考慮して、収穫対象の成熟過程をモデル化することにより、収穫時期を果実の成熟度に合わせた適切な時期に収穫することができるようになる。これにより、流通過程での損傷を受けない程度に成熟した果実を得ることができ、商品価値を高めることができるようになる。
(果実の成熟期の検出)
前述の図10に示したように、2つの指標を用いてモデル化することにより、果実の大きさ(グラフg1)と果実の成熟度(グラフg2)のように育成時期に応じて異なる特性を示すカーブによって描かれる。
ここでは、成熟期が開始した時期(t)から完熟すると見込まれる時期(t)までの期間を、果実の大きさ又は重量などとして検出できる物理量の変化により、果実の成長度及び果実の成熟度を推定する。その推定は、所定の期間を隔てて検出した検出データに基づいて、育成モデル生成部510が算出する。
果実の大きさの変化は、検出した果実の大きさの時間差分により得ることができる。例えば、果実の大きさは、果実を撮像して得られた2次元画像又は3次元画像に対する画像処理などの手法により検出することができる。また、果実の大きさと相関関係が強い、果実の重量は、果実の下部を支えたときに掛かる圧力を測定することにより検出することができる。
また、果実の成熟度は、以下に示すような検出による物理量から推定することができる。
1)光の透過量による検出
例えば、果実の成熟度は、果実の光の透過量から検出することができる。検出に用いる光の波長は、果実の成熟が進むと増加する物質(例えば、ソルビトールなどの糖類)に吸収される波長を選択することにより、効率よく検出することができる。或いは、果実の成熟が進むと増加する物質固有の吸収スペクトルの減衰量を検出することとしてもよい。
2)光の透過量の分布による検出
また、果実の成熟度は、果実の光の透過量の分布から検出することができる。
成熟が進むにつれ蓄積される水分の量が部位により異なるようになる。部位により異なって蓄積された水分量を、水分によって減衰する波長の光の透過量の分布から検出する。検出に用いる光の波長は、部位によって異なる分布を検出できるだけの解像度を得られる波長を選択する。例えば、水分により減衰するテラヘルツ光などが利用できる。また、テラヘルツ光は、波長が長くエネルギーも低いことから、照射された組織に悪影響を与えることもない。
3)表皮の色相の変化による検出
また、果実の成熟度は、果実の表皮の色相が変化することから検出することができる。成熟が進むにつれ、色素が合成され表皮の色が変化する(図6参照)。その色相の変化は、果実を撮像して得られた2次元画像又は3次元画像に対する画像処理などの手法により検出することができる。
以上に示したような検出方法によりそれぞれ検出した結果を蓄積する。そして、育成モデル生成部510は、それぞれ検出された検出項目の検出結果に基づいた変化量などの算出や、異なる検出方法の結果同士の相関関係を算出する。このような演算により相関関係を導く手法は、総じてデータマイニングと呼ばれている。育成モデル生成部510は、さらに複雑なデータ間の関係を統計的な手法から得ることにより、植物の種別、種類、検出時期、検出環境に影響されることなく検出することが容易となる。
例えば、果実の大きさの変化量(差分値)が、予め定められた所定の閾値より小さくなった段階を、果実の成熟度の変化が始まった段階と判定することができる。その後、果実の光の透過量の変化点、光の透過量の分布の変化、表皮の色相の変化などの検出結果から、個々の果実の成熟度を検出する情報として利用することができる。
また、個々の果実の変化に限らず、過去の検出結果や、同時期に栽培されている他の個体の成熟度の変化の相関性を解析することにより、収穫可能となる時期の推定精度を高めることができる。
(収穫と搬送)
エンドイフェクタ制御部630は、植物9の収穫対象部の位置に調整されたエンドイフェクタ部63によって、収穫対象部を接続する接続部位を切断し、植物9から切り離して収穫する。収穫した収穫対象部を保持部64によって保持して、移動型車両本体61の上面に設けられた収納部61Cに順次収納する。そして、エンドイフェクタ制御部630は、次の収穫対象部の収穫を行わせる。
エンドイフェクタ制御部630は、予定の収穫処理を完了するまで移動型選別装置60の収穫処理を継続させる。予定の収穫処理は、所定の収穫量を収穫するまで、所定の範囲内の収穫を終えるまで、などの条件によって定められる。
収穫された収穫対象部が収納された収納部61Cは、搬送手段によって搬送される。
搬送手段は、自走型の搬送車、ベルトコンベアなどによって構成されてもよく、或いは、移動型選別装置60が自ら搬送してもよい。
以上に示した実施形態により、植物栽培システム4における選別処理及び収穫処理を、移動型選別装置60により行うことができる。これにより、大規模化した植物栽培システムにおいても、収穫作業を効率よく行うことができるようになる。
また、選別処理を収穫する前の成熟過程において行うことができ、適切な成熟状態において収穫することが可能となる。
また、収穫作業は、従来からも労力を必要とする作業であったが、無人化した移動型選別装置60により行うことができ、効率を向上させるだけでなく省力化を図ることが可能となる。
なお、本実施形態は、出荷後の消費者の評価を収集し、その情報に基づいて育成過程の各種処理を調整することも可能である。
(消費者による評価の反映)
図を参照し、消費者の評価を反映させた選別処理について説明する。
図11は、消費者の評価情報を収集する構成を示す図である。図3と同じ構成には、同じ符号を附す。
この図に示される植物栽培システムでは、選別を行って出荷した農作物についての消費者の評価情報を、選別装置60が選別時に参照するモデルを生成する条件に加えることにより、その判定基準をよりよくすることができる。
植物栽培システムは、さらに、端末装置880から登録される消費者の評価情報を収集する情報収集装置800を備える。
その端末装置880は、ネットワーク890を介して情報収集装置800に接続され、消費者が直接操作するものであってもよい。端末装置880は、消費者によって入力された評価情報を検出し、検出した評価情報をネットワーク890を介して情報収集装置800に供給する。
情報収集装置800は、データベース部810、情報収集部820、解析処理部830及び通信処理部840を備える。
データベース部810は、出荷した個々の農作物についての、生育過程の育成履歴情報、出荷先などの出荷履歴情報、消費者による評価情報を記憶する。
情報収集部820は、消費者により入力された評価情報を端末装置880から収集し、収集した情報をデータベース部810に記憶させる。
解析処理部830は、記憶されている個々の農作物の情報と、消費者から収集した消費者の評価情報とを解析し、育成モデル設計時の条件として反映させる。
通信処理部840は、制御部500との通信処理を行い、制御部500から記憶部230に記憶されている各種情報を収集し、データベース部810に記憶させる。
なお、判定基準をよりよくする演算処理として、一般的な最適化処理と、消費者の好みに応じた最適化処理とを選択することも可能である。一般的な最適化処理とは、多くの消費者が好む農作物を生産するための最適化処理である。また、消費者の好みに応じた最適化処理とは、特定の消費者の嗜好に合わせた農作物を生産するための最適化である。
情報収集装置800は、検出対象を消費した消費者からの評価情報を受け付け、該評価情報に基づいて選別装置60におけるクラス分け処理を制御する。
情報収集装置800は、出荷した個々の農作物について、生育過程の育成履歴情報、出荷先を示す出荷履歴情報、消費者による評価情報を制御部500から取得する。また、情報収集装置800は、出荷した個々の農作物が育成中の環境情報を制御部500から取得する。このように、個々の農作物が生産され、消費者の下で消費するまでの各種情報を収集することができる。収集された各種情報に基づいたデータマイニング処理を解析処理部830が行うことにより、消費者が望む品質の商品の傾向を捉えることができる。その傾向に基づいて、育成モデルを定め、必要とされる処置を植物に施すことにより、消費者が望む品質の商品を生産することが可能となる。
このように果実の育成状況、成熟状況は、果実が生育する環境(養分、日照、雨量など)の環境条件の影響を受ける。そのため、同じ品種の果物であっても、栽培方法、収穫時期、収穫後の日数などにより糖度が異なるものが生産される。植物栽培システムが、植物9を取り巻く環境を制御することにより、所望の品質の農作物を得ることが可能となる。
単に農作物を出荷段階でクラス分けするだけではなく、その農作物を実際に消費した消費者による評価までを、判定基準を定める要素とすることにより、より品質を高めるようにモデルを設定し、設定したモデルに基づいて生産できるように制御することが可能となる。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更等も含まれる。
例えば、果実の色相の変化を検出するには、以下の点に留意することが必要となる。
果実の色相の検出には、その変化を検出できるだけの時間間隔を確保する必要がある。しかし、時間を空けて検出することにより、測定系が変化して誤差が含まれる恐れがある。
また、照明の条件が異なることにより、異なるスペクトルの光の環境で検出することになる恐れがある。
そこで、果実の色相の検出を行うには、上記の誤差要因を低減できる測定環境とする必要がある。色相(物理量)の検出を容易とするために、補助光を照射する補助光射出部66を利用するとよい。
撮像部65は、補助光射出部66から補助光が照射されている期間に色相を検出することにより、補助光による測定を行うことが可能となる。
また、植物の成長を制御するために、白色光ではなく、特定のスペクトルの分布が偏った光を植物に照射する場合がある。また、照明部の構造により、スペクトルの分布が偏った光を照射する場合がある。例えば、蛍光灯やLED照明などは、特定の波長の光にピークが検出される。
このような条件下による測定では、補助光を利用する検出を行っても検出された色相が異なるものとして検出される場合がある。
そこで、補助照明部が補助光を照射していない期間において、個々の農作物に照射されている光量を検出する。補助光を照射している期間に検出された光量を、補助光を照射している期間に検出された光量に基づいて補正することにより、照明条件の違いによる補正を行うことができる。
また、エンドイフェクタ部63は、植物9の収穫対象部を保持する場合には、少なくとも植物9の収穫対象部が切り離されて落下しないように保持できればよく、他の構成であっても良い。
また、移動型検出装置40と移動型選別装置60は、それぞれ複数台を稼動させ、それぞれ独立した処理を行うことができる。
また、移動型選別装置60は、移動型検出装置40が行う各種機能を備え、移動型検出装置40の機能の全部或いは一部を行うこととしてもよい。
また、図3に示した構成において、制御部500は、独立して設ける必要ななく、複数の植物栽培システム、複数の移動型選別装置60を制御する形態としてもよい。
なお、本実施形態の植物栽培システム4は、一つのプラント内に複数の種類の植物9を一緒に栽培することができる。
植物栽培システム4の内部の空間を分割する隔壁を設けて、隔てられた空間単位で栽培する植物9の種類を設定することにより実現できる。また、その隔壁の位置を移動可能な構造とすることにより、分割する空間の広さ(容量)を変更することができる。このような隔壁を設けたことにより、栽培する植物の量に応じて空間を分割することができる。
例えば、収穫が終わった空間を利用して、次の栽培の準備を開始することができる。
また、同じ種類を栽培する場合では、環境条件を変更して、収穫時期を分割された空間ごとに制御することができる。
なお、上述の植物栽培システム1、移動型検出装置40、移動型選別装置60は、内部にコンピュータシステムを有している。そして、各機能部の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、CPU及び各種メモリやOS、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
1…植物栽培システム、
9…植物、
100…制御対象部、
690…記憶部(記憶部)、
680…選別判定処理部(判定部)、
60…移動型選別装置

Claims (18)

  1. 検出対象である個々の農作物の複数の物理量を検出する検出部と、
    前記検出された物理量を前記個々の農作物を識別する識別情報に関連付けて記憶する記憶部と、
    前記記憶部に記憶された前記複数の物理量を含む時系列情報に基づいて成長度及び成熟度を推定し、前記個々の農作物をクラス分けする判定部と、
    を備えることを特徴とする植物選別装置。
  2. 前記判定部は、
    前記物理量の変化量から前記成長度及び成熟度を推定し、前記個々の農作物をクラス分けする
    ことを特徴とする請求項1に記載の植物選別装置。
  3. 前記判定部は、
    前記識別情報が同一の前記農作物を検出対象として検出された前記時系列情報に基づいて、前記個々の農作物をクラス分けする
    ことを特徴とする請求項1又は請求項2に記載の植物選別装置。
  4. 前記判定部は、
    前記識別情報が同一の前記農作物を検出対象として、前記農作物の同じ部位において検出された前記時系列情報に基づいて、前記個々の農作物をクラス分けする
    ことを特徴とする請求項1から請求項3のいずれか1項に記載の植物選別装置。
  5. 前記判定部は、
    前記記憶部に記憶された時系列情報に基づいたデータマイニングにより前記成長度及び成熟度を推定し、前記個々の農作物をクラス分けする
    ことを特徴とする請求項1から請求項4のいずれか1項に記載の植物選別装置。
  6. 前記判定部は、
    前記記憶部に記憶された時系列情報に基づいたデータマイニングにより予め算出されたモデルに基づいて前記成長度及び成熟度を推定し、前記個々の農作物をクラス分けする
    ことを特徴とする請求項1から請求項5のいずれか1項に記載の植物選別装置。
  7. 前記判定部は、
    前記記憶部に記憶された時系列情報に基づいたデータマイニングを行い生成するモデルに基づいて前記成長度及び成熟度を推定し、前記個々の農作物をクラス分けする
    ことを特徴とする請求項1から請求項6のいずれか1項に記載の植物選別装置。
  8. 前記判定部は、
    前記記憶部に記憶された時系列情報に基づいたデータマイニングにより、前記記憶部に記録されているモデルの中から選択された類似モデルに基づいて、前記成長度及び成熟度を推定し、前記個々の農作物をクラス分けする
    ことを特徴とする請求項1から請求項6のいずれか1項に記載の植物選別装置。
  9. 前記個々の農作物の成長過程の環境に基づいた環境情報を検出する環境検出部
    を備え、
    前記記憶部は、
    さらに、前記個々の農作物を識別する識別情報に関連付けて、前記検出された環境情報を記憶し、
    前記判定部は、
    前記環境情報を含めた前記情報に基づいて、前記個々の農作物をクラス分けする
    ことを特徴とする請求項1から請求項8のいずれか1項に記載の植物選別装置。
  10. 前記クラス分けされた結果を示す、読み取り可能なマーキングを前記農作物に施す刻印部
    を備えることを特徴とする請求項1から請求項9のいずれか1項に記載の植物選別装置。
  11. 前記物理量の検出を容易とするための補助光を照射する補助照明部
    を備え、
    前記検出部は、
    前記補助照明部から前記補助光が照射されている期間に、前記物理量を検出する
    ことを特徴とする請求項1から請求項10のいずれか1項に記載の植物選別装置。
  12. 前記環境検出部は、
    前記補助照明部が前記補助光を照射していない期間において、前記個々の農作物の周囲の光量を検出し、
    前記判定部は、
    前記補助光を照射している期間に検出された前記物理量を、前記光量に基づいて補正する
    ことを特徴とする請求項11に記載の植物選別装置。
  13. 請求項1に記載の植物選別装置が取り付けられているロボットアーム
    を備えることを特徴とするロボット。
  14. 請求項13に記載のロボット
    を備えることを特徴とする植物栽培システム。
  15. 請求項1に記載の植物選別装置
    を備えることを特徴とする植物栽培システム。
  16. 前記検出対象を消費した消費者からの評価情報を受け付け、該評価情報を前記植物選別装置に供給する評価情報設定装置と、
    を備え、
    前記植物選別装置において、
    前記記憶部は、
    前記検出対象に関連付けて、さらに前記検出対象の評価情報を記憶し、
    前記判定部は、
    前記消費者から受け付けた評価情報に基づいて、前記個々の農作物をクラス分けする判定基準を作成する
    ことを特徴とする請求項14に記載の植物栽培システム。
  17. 検出対象である個々の農作物の複数の物理量を検出する過程と、
    前記検出された物理量が前記個々の農作物を識別する識別情報に関連付けて記憶する過程と、
    前記記憶された前記複数の物理量を含む時系列情報に基づいて成長度及び成熟度を推定し、前記個々の農作物をクラス分けする過程と、
    を含むことを特徴とする植物選別方法。
  18. 植物選別装置が備えるコンピュータに、
    検出対象である個々の農作物の複数の物理量を検出するステップと、
    前記検出された物理量を前記個々の農作物を識別する識別情報に関連付けて記憶させるステップと、
    前記記憶された前記複数の物理量を含む時系列情報に基づいて、成長度及び成熟度を推定し、前記個々の農作物をクラス分けするステップと、
    を実行させるためのプログラム。
JP2011059320A 2011-03-17 2011-03-17 植物選別装置、ロボット、植物栽培システム、植物選別方法、及びプログラム Pending JP2012191903A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011059320A JP2012191903A (ja) 2011-03-17 2011-03-17 植物選別装置、ロボット、植物栽培システム、植物選別方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011059320A JP2012191903A (ja) 2011-03-17 2011-03-17 植物選別装置、ロボット、植物栽培システム、植物選別方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2012191903A true JP2012191903A (ja) 2012-10-11

Family

ID=47084445

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011059320A Pending JP2012191903A (ja) 2011-03-17 2011-03-17 植物選別装置、ロボット、植物栽培システム、植物選別方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2012191903A (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015154727A (ja) * 2014-02-20 2015-08-27 パイオニア株式会社 収穫タイミング判断装置
JP2015223100A (ja) * 2014-05-27 2015-12-14 日本電気株式会社 情報処理装置、植物体管理システム、状態管理作業検出方法および植物体管理方法
JP2016101117A (ja) * 2014-11-28 2016-06-02 三菱電機株式会社 情報処理装置及び情報処理方法及びプログラム
JP2016194564A (ja) * 2015-03-31 2016-11-17 Necソリューションイノベータ株式会社 技能学習支援装置、技能学習支援方法、及びプログラム
JP2016202184A (ja) * 2015-02-20 2016-12-08 パナソニックIpマネジメント株式会社 環境計測ロボット
JP2017201511A (ja) * 2016-04-28 2017-11-09 国立研究開発法人農業・食品産業技術総合研究機構 農業支援システム及び農業支援方法
WO2018119407A1 (en) * 2016-12-22 2018-06-28 Iron Ox, Inc. System and method for automating transfer of plants within an agricultural facility
JP2018143214A (ja) * 2017-03-09 2018-09-20 パナソニック株式会社 果梗位置推定装置および果梗位置推定方法
JP2018169993A (ja) * 2017-03-29 2018-11-01 西日本電信電話株式会社 結果予測装置、結果予測方法、及びプログラム
JP2019501668A (ja) * 2015-12-10 2019-01-24 プレミア シトラス エイピーゼット エルエルシーPremier Citrus Apz, Llc 光エネルギーを用いた植物中における物質の浸透を促進するシステムおよび方法
JP2019041706A (ja) * 2017-09-05 2019-03-22 ヤンマー株式会社 収穫選別システム
JP2020054289A (ja) * 2018-10-03 2020-04-09 戸田建設株式会社 施設栽培果実の収穫予測システム
JP2020141591A (ja) * 2019-03-06 2020-09-10 株式会社トーヨーホールディングス 管理システム、及び管理プログラム
WO2020189553A1 (ja) * 2019-03-18 2020-09-24 株式会社ナイルワークス 収穫量予測システム、収穫量予測方法、および収穫量予測プログラム、ならびに収穫時期予測システム
JP2020178600A (ja) * 2019-04-24 2020-11-05 パナソニックIpマネジメント株式会社 収穫装置
KR102351652B1 (ko) * 2021-02-26 2022-01-14 아이오크롭스 주식회사 스마트팜 제어 방법 및 스마트팜 제어 시스템
WO2022182190A1 (ko) * 2021-02-26 2022-09-01 농업회사법인 아이오크롭스 주식회사 싱크 용량 및 소스 용량 판단 시스템 및 방법.
US11516973B2 (en) 2017-01-16 2022-12-06 Iron Ox, Inc. Method for automatically redistributing plants throughout an agricultural facility
US11557118B2 (en) 2018-07-05 2023-01-17 Iron Ox, Inc. Method for selectively deploying sensors within an agricultural facility
US11647700B2 (en) 2017-04-17 2023-05-16 Iron Ox, Inc. Method for monitoring growth of plants and generating a plant grow schedule
WO2024144293A1 (ko) * 2022-12-29 2024-07-04 농업회사법인 아이오크롭스 주식회사 농작물 관리 시스템에 이용되는 과실 모니터링 시스템

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0646675A (ja) * 1992-06-26 1994-02-22 Toshiba Eng & Constr Co Ltd 花卉苗の生産方法
JPH11346578A (ja) * 1998-06-03 1999-12-21 Hitachi Ltd 農業作業支援装置
JP2003052251A (ja) * 2001-08-17 2003-02-25 Japan Science & Technology Corp 苗選別装置
JP2004016182A (ja) * 2002-06-20 2004-01-22 Sharp Corp 栽培ロボットシステム
JP2004283133A (ja) * 2003-03-25 2004-10-14 Sakae Shibusawa 移動式農産物収穫装置
JP2006191816A (ja) * 2005-01-11 2006-07-27 Cosmo Plant Kk メロンの栽培方法およびその栽培方法に用いる栽培装置
JP2007006780A (ja) * 2005-06-30 2007-01-18 Iseki & Co Ltd 栽培施設
JP2010094127A (ja) * 2008-09-18 2010-04-30 National Agriculture & Food Research Organization 着果処理装置
JP2011034248A (ja) * 2009-07-30 2011-02-17 Nec Soft Ltd 生物生産管理装置、生物生産システム
JP2012055207A (ja) * 2010-09-07 2012-03-22 Nikon Corp 植物栽培システム、植物栽培プラント、収穫装置及び植物栽培方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0646675A (ja) * 1992-06-26 1994-02-22 Toshiba Eng & Constr Co Ltd 花卉苗の生産方法
JPH11346578A (ja) * 1998-06-03 1999-12-21 Hitachi Ltd 農業作業支援装置
JP2003052251A (ja) * 2001-08-17 2003-02-25 Japan Science & Technology Corp 苗選別装置
JP2004016182A (ja) * 2002-06-20 2004-01-22 Sharp Corp 栽培ロボットシステム
JP2004283133A (ja) * 2003-03-25 2004-10-14 Sakae Shibusawa 移動式農産物収穫装置
JP2006191816A (ja) * 2005-01-11 2006-07-27 Cosmo Plant Kk メロンの栽培方法およびその栽培方法に用いる栽培装置
JP2007006780A (ja) * 2005-06-30 2007-01-18 Iseki & Co Ltd 栽培施設
JP2010094127A (ja) * 2008-09-18 2010-04-30 National Agriculture & Food Research Organization 着果処理装置
JP2011034248A (ja) * 2009-07-30 2011-02-17 Nec Soft Ltd 生物生産管理装置、生物生産システム
JP2012055207A (ja) * 2010-09-07 2012-03-22 Nikon Corp 植物栽培システム、植物栽培プラント、収穫装置及び植物栽培方法

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015154727A (ja) * 2014-02-20 2015-08-27 パイオニア株式会社 収穫タイミング判断装置
JP2015223100A (ja) * 2014-05-27 2015-12-14 日本電気株式会社 情報処理装置、植物体管理システム、状態管理作業検出方法および植物体管理方法
JP2016101117A (ja) * 2014-11-28 2016-06-02 三菱電機株式会社 情報処理装置及び情報処理方法及びプログラム
JP2016202184A (ja) * 2015-02-20 2016-12-08 パナソニックIpマネジメント株式会社 環境計測ロボット
JP2016194564A (ja) * 2015-03-31 2016-11-17 Necソリューションイノベータ株式会社 技能学習支援装置、技能学習支援方法、及びプログラム
JP2019501668A (ja) * 2015-12-10 2019-01-24 プレミア シトラス エイピーゼット エルエルシーPremier Citrus Apz, Llc 光エネルギーを用いた植物中における物質の浸透を促進するシステムおよび方法
JP2017201511A (ja) * 2016-04-28 2017-11-09 国立研究開発法人農業・食品産業技術総合研究機構 農業支援システム及び農業支援方法
WO2018119407A1 (en) * 2016-12-22 2018-06-28 Iron Ox, Inc. System and method for automating transfer of plants within an agricultural facility
US10225993B2 (en) 2016-12-22 2019-03-12 Iron Ox, Inc. Method for automating transfer of plants within an agricultural facility
US11707023B2 (en) 2016-12-22 2023-07-25 Iron Ox, Inc. Method for automating transfer of plants within an agricultural facility
US11516973B2 (en) 2017-01-16 2022-12-06 Iron Ox, Inc. Method for automatically redistributing plants throughout an agricultural facility
JP2018143214A (ja) * 2017-03-09 2018-09-20 パナソニック株式会社 果梗位置推定装置および果梗位置推定方法
JP2018169993A (ja) * 2017-03-29 2018-11-01 西日本電信電話株式会社 結果予測装置、結果予測方法、及びプログラム
US11647700B2 (en) 2017-04-17 2023-05-16 Iron Ox, Inc. Method for monitoring growth of plants and generating a plant grow schedule
JP2019041706A (ja) * 2017-09-05 2019-03-22 ヤンマー株式会社 収穫選別システム
US11557118B2 (en) 2018-07-05 2023-01-17 Iron Ox, Inc. Method for selectively deploying sensors within an agricultural facility
JP2020054289A (ja) * 2018-10-03 2020-04-09 戸田建設株式会社 施設栽培果実の収穫予測システム
JP7137426B2 (ja) 2018-10-03 2022-09-14 戸田建設株式会社 施設栽培果実の収穫予測システム
JP2020141591A (ja) * 2019-03-06 2020-09-10 株式会社トーヨーホールディングス 管理システム、及び管理プログラム
JP7169022B2 (ja) 2019-03-18 2022-11-10 株式会社ナイルワークス 収穫量予測システム、収穫量予測方法、および収穫量予測プログラム、ならびに収穫時期予測システム
JPWO2020189553A1 (ja) * 2019-03-18 2020-09-24
WO2020189553A1 (ja) * 2019-03-18 2020-09-24 株式会社ナイルワークス 収穫量予測システム、収穫量予測方法、および収穫量予測プログラム、ならびに収穫時期予測システム
JP7157959B2 (ja) 2019-04-24 2022-10-21 パナソニックIpマネジメント株式会社 収穫装置
JP2020178600A (ja) * 2019-04-24 2020-11-05 パナソニックIpマネジメント株式会社 収穫装置
KR102351652B1 (ko) * 2021-02-26 2022-01-14 아이오크롭스 주식회사 스마트팜 제어 방법 및 스마트팜 제어 시스템
WO2022182190A1 (ko) * 2021-02-26 2022-09-01 농업회사법인 아이오크롭스 주식회사 싱크 용량 및 소스 용량 판단 시스템 및 방법.
WO2024144293A1 (ko) * 2022-12-29 2024-07-04 농업회사법인 아이오크롭스 주식회사 농작물 관리 시스템에 이용되는 과실 모니터링 시스템

Similar Documents

Publication Publication Date Title
JP2012191903A (ja) 植物選別装置、ロボット、植物栽培システム、植物選別方法、及びプログラム
JP5699460B2 (ja) 植物育成モデル生成システム、植物栽培プラント及び植物育成モデル生成方法
JP5810494B2 (ja) 植物栽培システム、植物栽培プラント、収穫装置及び植物栽培方法
JP5970751B2 (ja) 成長度合検出装置、植物栽培プラント、成長度合検出方法、植物栽培方法及びプログラム
JP2013150584A (ja) 受粉装置、植物栽培システム、及び植物栽培プラント
US20170035008A1 (en) Method for optimizing and enhancing plant growth, development and performance
JP2013000087A (ja) 移動式栽培装置、植物栽培システム、及び植物栽培プラント
JP2013051939A (ja) 照射装置、ロボット、および植物栽培プラント
JP2011034248A (ja) 生物生産管理装置、生物生産システム
JP5842444B2 (ja) 販売処理システム、販売処理方法及びプログラム
JP2006191816A (ja) メロンの栽培方法およびその栽培方法に用いる栽培装置
JP2013005726A (ja) 情報提供システム、情報提供装置、情報提供方法及びプログラム
KR20200063500A (ko) 모듈형 스마트팜 버섯재배 시스템
US11895954B2 (en) System and method for plant indexing in a hydroponic farming environment and a hydroponic farming environment
JP2015133971A (ja) 植物栽培プラント
KR20210061603A (ko) 버섯재배용 스마트 팜 시스템
JP2013158288A (ja) 受粉補助装置、及びプログラム
JP2013005724A (ja) 表示制御装置、表示制御システム、表示制御方法及びプログラム
Badgery-Parker et al. Commercial Greenhouse Cucumber Production: 2010 Edition
US8731734B2 (en) Dynamic growing system
KR20200056520A (ko) 클라우드 기반 토마토 생육진단 및 생산성 예측 방법
KR102513095B1 (ko) 스마트 양액재배장치
US20230143014A1 (en) Optimizing growing process in a hybrid growing environment using computer vision and artificial intelligence
Both Ten years of hydroponic lettuce research
US20230128621A1 (en) Red and far-red light ratio during growth of basil

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141216

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150216

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150915