JP2020099215A - 植物管理システム - Google Patents

Abstract

【課題】植物を含む対象範囲において再現率の高い三次元モデルを生成できる植物管理システムを提供する。【解決手段】複数の植物を含む対象範囲に設けられ、画像による識別が可能な識別子の異なる複数のマーカと、対象範囲内及び対象範囲の周囲を移動して、マーカを含む二次元画像を複数の位置及び角度から撮影する撮影装置１０と、二次元画像とマーカの座標情報及び寸法情報とに基づいて、対象範囲の三次元モデルを生成するモデル生成部７４を含む処理装置７０と、を備える。【選択図】図１

Description

本発明は、植物管理システムに関する。

圃場においては、植物の収穫、摘果及び剪定等の対象を的確に選定し、かつ作業効率を向上させることが望まれている。特許文献１には、植物の栽培環境をモデル化することにより、栽培環境を制御する方法が開示されている。

特開２０１０−２０００５０号公報

しかしながら、植物の周囲の障害物及び地面の起伏等によって、モデルを作成するための実際の撮影画像と、予め設定された撮影位置及び方向の情報とが一致しない可能性がある。植物のモデルの再現性が低い場合、適切な時期に適切な切断位置において植物から収穫物等を切り離せない可能性がある。

本発明は、上記に鑑みてなされたものであって、植物を含む対象範囲において再現率の高い三次元モデルを生成することのできる植物管理システムを提供することを目的とする。

本発明の植物管理システムは、複数の植物を含む対象範囲に設けられ、画像による識別が可能な識別子の異なる複数のマーカと、前記対象範囲内及び前記対象範囲の周囲を移動して、前記マーカを含む二次元画像を複数の位置及び角度から撮影する撮影装置と、前記二次元画像と前記マーカの座標情報及び寸法情報とに基づいて、前記対象範囲の三次元モデルを生成するモデル生成部を含む処理装置と、を備える。

この構成によれば、二次元画像に含まれるマーカの座標情報及び寸法情報に基づいて、各植物の絶対座標、大きさ及び形状等を検知することができる。これにより、植物を含む対象範囲において再現率の高い三次元モデルを生成することができる。各植物の位置、大きさ、形状及び姿勢が再現されるので、植物の収穫、摘果及び剪定等において、適切な切断位置において植物から収穫物等を切り離すよう、作業装置を容易に制御することができる。また、各植物の形状、大きさ及び姿勢から、収穫、摘果及び剪定等の適切な時期を判定することができる。

また、前記対象範囲に設けられるカラーマークを含み、前記モデル生成部は、前記二次元画像に含まれる前記カラーマークに基づいて、前記三次元モデルの色彩を補正することが好ましい。

この構成によれば、二次元画像に含まれるカラーマークを解析することによって、撮影される対象範囲の光の状態を判定することができる。また、二次元画像に含まれるカラーマークに基づいて三次元モデルの色彩を補正するので、各植物の色彩を再現できる。これにより、収穫物等の完熟度を判定することができる。

また、前記処理装置は、前記三次元モデルから前記植物の位置、大きさ、形状及び姿勢の情報を抽出する人工知能を含む判定部を含むことが好ましい。

この構成によれば、人工知能が、蓄積された学習データに基づいて、植物の位置、姿勢及び形状の情報を抽出するため、より好適に三次元モデルの各植物の位置、大きさ、形状及び姿勢を再現できる。

また、前記判定部は、前記三次元モデルに基づいて、前記植物から所定対象を切り離すか否かを判定することが好ましい。

この構成によれば、人工知能が、蓄積された学習データに基づいて、植物から所定対象を切り離すか否かを判定するため、より好適な収穫、摘果及び剪定等の適切な時期を判定することができる。

また、前記処理装置は、前記三次元モデルの前記植物の位置、大きさ、形状及び姿勢に基づいて、前記植物から所定対象を切り離す切断位置を設定する人工知能を含む作業経路設定部を含むことが好ましい。

この構成によれば、人工知能が、蓄積された学習データに基づいて、植物から所定対象を切り離す切断位置、及び作業装置の切断部の移動経路を設定するため、より好適に植物の収穫、摘果及び剪定等の作業することができる。

また、前記所定対象の切り離しは、収穫、摘果及び剪定のいずれかを含むことが好ましい。

この構成によれば、三次元モデルが各植物の位置、大きさ、形状及び姿勢を再現するので、植物の収穫、摘果及び剪定等において、適切な切断位置において植物から収穫物等を切り離すよう、作業装置を容易に制御することができる。また、各植物の形状、大きさ及び姿勢から、収穫、摘果及び剪定等の適切な時期を判定することができる。

また、前記対象範囲内及び前記対象範囲の周囲を移動して、前記三次元モデルに基づいて設定された切断位置において前記植物から所定対象を切り離す切断部を含む作業装置を備えることが好ましい。

この構成によれば、無人化によって省力的かつ効率的に植物の収穫、摘果及び剪定等を行うことができる。これにより、圃場が大規模化した場合であっても、作業を省力的かつ効率的に行うことが可能である。

また、前記作業装置は、前記切断部を移動させる作業角度調整装置と、前記所定対象を保持する受部と、を含むことが好ましい。

この構成によれば、大きさ、形状及び姿勢の異なる植物に対しても、適切な位置及び姿勢で植物から所定対象を切り離すことができる。また、切り離した所定対象を、傷付けることを抑制できる。

また、前記三次元モデルに基づいて、前記作業装置の移動及び切断動作を指示する管理装置を備えることが好ましい。

この構成によれば、作業装置の操作を自動化することができるので、作業効率を向上させることができる。

また、前記管理装置は、前記撮影装置の移動及び撮影動作を指示することが好ましい。

この構成によれば、撮影装置の操作を自動化することができるので、作業効率を向上させることができる。

また、前記管理装置は、エッジコンピュータであり、前記処理装置は、クラウドサーバに設けられることが好ましい。

この構成によれば、エッジコンピューティングにもデータの処理を分担させることによって、三次元モデルを生成するための大容量データの処理をクラウドサーバでより高速に行うことができる。また、現場近くにエッジコンピューティングを配置することによって、大容量データをクラウドサーバにより高速で送信することができる。

また、前記二次元画像が撮影されてから予め設定された所定時間が経過した場合、警告情報を発信する警告装置を備えることが好ましい。

この構成によれば、二次元画像の撮影から収穫等の作業まで植物が成長することよって実際の植物と三次元モデルとの間に大きな差異が生じる前に、ユーザに対して作業の中止又は再撮影を促すことができる。

図１は、実施形態の植物管理システムを示す制御ブロック図である。 図２は、撮影装置の一例を示す模式図である。 図３は、作業装置の一例を示す模式図である。 図４は、圃場の一例を示す模式図である。 図５は、マーカの一例を示す模式図である。 図６は、植物管理システムの動作の一例を示すフローチャートである。 図７は、撮影装置の動作の一例を示すフローチャートである。 図８は、処理装置の動作の一例を示すフローチャートである。 図９は、作業装置の動作の一例を示すフローチャートである。

以下に、本発明に係る植物管理システムの実施形態について図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、実質的に同一のもの、あるいは均等の範囲のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能である。以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換または変更を行うことができる。各実施形態は、適宜組み合わせることも可能である。なお、以下の実施形態の説明において、同一構成には同一符号を付し、異なる構成には異なる符号を付すものとする。

まず、実施形態の植物管理システム１の構成について説明する。図１は、実施形態の植物管理システムを示す制御ブロック図である。図２は、撮影装置の一例を示す模式図である。図３は、作業装置の一例を示す模式図である。図４は、圃場の一例を示す模式図である。図５は、マーカの一例を示す模式図である。植物管理システム１は、圃場１００の三次元モデルを生成する。植物管理システム１は、生成した三次元モデルに基づいて、圃場１００内の植物１１０の収穫、摘果及び剪定等を行う。植物管理システム１は、撮影装置１０と、作業装置３０と、管理装置５０と、処理装置７０と、を備える。

撮影装置１０及び作業装置３０は、図４に示す圃場１００において動作する。圃場１００においては、複数の植物１１０が栽培される。植物１１０は、例えば、リンゴ又はイチゴ等の枝成り果実である。植物１１０は、キャベツ又は白菜等の地面上に成る野菜でもよい。植物１１０は、切断によって、収穫、摘果及び剪定等を行われるものであれば、どのようなものでもよい。植物１１０は、本体１１２と所定対象１１４とを含む。所定対象１１４は、例えば、収穫物である。

圃場１００の所定範囲には、複数のマーカ１２０が設けられる。マーカ１２０は、各々のマーカ１２０を区別するための識別子と、マーカ１２０が設置される位置の座標情報と、マーカ１２０の寸法情報と、を少なくとも含む。識別子は、画像による識別が可能である。識別子は、例えば、番号、記号又は図等である。座標情報は、所定範囲内に予め設定された原点及び座標軸に基づく。寸法情報は、本実施形態において、基準長さＢＬを含む。

図５に示すように、マーカ１２０は、本実施形態において、水平断面が矩形状の杭形状である。マーカ１２０は、マーカ１２０の下部１２０Ｄが圃場１００の地中に埋まるように打ち込むことによって所定の位置に設置される。マーカ１２０の上端面１２０Ｕは、本実施形態において、マーカ１２０を圃場１００に設置した際に水平面となる平面である。マーカ１２０は、基準線１２２を含む。基準線１２２は、マーカ１２０を圃場１００に設置した際に水平となるように、マーカ１２０の側面に設けられる。基準線１２２は、マーカ１２０を圃場１００に打ち込んだ際に、少なくとも地上に露出する位置に設けられる。基準長さＢＬは、本実施形態において、垂直方向において上端面１２０Ｕと基準線１２２との間の距離である。例えば、互いに平行な基準線１２２を設けて、２つの基準線１２２の間の距離を基準長さＢＬとしてもよい。

マーカ１２０は、本実施形態において、さらに、カラーマーク１２４を含む。カラーマーク１２４は、マーカ１２０の側面に設けられる。カラーマーク１２４は、カラーバーを含む。カラーバーは、基準線１２２に対して平行に延びる帯形状である。カラーバーは、予め定められたＲＧＢ値、ＨＳＶ値又はＨＬＳ値等の色彩情報を含む。カラーバーは、例えば、所定の色彩の塗料をマーカ１２０の側面に塗布されることによって設けられる。カラーマーク１２４は、本実施形態において、光の三原色のカラーバーを含む。具体的には、カラーバーは、青色の青部１２４Ｂと、赤色の赤部１２４Ｒと、緑色の緑部１２４Ｇと、を含む。カラーマーク１２４は、圃場１００の所定範囲に設けられるのであれば、マーカ１２０とは別に設けられてもよい。

管理装置５０は、例えば、圃場１００と同一の建屋内又は圃場１００に近接する建屋内に設けられる。管理装置５０は、エッジコンピュータ（Ｅｄｇｅ Ｃｏｍｐｕｔｅｒ）である。図１に示すように、管理装置５０は、エッジコンピューティングプラットフォーム（Ｅｄｇｅ Ｃｏｍｐｕｔｉｎｇ Ｐｌａｔｆｏｒｍ）２００に設けられる。管理装置５０は、撮影装置１０及び作業装置３０を制御する。管理装置５０は、撮影装置１０に撮影指示を送信する。管理装置５０は、撮影装置１０が撮影した二次元画像を取得する。管理装置５０は、作業装置３０に作業指示を送信する。管理装置５０は、処理装置７０に二次元画像を送信する。管理装置５０は、処理装置７０から作業装置３０に作業させるための作業設定情報を取得する。管理装置５０の構成については、後述にて詳細に説明する。

処理装置７０は、クラウドサーバ（Ｃｌｏｕｄ Ｓｅｒｖｅｒ）３００に設けられる。管理装置５０は、処理装置７０と、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）によって接続される。処理装置７０は、大容量データの処理を実行する。処理装置７０は、管理装置５０から受信した二次元画像から三次元モデルを生成する。処理装置７０は、三次元モデルに基づいて設定した作業装置３０に作業させるための設定情報を管理装置５０に送信する。処理装置７０の構成については、後述にて詳細に説明する。

図４に示すように、撮影装置１０は、圃場１００内を移動する。撮影装置１０は、マーカ１２０と、隣接する２つ以上の植物１１０とを含む二次元画像を複数の位置及び角度から撮影する。撮影装置１０は、管理装置５０からの撮影指示に基づいて、移動及び撮影を行う。図２に示すように、撮影装置１０は、本体部１２と、移動機構１４と、制御部１６と、撮影角度調整装置１８と、カメラ２０と、を含む。

移動機構１４は、本体部１２に接続される。移動機構１４は、例えば、駆動源と、駆動源の駆動力によって回転する複数の車輪と、を含む。駆動源は、例えば、バッテリを含む電気モータである。移動機構１４は、制御部１６によって、駆動、前進、後進、旋回及び停止等の動作を制御される。移動機構１４が駆動することにより、本体部１２は圃場１００内を移動する。

制御部１６は、例えば、本体部１２の筐体内部に搭載される。制御部１６は、管理装置５０から撮影指示を受け取る。制御部１６は、管理装置５０からの撮影指示に基づいて、移動機構１４の駆動、前進、後進、旋回及び停止等の動作を制御する。制御部１６は、管理装置５０からの撮影指示に基づいて、撮影角度調整装置１８を制御する。制御部１６は、管理装置５０からの撮影指示に基づいて、カメラ２０の撮影動作を制御する。

撮影角度調整装置１８は、本実施形態において、アームと、可動接続部と、を含む。アームは、基端部及び基端部とは反対側の端部である先端部において、可動接続部に接続される。基端部の可動接続部は、本体部１２に対してアームを搖動可能及び旋回可能に接続する。基端部の可動接続部は、本体部１２に対してアームを角度調整可能に接続する。先端部の可動接続部は、カメラ２０に対してアームを搖動可能及び旋回可能に接続する。先端部の可動接続部は、カメラ２０に対してアームを角度調整可能に接続する。撮影角度調整装置１８は、管理装置５０からの撮影指示に基づいて、制御部１６によって制御される。アームと、アームの角度調整をする可動接続部と、を含むことによって、撮影装置１０の撮影効率は向上する。撮影角度調整装置１８の構成は、本実施形態に限定されない。撮影角度調整装置１８は、例えば、可動接続部を含まなくてもよい。この場合、システムの重複が回避できる。アームは、例えば、ロボットアームでもよい。

カメラ２０は、撮影角度調整装置１８の先端部に接続される。カメラ２０は、本実施形態において、アームの先端部の可動接続部に接続される。カメラ２０の位置及び角度は、移動機構１４によって移動した本体部１２の位置、及び撮影角度調整装置１８の姿勢によって決定される。カメラ２０は、管理装置５０からの撮影指示に基づいて、制御部１６によって撮影動作を制御される。カメラ２０は、圃場１００の対象範囲に含まれる植物１１０及びマーカ１２０の二次元画像を撮影する。制御部１６は、管理装置５０からの撮影指示に基づいて、複数の位置及び角度から植物１１０の二次元画像をカメラ２０に撮影させる。制御部１６は、管理装置５０からの撮影指示に基づいて、隣接する２つ以上の植物１１０と１つのマーカ１２０とが１枚の二次元画像に含むようにカメラ２０に撮影させる。

図４に示すように、作業装置３０は、圃場１００内を移動する。作業装置３０は、植物１１０の切断作業を行う。作業装置３０は、管理装置５０からの作業指示に基づいて、移動及び切断作業を行う。切断作業は、植物１１０の本体１１２からの所定対象１１４の切り離しである。図３に示すように、作業装置３０は、本体部３２と、移動機構３４と、制御部３６と、作業角度調整装置３８と、切断部４０と、受部４２と、を含む。

移動機構３４は、本体部３２に接続される。移動機構３４は、例えば、駆動源と、駆動源の駆動力によって回転する複数の車輪と、を含む。駆動源は、例えば、バッテリを含む電気モータである。移動機構３４は、制御部３６によって、駆動、前進、後進、旋回及び停止等の動作を制御される。移動機構３４が駆動することにより、本体部３２は圃場１００内を移動する。

制御部３６は、例えば、本体部３２に搭載される。制御部３６は、管理装置５０から作業指示を受け取る。制御部３６は、管理装置５０からの作業指示に基づいて、移動機構３４の駆動、前進、後進、旋回及び停止等の動作を制御する。制御部３６は、管理装置５０からの作業指示に基づいて、作業角度調整装置３８を制御する。制御部３６は、管理装置５０からの作業指示に基づいて、切断部４０の切断動作を制御する。

作業角度調整装置３８は、本実施形態において、アームと、可動接続部と、を含む。アームは、基端部及び基端部とは反対側の端部である先端部において、可動接続部に接続される。基端部の可動接続部は、本体部３２に対してアームを搖動可能及び旋回可能に接続する。基端部の可動接続部は、本体部３２に対してアームを角度調整可能に接続する。先端部の可動接続部は、切断部４０に対してアームを搖動可能及び旋回可能に接続する。先端部の可動接続部は、切断部４０に対してアームを角度調整可能に接続する。作業角度調整装置３８は、管理装置５０からの作業指示に基づいて、制御部３６によって制御される。アームと、アームの角度調整をする可動接続部と、を含むことによって、作業装置３０の作業効率は向上する。作業角度調整装置３８の構成は、本実施形態に限定されない。作業角度調整装置３８は、例えば、可動接続部を含まなくてもよい。この場合、システムの重複が回避できる。アームは、例えば、ロボットアームでもよい。

切断部４０は、作業角度調整装置３８の先端部に接続される。切断部４０は、本実施形態において、アームの先端部の可動接続部に接続される。切断部４０の位置及び角度は、移動機構３４によって移動した本体部３２の位置、及び作業角度調整装置３８の姿勢によって決定される。切断部４０は、管理装置５０からの作業指示に基づいて、制御部１６によって切断動作を制御される。切断部４０は、圃場１００の対象範囲に含まれる植物１１０のうち、処理装置７０において切断作業を実行すると判定された植物１１０について、本体１１２から所定対象１１４を切り離す。

受部４２は、切断部４０の下方に設けられる。受部４２は、切断部４０が切断する植物１１０の所定対象１１４を保持する。受部４２は、本実施形態において、皿形状である。受部４２の代わりに所定対象１１４を把持する把持部を設けてもよい。

撮影装置１０及び作業装置３０の構成は、本実施形態に限定されない。例えば、撮影装置１０の本体部１２、移動機構１４、制御部１６及び撮影角度調整装置１８と、作業装置３０の本体部３２、移動機構３４、制御部３６及び作業角度調整装置３８とは、共通であってもよい。カメラ２０と、切断部４０及び受部４２とが、角度調整装置の先端において交換可能であってもよい。圃場１００にレールを敷いて、撮影装置１０及び作業装置３０がレール上を走行するようにしてもよい。

次に、管理装置５０の構成について、詳細に説明する。図１に示すように、管理装置５０は、撮影設定記憶部５２と、撮影指示部５４と、画像受信部５６と、画像記憶部５８と、画像送信部６０と、作業設定記憶部６２と、作業指示部６４と、警告装置６６と、を含む。撮影設定記憶部５２と、撮影指示部５４と、画像受信部５６と、画像記憶部５８と、画像送信部６０と、作業設定記憶部６２と、作業指示部６４と、警告装置６６とは、それぞれ、演算処理装置、記憶装置及び通信インターフェース（Ｉ／Ｆ）のうちいずれかによって構成されるか、又はこれらの組み合わせによって構成される。演算処理装置は、予め定められる制御プログラムを実行する。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等である。記憶装置は、各種の制御プログラム及び各種の制御処理に用いられる情報が記憶される。記憶装置は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等である。撮影設定記憶部５２と、撮影指示部５４と、画像受信部５６と、画像記憶部５８と、画像送信部６０と、作業設定記憶部６２と、作業指示部６４と、警告装置６６とは、互いに共通の演算処理装置、記憶装置又は通信インターフェースを備えていてもいいし、それぞれ複数の場所に離れて配置されていてもよい。

撮影設定記憶部５２は、撮影設定情報を記憶する。撮影設定情報は、撮影装置１０の移動経路、撮影位置及び角度を含む。撮影装置１０の制御部１６は、撮影設定情報の移動経路に基づいて、圃場１００内を移動するように移動機構１４を制御する。撮影装置１０の制御部１６は、撮影設定情報の撮影位置及び角度に基づいて、撮影角度調整装置１８及びカメラ２０を制御する。撮影設定情報は、植物管理システム１の動作を開始する前に、予め設定される。

撮影指示部５４は、撮影装置１０に撮影指示を送信する。撮影指示部５４は、撮影設定記憶部５２に記憶された撮影設定情報を撮影装置１０に送信する。撮影指示部５４は、撮影装置１０に撮影開始指示を送信する。撮影指示部５４は、撮影設定情報及び撮影開始指示を同時に撮影装置１０に送信してもよい。

画像受信部５６は、撮影装置１０のカメラ２０が撮影した二次元画像を取得する。二次元画像は、隣接する２つ以上の植物１１０と１つのマーカ１２０とを含む。画像受信部５６は、撮影装置１０が撮影した全ての二次元画像を一括で取得してもよいし、撮影毎に１枚ずつ取得してもよい。

画像記憶部５８は、画像受信部５６が受信した二次元画像を記憶する。画像記憶部５８は、二次元画像の撮影時間を記憶する。画像記憶部５８は、例えば、二次元画像を所定の期間のみ保存し、所定の期間が経過後に削除するようにユーザに促してもよい。

画像送信部６０は、画像記憶部５８に記憶された二次元画像を処理装置７０に送信する。この際、画像記憶部５８は、例えば、送信済みの二次元画像を削除してもよいし、削除するようにユーザに促してもよい。

作業設定記憶部６２は、処理装置７０から作業設定情報を受信する。作業設定記憶部６２は、作業設定情報を記憶する。作業設定情報は、作業装置３０の移動経路、切断時の作業装置３０位置及び姿勢、切断部４０の移動経路、及び植物１１０の切断位置を含む。作業装置３０の制御部３６は、作業設定情報の移動経路に基づいて、圃場１００内を移動するように移動機構３４を制御する。作業装置３０の制御部１６は、作業設定情報の切断時の作業装置３０位置及び姿勢、切断部４０の移動経路、及び植物１１０の切断位置に基づいて、作業角度調整装置３８及び切断部４０を制御する。

作業指示部６４は、作業装置３０に作業指示を送信する。作業指示部６４は、作業設定記憶部６２に記憶された作業設定情報を作業装置３０に送信する。作業指示部６４は、作業装置３０に作業開始指示を送信する。作業指示部６４は、作業設定情報及び作業開始指示を同時に作業装置３０に送信してもよい。

警告装置６６は、二次元画像の有効時間Ｔｅが経過した場合、予め定める警告情報を発信する。警告装置６６は、視覚的に予め定める警報情報を通知する表示装置、音によって予め定める警報情報を通知するスピーカ、光によって予め定める警報情報を通知する発光装置の少なくともいずれか１つを含む。

次に、処理装置７０の構成について、詳細に説明する。処理装置７０は、画像認識部７２と、モデル生成部７４と、情報検出部７６と、判定部７８と、作業経路設定部８０と、を含む。画像認識部７２と、モデル生成部７４と、情報検出部７６と、判定部７８と、作業経路設定部８０とは、それぞれ、演算処理装置、記憶装置及び通信インターフェース（Ｉ／Ｆ）のうちいずれかによって構成されるか、又はこれらの組み合わせによって構成される。演算処理装置は、予め定められる制御プログラムを実行する。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等である。記憶装置は、各種の制御プログラム及び各種の制御処理に用いられる情報が記憶される。記憶装置は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等である。画像認識部７２と、モデル生成部７４と、情報検出部７６と、判定部７８と、作業経路設定部８０とは、互いに共通の演算処理装置、記憶装置又は通信インターフェースを備えていてもいいし、それぞれ複数の場所に離れて配置されていてもよい。

画像認識部７２は、管理装置５０から受信した二次元画像に含まれるマーカ１２０の座標情報及び寸法情報を認識する。画像認識部７２は、カラーマーク１２４の色彩情報を認識する。

モデル生成部７４は、二次元画像及びマーカ１２０の座標情報及び寸法情報に基づいて、圃場１００の対象範囲の三次元モデルを生成する。詳しくは、モデル生成部７４は、画像認識部７２が認識したマーカ１２０の座標及び寸法から、二次元画像の植物１１０を含む圃場１００の対象範囲の絶対座標及び寸法を算出する。モデル生成部７４は、算出された絶対座標及び寸法において、圃場１００の対象範囲の三次元モデルを生成する。モデル生成部７４は、画像認識部７２が認識した色彩情報に基づいて、三次元モデルの色彩を補正する。

情報検出部７６は、人工知能を含む。人工知能は、モデル生成部７４が生成した三次元モデルから、植物１１０の位置、大きさ、形状、姿勢及び色彩の情報を抽出する。

判定部７８は、人工知能を含む。人工知能は、三次元モデル及び情報検出部７６が抽出した情報に基づいて、圃場１００の対象範囲に栽培される各々の植物１１０の本体１１２から所定対象１１４を切り離すか否かを判断する。

作業経路設定部８０は、人工知能を含む。人工知能は、三次元モデル及び情報検出部７６が抽出した情報に基づいて、作業装置３０の作業設定情報を設定する。作業設定情報は、作業装置３０の移動経路、切断時の作業装置３０位置及び姿勢、切断部４０の移動経路、及び植物１１０の切断位置を含む。

次に、植物管理システム１の動作について説明する。植物管理システム１の動作を開始する前に、ユーザは、まず、図４に示す圃場１００の対象範囲に、複数のマーカ１２０を設置する。ここで、ユーザは、圃場１００に設置された各マーカ１２０の座標及び寸法を、処理装置７０に設定されているマーカ１２０の識別子、座標情報及び寸法情報に一致するように設置する。次に、ユーザは、管理装置５０の撮影設定記憶部５２に、撮影装置１０の移動経路、撮影位置及び角度を含む撮影設定情報を設定する。さらに、ユーザは、管理装置５０に、撮影装置１０によって撮影される二次元画像の有効時間Ｔｅを設定する。有効時間Ｔｅは、植物１１０の種類及び圃場１００の環境等によって決定する。

図６は、植物管理システムの動作の一例を示すフローチャートである。図７は、撮影装置の動作の一例を示すフローチャートである。図８は、処理装置の動作の一例を示すフローチャートである。図９は、作業装置の動作の一例を示すフローチャートである。植物管理システム１は、圃場１００の対象範囲に栽培された植物１１０に対し、動作を自動で実行する。植物管理システム１による自動動作は、例えば、ユーザが管理装置５０の開始ボタンを押すことで開始される。

図６に示すように、ステップＳ１０において、管理装置５０の撮影指示部５４は、撮影設定記憶部５２に記憶された撮影設定情報を撮影装置１０に送信する。ステップＳ１２において、撮影指示部５４は、撮影装置１０に撮影開始指示を送信する。ステップＳ１０とステップＳ１２とは、同時に行ってもよい。撮影設定情報の送信を、撮影開始指示としてもよい。撮影装置１０は、管理装置５０から撮影開始指示を受信すると、ステップＳ１４において、圃場１００の対象範囲の二次元画像を撮影する。

図７に示すように、ステップＳ１４−２において、撮影装置１０は、管理装置５０の撮影指示部５４から撮影設定情報及び撮影開始指示を受信する。撮影装置１０が管理装置５０から撮影開始指示を受信すると、ステップＳ１４−４において、制御部１６は、移動機構１４、撮影角度調整装置１８及びカメラ２０を駆動させる。

ステップＳ１４−６において、制御部１６は、カメラ２０に植物１１０の二次元画像を撮影させる。制御部１６は、管理装置５０から指示された撮影設定情報の移動経路に沿って撮影装置１０が移動し、撮影設定情報の撮影位置及び角度に基づいてカメラ２０が二次元画像を撮影するように、移動機構１４、撮影角度調整装置１８及びカメラ２０を制御する。制御部１６は、撮影設定情報に基づいて、マーカ１２０が１枚の二次元画像に含むようにカメラ２０に撮影させる。１枚の二次元画像は、隣接する２つ以上の植物１１０と１つのマーカ１２０とが含まれることが好ましい。制御部１６は、撮影設定情報に基づいて、複数の位置及び角度から植物１１０の二次元画像をカメラ２０に撮影させる。

ステップＳ１４−８において、制御部１６は、管理装置５０から指示された撮影設定情報に基づいて、所定の撮影が終了したか否かを判定する。制御部１６は、所定の撮影が終了していないと判定された場合、ステップＳ１４−６を再度実行する。制御部１６は、所定の撮影が終了したと判定された場合、ステップＳ１４−１０に移行する。ステップＳ１４−１０において、制御部１６は、カメラ２０が撮影した二次元画像を管理装置５０の画像受信部５６に送信すると、ステップＳ１４を終了し、ステップＳ１６に移行する。

本実施形態においては、撮影装置１０は、全ての撮影が終了した後に、撮影した全ての二次元画像を一括して管理装置５０に送信するが、撮影毎に１枚ずつ二次元画像を送信してもよい。この場合、ステップＳ１４−１０は、ステップＳ１４−６とステップＳ１４−８との間に実行される。また、制御部１６は、ステップＳ１４−８において、所定の撮影が終了したと判定された場合、管理装置５０に撮影終了報告を送信する。

図６に示すように、ステップＳ１６において、画像受信部５６は、撮影装置１０から二次元画像を取得する。本実施形態において、画像受信部５６は、撮影装置１０の全ての撮影が終了した後に、撮影した全ての二次元画像を一括して取得するが、撮影毎に１枚ずつ二次元画像を取得してもよい。画像記憶部５８は、画像受信部５６が取得した二次元画像を記憶する。

ステップＳ１８において、管理装置５０は、撮影完了からの時間ＴをＴ＝０として、カウントアップタイマーを開始させる。本実施形態において、時間Ｔは、撮影装置１０から二次元画像を取得した時点から計測されるが、例えば、管理装置５０が二次元画像を１枚ずつ取得する場合、最初の二次元画像を取得した時点から計測してもよいし、最後の二次元画像を取得した時点から計測してもよい。ステップＳ１８は、ステップＳ１２と同時に行ってもよい。

ステップＳ２０において、画像送信部６０は、画像記憶部５８に記憶された二次元画像を処理装置７０に送信する。処理装置７０は、管理装置５０から二次元画像を受信すると、ステップＳ２２において、圃場１００の対象範囲の三次元モデル、及び作業装置３０が作業するための作業設定情報を生成する。

図８に示すように、ステップＳ２２−２において、処理装置７０は、管理装置５０の画像送信部６０から、二次元画像を受信する。処理装置７０が二次元画像を受信すると、ステップＳ２２−４において、画像認識部７２は、二次元画像に含まれるマーカ１２０の座標情報及び寸法情報を認識する。画像認識部７２は、同時にカラーマーク１２４の色彩情報を認識してもよい。

ステップＳ２２−６において、モデル生成部７４は、管理装置５０から受信した二次元画像及びマーカ１２０の座標情報及び寸法情報に基づいて、圃場１００の三次元モデルを生成する。すなわち、モデル生成部７４は、画像認識部７２が認識したマーカ１２０の座標及び寸法から、二次元画像の植物１１０を含む圃場１００の対象範囲の絶対座標及び寸法を算出する。モデル生成部７４は、算出された絶対座標及び寸法において、圃場１００の対象範囲の三次元モデルを生成する。

ステップＳ２２−８において、モデル生成部７４は、二次元画像及びマーカ１２０のカラーマーク１２４の色彩情報に基づいて、三次元モデルの色彩を補正する。すなわち、モデル生成部７４は、画像認識部７２が認識したカラーマーク１２４を解析することによって、二次元画像に撮影された対象範囲の光の状態等を判定する。モデル生成部７４は、実際のカラーマーク１２４の色彩情報と、二次元画像のカラーマーク１２４の色彩との差異に基づいて、三次元モデルの色彩を補正する。

ステップＳ２２−１０において、情報検出部７６の人工知能は、モデル生成部７４が生成した三次元モデルから植物１１０の位置、大きさ、形状、姿勢及び色彩の情報を抽出する。情報検出部７６は、例えば、植物１１０の本体１１２と所定対象１１４とを分割して抽出する。

ステップＳ２２−１２において、判定部７８の人工知能は、三次元モデル及び情報検出部７６が抽出した情報に基づいて、圃場１００の対象範囲に栽培される各々の植物１１０の本体１１２から所定対象１１４を切り離すか否かを判定する。判定部７８の人工知能による判定は、例えば、三次元モデルの色彩による熟度判定、寸法による選果判定等である。

ステップＳ２２−１４において、作業経路設定部８０の人工知能は、三次元モデル及び情報検出部７６が抽出した情報に基づいて、作業装置３０の作業設定情報を設定する。すなわち、作業経路設定部８０の人工知能は、三次元モデルの植物１１０の位置、大きさ、形状及び姿勢に基づいて、切断時の作業装置３０の位置及び姿勢、及び切断部４０の移動経路。及び植物１１０の切断位置を設定する。

ステップＳ２２−１６において、処理装置７０は、作業経路設定部８０が設定した作業設定情報を管理装置５０の作業設定記憶部６２に送信すると、ステップＳ２２を終了し、ステップＳ２４に移行する。

図６に示すように、ステップＳ２４において、管理装置５０の作業設定記憶部６２は、処理装置７０から作業設定情報を受信する。ステップＳ２６において、管理装置５０は、時間Ｔを取得し、時間Ｔが予め定められた有効時間Ｔｅ以上か否かを判定する。管理装置５０は、ステップＳ２６において、時間Ｔが予め定められた有効時間Ｔｅ以上であると判定した場合、ステップＳ２８を実行する。ステップＳ２８において、警告装置６６は、予め定める警告情報を発信する。ステップＳ２８において、警告装置６６が予め定める警告情報を発信した場合、植物管理システム１は、一連の動作を終了する。管理装置５０は、ステップＳ２６において、時間Ｔが予め定められた有効時間Ｔｅ以上ではないと判定した場合、ステップＳ３０を実行する。

ステップＳ３０において、作業指示部６４は、作業設定記憶部６２に記憶された作業設定情報に基づいて、作業指示を作業装置３０に送信する。ステップＳ３２において、作業指示部６４は、作業装置３０に作業開始指示を送信する。ステップＳ３０とステップＳ３２とは、同時に行ってもよい。作業指示の送信を、作業開始指示としてもよい。作業装置３０は、管理装置５０から作業開始指示を受信すると、ステップＳ３４において、圃場１００の対象範囲に栽培された植物１１０から所定対象１１４を切り離す。

図９に示すように、ステップＳ３４−２において、作業装置３０は、管理装置５０の作業指示部６４から作業設定情報及び作業開始指示を受信する。作業装置３０が管理装置５０から作業開始指示を受信すると、ステップＳ３４−４において、制御部３６は、移動機構３４、作業角度調整装置３８及び切断部４０を駆動させる。

ステップＳ３４−６において、制御部３６は、切断部４０に植物１１０を切断させる。制御部１６は、管理装置５０から指示された作業設定情報の移動経路に沿って作業装置３０が移動し、作業設定情報の切断位置において切断部４０が植物１１０の本体１１２から所定対象１１４を切り離すように、移動機構３４、作業角度調整装置３８及び切断部４０を制御する。制御部３６は、作業設定情報に基づいて、作業装置３０の作業経路と、切断時の作業装置３０の位置及び姿勢と、切断部４０の移動経路とを制御する。

ステップＳ３４−８において、制御部３６は、管理装置５０から指示された作業設定情報に基づいて、所定の切断作業が終了したか否かを判定する。制御部３６は、所定の切断作業が終了していないと判定された場合、ステップＳ３４−６を再度実行する。制御部１６は、所定の切断作業が終了したと判定された場合、ステップＳ３４−１０に移行する。ステップＳ３４−１０において、制御部１６は、管理装置５０に作業終了報告を送信すると、ステップＳ３４を終了し、ステップＳ３６に移行する。

図６に示すように、ステップＳ３６において、管理装置５０が作業装置３０から作業終了報告を受信すると、植物管理システム１は、一連の動作を終了する。

以上のように、実施形態の植物管理システム１は、複数の植物１１０を含む対象範囲に設けられ、画像による識別が可能な識別子の異なる複数のマーカ１２０と、対象範囲内及び対象範囲の周囲を移動して、マーカ１２０と隣接する２つ以上の植物１１０とを含む二次元画像を複数の位置及び角度から撮影する撮影装置１０と、二次元画像とマーカ１２０の座標情報及び寸法情報とに基づいて、対象範囲の三次元モデルを生成するモデル生成部７４を含む処理装置７０と、を備える。

植物管理システム１によれば、二次元画像に含まれるマーカ１２０の座標情報及び寸法情報に基づいて、各植物１１０の絶対座標、大きさ及び形状等を検知することができる。これにより、植物１１０を含む対象範囲において再現率の高い三次元モデルを生成することができる。各植物１１０の位置、大きさ、形状及び姿勢が再現されるので、植物１１０の収穫、摘果及び剪定等において、適切な切断位置において植物１１０から収穫物等（所定対象１１４）を切り離すよう、作業装置３０を容易に制御することができる。また、各植物１１０の形状、大きさ及び姿勢から、収穫、摘果及び剪定等の適切な時期を判定することができる。

また、植物管理システム１は、対象範囲に設けられるカラーマーク１２４を含み、モデル生成部７４が、二次元画像に含まれるカラーマーク１２４に基づいて、三次元モデルの色彩を補正する。二次元画像に含まれるカラーマーク１２４を解析することによって、撮影される対象範囲の光の状態を判定することができる。また、二次元画像に含まれるカラーマーク１２４に基づいて三次元モデルの色彩を補正するので、各植物１１０の色彩を再現できる。これにより、収穫物等の完熟度を判定することができる。

また、植物管理システム１は、処理装置７０が、三次元モデルから植物１１０の位置、大きさ、形状及び姿勢の情報を抽出する人工知能を含む判定部７８を含む。人工知能が、蓄積された学習データに基づいて、植物１１０の位置、姿勢及び形状の情報を抽出するため、より好適に三次元モデルの各植物１１０の位置、大きさ、形状及び姿勢を再現できる。

また、植物管理システム１は、判定部７８が、三次元モデルに基づいて、植物１１０から所定対象１１４を切り離すか否かを判定する。人工知能が、蓄積された学習データに基づいて、植物１１０から所定対象１１４を切り離すか否かを判定するため、より好適な収穫、摘果及び剪定等の適切な時期を判定することができる。

また、植物管理システム１は、処理装置７０が、三次元モデルの植物１１０の位置、大きさ、形状及び姿勢に基づいて、植物１１０から所定対象１１４を切り離す切断位置設定する人工知能を含む作業経路設定部８０を含む。人工知能が、蓄積された学習データに基づいて、植物１１０から所定対象１１４を切り離す切断位置、及び作業装置３０の切断部４０の移動経路を設定するため、より好適に植物１１０の収穫、摘果及び剪定等の作業することができる。

また、所定対象１１４の切り離しは、収穫、摘果及び剪定のいずれかを含む。三次元モデルが各植物１１０の位置、大きさ、形状及び姿勢を再現するので、植物１１０の収穫、摘果及び剪定等において、適切な切断位置において植物１１０から収穫物等を切り離すよう、作業装置３０を容易に制御することができる。また、各植物１１０の形状、大きさ及び姿勢から、収穫、摘果及び剪定等の適切な時期を判定することができる。

また、植物管理システム１は、対象範囲内及び対象範囲の周囲を移動して、三次元モデルに基づいて設定された切断位置において植物１１０から所定対象１１４を切り離す切断部４０を含む作業装置３０を備えるので、無人化によって省力的かつ効率的に植物１１０の収穫、摘果及び剪定等を行うことができる。これにより、圃場１００が大規模化した場合であっても、作業を省力的かつ効率的に行うことが可能である。

また、作業装置３０が、切断部４０を移動させる作業角度調整装置３８と、所定対１１４象を保持する受部４２と、を含むことによって、大きさ、形状及び姿勢の異なる植物１１０に対しても、適切な位置及び姿勢で植物１１０から所定対象１１４を切り離すことができる。また、切り離した所定対象１１４を、傷付けることを抑制できる。

また、三次元モデルに基づいて、作業装置３０の移動及び切断動作を指示する管理装置５０を備えることによって、作業装置３０の操作を自動化することができるので、作業効率を向上させることができる。

また、管理装置５０が、撮影装置１０の移動及び撮影動作を指示することによって、撮影装置１０の操作を自動化することができるので、作業効率を向上させることができる。

また、植物管理システム１は、管理装置５０が、エッジコンピュータであり、処理装置７０が、クラウドサーバ３００に設けられる。エッジコンピューティングにもデータの処理を分担させることによって、三次元モデルを生成するための大容量データの処理をクラウドサーバ３００でより高速に行うことができる。また、現場近くにエッジコンピューティングを配置することによって、大容量データをクラウドサーバ３００により高速で送信することができる。

また、二次元画像が撮影されてから予め設定された所定時間（有効時間Ｔｅ）が経過した場合、警告情報を発信する警告装置６６を備える。警告装置６６は、二次元画像の撮影から収穫等の作業まで植物１１０が成長することよって実際の植物１１０と三次元モデルとの間に大きな差異が生じる前に、ユーザに対して作業の中止又は再撮影を促すことができる。

１ 植物管理システム
１０ 撮影装置
１２ 本体部
１４ 移動機構
１６ 制御部
１８ 撮影角度調整装置
２０ カメラ
３０ 作業装置
３２ 本体部
３４ 移動機構
３６ 制御部
３８ 作業角度調整装置
４０ 切断部
４２ 受部
５０ 管理装置
５２ 撮影設定記憶部
５４ 撮影指示部
５６ 画像受信部
５８ 画像記憶部
６０ 画像送信部
６２ 作業設定記憶部
６４ 作業指示部
６６ 警告装置
７０ 処理装置
７２ 画像認識部
７４ モデル生成部
７６ 情報検出部
７８ 判定部
８０ 作業経路設定部
１００ 圃場
１１０ 植物
１１２ 本体
１１４ 所定対象
１２０ マーカ
１２０Ｄ 下部
１２０Ｕ 上端面
１２２ 基準線
１２４ カラーマーク
１２４Ｂ 青部
１２４Ｒ 赤部
１２４Ｇ 緑部
２００ エッジコンピューティングプラットフォーム
３００ クラウドサーバ
ＢＬ 基準長さ

Claims (12)

1. 複数の植物を含む対象範囲に設けられ、画像による識別が可能な識別子の異なる複数のマーカと、
   前記対象範囲内及び前記対象範囲の周囲を移動して、前記マーカを含む二次元画像を複数の位置及び角度から撮影する撮影装置と、
   前記二次元画像と前記マーカの座標情報及び寸法情報とに基づいて、前記対象範囲の三次元モデルを生成するモデル生成部を含む処理装置と、を備えることを特徴とする植物管理システム。
2. 前記対象範囲に設けられるカラーマークを含み、
   前記モデル生成部は、前記二次元画像に含まれる前記カラーマークに基づいて、前記三次元モデルの色彩を補正することを特徴とする請求項１に記載の植物管理システム。
3. 前記処理装置は、前記三次元モデルから前記植物の位置、大きさ、形状及び姿勢の情報を抽出する人工知能を含む判定部を含むことを特徴とする請求項１又は２に記載の植物管理システム。
4. 前記判定部は、前記三次元モデルに基づいて、前記植物から所定対象を切り離すか否かを判定することを特徴とする請求項３に記載の植物管理システム。
5. 前記処理装置は、前記三次元モデルの前記植物の位置、大きさ、形状及び姿勢に基づいて、前記植物から所定対象を切り離す切断位置を設定する人工知能を含む作業経路設定部を含むことを特徴とする請求項１から４のいずれか一項に記載の植物管理システム。
6. 前記所定対象の切り離しは、収穫、摘果及び剪定のいずれかを含むことを特徴とする請求項４又は５に記載の植物管理システム。
7. 前記対象範囲内及び前記対象範囲の周囲を移動して、前記三次元モデルに基づいて設定された切断位置において前記植物から所定対象を切り離す切断部を含む作業装置を備えることを特徴とする請求項１から６のいずれか一項に記載の植物管理システム。
8. 前記作業装置は、前記切断部を移動させる作業角度調整装置と、前記所定対象を保持する受部と、を含むことを特徴とする請求項７に記載の植物管理システム。
9. 前記三次元モデルに基づいて、前記作業装置の移動及び切断動作を指示する管理装置を備えることを特徴とする請求項７又は８に記載の植物管理システム。
10. 前記管理装置は、前記撮影装置の移動及び撮影動作を指示することを特徴とする請求項９に記載の植物管理システム。
11. 前記管理装置は、エッジコンピュータであり、
    前記処理装置は、クラウドサーバに設けられることを特徴とする請求項９又は１０に記載の植物管理システム。
12. 前記二次元画像が撮影されてから予め設定された所定時間が経過した場合、警告情報を発信する警告装置を備えることを特徴とする請求項１から１１のいずれか一項に記載の植物管理システム。

Images