JP2013005724A - 表示制御装置、表示制御システム、表示制御方法及びプログラム - Google Patents
表示制御装置、表示制御システム、表示制御方法及びプログラム Download PDFInfo
- Publication number
- JP2013005724A JP2013005724A JP2011138296A JP2011138296A JP2013005724A JP 2013005724 A JP2013005724 A JP 2013005724A JP 2011138296 A JP2011138296 A JP 2011138296A JP 2011138296 A JP2011138296 A JP 2011138296A JP 2013005724 A JP2013005724 A JP 2013005724A
- Authority
- JP
- Japan
- Prior art keywords
- information
- plant
- display
- growth
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】植物の育成状況を管理しやすくすることができる。
【解決手段】表示制御装置(70)は、表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部(73)を備える。
【選択図】図9
【解決手段】表示制御装置(70)は、表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部(73)を備える。
【選択図】図9
Description
本発明は、表示制御装置、表示制御システム、表示制御方法及びプログラムに関する。
植物栽培プラント(植物工場)における植物栽培システムは、栽培作業による負荷を低減し、植物の供給を安定化することができるものとして注目されている(例えば、特許文献1、非特許文献1参照)。
この特許文献1の技術には、定点に配置されたカメラにより得られた植物の画像に基づいた情報と、標準的な植物の特徴を示す情報(標準データ)との類似性を判定することが示されている。
また、非特許文献1の技術には、定点に配置されたカメラにより得られた植物の画像から、その植物の像が画面を占有する比率を検出することが示されている。
この特許文献1の技術には、定点に配置されたカメラにより得られた植物の画像に基づいた情報と、標準的な植物の特徴を示す情報(標準データ)との類似性を判定することが示されている。
また、非特許文献1の技術には、定点に配置されたカメラにより得られた植物の画像から、その植物の像が画面を占有する比率を検出することが示されている。
仁科 弘重、「地域拠点型"知的太陽光植物工場"の進展」、日本学術会議、公開シンポジウム「知能的太陽光植物工場」、2009年7月3日。
ところで、植物の栽培においては、栽培する生産者の経験と勘に依存した栽培方法が主流であった。
また、特許文献1の技術によれば、定点に配置されたカメラにより得られた植物の画像と標準データとの類似性を判定し、その判定結果を表示することが示されているに留まる。また、非特許文献1によれば、定点に配置されたカメラにより得られた植物の像が画面を占有する比率を検出することが示されているに留まる。
要するに、植物の栽培においては、生産者の経験と勘に依存した栽培方法や、これまでに開示されている技術による栽培方法からは、植物の育成状況を管理することが困難であるという問題がある。
本発明は、このような事情に鑑みてなされたもので、植物の育成状況を管理しやすくすることができる成長度合検出装置、植物栽培システム、植物栽培プラント、成長度合検出方法及びプログラムを提供することを目的とする。
また、特許文献1の技術によれば、定点に配置されたカメラにより得られた植物の画像と標準データとの類似性を判定し、その判定結果を表示することが示されているに留まる。また、非特許文献1によれば、定点に配置されたカメラにより得られた植物の像が画面を占有する比率を検出することが示されているに留まる。
要するに、植物の栽培においては、生産者の経験と勘に依存した栽培方法や、これまでに開示されている技術による栽培方法からは、植物の育成状況を管理することが困難であるという問題がある。
本発明は、このような事情に鑑みてなされたもので、植物の育成状況を管理しやすくすることができる成長度合検出装置、植物栽培システム、植物栽培プラント、成長度合検出方法及びプログラムを提供することを目的とする。
上記課題を解決するために、本発明は、表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部を備えることを特徴とする表示制御装置である。
また、本発明は、表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部を備えることを特徴とする表示制御システムである。
また、本発明は、表示制御部が、表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる過程を含むことを特徴とする表示制御方法である
また、本発明は、表示制御装置が備えるコンピュータを、表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部として機能させるためのプログラムである。
以上説明したように、本発明によれば、植物の育成状況を管理しやすくすることが可能となる。
以下、本発明の一実施形態について、図面を参照して説明する。
図1は、本実施形態による植物栽培プラントの概要を示す図である。図1(a)は、その断面図を示し、図1(b)は、その平面図を示す。
本発明の植物栽培プラント4は、植物栽培システム1(図3)を備え、植物の栽培を行う設備である。
図1に示すように、植物栽培プラント4は、植物栽培用の植生床6と、植生床6を外気空間7と隔てるために囲うプラント囲い8と、植生床6で植生される植物9に光を照射するランプ10とを備える。植物栽培プラント雰囲気調整装置2はプラント囲い8の内側空間13の雰囲気を調整するものである。植生床6は、図示の例では土の床であるが、不図示の液肥循環装置を備える水耕栽培用の水耕床であってもよい。
図1は、本実施形態による植物栽培プラントの概要を示す図である。図1(a)は、その断面図を示し、図1(b)は、その平面図を示す。
本発明の植物栽培プラント4は、植物栽培システム1(図3)を備え、植物の栽培を行う設備である。
図1に示すように、植物栽培プラント4は、植物栽培用の植生床6と、植生床6を外気空間7と隔てるために囲うプラント囲い8と、植生床6で植生される植物9に光を照射するランプ10とを備える。植物栽培プラント雰囲気調整装置2はプラント囲い8の内側空間13の雰囲気を調整するものである。植生床6は、図示の例では土の床であるが、不図示の液肥循環装置を備える水耕栽培用の水耕床であってもよい。
プラント囲い8は、植生床6の周辺を外気空間7と隔てて、栽培される植物に適した雰囲気に保つためのものである。ランプ10は、図示の例ではプラント囲い8の内部に設置される。
さらに、植物栽培プラント4はプラント囲い8の内部に、所定条件に調整された空気を供給するための空調機12を備える。通常、空調機12は内側空間13から吸入口16を通じて空気を取り込んで、調整し、排出口18から内側空間13に戻す。
植物栽培プラント雰囲気調整装置2においては、ランプ10がランプ囲い20で囲われている。ランプ囲い20の壁の少なくとも一部は透明である。ランプ囲い20には、ランプ囲い20の内側と、内側空間13及び外気空間7とを選択的に導通する一の管路22が接続されている。また、ランプ囲い20には、ランプ囲い20の内側と、内側空間13及び外気空間7とを選択的に導通するほかの管路24が接続されている。即ち、一の管路22は二股管26の根元で分岐し、二股管26の一方が内側空間13に通じ、他方が外気空間7に通じている。他の管路24は二股管28の根元で分岐し、二股管28の一方が内側空間13に通じ、他方が外気空間7に通じている。二股管26、28の根元には2方切り替え弁部30、32がそれぞれ設けられている。
外気空間7の温度が内側空間13の設定温度より高いときには、一の管路22、他の管路24とも、外気空間7に通ずるように2方切り替え弁部30、32で設定する。外気空間7の温度が内側空間13の設定温度より低いときには、一の管路22、他の管路24とも、内側空間13に通ずるように2方切り替え弁部30、32で設定する。
この選択的な設定により、外気空間7の温度が内側空間13の設定温度より高いときには、空気が外気空間7から取り込まれ、空気が一の管路22、ランプ囲い20、他の管路24をこの順に経由して矢印Aの方向に進行して再び外気空間7に放出されるので、ランプ10がこの空気で冷却される。また、ランプ10の熱で暖められた空気が内側空間13に流入することがない。従って、ランプ10の熱による空調機12の冷房負荷の増大を防ぎ、空調負荷が軽減される。
また、選択的な設定により、外気空間7の温度が内側空間13の設定温度より低いときには、空気が内側空間13から取り込まれ、空気が一の管路22、ランプ囲い20、他の管路24をこの順に経由して矢印Bの方向に進行して再び内側空間13に放出されるので、ランプ10がこの空気で冷却されるとともにランプ10の熱で暖められた空気が内側空間13に還流する。従って、ランプ10の熱により空調機12の暖房負荷を軽減することができる。
なお、一の管路22には、空気を矢印A或いは矢印Bの方向に送風するためのファンのような送風手段36が備えられている。
また、図1(b)に示すように、プラント囲い8の内側空間13は、移動型隔壁38によって分割され、内側空間13−1と13−2とに分かれている。内側空間13−1と13−2のそれぞれが、異なる環境条件に設定することができる。
植物9が栽培されている植生床6の間の通路では、移動型検出装置40が自走して植物9の状態を検出する。
なお、一の管路22には、空気を矢印A或いは矢印Bの方向に送風するためのファンのような送風手段36が備えられている。
また、図1(b)に示すように、プラント囲い8の内側空間13は、移動型隔壁38によって分割され、内側空間13−1と13−2とに分かれている。内側空間13−1と13−2のそれぞれが、異なる環境条件に設定することができる。
植物9が栽培されている植生床6の間の通路では、移動型検出装置40が自走して植物9の状態を検出する。
[植物の栽培状況の管理]
最初に、植物栽培プラント4において、移動型検出装置40が移動しながら、植物の状態を検出する場合を例示する。
最初に、植物栽培プラント4において、移動型検出装置40が移動しながら、植物の状態を検出する場合を例示する。
図2を参照し、植物栽培プラント4における植物の状態を検出する移動型検出装置40を示す。
図2は、本実施形態における移動型検出装置40を示す図である。
移動型検出装置40は、移動型車両本体41を台車とする。移動型車両本体41は、移動手段とする車輪41Wを備え、駆動部(不図示)から供給される動力により移動する。移動型車両本体41の上面には、鉛直軸を中心として回転自在に支持されるブラケット42Bが設けられる。そのブラケット42Bには、アーム部42が設けられ、ブラケット42Bは、アーム部42を前後方向に転動自在に支持している。また、図2に示すように、移動型検出装置40が、連続して接続される複数のアーム部42(42−1、42−2、42−3、42−4)を備え、アーム部42の移動型車両本体41と反対側の先端には、撮像部300が設けられている。
図2は、本実施形態における移動型検出装置40を示す図である。
移動型検出装置40は、移動型車両本体41を台車とする。移動型車両本体41は、移動手段とする車輪41Wを備え、駆動部(不図示)から供給される動力により移動する。移動型車両本体41の上面には、鉛直軸を中心として回転自在に支持されるブラケット42Bが設けられる。そのブラケット42Bには、アーム部42が設けられ、ブラケット42Bは、アーム部42を前後方向に転動自在に支持している。また、図2に示すように、移動型検出装置40が、連続して接続される複数のアーム部42(42−1、42−2、42−3、42−4)を備え、アーム部42の移動型車両本体41と反対側の先端には、撮像部300が設けられている。
移動型検出装置40は、アーム部42、撮像部300、移動型検出装置40の制御部(不図示)を機能させ、自走可能とする電源部(不図示)を備えている。
移動型検出装置40の制御部は、移動型車両本体41の移動制御、アーム部42を要求に応じて駆動して、撮像部300の位置及び方向を定める駆動制御、撮像部300を機能させる撮像制御、撮像した画像情報に基づいて検出処理、処理結果などを通信する通信制御などを行う。
移動型検出装置40は、植物栽培プラント4(図1)において栽培される植物9(図1)の状態を移動しながら検出する。
また、移動型検出装置40は、移動型車両本体41の代わりに固定的に設けられた台座であってもよい。
移動型検出装置40の制御部は、移動型車両本体41の移動制御、アーム部42を要求に応じて駆動して、撮像部300の位置及び方向を定める駆動制御、撮像部300を機能させる撮像制御、撮像した画像情報に基づいて検出処理、処理結果などを通信する通信制御などを行う。
移動型検出装置40は、植物栽培プラント4(図1)において栽培される植物9(図1)の状態を移動しながら検出する。
また、移動型検出装置40は、移動型車両本体41の代わりに固定的に設けられた台座であってもよい。
ここで、図3を参照し、植物、すなわち農作物の栽培を制御する植物栽培システムの概要について説明する。
図3は、本実施形態における植物栽培システムの構成を示すブロック図である。
植物栽培システム1は、栽培する植物を収穫して出荷されるまでの工程において、育成環境などの環境条件について制御を施すことにより収穫時期を制御して、収穫予定時期の収穫量を高めることができる。
収穫予定時期の収穫量を高めるには、発芽から収穫までの各工程で、植物の成長を管理する直接的な制御と、間接的な制御とがある。
直接的な制御とは、間引き、剪定などにより植物自体を加工することなどが含まれる。
また、間接的な制御とは、各種環境条件の設定を行うことなどが含まれる。
植物栽培システム1は、植物と、その植物を栽培する環境を制御対象として、その植物の育成状況、収穫時期などを最適化して、収穫予定時期の収穫量を増加するように制御する。
図3は、本実施形態における植物栽培システムの構成を示すブロック図である。
植物栽培システム1は、栽培する植物を収穫して出荷されるまでの工程において、育成環境などの環境条件について制御を施すことにより収穫時期を制御して、収穫予定時期の収穫量を高めることができる。
収穫予定時期の収穫量を高めるには、発芽から収穫までの各工程で、植物の成長を管理する直接的な制御と、間接的な制御とがある。
直接的な制御とは、間引き、剪定などにより植物自体を加工することなどが含まれる。
また、間接的な制御とは、各種環境条件の設定を行うことなどが含まれる。
植物栽培システム1は、植物と、その植物を栽培する環境を制御対象として、その植物の育成状況、収穫時期などを最適化して、収穫予定時期の収穫量を増加するように制御する。
本実施形態に示す植物栽培システム1では、植物の栽培環境を制御対象として、モデル化することにより、それぞれの栽培工程の制御を容易化する。
その制御にあたり、植物自体を直接的な方法だけで完全に制御しきれないこと、屋内環境であったとしても、バラツキがなくなるように環境の均一性を確保することが困難であることなどが、制御を困難とする要因となる。また、成長度合いが植物の個体差に依存することや、同一の個体内であっても、実の収穫時期にバラツクが生じることにより、制御を困難とする要因となっている。
本実施形態では、その制御対象をモデル化し、制御を困難とする要因を外乱として捉え、育成状況に応じて、そのモデルを最適化することにより、収穫予定時期の収穫量を確保する制御を容易にする。
このような植物栽培システムの構成例について説明する。
その制御にあたり、植物自体を直接的な方法だけで完全に制御しきれないこと、屋内環境であったとしても、バラツキがなくなるように環境の均一性を確保することが困難であることなどが、制御を困難とする要因となる。また、成長度合いが植物の個体差に依存することや、同一の個体内であっても、実の収穫時期にバラツクが生じることにより、制御を困難とする要因となっている。
本実施形態では、その制御対象をモデル化し、制御を困難とする要因を外乱として捉え、育成状況に応じて、そのモデルを最適化することにより、収穫予定時期の収穫量を確保する制御を容易にする。
このような植物栽培システムの構成例について説明する。
この図3に示される植物栽培システム1は、例えば、制御対象部100、判定部200、撮像部300、撮像位置移動部400、制御部500、及び、成長度合検出装置70(表示制御装置)を備える。
制御対象部100は、管理対象である植物9と、植物9の育成環境を制御する環境駆動部120を備える。
植物9は、発芽後の葉、茎、花・実、及び根の状態によって育成状況を判定できる。その育成状況は、基準時(発芽時など)からの経過時間に関係付けて判定することができる。
例えば、葉の状態による判定では、葉の枚数、1枚の葉の大きさ、生い茂った葉の投影面積、しおれ具合(角度、縦横比)などがあげられる。茎の状態による判定では、背丈、枝の張り具合、太さなどがあげられる。花・実の状態による判定では、数、密度、配置、実の成熟度などがあげられる。根の状態による判定では、長さ、広がり具合などがあげられる。
植物9は、発芽後の葉、茎、花・実、及び根の状態によって育成状況を判定できる。その育成状況は、基準時(発芽時など)からの経過時間に関係付けて判定することができる。
例えば、葉の状態による判定では、葉の枚数、1枚の葉の大きさ、生い茂った葉の投影面積、しおれ具合(角度、縦横比)などがあげられる。茎の状態による判定では、背丈、枝の張り具合、太さなどがあげられる。花・実の状態による判定では、数、密度、配置、実の成熟度などがあげられる。根の状態による判定では、長さ、広がり具合などがあげられる。
環境駆動部120は、制御部500から供給される環境制御量に応じて、植物が栽培される育成環境を制御する。
環境駆動部120は、光制御部121、空調設備122、二酸化炭素処理部123及び水調整設備124を備える。
環境駆動部120は、光制御部121、空調設備122、二酸化炭素処理部123及び水調整設備124を備える。
光制御部121(光制御手段)は、発光部又は遮光部を含み、植物9に与える光の光量又は波長を制御する。一般的な植物9は、適正な光の強度及び照射時間に依存する光の量により光合成を行う。そのような植物9では、その光合成に基づいて、植物9の成長が促進される。また、光制御部121は、植物9の好日性を利用して、光の照射方向を制御して、植物9の成長する方向を制御する。また、光制御部121は、太陽などの自然光と異なり、特定の波長を制限して与えることにより、特定の成長を促進させる。例えば、発光波長を制限できる発光部としては、発光ダイオード、高圧ネオンランプなどがある。遮光部によって波長を制限する場合には、波長選択性のフィルターを用いる。
空調設備122は、植物9が置かれている周囲温度、湿度、及び、風量を制御する。
十分な容量の空気を、適正な周囲温度、湿度、及び、風量に制御して与えることにより、植物9の成長にダメージを与えることなく成長を促進させることができる。
二酸化炭素処理部123は、空調設備122によって管理されている空気中の二酸化炭素濃度を制御する。適正量の二酸化炭素濃度を維持することにより、光合成を促進させることができる。二酸化炭素処理部123は、単に二酸化炭素を発生させるのではなく、他の設備が発生した二酸化炭素を再利用してもよい。
十分な容量の空気を、適正な周囲温度、湿度、及び、風量に制御して与えることにより、植物9の成長にダメージを与えることなく成長を促進させることができる。
二酸化炭素処理部123は、空調設備122によって管理されている空気中の二酸化炭素濃度を制御する。適正量の二酸化炭素濃度を維持することにより、光合成を促進させることができる。二酸化炭素処理部123は、単に二酸化炭素を発生させるのではなく、他の設備が発生した二酸化炭素を再利用してもよい。
水調整設備124は、植物9に給水する水量、水温、及び、養分濃度のうちから、少なくとも1つを制御する。特に水耕栽培である場合、水温及び養分濃度は大事な管理項目である。
このように、植物栽培システム1では、環境駆動部120を備えることにより、屋外環境の変化を遮蔽して、人工環境の元で栽培環境を構築する形態と、屋外環境の変化も利用しつつ、適切な環境を補助的に構築する管理支援型の栽培環境とする形態のいずれにも適用可能である。いずれの形態を採用するかは、栽培する植物の種別、栽培時期、成長過程、施設が置かれた環境などの条件により適宜選択される。
例えば、発芽から所定の期間は、人工光を連続照射することにより、成長が促進される植物があることが知られている。また、照射する波長を選択することにより、成長量を制御して目的の成長を促進させることを可能とする。
このように、植物栽培システム1では、環境駆動部120を備えることにより、屋外環境の変化を遮蔽して、人工環境の元で栽培環境を構築する形態と、屋外環境の変化も利用しつつ、適切な環境を補助的に構築する管理支援型の栽培環境とする形態のいずれにも適用可能である。いずれの形態を採用するかは、栽培する植物の種別、栽培時期、成長過程、施設が置かれた環境などの条件により適宜選択される。
例えば、発芽から所定の期間は、人工光を連続照射することにより、成長が促進される植物があることが知られている。また、照射する波長を選択することにより、成長量を制御して目的の成長を促進させることを可能とする。
判定部200は、撮像部300によって撮像された画像情報と、植物9の育成モデルとに基づいて、植物9の育成状況を判定する。
判定部200は、検出部210、育成モデル部220、状況記憶部230、及び、育成状況判定部240を備える。
検出部210は、撮像された植物9の画像情報から、該植物9の育成状況を検出し、該画像情報と該育成状況を状況記憶部230に記憶させる。
また、検出部210は、撮像された植物9の画像情報と、その画像を撮像した位置情報から、その画像情報に含まれる植物9の特徴点の位置を検出し、検出した位置情報と撮像した時間情報とを、状況記憶部230に記憶される画像情報に対応させて記憶する。
育成モデル部220は、複数の育成モデルを備える。育成モデル部220に設定される複数の育成モデルは、例えば、基準時(発芽時など)からの経過時間と植物9の育成状況とを関連付ける、経過時間による育成状況モデル221(第1育成モデル)、花が成実したときの実の位置を推定した、花の位置に対する実の配置モデル222(第2育成モデル)、及び、大きさ、形又は色を基準とするパターンを用いて、検出する対象の特徴を抽出し、収穫時期を判定する収穫時期判定モデル223(第3育成モデル)を含む。
判定部200は、検出部210、育成モデル部220、状況記憶部230、及び、育成状況判定部240を備える。
検出部210は、撮像された植物9の画像情報から、該植物9の育成状況を検出し、該画像情報と該育成状況を状況記憶部230に記憶させる。
また、検出部210は、撮像された植物9の画像情報と、その画像を撮像した位置情報から、その画像情報に含まれる植物9の特徴点の位置を検出し、検出した位置情報と撮像した時間情報とを、状況記憶部230に記憶される画像情報に対応させて記憶する。
育成モデル部220は、複数の育成モデルを備える。育成モデル部220に設定される複数の育成モデルは、例えば、基準時(発芽時など)からの経過時間と植物9の育成状況とを関連付ける、経過時間による育成状況モデル221(第1育成モデル)、花が成実したときの実の位置を推定した、花の位置に対する実の配置モデル222(第2育成モデル)、及び、大きさ、形又は色を基準とするパターンを用いて、検出する対象の特徴を抽出し、収穫時期を判定する収穫時期判定モデル223(第3育成モデル)を含む。
状況記憶部230は、植物9の画像情報、育成状況、画像情報に含まれる植物9の特徴点の位置情報、及び、撮像した時間情報を対応させて記憶する。
育成状況判定部240は、記憶された画像情報と育成状況との少なくとも一方を用いて、植物9の育成モデルに基づいて育成状況を判定する。
育成状況判定部240は、育成モデル部220に含まれる、経過時間による育成状況モデル221(第1育成モデル)、花の位置に対する実の配置モデル222(第2育成モデル)、及び、収穫時期判定モデル223(第3育成モデル)の少なくとも一つを基準として、植物9の育成状況を判定する。
育成状況判定部240は、記憶された画像情報と育成状況との少なくとも一方を用いて、植物9の育成モデルに基づいて育成状況を判定する。
育成状況判定部240は、育成モデル部220に含まれる、経過時間による育成状況モデル221(第1育成モデル)、花の位置に対する実の配置モデル222(第2育成モデル)、及び、収穫時期判定モデル223(第3育成モデル)の少なくとも一つを基準として、植物9の育成状況を判定する。
撮像部300は、植物9(と該植物9の周囲の状況)を撮像し、画像情報を生成する。撮像部300は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)センサなどを搭載した撮像装置、及び、撮像用の補助光の発光装置を備える。
撮像部300は、撮像位置移動部400に含まれる移動型検出装置40(図2)が備えるアーム部42の先端部に搭載される。アーム部42の先端部の動きに応じて、撮像位置が変更され、被写体である植物9との相対位置が変化する。また、アーム部42の先端部に設けられた旋回台に撮像部300が搭載され、旋回台の制御により任意の方向に旋回可能となる。これらの制御を組み合わせることにより、撮像部300は、任意の位置、任意の方向から植物9を撮像することが可能となる。
撮像部300は、撮像位置移動部400に含まれる移動型検出装置40(図2)が備えるアーム部42の先端部に搭載される。アーム部42の先端部の動きに応じて、撮像位置が変更され、被写体である植物9との相対位置が変化する。また、アーム部42の先端部に設けられた旋回台に撮像部300が搭載され、旋回台の制御により任意の方向に旋回可能となる。これらの制御を組み合わせることにより、撮像部300は、任意の位置、任意の方向から植物9を撮像することが可能となる。
撮像位置移動部400(撮像位置移動手段)は、指示された位置まで撮像部300が撮像する位置を移動させて、植物9を指示された方向から撮像可能とする。
撮像位置移動部400(撮像位置移動手段)は、撮像する位置を移動させる移動型検出装置40(図2)を備え、移動型検出装置40(図2)には(多関節型の)アーム部42(ロボットアーム)が設けられる。
そのアーム部42の先端には、撮像部300に被写体からの光を導く光学系が設けられており、撮像位置移動部400は、その光学系の光軸を指示された方向に転回させる。
撮像位置移動部400(撮像位置移動手段)は、撮像する位置を移動させる移動型検出装置40(図2)を備え、移動型検出装置40(図2)には(多関節型の)アーム部42(ロボットアーム)が設けられる。
そのアーム部42の先端には、撮像部300に被写体からの光を導く光学系が設けられており、撮像位置移動部400は、その光学系の光軸を指示された方向に転回させる。
成長度合検出装置70は、制御部500に対して各種情報の提供を要求する。成長度合検出装置70は、その要求に応じて制御部500から取得した各種情報に基づいて、対象となる植物9の成長度合いを検出する。成長度合検出装置70は、植物栽培プラント4内を移動するユーザーによって携帯され、植物栽培プラント4内の植物9の成長度合いを検出する。
制御部500(制御部)は、撮像位置移動部400(撮像位置移動手段)によって移動した位置から撮像された植物9の画像情報に基づいて、植物9の育成モデルを基準として育成状況を判定した結果に従って、植物9の育成環境を制御する。
制御部500は、育成モデル生成部510、環境制御部520、位置制御部530、生産計画設計部540、収穫計画設計部550、剪定計画設計部570、及び通信処理部590を備える。
育成モデル生成部510は、育成モデルを画像情報に基づいて生成し、育成モデル部220に保持される育成モデルを更新する。
育成モデル生成部510は、画像情報から生成された育成状況によって第1育成モデルを決定する第1モデル生成部、画像情報から開花時の花の位置を検出し第2育成モデルを生成する第2モデル生成部、画像情報から収穫時期を判定する第3育成モデルを生成する第3モデル生成部を備える。
また、育成モデル生成部510は、育成モデルを生成する際に、成長度合検出装置70が検出した個々の植物9の育成状況についての情報又は画像情報に基づいて、育成モデルを生成してもよい。
制御部500は、育成モデル生成部510、環境制御部520、位置制御部530、生産計画設計部540、収穫計画設計部550、剪定計画設計部570、及び通信処理部590を備える。
育成モデル生成部510は、育成モデルを画像情報に基づいて生成し、育成モデル部220に保持される育成モデルを更新する。
育成モデル生成部510は、画像情報から生成された育成状況によって第1育成モデルを決定する第1モデル生成部、画像情報から開花時の花の位置を検出し第2育成モデルを生成する第2モデル生成部、画像情報から収穫時期を判定する第3育成モデルを生成する第3モデル生成部を備える。
また、育成モデル生成部510は、育成モデルを生成する際に、成長度合検出装置70が検出した個々の植物9の育成状況についての情報又は画像情報に基づいて、育成モデルを生成してもよい。
環境制御部520は、判定された育成状況に応じて育成環境を制御する環境制御量を生成する。例えば、環境制御部520は、判定された育成状況に応じて植物9に与える光を制御する場合には、光制御部121によって、植物9に与える光の光量又は波長を制御する。環境制御部520は、判定された育成状況に応じて植物9に与える二酸化炭素濃度を制御する場合には、二酸化炭素処理部123によって、植物9が置かれている二酸化炭素濃度を制御する。環境制御部520は、判定された育成状況に応じて植物9に与える空気を制御する場合には、空調設備122によって、植物9に供給する空気の温度、湿度、及び、風量の少なくともいずれか1つを制御する。環境制御部520は、判定された育成状況に応じて植物9に与える水を制御する場合には、水調整設備124によって、植物9に給水する水量、水温、及び、養分濃度の少なくともいずれか1つを制御する。
位置制御部530は、撮像位置移動部400を制御して、植物9を撮像する位置及び方向を指示する。位置制御部530は、撮像部300の位置、撮像方向を変更して目的に応じた画像情報を撮像するために撮像位置移動部400を制御する。
位置制御部530は、撮像位置移動部400を制御して、植物9を撮像する位置及び方向を指示する。位置制御部530は、撮像部300の位置、撮像方向を変更して目的に応じた画像情報を撮像するために撮像位置移動部400を制御する。
生産計画設計部540は、撮像された画像情報に基づいて生産計画を設計する。
収穫計画設計部550は、第3育成モデルに基づいて、収穫計画を設計する。
配置計画設計部560は、対象となる植物9の第1育成モデルに応じて、対象となる植物9の周囲に位置するほかの植物9との位置関係により、植物栽培プラント4内の植物9の配置計画を設計する。
剪定計画設計部570(第1剪定計画設計部)は、第1育成モデルに応じて、植物9を剪定する剪定計画を設計する。また、剪定計画設計部570(第2剪定計画設計部)は、第2育成モデルに応じて、植物9の花(実)を剪定する剪定計画を設計する。
通信処理部590は、成長度合検出装置70との通信処理をする。通信処理部590は、成長度合検出装置70からの制御部500に対する要求及び各種情報を受付け、また、その要求に応じた各種情報を成長度合検出装置70に対して送信する。
通信処理部590は、成長度合検出装置70が検出した個々の植物9の育成状況についての情報又は画像情報を受け付ける。
また、通信処理部590が送信する各種情報は、例えば、植物9の配置情報、第1育成モデルなどである。
収穫計画設計部550は、第3育成モデルに基づいて、収穫計画を設計する。
配置計画設計部560は、対象となる植物9の第1育成モデルに応じて、対象となる植物9の周囲に位置するほかの植物9との位置関係により、植物栽培プラント4内の植物9の配置計画を設計する。
剪定計画設計部570(第1剪定計画設計部)は、第1育成モデルに応じて、植物9を剪定する剪定計画を設計する。また、剪定計画設計部570(第2剪定計画設計部)は、第2育成モデルに応じて、植物9の花(実)を剪定する剪定計画を設計する。
通信処理部590は、成長度合検出装置70との通信処理をする。通信処理部590は、成長度合検出装置70からの制御部500に対する要求及び各種情報を受付け、また、その要求に応じた各種情報を成長度合検出装置70に対して送信する。
通信処理部590は、成長度合検出装置70が検出した個々の植物9の育成状況についての情報又は画像情報を受け付ける。
また、通信処理部590が送信する各種情報は、例えば、植物9の配置情報、第1育成モデルなどである。
(植物の収穫時期の制御)
図4を参照し、本実施形態における植物の収穫時期の制御について説明する。
図4は、本実施形態における植物の収穫時期の制御を示す図である。
この図4に示されるグラフは、横軸を発芽からの経過日数(時間)、縦軸が植物の成長度合いを示し、いわゆる成長曲線の形状を有する。このグラフが示すように、成長度合いは経過日数に応じた関数として定義することができ、特定の環境条件下における傾向を、過去のデータに基づいて生成された育成モデルを植物9の育成状況管理の基準とする。
図4を参照し、本実施形態における植物の収穫時期の制御について説明する。
図4は、本実施形態における植物の収穫時期の制御を示す図である。
この図4に示されるグラフは、横軸を発芽からの経過日数(時間)、縦軸が植物の成長度合いを示し、いわゆる成長曲線の形状を有する。このグラフが示すように、成長度合いは経過日数に応じた関数として定義することができ、特定の環境条件下における傾向を、過去のデータに基づいて生成された育成モデルを植物9の育成状況管理の基準とする。
グラフS4aは、植物9の育成状況管理の基準とする成長曲線を示す育成モデルである。このグラフS4aに基づいて、収穫時期を設定することができる。
グラフS4bは、植物の育成状況管理を行わずに、グラフS4aに示した育成モデルより遅れて成長する過程を示す。このグラフS4bに示すように育成すると収穫時期が、計画より遅れてしまうことになる。そこで、本植物栽培システム1では、育成の過程で検出された育成状況の遅れを、周囲の環境を制御することにより、育成状況を促進させるように制御する。
育成状況を促進する場合には、制御対象である植物9の種別、及び、対策を実施する時期に応じて処理内容が選択される。例えば、対策の内訳として、光照射量を増加させたり、周囲温度、水温を高めたり、必要な養分量を増加させたりするなどの方法があげられる。
グラフS4bは、植物の育成状況管理を行わずに、グラフS4aに示した育成モデルより遅れて成長する過程を示す。このグラフS4bに示すように育成すると収穫時期が、計画より遅れてしまうことになる。そこで、本植物栽培システム1では、育成の過程で検出された育成状況の遅れを、周囲の環境を制御することにより、育成状況を促進させるように制御する。
育成状況を促進する場合には、制御対象である植物9の種別、及び、対策を実施する時期に応じて処理内容が選択される。例えば、対策の内訳として、光照射量を増加させたり、周囲温度、水温を高めたり、必要な養分量を増加させたりするなどの方法があげられる。
一方、育成状況を遅らせる場合にも、制御対象である植物9の種別、及び、対策を実施する時期に応じて処理内容が選択される。例えば、対策の内訳として、光照射量を減少させたり、周囲温度、水温を低下させたり、必要な養分量を減少させたりするなどの方法があげられる。
また、検出部210による育成状況の検出は、各個体の状況を検出し、それぞれ検出された結果に基づいて総合的に判定することも可能である。その総合的な判定では、それぞれ検出された検出結果を平均化したり、バラツキを検出したりするなど、各種統計処理の手法を適用できる。
例えば、全体を複数の区画に分割し、その区画に含まれる植物9から検出された結果を区画ごとにまとめて判定することも可能である。このように区画を分割することにより、配置された位置によるバラツキを検出することができる。
例えば、全体を複数の区画に分割し、その区画に含まれる植物9から検出された結果を区画ごとにまとめて判定することも可能である。このように区画を分割することにより、配置された位置によるバラツキを検出することができる。
また、異なる種類の植物を区画ごとに配置して、それぞれに適した環境を設定することも可能である。
植物9の育成状況の検出には、1つの判定基準によって検出してもよく、或いは、複数の判定基準によって検出した複数の変数に基づいて判定してもよい。
植物9の育成状況の検出には、1つの判定基準によって検出してもよく、或いは、複数の判定基準によって検出した複数の変数に基づいて判定してもよい。
(植物の育成状況の判定)
図5から7を参照し、本実施形態における植物の育成状況の判定について説明する。
判定部200によって行われる植物9の育成状況の判定では、検出対象に応じて複数の判定方法を選択することができる。
検出対象を、葉、茎、花・実、根のそれぞれを選択することができる。
検出部210は、以下に示す判定項目に応じて、選択された検出対象の状態を検出する。
育成状況判定部240は、検出された検出対象の状態について、記憶された画像情報と育成状況との少なくとも一方を用いて、植物9の育成モデルに基づいて育成状況を判定する。育成状況判定部240は、判定の基準とする育成モデルを、育成モデル部220に備えられている複数の育成モデルの中から判定項目に応じて選択する。
図5から7を参照し、本実施形態における植物の育成状況の判定について説明する。
判定部200によって行われる植物9の育成状況の判定では、検出対象に応じて複数の判定方法を選択することができる。
検出対象を、葉、茎、花・実、根のそれぞれを選択することができる。
検出部210は、以下に示す判定項目に応じて、選択された検出対象の状態を検出する。
育成状況判定部240は、検出された検出対象の状態について、記憶された画像情報と育成状況との少なくとも一方を用いて、植物9の育成モデルに基づいて育成状況を判定する。育成状況判定部240は、判定の基準とする育成モデルを、育成モデル部220に備えられている複数の育成モデルの中から判定項目に応じて選択する。
判定部200における葉の状態による判定では、葉の枚数、1枚の葉の大きさ、生い茂った葉の投影面積、しおれ具合(角度、一枚の葉の縦横比)などが判定項目としてあげられる。
葉の枚数は、予め定められた範囲に内に存在する枚数、或いは、茎(特定された枝)に着いた葉の枚数を計数することにより検出する。
1枚の葉の大きさは、特定された葉の大きさ、予め定められた範囲に内に存在する葉の大きさの平均、或いは、茎(特定された枝)に着いた葉の大きさの平均を算出することにより検出する。葉の大きさは、長手方向(縦)の長さ、長手方向と直交する方向(横)の長さ、面積とすることができる。
生い茂った葉の投影面積は、植物9の側面から鉛直面に投影された面積を検出する。
葉のしおれ具合は、水分不足などのストレスを容易に検出できる。しおれた状態では、葉先が下を向くことから、水平面と葉の表面とがなす角度から検出することができる。或いは、一枚の葉の縦横比を算出してもよい。しおれたことにより葉の張りがなくなり、見かけ上の横幅が狭くなる。そのため、しおれ具合により、一枚の葉の縦横比が変化する。
葉の枚数は、予め定められた範囲に内に存在する枚数、或いは、茎(特定された枝)に着いた葉の枚数を計数することにより検出する。
1枚の葉の大きさは、特定された葉の大きさ、予め定められた範囲に内に存在する葉の大きさの平均、或いは、茎(特定された枝)に着いた葉の大きさの平均を算出することにより検出する。葉の大きさは、長手方向(縦)の長さ、長手方向と直交する方向(横)の長さ、面積とすることができる。
生い茂った葉の投影面積は、植物9の側面から鉛直面に投影された面積を検出する。
葉のしおれ具合は、水分不足などのストレスを容易に検出できる。しおれた状態では、葉先が下を向くことから、水平面と葉の表面とがなす角度から検出することができる。或いは、一枚の葉の縦横比を算出してもよい。しおれたことにより葉の張りがなくなり、見かけ上の横幅が狭くなる。そのため、しおれ具合により、一枚の葉の縦横比が変化する。
判定部200における茎の状態による判定では、背丈、枝の張り具合、太さなどが判定項目としてあげられる。
背丈は、茎(或いは先端の葉)の先の高さを検出する。撮像部300の高さを茎の高さと一致させることにより、撮像部300の高さから検出できる。
枝の張り具合は、枝分かれしている分岐数、或いは、枝の長さを検出する。
茎の太さは、基準の高さの茎の太さを検出する。
背丈は、茎(或いは先端の葉)の先の高さを検出する。撮像部300の高さを茎の高さと一致させることにより、撮像部300の高さから検出できる。
枝の張り具合は、枝分かれしている分岐数、或いは、枝の長さを検出する。
茎の太さは、基準の高さの茎の太さを検出する。
判定部200における花・実の状態による判定では、数、密度、配置、実の成熟度などが判定項目としてあげられる。
図5は、花と実の位置関係を示す図である。
図5(a)、(c)に開花期の状態を示し、図5(b)、(d)に成実期の状態を示す。
実の位置は、花の位置に依存することから、花の数及び位置を特定することにより、実の数と位置を特定することができる。開花期に示す花f1とf2は、成実期には実F1とF2として変化する。
花(実)の数は、予め定められた範囲に内に存在する数量、或いは、茎(特定された枝)に着いた花(実)の数量を計数することにより検出する。
花(実)の密度は、検出した花(実)の数量を単位容量で除算することにより算出できる。或いは、簡易的には、撮像された画像の所定の範囲に存在する花(実)の数量を計数する。
花(実)の配置は、3次元計測の手法を用いることにより検出する。また、検出された花の位置から、成実期の実の位置を推定することができる。実の大きさ、重量を仮定して、その実がぶら下がる枝の強度と長さを演算条件とすることより、花の3次元位置に基づいて、実の推定位置を算出することができる。
この算出された推定位置から、隣接する実との干渉を推定することができる。つまり、実の大きさより、相対距離が近い場合には、干渉が生じると推定することができる。
図5は、花と実の位置関係を示す図である。
図5(a)、(c)に開花期の状態を示し、図5(b)、(d)に成実期の状態を示す。
実の位置は、花の位置に依存することから、花の数及び位置を特定することにより、実の数と位置を特定することができる。開花期に示す花f1とf2は、成実期には実F1とF2として変化する。
花(実)の数は、予め定められた範囲に内に存在する数量、或いは、茎(特定された枝)に着いた花(実)の数量を計数することにより検出する。
花(実)の密度は、検出した花(実)の数量を単位容量で除算することにより算出できる。或いは、簡易的には、撮像された画像の所定の範囲に存在する花(実)の数量を計数する。
花(実)の配置は、3次元計測の手法を用いることにより検出する。また、検出された花の位置から、成実期の実の位置を推定することができる。実の大きさ、重量を仮定して、その実がぶら下がる枝の強度と長さを演算条件とすることより、花の3次元位置に基づいて、実の推定位置を算出することができる。
この算出された推定位置から、隣接する実との干渉を推定することができる。つまり、実の大きさより、相対距離が近い場合には、干渉が生じると推定することができる。
実の成熟度は、実の色の変化に基づいて検出できる場合がある。
図6は、実の成熟度の検出を説明する図である。
図6(a)に示されるように、熟した実F3の色と熟しきらない実F4の色とが異なる場合に適用できる。熟しきらない実F4の色C1に対し、熟した実F3の色C2への色の変化を検出することにより、成熟度を検出できる。
図6(b)に示されるように、実の一部(例えば、下側)の色C2が変色し、その変色した範囲(Z2)を検出することにより成熟度を検出できる。
実の成熟度は、成熟度が高くなるにつれ、光の透過量が高く変化する場合がある。実に対して所定の光量の光(測定補助光)を照射して、その透過光の量を検出する。例えば、実の下部(又は側面)に接近した位置から測定補助光を照射して、撮像部300は、透過された光を検出する。その際、撮像部300の画角に、補助光源からの直接光が入らないように位置関係を調整する。
図6は、実の成熟度の検出を説明する図である。
図6(a)に示されるように、熟した実F3の色と熟しきらない実F4の色とが異なる場合に適用できる。熟しきらない実F4の色C1に対し、熟した実F3の色C2への色の変化を検出することにより、成熟度を検出できる。
図6(b)に示されるように、実の一部(例えば、下側)の色C2が変色し、その変色した範囲(Z2)を検出することにより成熟度を検出できる。
実の成熟度は、成熟度が高くなるにつれ、光の透過量が高く変化する場合がある。実に対して所定の光量の光(測定補助光)を照射して、その透過光の量を検出する。例えば、実の下部(又は側面)に接近した位置から測定補助光を照射して、撮像部300は、透過された光を検出する。その際、撮像部300の画角に、補助光源からの直接光が入らないように位置関係を調整する。
判定部200における根の状態による判定では、長さ、広がり具合などが判定項目としてあげられる。水耕栽培であれば、根の長さを検出できる場合がある。根の長さは、株の位置からの長さを検出する。根の広がり具合は、株の位置から根が広がった面積を検出する。根の長さも広がり具合も、いずれも水中であることから直接的に検出しにくいが、補助光を照射して、根による影を間接的に検出することができる。
上記に示した、検出部210は、植物9を検出する直接的な検出方法のほかに、直接検出された結果に基づいた3次元モデルを作成することにより、直接検出できない情報を間接的に検出してもよい。
図7は、葉の状態を示す図である。
図7(a)に、4枚の葉の着いた茎を俯瞰した画像として示す。
植物9の側面から撮像した画像情報では、この図に示されるような画像情報を取得できるが、平面的な状態を検出するのは困難である。そこで、4枚の葉を3次元情報として抽出する。
図7(b)に、図7(a)に示した4枚の葉を3次元情報とした結果に基づいて、水平面に投射した結果を示す。このような次数変換の方法を採ることにより、植物9の上部からの撮像が困難な場合でも、任意の高さの範囲に含まれる葉の平面投射図を作成することができる。破線の円は、葉の先端の近傍を通過する円を示す。
図7は、葉の状態を示す図である。
図7(a)に、4枚の葉の着いた茎を俯瞰した画像として示す。
植物9の側面から撮像した画像情報では、この図に示されるような画像情報を取得できるが、平面的な状態を検出するのは困難である。そこで、4枚の葉を3次元情報として抽出する。
図7(b)に、図7(a)に示した4枚の葉を3次元情報とした結果に基づいて、水平面に投射した結果を示す。このような次数変換の方法を採ることにより、植物9の上部からの撮像が困難な場合でも、任意の高さの範囲に含まれる葉の平面投射図を作成することができる。破線の円は、葉の先端の近傍を通過する円を示す。
図7(c)に、図7(a)に示した4枚の葉が、しおれた状態を示す。それぞれの葉の先端が地面に向かって垂れ下がった状態を示す。この状態の4枚の葉を3次元情報として抽出する。
図7(d)に、図7(b)と同様に図7(c)に示した4枚の葉を3次元情報とした結果に基づいて、水平面に投射した結果を示す。4枚の葉がしおれた状態となったことにより、葉の先端の近傍を通過する円は、図7(b)に示した葉の先端の近傍を通過する円より小さな円となる。
このように投射された葉のイメージが示す葉の先端の近傍を通過する円の直径により、葉の成長度合い、しおれ具合などの検出を行うことができる。
また、茎の先端に花が咲く「菊」のような植物の花の状態を検出することに応用できる。
図7(d)に、図7(b)と同様に図7(c)に示した4枚の葉を3次元情報とした結果に基づいて、水平面に投射した結果を示す。4枚の葉がしおれた状態となったことにより、葉の先端の近傍を通過する円は、図7(b)に示した葉の先端の近傍を通過する円より小さな円となる。
このように投射された葉のイメージが示す葉の先端の近傍を通過する円の直径により、葉の成長度合い、しおれ具合などの検出を行うことができる。
また、茎の先端に花が咲く「菊」のような植物の花の状態を検出することに応用できる。
(育成モデルの生成)
次に、制御部500において育成モデル生成部510が生成する育成モデルについて説明する。
前述の「(植物の育成状況の判定)」において、判定項目に応じて目的にあった検出条件による植物9の育成状況の検出について示した。検出された育成状況を判定するための基準(判定項目)として用いる育成モデルの生成について示す。
最初に、基準時(発芽時など)からの経過時間に応じて、植物9の育成状況を判定するために、基準時(発芽時など)からの経過時間と植物9の育成状況とを関連付ける経過時間による育成状況モデル(第1育成モデル)が必要とされる。
この第1育成モデルには、各種項目を選択することができる。例えば、葉の状態による判定では、葉の枚数、1枚の葉の大きさ、生い茂った葉の投影面積、しおれ具合(角度、縦横比)などがあげられる。茎の状態による判定では、背丈、枝の張り具合、太さなどがあげられる。花・実の状態による判定では、数、密度、配置、実の成熟度などがあげられる。根の状態による判定では、長さ、広がり具合などがあげられる。
選択された項目において、例えば、基準時(発芽時など)からの経過時間に応じた成長曲線に基づいた数値を基準値とすることにより、モデル化することができる。
この第1育成モデルは、個体の成長の基準とするだけでなく、隣接する個体との干渉を判定する場合にも用いることができる。
次に、制御部500において育成モデル生成部510が生成する育成モデルについて説明する。
前述の「(植物の育成状況の判定)」において、判定項目に応じて目的にあった検出条件による植物9の育成状況の検出について示した。検出された育成状況を判定するための基準(判定項目)として用いる育成モデルの生成について示す。
最初に、基準時(発芽時など)からの経過時間に応じて、植物9の育成状況を判定するために、基準時(発芽時など)からの経過時間と植物9の育成状況とを関連付ける経過時間による育成状況モデル(第1育成モデル)が必要とされる。
この第1育成モデルには、各種項目を選択することができる。例えば、葉の状態による判定では、葉の枚数、1枚の葉の大きさ、生い茂った葉の投影面積、しおれ具合(角度、縦横比)などがあげられる。茎の状態による判定では、背丈、枝の張り具合、太さなどがあげられる。花・実の状態による判定では、数、密度、配置、実の成熟度などがあげられる。根の状態による判定では、長さ、広がり具合などがあげられる。
選択された項目において、例えば、基準時(発芽時など)からの経過時間に応じた成長曲線に基づいた数値を基準値とすることにより、モデル化することができる。
この第1育成モデルは、個体の成長の基準とするだけでなく、隣接する個体との干渉を判定する場合にも用いることができる。
また、花が成実したときの実の位置を推定した、花の位置に対する実の配置モデル(第2育成モデル)が必要とされる。
この第2育成モデルには、花・実の状態による判定では、数、密度、配置などがあげられる。
選択された項目において、花の位置に対する実の配置を推定した位置、特徴点に対する位置、実の大きさを基準値とすることにより、モデル化することができる。
この第2育成モデルは、個々の実の成長の基準とするだけでなく、隣接する実のそれぞれの大きさと隔離距離により、隣接する実の干渉を判定する場合にも用いることができる。
この第2育成モデルには、花・実の状態による判定では、数、密度、配置などがあげられる。
選択された項目において、花の位置に対する実の配置を推定した位置、特徴点に対する位置、実の大きさを基準値とすることにより、モデル化することができる。
この第2育成モデルは、個々の実の成長の基準とするだけでなく、隣接する実のそれぞれの大きさと隔離距離により、隣接する実の干渉を判定する場合にも用いることができる。
また、大きさ、形又は色を基準とするパターンを用いて、検出する対象の特徴を抽出して収穫時期を判定する収穫時期判定モデル(第3育成モデル)が必要となる。
つまり、育成モデル生成部510は、判定項目として選択された項目に対応する数値をモデル化することにより基準値を生成し、育成モデル部220の初期値とする。
育成モデル生成部510は、育成モデルの生成を画像情報に基づいて生成して、更新する。生成した育成モデルと、実際の状態との乖離が大きい場合には、無理な制御量を与えることとなる場合がある。その場合には、育成モデル生成部510は、予め定めた閾値を基準に、判定し育成モデルを補正して、育成モデル部に保持された値を更新する。なお、育成モデルの更新は、段階的に定めた成長課程によって更新周期を変更してもよい。
育成モデル生成部510は、育成モデルの生成を画像情報に基づいて生成して、更新する。生成した育成モデルと、実際の状態との乖離が大きい場合には、無理な制御量を与えることとなる場合がある。その場合には、育成モデル生成部510は、予め定めた閾値を基準に、判定し育成モデルを補正して、育成モデル部に保持された値を更新する。なお、育成モデルの更新は、段階的に定めた成長課程によって更新周期を変更してもよい。
判定部200では、検出部210によって検出された値と、育成モデル部220に保持された各育成モデルの値とに基づいて育成状況判定部240によって判定(演算)することにより、検出された値と、育成モデル部220に保持された各育成モデルの値との差を算定し、育成状況を判定する。
なお、育成モデル生成部510は、育成モデルの値を、過去に検出された検出値、過去に設定されたモデルの値などを統計処理して算定してもよい。
(周囲環境の制御)
環境制御部520は、判定された育成状況に応じて育成環境を制御する環境制御量を生成する。例えば、環境制御部520は、判定された育成状況に応じて植物9に与える光を制御する場合には、光制御部121によって、植物9に与える光の光量又は波長を制御する。環境制御部520は、判定された育成状況に応じて植物9に与える二酸化炭素濃度を制御する場合には、二酸化炭素処理部123によって、植物9が置かれている二酸化炭素濃度を制御する。環境制御部520は、判定された育成状況に応じて植物9に与える空気を制御する場合には、空調設備122によって、植物9に供給する空気の温度、湿度、及び、風量の少なくともいずれか1つを制御する。環境制御部520は、判定された育成状況に応じて植物9に与える水を制御する場合には、水調整設備124によって、植物9に給水する水量、水温、及び、養分濃度の少なくとも1つを制御する。
例えば、育成状況を促進させるためには、環境制御部520は、光制御部121によって、植物9に与える光の照度を高め、照射時間を長くして、光量が増加するように制御する。また、空調設備122によって、植物9の周囲温度を高めることにより、育成状況を促進させることができる。このような条件の制御では、植物の種類、育成過程などによって異なり、それぞれに適する制御内容が定められる。
周囲環境の制御は、栽培時には、環境制御部520により比較的短い周期で繰り返し行われ、異常値の検出を早く行うことにより、植物9へのダメージを低減し、適切な環境で栽培できるようにする。
環境制御部520は、判定された育成状況に応じて育成環境を制御する環境制御量を生成する。例えば、環境制御部520は、判定された育成状況に応じて植物9に与える光を制御する場合には、光制御部121によって、植物9に与える光の光量又は波長を制御する。環境制御部520は、判定された育成状況に応じて植物9に与える二酸化炭素濃度を制御する場合には、二酸化炭素処理部123によって、植物9が置かれている二酸化炭素濃度を制御する。環境制御部520は、判定された育成状況に応じて植物9に与える空気を制御する場合には、空調設備122によって、植物9に供給する空気の温度、湿度、及び、風量の少なくともいずれか1つを制御する。環境制御部520は、判定された育成状況に応じて植物9に与える水を制御する場合には、水調整設備124によって、植物9に給水する水量、水温、及び、養分濃度の少なくとも1つを制御する。
例えば、育成状況を促進させるためには、環境制御部520は、光制御部121によって、植物9に与える光の照度を高め、照射時間を長くして、光量が増加するように制御する。また、空調設備122によって、植物9の周囲温度を高めることにより、育成状況を促進させることができる。このような条件の制御では、植物の種類、育成過程などによって異なり、それぞれに適する制御内容が定められる。
周囲環境の制御は、栽培時には、環境制御部520により比較的短い周期で繰り返し行われ、異常値の検出を早く行うことにより、植物9へのダメージを低減し、適切な環境で栽培できるようにする。
(撮像位置の制御)
位置制御部530は、撮像位置移動部400を制御して、植物9を撮像する位置及び方向を指示する。位置制御部530は、撮像部300の位置、撮像方向を変更して目的に応じた画像情報を撮像するために撮像位置移動部400を制御する。
撮像位置移動部400は、多間接型のアーム部42を備える移動型検出装置40を備えていることから、撮像部300の位置を柔軟に設定することができる。
植物9の実が、葉や他の実の影になるような位置であっても、それらに影響されない位置に撮像部300を移動させることができる。これにより、撮影対象の植物9の実が葉や他の実の影に隠れていたとしても、それらに妨げられることなく、撮影対象の植物9の実を撮像部300で確実に撮像することができる。
なお、撮像部300は、アーム部40の先端部に配置するものとしたが、アーム部40の先端に近いアームや、同アームに設けられた雲台に設けられていてもよい。また、アーム部40の先端としたが、アーム部40に内蔵されていてもよい。
位置制御部530は、撮像位置移動部400を制御して、植物9を撮像する位置及び方向を指示する。位置制御部530は、撮像部300の位置、撮像方向を変更して目的に応じた画像情報を撮像するために撮像位置移動部400を制御する。
撮像位置移動部400は、多間接型のアーム部42を備える移動型検出装置40を備えていることから、撮像部300の位置を柔軟に設定することができる。
植物9の実が、葉や他の実の影になるような位置であっても、それらに影響されない位置に撮像部300を移動させることができる。これにより、撮影対象の植物9の実が葉や他の実の影に隠れていたとしても、それらに妨げられることなく、撮影対象の植物9の実を撮像部300で確実に撮像することができる。
なお、撮像部300は、アーム部40の先端部に配置するものとしたが、アーム部40の先端に近いアームや、同アームに設けられた雲台に設けられていてもよい。また、アーム部40の先端としたが、アーム部40に内蔵されていてもよい。
(生産計画の設計)
生産計画設計部540は、撮像された画像情報に基づいて生産計画を設計する。画像情報に基づいた生産計画を設計することにより、収穫するか否かの判定に限らず、植物栽培システム1の設備を有効に利用して、効率よく植物9を栽培することが可能となる。また、この生産計画は、目的の時期の出荷量を調整することにも利用できる。
生産計画設計部540は、撮像された画像情報に基づいて生産計画を設計する。画像情報に基づいた生産計画を設計することにより、収穫するか否かの判定に限らず、植物栽培システム1の設備を有効に利用して、効率よく植物9を栽培することが可能となる。また、この生産計画は、目的の時期の出荷量を調整することにも利用できる。
(収穫計画の設計)
収穫計画設計部550は、第3育成モデルに基づいて、収穫計画を設計する。
第3育成モデルに基づいて設計することにより、収穫可能か否かの判定の精度を高めることができる。この判定を行うことにより、例えば、それぞれの実の収穫時期を適正化させることができ、品質を揃えることが可能となる。
収穫計画を作成するための画像情報は、各植物9に対して他の処理を行うために接近した際に、所得することもできる。或いは、過去に設計した収穫計画によって、収穫順序が策定されていれば、その収穫順に応じて検出頻度を制御することも可能である。すなわち、収穫計画により収穫時期が遅くなると判定された実に対する検出頻度を粗くして、収穫時期が近い実に対する検出頻度を高めることができるので、検出効率を高めることができる。
また、収穫時期を繰り上げ、或いは延期させる判定条件として用いることもできる。これにより、必要な出荷量に応じた量を収穫することができる。
収穫計画設計部550は、第3育成モデルに基づいて、収穫計画を設計する。
第3育成モデルに基づいて設計することにより、収穫可能か否かの判定の精度を高めることができる。この判定を行うことにより、例えば、それぞれの実の収穫時期を適正化させることができ、品質を揃えることが可能となる。
収穫計画を作成するための画像情報は、各植物9に対して他の処理を行うために接近した際に、所得することもできる。或いは、過去に設計した収穫計画によって、収穫順序が策定されていれば、その収穫順に応じて検出頻度を制御することも可能である。すなわち、収穫計画により収穫時期が遅くなると判定された実に対する検出頻度を粗くして、収穫時期が近い実に対する検出頻度を高めることができるので、検出効率を高めることができる。
また、収穫時期を繰り上げ、或いは延期させる判定条件として用いることもできる。これにより、必要な出荷量に応じた量を収穫することができる。
(配置計画の設計)
配置計画設計部560は、第1育成モデルに応じて、周囲に位置する植物9の配置計画を設計する。第1育成モデルに基づいて設計することにより、成長後の植物9の個体の大きさを算定することができる。
この配置計画を策定することにより、成長過程で隣接する植物、或いは、施設との干渉を未然に防いで、効率よく植物を配置することができる。この配置計画は、いわゆる、間引きを行う場合や、互いの異なる種類の植物同士の相性が合わない場合の適切な配置等の判定基準となる。
配置計画設計部560は、第1育成モデルに応じて、周囲に位置する植物9の配置計画を設計する。第1育成モデルに基づいて設計することにより、成長後の植物9の個体の大きさを算定することができる。
この配置計画を策定することにより、成長過程で隣接する植物、或いは、施設との干渉を未然に防いで、効率よく植物を配置することができる。この配置計画は、いわゆる、間引きを行う場合や、互いの異なる種類の植物同士の相性が合わない場合の適切な配置等の判定基準となる。
(剪定計画の設計)
剪定計画設計部570は、第1育成モデルに応じて、植物9を剪定する剪定計画を設計する。
これにより、隣接する植物9、或いは、自らの枝に干渉する場合を推定することができ、剪定する枝とその位置を適正に選定することができる。
また、剪定計画設計部570は、第2育成モデルに応じて、植物9の花(実)を剪定する剪定計画を設計する。
これにより、植物9に成実する位置を算定することにより、自らの枝や実に干渉する場合を推定することができ、剪定する枝や実を選定し、剪定する位置を適正に選定することができる。
剪定計画設計部570は、第1育成モデルに応じて、植物9を剪定する剪定計画を設計する。
これにより、隣接する植物9、或いは、自らの枝に干渉する場合を推定することができ、剪定する枝とその位置を適正に選定することができる。
また、剪定計画設計部570は、第2育成モデルに応じて、植物9の花(実)を剪定する剪定計画を設計する。
これにより、植物9に成実する位置を算定することにより、自らの枝や実に干渉する場合を推定することができ、剪定する枝や実を選定し、剪定する位置を適正に選定することができる。
(植物栽培システムの制御)
本実施形態に示した植物栽培システム1では、撮像部300は、植物9を撮像し、画像情報を生成する。
撮像位置移動部400(撮像位置移動手段)は、撮像部300が撮像する位置を移動させる(多関節型の)アーム部42(ロボットアーム)を備えることにより、自由な位置と方向から植物9の状況を測定することができ、その測定された画像情報に基づいて、環境条件を制御することにより、収穫時期を制御することが可能となる。
本実施形態に示した植物栽培システム1では、撮像部300は、植物9を撮像し、画像情報を生成する。
撮像位置移動部400(撮像位置移動手段)は、撮像部300が撮像する位置を移動させる(多関節型の)アーム部42(ロボットアーム)を備えることにより、自由な位置と方向から植物9の状況を測定することができ、その測定された画像情報に基づいて、環境条件を制御することにより、収穫時期を制御することが可能となる。
このような、植物栽培システム1によって大規模化が容易に行えるようになる。
また、植物栽培システム1において、植物9の育成状況(成長度合い)を正確に判定することにより、生産性を高め、品質向上に寄与することができる。
また、植物栽培システム1において、植物9の育成状況(成長度合い)を正確に判定することにより、生産性を高め、品質向上に寄与することができる。
[成長度合検出装置]
続いて、図8を参照し、植物栽培システム1における植物の成長度合いを検出する成長度合検出装置について示す。
以下の説明において、植物の成長度合いは、成長過程における成長の進み具合を示す指標とする。成長度合検出装置の検出対象である植物9(図1)の成長過程において、該植物9の成長度合いを検出するために、植物9の成長に応じた分類をする複数の段階を設けておく。
この図に示す成長度合検出装置70は、ユーザーが携帯して利用する携帯型の端末装置として、成長度合検出装置を構成した場合を例にして説明する。
図8は、本実施形態における成長度合検出装置70を示す図である。
この図に示される成長度合検出装置70は、タブレット型の装置として構成されたものである。
成長度合検出装置70は、被写体を撮像する撮像部71と、撮像した画像を表示する表示部74とを備え、一体化された筐体内に構成されている。成長度合検出装置70は、被写体に向けられた撮像部71が撮影した画像を表示部74に表示する。また、成長度合検出装置70は、植物9の画像情報を取得して、取得した画像情報に基づいて、植物9の成長に応じて設けた段階に従って植物9の成長度合いを検出する。
続いて、図8を参照し、植物栽培システム1における植物の成長度合いを検出する成長度合検出装置について示す。
以下の説明において、植物の成長度合いは、成長過程における成長の進み具合を示す指標とする。成長度合検出装置の検出対象である植物9(図1)の成長過程において、該植物9の成長度合いを検出するために、植物9の成長に応じた分類をする複数の段階を設けておく。
この図に示す成長度合検出装置70は、ユーザーが携帯して利用する携帯型の端末装置として、成長度合検出装置を構成した場合を例にして説明する。
図8は、本実施形態における成長度合検出装置70を示す図である。
この図に示される成長度合検出装置70は、タブレット型の装置として構成されたものである。
成長度合検出装置70は、被写体を撮像する撮像部71と、撮像した画像を表示する表示部74とを備え、一体化された筐体内に構成されている。成長度合検出装置70は、被写体に向けられた撮像部71が撮影した画像を表示部74に表示する。また、成長度合検出装置70は、植物9の画像情報を取得して、取得した画像情報に基づいて、植物9の成長に応じて設けた段階に従って植物9の成長度合いを検出する。
図9は、本実施形態における成長度合検出装置70を示すブロック図である。
図1から図3、図8と同じ構成には、同じ符号を附す。
図1から図3、図8と同じ構成には、同じ符号を附す。
成長度合検出装置70は、撮像部71、育成状況検出部72、表示制御処理部73、表示部74、操作入力検出部75、加速度検出部76、及び、制御部79を備える。
撮像部71は、カメラ部711、撮像処理部712、記憶部713、及び、撮像位置取得部714を備える。
カメラ部711は、検出対象である植物を主たる被写体として、その被写体を撮像して得られる画像から画像信号に変換する。
撮像部71は、カメラ部711、撮像処理部712、記憶部713、及び、撮像位置取得部714を備える。
カメラ部711は、検出対象である植物を主たる被写体として、その被写体を撮像して得られる画像から画像信号に変換する。
撮像処理部712は、カメラ部711を制御して撮像させる。
また、撮像処理部712は、カメラ部711によって変換された画像信号に基づいた画像情報を得る。撮像処理部712は、撮像された被写体の位置を特定する被写***置情報を、その画像情報に対応させて得る。撮像処理部712は、検出対象範囲設定部723によって設定された検出対象範囲に対応する識別情報を、その画像情報の被写***置情報とする。或いは、撮像処理部712は、撮像された画像情報から抽出した特徴点に応じた位置情報を生成し、生成した位置情報を被写***置情報としてもよい。
また、撮像処理部712は、撮像位置検出部714によって得られた撮像位置情報と、撮像処理部712によって得られた被写***置情報と撮像時刻情報とを、撮像された画像情報に対応させて記憶部713に記憶させる。
また、撮像処理部712は、カメラ部711によって変換された画像信号に基づいた画像情報を得る。撮像処理部712は、撮像された被写体の位置を特定する被写***置情報を、その画像情報に対応させて得る。撮像処理部712は、検出対象範囲設定部723によって設定された検出対象範囲に対応する識別情報を、その画像情報の被写***置情報とする。或いは、撮像処理部712は、撮像された画像情報から抽出した特徴点に応じた位置情報を生成し、生成した位置情報を被写***置情報としてもよい。
また、撮像処理部712は、撮像位置検出部714によって得られた撮像位置情報と、撮像処理部712によって得られた被写***置情報と撮像時刻情報とを、撮像された画像情報に対応させて記憶部713に記憶させる。
撮像位置検出部714は、カメラ部711によって撮像された画像信号によって示される画像情報から、撮像する位置を特定する撮像位置情報を得る。撮像位置情報を得るための基準点を植物9の周辺に予め設けておき、撮像位置検出部714は、撮像された画像に含まれる基準点に基づいて撮像位置情報を算出する。或いは、撮像位置検出部714は、GPSシステムによる位置情報を取得して、取得した位置情報を撮像位置情報としてもよい。
記憶部713は、撮像位置検出部714によって得られた撮像位置情報と、撮像処理部712によって得られた被写***置情報と撮像時刻情報とを、カメラ部711によって撮像された画像情報に対応させて記憶する。記憶部713が記憶する各種情報は、最新の情報として記憶される。なお、被写***置情報は、対応する植物9の識別情報としてもよい。
さらに、撮像部71は、撮像処理部712によって、カメラ部711によって得られた画像情報に基づいて、撮像した撮像位置を中心とするパノラマ画像や3次元合成画像を合成してもよい。パノラマ画像や3次元合成画像を合成する場合、撮像処理部712は、合成されたパノラマ画像や3次元合成画像による画像情報を、撮像時刻情報と、撮像位置情報と、被写***置情報と、撮像された画像情報とを対応させて記憶部713に記憶させてもよい。このように、植物栽培プラント4内を撮像して得た画像情報から、パノラマ画像や3次元合成画像を合成することにより、それぞれ撮像した撮像位置に応じたパノラマ画像や3次元合成画像の画像情報(3次元合成画像情報)を得ることができる。
また、撮像部71は、撮像部71に作用する手ブレを補正する手ブレ補正機能を有していることが望ましい。
また、撮像部71は、撮像部71に作用する手ブレを補正する手ブレ補正機能を有していることが望ましい。
育成状況検出部72は、成長の段階に合わせてそれぞれ設定された検出対象範囲に含まれる該植物9の状態から、植物9の成長度合いを検出する。
育成状況検出部72は、撮像部71によって撮像された植物9の画像情報に基づいて植物9の成長度合いを検出して、植物9の育成状況(成長度合い)を示す情報とする。
育成状況検出部72は、成長度合検出部721、成長段階判定部722、検出対象範囲設定部723、情報取得部725、及び、過去情報記憶部726を備える。
育成状況検出部72は、撮像部71によって撮像された植物9の画像情報に基づいて植物9の成長度合いを検出して、植物9の育成状況(成長度合い)を示す情報とする。
育成状況検出部72は、成長度合検出部721、成長段階判定部722、検出対象範囲設定部723、情報取得部725、及び、過去情報記憶部726を備える。
情報取得部725は、予め定められた所定の時間間隔により撮像された植物9の画像情報を撮像部71から取得する。
例えば、情報取得部725は、カメラ部711によって撮像された植物9の画像に基づいた画像情報と、その画像が撮像された時刻を示す撮像時刻情報と、撮像した位置を特定する撮像位置情報と、撮像された被写体の位置を特定する被写***置情報とを、カメラ部711を備える撮像部71から取得する。情報取得部725は、取得した画像情報と、撮像時刻情報と、撮像位置情報と、被写***置情報と、を対応させて、過去情報記憶部726に格納する。
情報取得部725が取得する画像情報は、カメラ部711によって撮像された画像情報、或いは、撮像部71の記憶部713に記憶されている画像情報のいずれかである。また、撮像部71の記憶部713に記憶されている画像情報は、撮像部71によって撮像された画像情報に基づいて合成されたパノラマ画像や3次元画像を示す3次元合成画像情報による画像情報を含むものであってもよい。
過去情報記憶部726は、情報取得部725が取得した画像情報と、撮像時刻情報と、撮像位置情報と、被写***置情報とを対応させて格納する。また、過去情報記憶部726は、情報取得部725が取得した合成されたパノラマ画像や3次元画像を示す3次元合成画像情報による画像情報を合わせて格納するものであってもよい。
例えば、情報取得部725は、カメラ部711によって撮像された植物9の画像に基づいた画像情報と、その画像が撮像された時刻を示す撮像時刻情報と、撮像した位置を特定する撮像位置情報と、撮像された被写体の位置を特定する被写***置情報とを、カメラ部711を備える撮像部71から取得する。情報取得部725は、取得した画像情報と、撮像時刻情報と、撮像位置情報と、被写***置情報と、を対応させて、過去情報記憶部726に格納する。
情報取得部725が取得する画像情報は、カメラ部711によって撮像された画像情報、或いは、撮像部71の記憶部713に記憶されている画像情報のいずれかである。また、撮像部71の記憶部713に記憶されている画像情報は、撮像部71によって撮像された画像情報に基づいて合成されたパノラマ画像や3次元画像を示す3次元合成画像情報による画像情報を含むものであってもよい。
過去情報記憶部726は、情報取得部725が取得した画像情報と、撮像時刻情報と、撮像位置情報と、被写***置情報とを対応させて格納する。また、過去情報記憶部726は、情報取得部725が取得した合成されたパノラマ画像や3次元画像を示す3次元合成画像情報による画像情報を合わせて格納するものであってもよい。
成長度合検出部721は、予め定められた所定の時間間隔により撮像された植物9の画像情報に基づいて、該植物9の成長度合いを検出する。
まず、成長度合検出部721は、被写***置情報と撮像時刻情報とに基づいて、定められた特定の検出対象範囲における、過去情報記憶部726に格納された画像情報を参照し、予め定められた所定の時間間隔により取得されていた植物9の画像情報を得る。成長度合検出部721は、この所定の時間間隔により撮像された植物9の画像情報から、その画像情報によって示される検出対象の差分情報を得る。成長度合検出部721は、この検出対象の差分情報に基づいて、植物9の成長を検出する。この検出対象の差分情報には、枝の長さ、茎の太さ、根の長さ、実の大きさなどの長さに関する差分情報、葉、茎、実などの色相に関する差分情報などがある。
また、成長度合検出部721は、所定の期間に達すると期待される成長量に対して、実際の成長量がどの程度まで達しているかを検出し、その程度を成長度合いとして示す。例えば、成長度合検出部721は、所定の期間に達すると期待される成長量に対する、実際の成長量の比を成長度合いとしてもよい。
植物9の成長において、植物9における特定の部位ごとに成長度合いが異なることにより、部位ごとの成長が一様に進むものではない。このように、植物9においては、部位が適宜選択されて、成長度合検出部721は、その部位の成長度合いを検出することにより、その時々に適した成長度合いをそれぞれ検出することができる。
まず、成長度合検出部721は、被写***置情報と撮像時刻情報とに基づいて、定められた特定の検出対象範囲における、過去情報記憶部726に格納された画像情報を参照し、予め定められた所定の時間間隔により取得されていた植物9の画像情報を得る。成長度合検出部721は、この所定の時間間隔により撮像された植物9の画像情報から、その画像情報によって示される検出対象の差分情報を得る。成長度合検出部721は、この検出対象の差分情報に基づいて、植物9の成長を検出する。この検出対象の差分情報には、枝の長さ、茎の太さ、根の長さ、実の大きさなどの長さに関する差分情報、葉、茎、実などの色相に関する差分情報などがある。
また、成長度合検出部721は、所定の期間に達すると期待される成長量に対して、実際の成長量がどの程度まで達しているかを検出し、その程度を成長度合いとして示す。例えば、成長度合検出部721は、所定の期間に達すると期待される成長量に対する、実際の成長量の比を成長度合いとしてもよい。
植物9の成長において、植物9における特定の部位ごとに成長度合いが異なることにより、部位ごとの成長が一様に進むものではない。このように、植物9においては、部位が適宜選択されて、成長度合検出部721は、その部位の成長度合いを検出することにより、その時々に適した成長度合いをそれぞれ検出することができる。
定められた特定の検出対象範囲ごとに、成長の段階に応じて予め定められる所定の時間間隔により、該植物9の成長度合いを検出する。
例えば、所定の時間間隔を隔てて撮像された2つの画像に基づいて、該植物9の成長度合いを検出する。
植物9の成長過程を複数の段階に分けた場合、それぞれの段階、及び、それぞれの部位において、植物9の成長度合いの変化量が異なる。そこで、成長過程のそれぞれの段階及びそれぞれの部位に応じて、植物9の成長度合いを検出するのに必要とされる時間間隔を定める。これにより、成長度合検出部721は、必要以上に検出を行うことなく、検出回数を低減することができ、必要な情報を効率よく収集することができる。
成長度合いの変化量が大きな段階では、成長度合いを検出可能とする程度に時間間隔を比較的短く定め、成長度合いの変化量が小さな段階では、時間間隔を比較的長く定める。このように時間間隔を成長の段階に応じて定めて、検出回数を低減させた場合であっても、成長度合いを検出できる。
例えば、所定の時間間隔を隔てて撮像された2つの画像に基づいて、該植物9の成長度合いを検出する。
植物9の成長過程を複数の段階に分けた場合、それぞれの段階、及び、それぞれの部位において、植物9の成長度合いの変化量が異なる。そこで、成長過程のそれぞれの段階及びそれぞれの部位に応じて、植物9の成長度合いを検出するのに必要とされる時間間隔を定める。これにより、成長度合検出部721は、必要以上に検出を行うことなく、検出回数を低減することができ、必要な情報を効率よく収集することができる。
成長度合いの変化量が大きな段階では、成長度合いを検出可能とする程度に時間間隔を比較的短く定め、成長度合いの変化量が小さな段階では、時間間隔を比較的長く定める。このように時間間隔を成長の段階に応じて定めて、検出回数を低減させた場合であっても、成長度合いを検出できる。
成長段階判定部722は、成長度合検出部721によって検出されたそれぞれの部位の差分情報から算出される成長度合いに基づいて、植物9の成長の段階を判定する。
検出対象範囲設定部723は、判定された成長の段階に応じて植物9の検出対象範囲を設定する。例えば、検出対象範囲設定部723は、植物9の実を収穫する収穫段階の場合、植物9の中で実が熟しやすい部分が含まれる範囲を検出対象範囲として設定してもよい。
ところで、植物9によって、実の熟しやすさが部分ごとに異なることが知られている。葡萄の場合、枝の先端に近い房のほうが早く熟す傾向がある。また、同じ房であれば、房の上部、すなわち枝に近い部分のほうが早く熟す傾向がある。そこで、検出対象範囲設定部723は、検出対象範囲ごとに、優先的に選択されるべき検出対象範囲を設定するための重み付けを設定する。この重み付けにおいては、熟しやすい部分が含まれる範囲を検出対象範囲として優先的に設定するように設定する。検出対象範囲設定部723は、この重み付けに従って検出対象範囲を設定することにより、熟した実を効率よく検出することができる。
ところで、植物9によって、実の熟しやすさが部分ごとに異なることが知られている。葡萄の場合、枝の先端に近い房のほうが早く熟す傾向がある。また、同じ房であれば、房の上部、すなわち枝に近い部分のほうが早く熟す傾向がある。そこで、検出対象範囲設定部723は、検出対象範囲ごとに、優先的に選択されるべき検出対象範囲を設定するための重み付けを設定する。この重み付けにおいては、熟しやすい部分が含まれる範囲を検出対象範囲として優先的に設定するように設定する。検出対象範囲設定部723は、この重み付けに従って検出対象範囲を設定することにより、熟した実を効率よく検出することができる。
また、検出対象範囲設定部723は、検出対象範囲を収穫する実に対応させて、或いは、同じ時期に収穫可能な実を含むように、それぞれの検出対象範囲を定める。
さらに、検出対象範囲設定部723は、実を識別する識別情報を参照して、収穫した実の識別情報を取得して、実を収穫した後に残った実の中から(すなわち、未収穫の実の中から)、熟しやすい部分が含まれる範囲を優先して検出対象範囲として設定するような重み付けを定義する。これにより、段階的に実を収穫する場合であっても、熟した実を効率よく検出することができる。
さらに、検出対象範囲設定部723は、実を識別する識別情報を参照して、収穫した実の識別情報を取得して、実を収穫した後に残った実の中から(すなわち、未収穫の実の中から)、熟しやすい部分が含まれる範囲を優先して検出対象範囲として設定するような重み付けを定義する。これにより、段階的に実を収穫する場合であっても、熟した実を効率よく検出することができる。
或いは、検出対象範囲設定部723は、植物9の実を収穫する収穫段階の場合、実の中で熟しやすい部分が含まれる範囲を検出対象範囲として設定してもよい。
植物9の同じ実の中においても、熟しやすさが異なることが知られている。りんごの場合、枝に着いた状態で上側半分のほうが下側半分より早く熟す傾向がある。そこで、検出対象範囲設定部723は、検出対象範囲ごとに、優先的に選択されるべき検出対象範囲を設定するための重み付けを設定する。この重み付けにおいては、植物9の実の中で熟しやすい部分が含まれる範囲を検出対象範囲として優先的に設定するように設定する。検出対象範囲設定部723は、この重み付けに従って検出対象範囲を設定することにより、実の熟し加減を効率よく検出することができる。或いは、植物9の実の中で熟しやすい部分が含まれる範囲を、その実の検出対象範囲として固定的に設定してもよい。
植物9の同じ実の中においても、熟しやすさが異なることが知られている。りんごの場合、枝に着いた状態で上側半分のほうが下側半分より早く熟す傾向がある。そこで、検出対象範囲設定部723は、検出対象範囲ごとに、優先的に選択されるべき検出対象範囲を設定するための重み付けを設定する。この重み付けにおいては、植物9の実の中で熟しやすい部分が含まれる範囲を検出対象範囲として優先的に設定するように設定する。検出対象範囲設定部723は、この重み付けに従って検出対象範囲を設定することにより、実の熟し加減を効率よく検出することができる。或いは、植物9の実の中で熟しやすい部分が含まれる範囲を、その実の検出対象範囲として固定的に設定してもよい。
検出対象範囲設定部723は、成長の段階に応じて定められる検出対象範囲の候補の中から、所望の検出対象範囲を選択する。
例えば、発芽時、開花時、受粉時、成熟期(収穫時)のように成長の段階を定めた場合、それぞれの成長の段階に応じて、検出対象範囲の候補の中から、所望の検出対象範囲を選択する。検出対象範囲の候補としては、前述の「(植物の育成状況の判定)」において示した検出対象を撮像できるように設定した範囲を検出対象範囲の候補とすることができる。
具体的な例を示すとすれば、発芽時から開花時までの段階では、葉又は茎に対して検出対象範囲を設定し、開花時から受粉時までの段階では、花に対して検出対象範囲を設定し、受粉時から収穫時までの段階では、実に対して検出対象範囲を設定する。検出対象範囲の設定は、対象とする植物の種類などに応じて所望の検出対象範囲を定める。
例えば、発芽時、開花時、受粉時、成熟期(収穫時)のように成長の段階を定めた場合、それぞれの成長の段階に応じて、検出対象範囲の候補の中から、所望の検出対象範囲を選択する。検出対象範囲の候補としては、前述の「(植物の育成状況の判定)」において示した検出対象を撮像できるように設定した範囲を検出対象範囲の候補とすることができる。
具体的な例を示すとすれば、発芽時から開花時までの段階では、葉又は茎に対して検出対象範囲を設定し、開花時から受粉時までの段階では、花に対して検出対象範囲を設定し、受粉時から収穫時までの段階では、実に対して検出対象範囲を設定する。検出対象範囲の設定は、対象とする植物の種類などに応じて所望の検出対象範囲を定める。
表示制御処理部73は、撮像部71において撮像された画像情報と、過去情報記憶部726に記憶されている画像情報とに基づいて、表示部74に表示させる画像を生成する。
表示制御処理部73は、表示制御部731と、表示情報生成部732とを備える。
表示制御部731は、表示対象の植物を識別する識別情報に対応付けて過去情報記憶部726に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に対応させて表示させる。
表示制御部731は、第1の時間間隔で撮像された画像の画像情報であって、撮像された順に基づいた時系列情報に対応させて過去情報記憶部726に記憶されている表示対象の画像の画像情報を、時系列情報に応じて第2の時間間隔に従って、過去情報記憶部726から読み出して表示させる。これにより、表示制御部731は、いわゆる録画装置における早送り再生と同様な表示を行わせることができる。
また、表示制御部731は、時系列情報に応じて過去情報記憶部726から順次読み出して表示させる表示対象の画像に、当該表示対象の画像に対応する表示情報を対応させて表示させる。表示対象の画像に対応する表示情報が時間の経過に応じて変化する場合であっても、表示制御部731は、順次読み出して表示させる表示対象の画像に対応させて表示させることができる。
表示制御部731は、時刻情報を、時刻情報に対応付けられている画像情報の画像に対応させて表示させてもよい。
表示制御処理部73は、表示制御部731と、表示情報生成部732とを備える。
表示制御部731は、表示対象の植物を識別する識別情報に対応付けて過去情報記憶部726に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に対応させて表示させる。
表示制御部731は、第1の時間間隔で撮像された画像の画像情報であって、撮像された順に基づいた時系列情報に対応させて過去情報記憶部726に記憶されている表示対象の画像の画像情報を、時系列情報に応じて第2の時間間隔に従って、過去情報記憶部726から読み出して表示させる。これにより、表示制御部731は、いわゆる録画装置における早送り再生と同様な表示を行わせることができる。
また、表示制御部731は、時系列情報に応じて過去情報記憶部726から順次読み出して表示させる表示対象の画像に、当該表示対象の画像に対応する表示情報を対応させて表示させる。表示対象の画像に対応する表示情報が時間の経過に応じて変化する場合であっても、表示制御部731は、順次読み出して表示させる表示対象の画像に対応させて表示させることができる。
表示制御部731は、時刻情報を、時刻情報に対応付けられている画像情報の画像に対応させて表示させてもよい。
表示情報生成部732は、表示対象の植物を識別する識別情報に基づいて表示対象の植物に関連付けられる表示情報として、表示対象の植物に関する表示情報を生成する。
また、表示情報生成部732は、植物の成長の段階を推定した推定情報に基づいた表示情報を生成する。
また、表示情報生成部732は、植物の成長の段階を推定した推定情報に基づいた表示情報を生成する。
このように構成した表示制御処理部73において、表示制御部731は、撮像部71が新たに撮像して過去情報記憶部726に記憶させる植物9の画像情報に基づいた第1の像の位置と、過去に撮像された画像情報である過去情報記憶部726に記憶されていた画像情報に基づいた第2の像の位置とを判別させる画像を生成する。
表示制御部731は、第1の像と第2の像とに基づいた画像である合成画像を生成し、表示部74に表示させる。
表示制御部731は、第1の像と第2の像とに基づいた画像である合成画像を生成し、表示部74に表示させる。
また、表示制御処理部73において、表示情報生成部732は、加速度検出部76によって検出された加速度に応じて、生成する表示情報や、表示情報を表示する領域の大きさを変更する。或いは、表示情報生成部732は、加速度検出部76によって検出された加速度の大きさに応じて、表示情報の表示を中断させてもよい。
なお、表示制御処理部73による詳細の処理については、後述とする。
なお、表示制御処理部73による詳細の処理については、後述とする。
表示部74は、表示制御処理部73によって生成された画像を表示する。
操作入力検出部75は、ユーザーの操作を検出することにより、成長度合検出装置70を機能させる操作情報を取得して、その操作情報を制御部79に通知する。操作入力検出部75は、表示部74の表示面上に設けられたタッチパネルとして構成してもよい。
加速度検出部76は、成長度合検出装置70の位置の変位又は角度の変位を加速度として検出する加速度センサを備える。例えば、加速度検出部76を6軸加速度センサとすることにより、加速度検出部76が検出した加速度などに基づいて、成長度合検出装置70の傾きや動きを検出するための情報を得ることができる。要するに、加速度検出部76は、成長度合検出装置70が備える撮像部71や表示部74の位置の変位又は角度の変位を加速度として検出する。
操作入力検出部75は、ユーザーの操作を検出することにより、成長度合検出装置70を機能させる操作情報を取得して、その操作情報を制御部79に通知する。操作入力検出部75は、表示部74の表示面上に設けられたタッチパネルとして構成してもよい。
加速度検出部76は、成長度合検出装置70の位置の変位又は角度の変位を加速度として検出する加速度センサを備える。例えば、加速度検出部76を6軸加速度センサとすることにより、加速度検出部76が検出した加速度などに基づいて、成長度合検出装置70の傾きや動きを検出するための情報を得ることができる。要するに、加速度検出部76は、成長度合検出装置70が備える撮像部71や表示部74の位置の変位又は角度の変位を加速度として検出する。
制御部79は、操作入力検出部75によって検出された条件に基づいて成長度合検出装置70を構成する各部を制御する。
制御部79は、検出された加速度を撮像部71、育成状況検出部72及び表示制御処理部73に供給する。制御部79は、加速度検出部76によって検出された加速度に基づいて、成長度合検出装置70の位置の変位又は角度の変位とその変化量を算出し、成長度合検出装置70の傾きや動きを検出する。制御部79は、成長度合検出装置70の傾きや動きの情報から、撮像方向を算定して、撮像部71と育成状況検出部72とに供給する。
制御部79は、検出された加速度を撮像部71、育成状況検出部72及び表示制御処理部73に供給する。制御部79は、加速度検出部76によって検出された加速度に基づいて、成長度合検出装置70の位置の変位又は角度の変位とその変化量を算出し、成長度合検出装置70の傾きや動きを検出する。制御部79は、成長度合検出装置70の傾きや動きの情報から、撮像方向を算定して、撮像部71と育成状況検出部72とに供給する。
続いて、成長度合検出装置70による検出対象の成長度合いを検出する処理について順に説明する。
(植物の成長度合いを検出するための位置の検出方法について)
図を参照し、本実施形態における検出対象である植物の成長度合いの検出について説明する。
図10は、成長に応じて変化する植物の様子を示す図である。
検出対象が、植物9の場合には、成長の過程に応じて検出対象の成長方向が変化する。
例えば、図に示すように、植物が成長すると枝が伸び、実が成熟してくると実の重さにより枝がしなり、応力に応じて柔軟に変化する。たとえ、植物9の所定の部分を特徴点として定義したとしても、特徴点の位置は、植物9の成長に応じて変化して、特定の位置に定まることはない。
さらに、葉が生い茂って、過去に選定していた目印の位置(特徴点)が隠れてしまう場合も生じる。
このように、植物9において成長を検出するには、目印として選定した位置(特徴点の位置)が成長の過程に応じて変化するため、長期的に変化する植物の成長を検出することが困難となる要因となっている。
(植物の成長度合いを検出するための位置の検出方法について)
図を参照し、本実施形態における検出対象である植物の成長度合いの検出について説明する。
図10は、成長に応じて変化する植物の様子を示す図である。
検出対象が、植物9の場合には、成長の過程に応じて検出対象の成長方向が変化する。
例えば、図に示すように、植物が成長すると枝が伸び、実が成熟してくると実の重さにより枝がしなり、応力に応じて柔軟に変化する。たとえ、植物9の所定の部分を特徴点として定義したとしても、特徴点の位置は、植物9の成長に応じて変化して、特定の位置に定まることはない。
さらに、葉が生い茂って、過去に選定していた目印の位置(特徴点)が隠れてしまう場合も生じる。
このように、植物9において成長を検出するには、目印として選定した位置(特徴点の位置)が成長の過程に応じて変化するため、長期的に変化する植物の成長を検出することが困難となる要因となっている。
一般的な位置の検出方法として、景色や建物などのように、位置と形状が変化しない検出対象を撮像された画像情報から、その検出対象の位置を検出する検出方法がある。そのような検出対象は、検出対象内の特徴点の相対的な位置関係は変化しない。それゆえ、検出対象の特徴点の相対的な位置関係が変化しないことを条件とした検出方法を利用して、撮像した位置を検出したり、2つの画像の撮像位置の差を検出し、得られた画像を補正したりすることができる。
ただし、一般的な位置の検出方法においては、検出対象の特徴点の相対的な位置関係が変化しないことを条件としているため、植物9の長期的な成長の変化を検出する際に適用することが困難である。
このように、検出対象内の特徴点の相対的な位置関係が変化しないことを条件とする検出方法をそのまま適用しても、長期的に特徴点の位置が変化する植物の成長を検出することができない。
植物9の特徴点の位置を長期的に検出を続けるには、成長によって変化する植物9の成長に応じた位置の検出方法が必要とされる。
ただし、一般的な位置の検出方法においては、検出対象の特徴点の相対的な位置関係が変化しないことを条件としているため、植物9の長期的な成長の変化を検出する際に適用することが困難である。
このように、検出対象内の特徴点の相対的な位置関係が変化しないことを条件とする検出方法をそのまま適用しても、長期的に特徴点の位置が変化する植物の成長を検出することができない。
植物9の特徴点の位置を長期的に検出を続けるには、成長によって変化する植物9の成長に応じた位置の検出方法が必要とされる。
(本実施形態における植物の成長の検出方法の原理)
そこで、本実施形態における成長度合検出装置70は、検出対象内の特徴点の相対位置が変化することを前提に、植物の成長を検出するものとする。
成長度合検出装置70による植物の成長を検出する処理においては、撮像位置を検出する処理と、植物の成長の変化を検出する処理とをそれぞれ実施する。
まず、成長度合検出装置70により撮像位置を検出する処理について示す。撮像位置を検出する処理の場合、例えば、植物9の周囲に、3点の基準点を設けておき、成長度合検出装置70は、その基準点の位置を検出する。このような基準点は、植物9の成長に応じて位置が変化しないため、前述の「検出対象内の特徴点の相対的な位置関係が変化しないことを条件とする検出方法」などを適用することができる。このように、植物の成長の変化を検出する前に、予め撮像位置を検出しておくことにより、植物の成長の変化の検出精度を高めることができる。或いは、画像情報から検出する撮像位置情報に加え、GPS(Global Positioning System)などから得られる位置情報を含めて、総合的に撮像位置を検出することとしてもよい。
そこで、本実施形態における成長度合検出装置70は、検出対象内の特徴点の相対位置が変化することを前提に、植物の成長を検出するものとする。
成長度合検出装置70による植物の成長を検出する処理においては、撮像位置を検出する処理と、植物の成長の変化を検出する処理とをそれぞれ実施する。
まず、成長度合検出装置70により撮像位置を検出する処理について示す。撮像位置を検出する処理の場合、例えば、植物9の周囲に、3点の基準点を設けておき、成長度合検出装置70は、その基準点の位置を検出する。このような基準点は、植物9の成長に応じて位置が変化しないため、前述の「検出対象内の特徴点の相対的な位置関係が変化しないことを条件とする検出方法」などを適用することができる。このように、植物の成長の変化を検出する前に、予め撮像位置を検出しておくことにより、植物の成長の変化の検出精度を高めることができる。或いは、画像情報から検出する撮像位置情報に加え、GPS(Global Positioning System)などから得られる位置情報を含めて、総合的に撮像位置を検出することとしてもよい。
次に、成長度合検出装置70により植物の成長の変化を検出する処理について示す。
植物9が成長するため検出対象が異なる位置に移動する場合がある。成長度合検出装置70による植物の成長の変化を検出する処理において、撮像部71の位置を固定して植物9を撮像することができたとしても、植物9が成長して検出対象が異なる位置に移動することから、撮像可能な領域からはみ出す場合が生じうる。それゆえ、検出対象が撮像可能な領域からはみ出さないように、撮影することが必要とされる。
また、得られた画像から、成長度合いを判定するために、成長度合検出装置70は、成長する前に撮影した画像と、成長した後に撮影した画像とを比較する。2つの画像を比較するために、成長した後の画像についても、成長する前に撮影した画像と同じような画像になるように撮影することが望ましい。そのように検出対象を撮影するには、その成長に応じて異なる位置に移動する検出対象を撮影できるように検出対象範囲を設定する。
この検出対象範囲は、植物の成長を推定し、撮影対象を含む画像を撮影できるように設定される領域を示すものである。
植物9が成長するため検出対象が異なる位置に移動する場合がある。成長度合検出装置70による植物の成長の変化を検出する処理において、撮像部71の位置を固定して植物9を撮像することができたとしても、植物9が成長して検出対象が異なる位置に移動することから、撮像可能な領域からはみ出す場合が生じうる。それゆえ、検出対象が撮像可能な領域からはみ出さないように、撮影することが必要とされる。
また、得られた画像から、成長度合いを判定するために、成長度合検出装置70は、成長する前に撮影した画像と、成長した後に撮影した画像とを比較する。2つの画像を比較するために、成長した後の画像についても、成長する前に撮影した画像と同じような画像になるように撮影することが望ましい。そのように検出対象を撮影するには、その成長に応じて異なる位置に移動する検出対象を撮影できるように検出対象範囲を設定する。
この検出対象範囲は、植物の成長を推定し、撮影対象を含む画像を撮影できるように設定される領域を示すものである。
また、撮像部71を移動させているため、前述したように撮像部71の位置の検出が行われた後、所定の撮像方向を撮像できるように撮像方向を調整したり、撮像方向に応じた画像情報を補正したりすることが必要になる。
そこで、成長度合検出装置70は、成長度合検出装置70から検出対象(植物9)への方向が所定の範囲に収まるように、撮影に適する方向をユーザーに対して表示する。例えば、成長度合検出装置70は、過去に撮影した像と、今回撮影する像とを同じ画面に重畳して表示して、画面内の適する位置に検出対象が収まるように撮影位置を選択させるようにする。
そこで、成長度合検出装置70は、成長度合検出装置70から検出対象(植物9)への方向が所定の範囲に収まるように、撮影に適する方向をユーザーに対して表示する。例えば、成長度合検出装置70は、過去に撮影した像と、今回撮影する像とを同じ画面に重畳して表示して、画面内の適する位置に検出対象が収まるように撮影位置を選択させるようにする。
撮像方向の調整を行うために、まず、成長度合検出装置70は、検出対象に定めた特徴点の位置を検出する。
検出対象に定める特徴点として、枝の分岐点、葉・花・実が枝に着いている位置、枝・葉の先端の位置から選択した位置を定める。
検出対象に定める特徴点として、枝の分岐点、葉・花・実が枝に着いている位置、枝・葉の先端の位置から選択した位置を定める。
図11から図15を参照し、成長度合検出装置70による、検出対象に定めた特徴点の位置の検出について説明する。
図11は、図10に示した検出対象の特徴点の配置を示す図である。
この図に示される特徴点に基づいて、植物の成長を検出する処理の原理について順に説明する。
以下の説明では、枝の分岐点を特徴点とした場合を例にして説明する。
成長度合検出装置70は、植物9の成長を長期的に検出するために、その時々の画像を取得して比較する。その変化を検出するために、その植物9の特徴点(例えば、N2(k)、N3(k)、N41(k)、N42(k))の位置を、その時々において検出することにより成長度合いを検出する。
この図に示される特徴点は、(N2(k)、N3(k)、N41(k)、N42(k))の各点として植物9の枝の分岐点に定められている。
図11は、図10に示した検出対象の特徴点の配置を示す図である。
この図に示される特徴点に基づいて、植物の成長を検出する処理の原理について順に説明する。
以下の説明では、枝の分岐点を特徴点とした場合を例にして説明する。
成長度合検出装置70は、植物9の成長を長期的に検出するために、その時々の画像を取得して比較する。その変化を検出するために、その植物9の特徴点(例えば、N2(k)、N3(k)、N41(k)、N42(k))の位置を、その時々において検出することにより成長度合いを検出する。
この図に示される特徴点は、(N2(k)、N3(k)、N41(k)、N42(k))の各点として植物9の枝の分岐点に定められている。
そこで、本実施形態では、次に示す検出方法により植物9の成長過程に応じた撮影を可能とする。
3箇所以上の特徴点に基づいてカメラ部711の位置を検出する。
まず、説明を簡単にするため、3つの特徴点(N3(k)、N41(k)、N42(k))を1つの画像として撮像できるようにカメラ部711を配置して、初期状態のカメラ部711の画角と撮影方向を定める。
3箇所以上の特徴点に基づいてカメラ部711の位置を検出する。
まず、説明を簡単にするため、3つの特徴点(N3(k)、N41(k)、N42(k))を1つの画像として撮像できるようにカメラ部711を配置して、初期状態のカメラ部711の画角と撮影方向を定める。
その3つの特徴点のうち1点(例えば、N3(k))を代表点として定め、その代表点を基準とする相対位置により他の2点(N41(k)、N42(k))の位置を示す。
基準座標系における代表点の位置、及び、代表点を基準にしたほかの2点の相対位置が、植物9の成長により異なる位置(N3(k+1)、N41(k+1)、N42(k+1))に移動する。
例えば、この図に示されるように、枝に沿って2つの特徴点(N3(k)とN41(k))が定義されている場合には、植物の成長が進むにつれ、2つの特徴点(N3(k+1)とN41(k+1))の間隔が広がる。
また、実の位置に特徴点を定義した場合には、実が大きくなるにつれ、実の重量の影響により、実の位置に定義された特徴点の位置が下がる。また、その実が着いた枝に定義された特徴点(N41(k+1))の位置も下がる。このように特徴点の位置が移動しても、成長に応じて移動する特徴点の位置を推定することにより、画像からはみ出すことなく撮影することができる。
基準座標系における代表点の位置、及び、代表点を基準にしたほかの2点の相対位置が、植物9の成長により異なる位置(N3(k+1)、N41(k+1)、N42(k+1))に移動する。
例えば、この図に示されるように、枝に沿って2つの特徴点(N3(k)とN41(k))が定義されている場合には、植物の成長が進むにつれ、2つの特徴点(N3(k+1)とN41(k+1))の間隔が広がる。
また、実の位置に特徴点を定義した場合には、実が大きくなるにつれ、実の重量の影響により、実の位置に定義された特徴点の位置が下がる。また、その実が着いた枝に定義された特徴点(N41(k+1))の位置も下がる。このように特徴点の位置が移動しても、成長に応じて移動する特徴点の位置を推定することにより、画像からはみ出すことなく撮影することができる。
以上に示した、特徴点を検出する成長度合検出装置70による処理の具体的な例を説明する。
一般的な植物は、ツリー構造として定義することができる。
例えば、植物9の株の位置を基準点として、特徴点の位置を定義する。基準点から、それぞれの特徴点までは、分岐した枝(茎)を順にたどることにより到達する。そこで、枝(茎)の分岐点をノード、ノード間の枝(茎)をブランチとしたツリー構造として定義する。
このように、植物9を、ツリー構造として定義することにより、その特徴点がノードとして定義され、相互の特徴点の位置関係が明確になり、特徴点を容易に検出することができる。各ブランチの長さとして示されるノード間の間隔は、植物の成長に応じて広がる。
また、各ブランチをそれぞれベクトルとして定義して、基準点から代表点までの各ベクトルを積算することにより、代表点の位置を得る。同様に、代表点を基準に、他の2点についてもベクトルとして定義して、他の2点のそれぞれの位置を得る。
一般的な植物は、ツリー構造として定義することができる。
例えば、植物9の株の位置を基準点として、特徴点の位置を定義する。基準点から、それぞれの特徴点までは、分岐した枝(茎)を順にたどることにより到達する。そこで、枝(茎)の分岐点をノード、ノード間の枝(茎)をブランチとしたツリー構造として定義する。
このように、植物9を、ツリー構造として定義することにより、その特徴点がノードとして定義され、相互の特徴点の位置関係が明確になり、特徴点を容易に検出することができる。各ブランチの長さとして示されるノード間の間隔は、植物の成長に応じて広がる。
また、各ブランチをそれぞれベクトルとして定義して、基準点から代表点までの各ベクトルを積算することにより、代表点の位置を得る。同様に、代表点を基準に、他の2点についてもベクトルとして定義して、他の2点のそれぞれの位置を得る。
それぞれのベクトルは、成長に応じて変化するが、枝が欠損する場合や新芽が生じる場合などを除けば、ツリー構造のトポロジーが変化することはない。それゆえ、各ベクトルの変化量を推定して、積算することにより、成長により移動する代表点の位置を推定することができる。また、同様に、代表点を基準に、他の2点についてもベクトルの変化を推定して、他の2点のそれぞれの位置を推定することができる。
上記の各ベクトルの変化は、前述の第1育成モデルに基づいて定義される演算式(式(1))に従って算出することができる。
上記の各ベクトルの変化は、前述の第1育成モデルに基づいて定義される演算式(式(1))に従って算出することができる。
↑xn(k+1)=g(↑xn(k)、k)=↑xn(k)+↑Δxn(k) ・・・(1)
上記式(1)において、「↑xn(・)」は、「ベクトルxn」を示し、添え字nによって示されるブランチに対応するベクトルを示す。なお、添え字nは、ベクトルを一意に識別するための識別子を示し、kは、検出時刻を示す変数を示す。
また、「↑Δxn(・)」は、「ベクトルΔxn」を示し、「ベクトルxn」に対応して定められ、「ベクトルxn」の変化量を示すベクトルである。
このように「ベクトルΔxn」をベクトルとして定義することにより、大きさの変化に限らず、変化の方向を定義することができる。この「ベクトルΔxn」を前述の第1育成モデルに基づいて定義することにより、モデル化することができる。
また、「↑Δxn(・)」は、「ベクトルΔxn」を示し、「ベクトルxn」に対応して定められ、「ベクトルxn」の変化量を示すベクトルである。
このように「ベクトルΔxn」をベクトルとして定義することにより、大きさの変化に限らず、変化の方向を定義することができる。この「ベクトルΔxn」を前述の第1育成モデルに基づいて定義することにより、モデル化することができる。
上記のようにそれぞれ推定された特徴点の移動先の位置に応じて、成長度合検出装置70は、検出対象範囲を設定することにより、成長に応じた位置の移動に適応させた撮影が可能となる。
図を参照し、特徴点を一致させて撮影する処理について説明する。
図12は、図10に示した条件により、特徴点を一致させて撮影する処理を示す図である。
植物9の成長度合いを検出する際に、検出対象範囲設定部723は、撮像部71により撮影すべき領域を検出対象範囲として推定する。
ここで、図に示されるように代表とする特徴点(N3(k))を基準点として、表示させておき、その基準点であるN3(k)に、そのN3(k)が移動したN3(k+1)の移動先を重ねるように検出対象範囲を表示する。ユーザーは、これから撮影する画像における特徴点N3(k+1)を、表示された検出対象範囲に示されるN3(k+1)に一致するように撮像方向を定める。
このように、ユーザーは、その基準点であるN3(k)に、これから撮影する画像における特徴点N3(k+1)を一致させるように検出対象範囲の位置を設定する。
これにより、撮像部71により撮影が行われる際に、検出対象範囲設定部723によって、特徴点が移動する位置を推定し、推定された位置を画像に表示することにより、同様の距離、方向からの撮影が容易に行えるようになる。
図12は、図10に示した条件により、特徴点を一致させて撮影する処理を示す図である。
植物9の成長度合いを検出する際に、検出対象範囲設定部723は、撮像部71により撮影すべき領域を検出対象範囲として推定する。
ここで、図に示されるように代表とする特徴点(N3(k))を基準点として、表示させておき、その基準点であるN3(k)に、そのN3(k)が移動したN3(k+1)の移動先を重ねるように検出対象範囲を表示する。ユーザーは、これから撮影する画像における特徴点N3(k+1)を、表示された検出対象範囲に示されるN3(k+1)に一致するように撮像方向を定める。
このように、ユーザーは、その基準点であるN3(k)に、これから撮影する画像における特徴点N3(k+1)を一致させるように検出対象範囲の位置を設定する。
これにより、撮像部71により撮影が行われる際に、検出対象範囲設定部723によって、特徴点が移動する位置を推定し、推定された位置を画像に表示することにより、同様の距離、方向からの撮影が容易に行えるようになる。
また、基準とする特徴点を変更する場合であっても、過去に検出した時点から、次に検出する時点までの期間と、その植物9の成長度合いとに応じて、前述の成長モデルを参照することにより、成長度合検出装置70は、その時点の特徴点が移動する範囲を推定することができる。
このように、特徴点の位置が移動する場合であっても、成長度合検出装置70は、成長モデルに基づいて特徴点が移動する範囲を推定し、推定された特徴点が移動する範囲を基準に撮像範囲を定めることにより、検出対象を継続的に検出することが容易となる。
このように、特徴点の位置が移動する場合であっても、成長度合検出装置70は、成長モデルに基づいて特徴点が移動する範囲を推定し、推定された特徴点が移動する範囲を基準に撮像範囲を定めることにより、検出対象を継続的に検出することが容易となる。
また、上記の説明では、3点の特徴点がいずれも継続的に検出可能である場合を例として示したが、3点のうちいずれかの点(ノード)が検出できない状況になった場合にも、ツリー構造における各ノードの位置情報を備えていることにより、検出できない状況になったノードの位置を推定することができる。
図13は、図10に示した検出対象の特徴点の配置を示し、成長により1つの特徴点が検出できなくなった場合の処理を示す図である。
この図に示されるように、成長度合検出装置70は、成長によりN3(k+1)の特徴点が検出できなくなった場合は、検出された特徴点(ノードN3(k+1))を基準にして、ノード(N41(k+1)とN42(k+1))の移動可能性を推定することができなくなる。
図13は、図10に示した検出対象の特徴点の配置を示し、成長により1つの特徴点が検出できなくなった場合の処理を示す図である。
この図に示されるように、成長度合検出装置70は、成長によりN3(k+1)の特徴点が検出できなくなった場合は、検出された特徴点(ノードN3(k+1))を基準にして、ノード(N41(k+1)とN42(k+1))の移動可能性を推定することができなくなる。
そこで、成長度合検出装置70は、異なる特徴点に基づいて特徴点の移動範囲を推定する。
図14は、図13に示した条件により、異なる特徴点に基づいて特徴点の移動範囲を推定する場合の処理を示す図である。
成長度合検出装置70は、成長前に検出されていた特徴点(ノードN3(k))を基準に、検出対象範囲から離れる方向に順に検出可能なノード(例えば、ノードN2(k))を選択する。新たに選択した(ノードN2(k))の位置情報に基づいて、検出できない状況になった(ノードN3(k+1))の位置を推定する。この推定処理においては、(ノードN2(k))と(ノードN3(k))間の間隔の変化量に基づいてノード(N3(k+1))の位置を推定し、推定ノード(N3’(k+1))とする。推定ノード(N3’(k+1))の位置は、前述の演算式(式(1))と同様の演算により算出することができる。(ノードN3(k))から推定ノード(N3’(k+1))に変化する変化量をΔN3’(k)として定義する。
図14は、図13に示した条件により、異なる特徴点に基づいて特徴点の移動範囲を推定する場合の処理を示す図である。
成長度合検出装置70は、成長前に検出されていた特徴点(ノードN3(k))を基準に、検出対象範囲から離れる方向に順に検出可能なノード(例えば、ノードN2(k))を選択する。新たに選択した(ノードN2(k))の位置情報に基づいて、検出できない状況になった(ノードN3(k+1))の位置を推定する。この推定処理においては、(ノードN2(k))と(ノードN3(k))間の間隔の変化量に基づいてノード(N3(k+1))の位置を推定し、推定ノード(N3’(k+1))とする。推定ノード(N3’(k+1))の位置は、前述の演算式(式(1))と同様の演算により算出することができる。(ノードN3(k))から推定ノード(N3’(k+1))に変化する変化量をΔN3’(k)として定義する。
そして、成長度合検出装置70は、推定ノード(N3’(k+1))を基準にして、ノード(N41(k+1)とN42(k+1))の移動範囲を推定する。ノード(N41(k+1))の移動範囲を示すノード(N41’(k+1)は、ノード(N3(k))とノード(N41(k))との位置関係に基づいて成長量と方向を推定し、上記で定義した(ノードN3(k))から推定ノード(N3’(k+1))に変化する変化量ΔN3(k+1)を合成することにより推定することができる。
このように、成長度合検出装置70は、3点以上の特徴点(ノード)を検出対象範囲に含めることにより、特定の特徴点(ノード)が検出できなくなったとしても、長期にわたって特徴点(ノード)の位置を推定できることから、成長度合いを継続して検出することが可能となる。
このようにして、特徴点として選定していた各点の移動範囲を含むように検出対象範囲を設定する。
このように、成長度合検出装置70は、3点以上の特徴点(ノード)を検出対象範囲に含めることにより、特定の特徴点(ノード)が検出できなくなったとしても、長期にわたって特徴点(ノード)の位置を推定できることから、成長度合いを継続して検出することが可能となる。
このようにして、特徴点として選定していた各点の移動範囲を含むように検出対象範囲を設定する。
また、上記説明において、3点の特徴点を示して説明したが、1点の特徴点と、その特徴点を中心とする球(円)を定義して、その球(円)の半径を特徴量とすることができる。
図15は、図10に示した検出対象の特徴点の配置と特徴量の一例を示す図である。
この図に示されるように、果実のように球体の検出対象の場合、その特徴点を中心とする球(円)を定義して、その球(円)の半径を特徴量とすることにより、成長による変化の範囲を定めやすくなる。
成長度合検出装置70は、3点以上の特徴点を含み、球体として定義された検出対象の成長による変化を含む範囲を検出対象範囲として設定することにより、成長による変化があった場合であっても、検出対象を含むように検出対象範囲を設定することができる。
図15は、図10に示した検出対象の特徴点の配置と特徴量の一例を示す図である。
この図に示されるように、果実のように球体の検出対象の場合、その特徴点を中心とする球(円)を定義して、その球(円)の半径を特徴量とすることにより、成長による変化の範囲を定めやすくなる。
成長度合検出装置70は、3点以上の特徴点を含み、球体として定義された検出対象の成長による変化を含む範囲を検出対象範囲として設定することにより、成長による変化があった場合であっても、検出対象を含むように検出対象範囲を設定することができる。
(検出対象範囲の対象箇所の選定)
上記の説明では、枝の分岐点を特徴点として検出対象範囲を設定する場合を例示したが、成長度合検出装置70は、前述の「(植物の育成状況の判定)」において判定対象として示した各項目と、そのほかに以下に示す対象項目の中から検出対象範囲の対象箇所を選定することができる。
植物9を拡大して撮像した画像に基づいて判定する対象項目を示す。
植物9を拡大して撮像した葉脈の状態、又は、茎に生じた産毛及び根に生じた根毛の状態を検出できるように植物9の検出対象範囲の対象箇所が定められる。
上記の説明では、枝の分岐点を特徴点として検出対象範囲を設定する場合を例示したが、成長度合検出装置70は、前述の「(植物の育成状況の判定)」において判定対象として示した各項目と、そのほかに以下に示す対象項目の中から検出対象範囲の対象箇所を選定することができる。
植物9を拡大して撮像した画像に基づいて判定する対象項目を示す。
植物9を拡大して撮像した葉脈の状態、又は、茎に生じた産毛及び根に生じた根毛の状態を検出できるように植物9の検出対象範囲の対象箇所が定められる。
例えば、植物9を栽培する際に供給される養分などのバランスが崩れると、葉の状態が変化することが知られている。植物9の状態が悪化すると、葉の色が変色したり、変形したりする。たとえ、葉が変形したとしても、葉脈の構成は変化せず、葉脈が示す形状が変化するだけである。そこで、成長度合検出装置70は、葉脈の状態を検出できるように検出対象範囲を定めて、その変化を検出する。これにより、成長度合検出装置70は、葉脈の構成から葉の形状を検出することができ、たとえ葉の一部が欠けることがあったとしても、葉の一部の葉脈の状態から葉の成長度合いを検出することが可能となる。
また、例えば、トマトを栽培する際に、水分補給を制限することにより糖度を高めることできることが知られている。水分補給を制限した場合、茎の部分に産毛が成長する。成長度合検出装置70は、この茎の部分の産毛を検出できるように検出対象範囲を定めて、茎の部分の産毛の変化を検出する。これにより、水分補給を制限した結果、糖度を高められる状態に成長しているか否かを判定することができ、この段階の成長度合いを検出することが可能となる。
また、成長度合検出装置70は、根に生じた根毛についても、植物9の状態を検出する検出対象範囲として選定することにより、水耕栽培における初期の段階から植物9の状態を検出することが可能となる。
(土壌部を検出対象範囲とする場合の状態検出)
成長度合検出装置70は、前述の「(検出対象範囲の対象箇所の選定)」において選定対象とした植物を直接検出する各項目のほかに、植物9が栽培されている土壌を含むように検出対象範囲の対象箇所を選定する。
植物9の検出対象範囲に含まれる該植物9が栽培されている土壌を含むように植物9の検出対象範囲を定めることにより、間接的に植物9の状態を検出することができる。特に、発芽前から発芽後の状態を推定する場合に有効な情報を得ることができる。
例えば、前述のトマトの例のように、水分補給を制限する処理を行う場合にも適用できる。植物9の種類により、発芽後に与える水分量を制御することにより、糖度を高めるなどの制御を行う場合がある。このような場合には、成長度合検出装置70は、植物9が栽培されている土壌を含むように植物9の検出対象範囲が定めることにより、状態を間接的に検出することが可能となる。
具体的な検出方法は、例えば、成長度合検出装置70は、撮像された画像に基づいた画像信号において土壌部の輝度の変化量と空間周波数とに基づいて、予め定められる関係式に従って土壌部の乾燥状態を検出する。
土壌部の水分量が多く、べたつくような状態の場合には、土壌部の光の反射係数が低くなりことから、画像信号における輝度の変化が少なくなり、また空間周波数が低くなる。一方、土壌部の水分量が少なく乾燥している状態の場合には、土が固まるようになり、光の反射係数が高くなる部分が生じることから、画像信号における輝度がばらついて、変化量が多くなり、また空間周波数が広範囲に分布するようになる。
このように、成長度合検出装置70は、画像信号における輝度の変化量と、空間周波数の分布とに基づいて、土壌の乾燥状態を検出することができる。
成長度合検出装置70は、土壌の乾燥状態と、その乾燥状態における植物9の成長度合いとの関係について予め定めておくことにより、成長度合検出部721は、土壌の乾燥状態から植物9の成長度合いを得ることができる。
成長度合検出装置70は、前述の「(検出対象範囲の対象箇所の選定)」において選定対象とした植物を直接検出する各項目のほかに、植物9が栽培されている土壌を含むように検出対象範囲の対象箇所を選定する。
植物9の検出対象範囲に含まれる該植物9が栽培されている土壌を含むように植物9の検出対象範囲を定めることにより、間接的に植物9の状態を検出することができる。特に、発芽前から発芽後の状態を推定する場合に有効な情報を得ることができる。
例えば、前述のトマトの例のように、水分補給を制限する処理を行う場合にも適用できる。植物9の種類により、発芽後に与える水分量を制御することにより、糖度を高めるなどの制御を行う場合がある。このような場合には、成長度合検出装置70は、植物9が栽培されている土壌を含むように植物9の検出対象範囲が定めることにより、状態を間接的に検出することが可能となる。
具体的な検出方法は、例えば、成長度合検出装置70は、撮像された画像に基づいた画像信号において土壌部の輝度の変化量と空間周波数とに基づいて、予め定められる関係式に従って土壌部の乾燥状態を検出する。
土壌部の水分量が多く、べたつくような状態の場合には、土壌部の光の反射係数が低くなりことから、画像信号における輝度の変化が少なくなり、また空間周波数が低くなる。一方、土壌部の水分量が少なく乾燥している状態の場合には、土が固まるようになり、光の反射係数が高くなる部分が生じることから、画像信号における輝度がばらついて、変化量が多くなり、また空間周波数が広範囲に分布するようになる。
このように、成長度合検出装置70は、画像信号における輝度の変化量と、空間周波数の分布とに基づいて、土壌の乾燥状態を検出することができる。
成長度合検出装置70は、土壌の乾燥状態と、その乾燥状態における植物9の成長度合いとの関係について予め定めておくことにより、成長度合検出部721は、土壌の乾燥状態から植物9の成長度合いを得ることができる。
(成長度合いの検出)
図16から図18を参照し、成長度合いの検出について説明する。
成長段階判定部722による成長度合いの検出において、以下に示す検出方法の中から目的に適した検出方法を選択することができる。
成長段階判定部722による成長度合いの第1の検出方法は、植物9の検出対象範囲の画像に占める植物9の検出対象の割合に基づいて、植物9の成長度合いを検出する方法である。
また、成長段階判定部722による成長度合いの第2の検出方法は、植物9の検出対象範囲の画像において特徴色が占める割合により、植物9の成長度合いを検出する方法である。
また、成長段階判定部722による成長度合いの第3の検出方法は、植物9の検出対象範囲の画像が示す色情報が、予め登録されている色空間の領域内に含まれるか否かの判定結果により、植物9の成長度合いを検出する方法である。
図16から図18を参照し、成長度合いの検出について説明する。
成長段階判定部722による成長度合いの検出において、以下に示す検出方法の中から目的に適した検出方法を選択することができる。
成長段階判定部722による成長度合いの第1の検出方法は、植物9の検出対象範囲の画像に占める植物9の検出対象の割合に基づいて、植物9の成長度合いを検出する方法である。
また、成長段階判定部722による成長度合いの第2の検出方法は、植物9の検出対象範囲の画像において特徴色が占める割合により、植物9の成長度合いを検出する方法である。
また、成長段階判定部722による成長度合いの第3の検出方法は、植物9の検出対象範囲の画像が示す色情報が、予め登録されている色空間の領域内に含まれるか否かの判定結果により、植物9の成長度合いを検出する方法である。
以下、上記の第1から第3の検出方法について、具体的な表示例を示して順に説明する。
まず、第1の検出方法では、植物9の検出対象範囲の画像に占める植物9の検出対象の割合に基づいて、植物9の成長度合いを検出する。
この第1の検出方法では、検出対象範囲を基準にした検出対象の相対的な大きさの変化を検出することができる。検出対象との距離を一定に保ち、同じ画角で撮影した画像によって示される検出対象範囲は一定の大きさを維持することができる。その画像に占める植物9の検出対象の割合から、植物9の成長度合いを検出することができる。
まず、第1の検出方法では、植物9の検出対象範囲の画像に占める植物9の検出対象の割合に基づいて、植物9の成長度合いを検出する。
この第1の検出方法では、検出対象範囲を基準にした検出対象の相対的な大きさの変化を検出することができる。検出対象との距離を一定に保ち、同じ画角で撮影した画像によって示される検出対象範囲は一定の大きさを維持することができる。その画像に占める植物9の検出対象の割合から、植物9の成長度合いを検出することができる。
図16は、第1の検出方法による成長度合いの検出について示す図である。
この図には、画像表示領域P151、操作入力検出領域P156、P157、P158、P159が示されている。
画像表示領域P151には、前述の図10に示した検出対象がモデル化されて表示されている。
その検出対象を撮影する場合に個々に表示される検出対象範囲が、まとめてP154a、P154b、P154c、P154dとして示されている。実際の表示においては、目的に応じたいずれかの検出対象範囲が選択されて表示される。
P154aとして示される検出対象範囲は、時刻kにおいて選択された3つの特徴点と、それらの特徴点から関連付けられる検出対象の花を含む範囲を示すものである。
P154bとして示される検出対象範囲は、時刻kにおいて選択された3つの特徴点と、それらの特徴点から関連付けられる検出対象の実を含む範囲を示すものである。
この図には、画像表示領域P151、操作入力検出領域P156、P157、P158、P159が示されている。
画像表示領域P151には、前述の図10に示した検出対象がモデル化されて表示されている。
その検出対象を撮影する場合に個々に表示される検出対象範囲が、まとめてP154a、P154b、P154c、P154dとして示されている。実際の表示においては、目的に応じたいずれかの検出対象範囲が選択されて表示される。
P154aとして示される検出対象範囲は、時刻kにおいて選択された3つの特徴点と、それらの特徴点から関連付けられる検出対象の花を含む範囲を示すものである。
P154bとして示される検出対象範囲は、時刻kにおいて選択された3つの特徴点と、それらの特徴点から関連付けられる検出対象の実を含む範囲を示すものである。
P154cとして示される検出対象範囲は、時刻(k+1)における推定範囲を示す。検出対象範囲P154cは、選択された3つの特徴点が成長により移動すると推定される範囲と、それらの特徴点に関連付けられる検出対象の実が成長した場合の大きさを含む範囲とを合わせた範囲とを合わせた範囲を示すものである。
検出対象範囲P154cは、育成状況検出部72により時刻kの段階で設定され、時刻kの段階で、時刻(k+1)までの間に成長して変化する範囲を推定したものである。この検出対象範囲P154cを基準に、育成状況検出部72は、成長の進み具合を判定することにより、植物9の成長度合いを検出する。
また、P154dとして示される検出対象範囲は、時刻(k+1)における推定範囲を示す。検出対象範囲P154dには、選択された3つの特徴点に関連付けられる検出対象の実が成長した場合の大きさを含む範囲を示すものである。検出対象範囲P154dにおいては、その範囲内に実が含まれるように設定される。育成状況検出部72は、一定の大きさを維持された検出対象範囲P154dに占める植物9の検出対象の割合から、植物9の成長度合いを検出する。
このように、検出対象範囲は、成長の段階に応じて設けられており、育成状況検出部72により検出対象の条件に応じて選択される。
検出対象範囲P154cは、育成状況検出部72により時刻kの段階で設定され、時刻kの段階で、時刻(k+1)までの間に成長して変化する範囲を推定したものである。この検出対象範囲P154cを基準に、育成状況検出部72は、成長の進み具合を判定することにより、植物9の成長度合いを検出する。
また、P154dとして示される検出対象範囲は、時刻(k+1)における推定範囲を示す。検出対象範囲P154dには、選択された3つの特徴点に関連付けられる検出対象の実が成長した場合の大きさを含む範囲を示すものである。検出対象範囲P154dにおいては、その範囲内に実が含まれるように設定される。育成状況検出部72は、一定の大きさを維持された検出対象範囲P154dに占める植物9の検出対象の割合から、植物9の成長度合いを検出する。
このように、検出対象範囲は、成長の段階に応じて設けられており、育成状況検出部72により検出対象の条件に応じて選択される。
なお、図に示される操作画面のうち、操作入力検出領域P156は、検出対象範囲P154cを表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P156においてユーザーの操作を検出することにより、検出対象範囲P154cの表示を選択する制御信号を制御部79に供給する。
操作入力検出領域P157は、説明表示を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P157においてユーザーの操作を検出することにより、説明表示を表示させるか否かを切り替える制御信号を制御部79に供給する。
操作入力検出領域P158は、選択した実の収穫を指示する操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P158においてユーザーの操作を検出することにより、選択した実の収穫を指示する制御信号を制御部79に供給する。
操作入力検出領域P159は、画像表示領域P151の表示が選択される前の表示に戻す操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P159においてユーザーの操作を検出することにより、画像表示領域P151の表示が選択される前の表示に戻す制御信号を制御部79に供給する。
操作入力検出領域P157は、説明表示を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P157においてユーザーの操作を検出することにより、説明表示を表示させるか否かを切り替える制御信号を制御部79に供給する。
操作入力検出領域P158は、選択した実の収穫を指示する操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P158においてユーザーの操作を検出することにより、選択した実の収穫を指示する制御信号を制御部79に供給する。
操作入力検出領域P159は、画像表示領域P151の表示が選択される前の表示に戻す操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P159においてユーザーの操作を検出することにより、画像表示領域P151の表示が選択される前の表示に戻す制御信号を制御部79に供給する。
なお、上記では、検出対象範囲の大きさを一定にする場合を示したが、成長度合検出装置70は、植物9の成長に応じて検出対象範囲を広くすることも可能である。仮に植物9の成長に応じて検出対象範囲を広くした場合であっても、成長度合検出装置70は、その範囲に含まれる検出対象(例えば実)の大きさの変化率が、検出対象範囲の大きさの変化率より大きくなるようであれば、相対的に植物9の成長度合いを検出することができる。
次に、第2の検出方法について説明する。
この第2の検出方法では、植物9の検出対象範囲の画像において特徴色が占める割合により、植物9の成長度合いを検出する。
この第2の検出方法によれば、実の周囲にある葉や、実にかけた袋の影になって、その実の一部が隠れてしまい、その実の全体を撮像することができない場合が生じても、植物9の成長度合いを検出することができる。植物9の成長度合いの検出の際、その検出対象範囲の画像において、撮影された実の一部の画像の色が変化したことにより特徴色が占める割合が変化する。成長度合検出装置70においては、その検出対象範囲の画像において、特徴色が占める割合が変化することを検出し、植物9の成長度合いを検出する。例えば、特徴色が占める割合を予め定めた閾値に基づいて判定し、その判定結果により植物9の成長度合いを検出する。
この第2の検出方法では、植物9の検出対象範囲の画像において特徴色が占める割合により、植物9の成長度合いを検出する。
この第2の検出方法によれば、実の周囲にある葉や、実にかけた袋の影になって、その実の一部が隠れてしまい、その実の全体を撮像することができない場合が生じても、植物9の成長度合いを検出することができる。植物9の成長度合いの検出の際、その検出対象範囲の画像において、撮影された実の一部の画像の色が変化したことにより特徴色が占める割合が変化する。成長度合検出装置70においては、その検出対象範囲の画像において、特徴色が占める割合が変化することを検出し、植物9の成長度合いを検出する。例えば、特徴色が占める割合を予め定めた閾値に基づいて判定し、その判定結果により植物9の成長度合いを検出する。
図17は、第2の検出方法による成長度合いの検出について示す図である。
この図には、画像表示領域P161、操作入力検出領域P166、P167、P168、P169が示されている。
画像表示領域P161には、前述の図10に示した検出対象の一部が表示されている。また、その検出対象を撮影する場合に表示される検出対象範囲P154dとP154eが示されている。
P154eとして示される検出対象範囲は、時刻(k+1)の検出対象範囲P154dとして推定された範囲の一部を選択している。
検出対象範囲P154eは、実にかけた袋の影とならずに実の色の変化を検出できる部分として選択された範囲を示す。このように選択された検出対象範囲P154eにおいて、実の特徴色が占める割合が変化することを検出し、植物9の成長度合いを検出する。
なお、図に示される操作画面のうち、操作入力検出領域P166は、検出対象範囲P154eの画像に基づいて判定された結果に応じて、選択された実が「食べごろ」であるか否かを示す情報表示P163を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P166においてユーザーの操作を検出することにより、検出対象範囲P154eの画像に基づいて判定された結果に応じて、選択された実が「食べごろ」であるか否かを示す情報表示P163を表示させるか否かを制御する制御信号を制御部79に供給する。
操作入力検出領域P167、P168、P169は、前述の操作入力検出領域P157、P158、P159とそれぞれ同じである。
この図には、画像表示領域P161、操作入力検出領域P166、P167、P168、P169が示されている。
画像表示領域P161には、前述の図10に示した検出対象の一部が表示されている。また、その検出対象を撮影する場合に表示される検出対象範囲P154dとP154eが示されている。
P154eとして示される検出対象範囲は、時刻(k+1)の検出対象範囲P154dとして推定された範囲の一部を選択している。
検出対象範囲P154eは、実にかけた袋の影とならずに実の色の変化を検出できる部分として選択された範囲を示す。このように選択された検出対象範囲P154eにおいて、実の特徴色が占める割合が変化することを検出し、植物9の成長度合いを検出する。
なお、図に示される操作画面のうち、操作入力検出領域P166は、検出対象範囲P154eの画像に基づいて判定された結果に応じて、選択された実が「食べごろ」であるか否かを示す情報表示P163を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P166においてユーザーの操作を検出することにより、検出対象範囲P154eの画像に基づいて判定された結果に応じて、選択された実が「食べごろ」であるか否かを示す情報表示P163を表示させるか否かを制御する制御信号を制御部79に供給する。
操作入力検出領域P167、P168、P169は、前述の操作入力検出領域P157、P158、P159とそれぞれ同じである。
次に、第3の検出方法について説明する。
この第3の検出方法では、植物9の検出対象範囲の画像が示す色情報が、予め登録されている色空間の領域内に含まれるか否かを判定した結果により、植物9の成長度合いを検出する。
この第3の検出方法によれば、色の変化に基づいて検出を行う。植物9の状態により、その植物9の葉の色が変化する場合がある。
例えば、基準とする葉や実の色を定めておき、成長度合検出装置70は、その定められた色との違いから色の変化を検出することができる。
基準とする色からの変化の検出は、予め登録されている色空間の領域内に含まれているか否かを判定することにより実行される。或いは、基準とする色からの変化の検出は、変化する範囲の色空間を複数の領域に分割し、分割された領域ごとの面積比に基づいて、いずれの色空間の領域に含まれるかを判定することにより実行される。
この第3の検出方法では、植物9の検出対象範囲の画像が示す色情報が、予め登録されている色空間の領域内に含まれるか否かを判定した結果により、植物9の成長度合いを検出する。
この第3の検出方法によれば、色の変化に基づいて検出を行う。植物9の状態により、その植物9の葉の色が変化する場合がある。
例えば、基準とする葉や実の色を定めておき、成長度合検出装置70は、その定められた色との違いから色の変化を検出することができる。
基準とする色からの変化の検出は、予め登録されている色空間の領域内に含まれているか否かを判定することにより実行される。或いは、基準とする色からの変化の検出は、変化する範囲の色空間を複数の領域に分割し、分割された領域ごとの面積比に基づいて、いずれの色空間の領域に含まれるかを判定することにより実行される。
図18は、第3の検出方法による成長度合いの検出について示す図である。
この図には、画像表示領域P171、操作入力検出領域P176、P177、P178、P179が示されている。
画像表示領域P171には、前述の図10に示した検出対象がモデル化されて表示されている。
その検出対象を撮影する場合に表示される検出対象範囲P173とP174が示されている。P173として示される検出対象範囲は、実(房)P172を検出する領域として選択された範囲を示す。P174として示される検出対象範囲は、検出対象範囲P173として選定された範囲の一部であり、実P172において、熟しやすい部分として設定された範囲を示す。
成長度合検出装置70は、検出対象範囲P174において、実の熟しやすい部分が成熟してきたことを検出し、植物9の成長度合いを検出する。
なお、図に示される操作画面のうち、操作入力検出領域P176は、検出対象範囲P174の画像に基づいて判定された結果に応じて、選択された実が「食べごろ」であるか否かを示す情報表示P173を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P156においてユーザーの操作を検出することにより、検出対象範囲P174の画像に基づいて判定された結果に応じて、選択された実が「食べごろ」であるか否かを示す情報表示P173を表示させるか否かを制御する制御信号を制御部79に供給する。
操作入力検出領域P177、P178、P179は、前述の操作入力検出領域P157、P158、P159とそれぞれ同じである。
この図には、画像表示領域P171、操作入力検出領域P176、P177、P178、P179が示されている。
画像表示領域P171には、前述の図10に示した検出対象がモデル化されて表示されている。
その検出対象を撮影する場合に表示される検出対象範囲P173とP174が示されている。P173として示される検出対象範囲は、実(房)P172を検出する領域として選択された範囲を示す。P174として示される検出対象範囲は、検出対象範囲P173として選定された範囲の一部であり、実P172において、熟しやすい部分として設定された範囲を示す。
成長度合検出装置70は、検出対象範囲P174において、実の熟しやすい部分が成熟してきたことを検出し、植物9の成長度合いを検出する。
なお、図に示される操作画面のうち、操作入力検出領域P176は、検出対象範囲P174の画像に基づいて判定された結果に応じて、選択された実が「食べごろ」であるか否かを示す情報表示P173を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P156においてユーザーの操作を検出することにより、検出対象範囲P174の画像に基づいて判定された結果に応じて、選択された実が「食べごろ」であるか否かを示す情報表示P173を表示させるか否かを制御する制御信号を制御部79に供給する。
操作入力検出領域P177、P178、P179は、前述の操作入力検出領域P157、P158、P159とそれぞれ同じである。
図19から図20を参照し具体的な判定について、葡萄の収穫を例にして説明する。
図19は、色の変化に基づいて成長度合いを検出する場合の処理を示す図である。
図19(a)は、色空間を示す図である。
この図において、緑色から紫色に変化するまでに経由する色空間を複数の領域に分割した範囲を領域RG〜RPとして示す。
この色空間において分割された領域にそれぞれ対応する代表色を定め、色空間の位置情報に基づいた射影関数により、分割された領域のそれぞれの範囲から定められた代表色を示す値(点P1からPnを参照)に射影する。
図19(b)は、実の成長と色の変化の関係を示す図である。
この図に示されるグラフは、縦軸が緑から紫までの色相を示し、横軸が個々の実の大きさを示す。以下の説明においては、個々の実の大きさも合わせて検出する場合の例である。
未成熟の段階では、個々の実の大きさも小さく緑色をしている。
成長が進むにつれ、個々の実が徐々に大きくなる。途中で、個々の実の大きさの変化量が少なくなる段階から、個々の実の色が紫色に変化する。ただし、同じ房に着いた実であっても、個々の実の色が、それぞれ変化する時期に個体差がある。このことから、検出対象範囲設定部723は、代表する検出対象範囲を定める場合には、個体差の少ない成熟しやすい部分を選択し、検出対象範囲として設定する。
図19は、色の変化に基づいて成長度合いを検出する場合の処理を示す図である。
図19(a)は、色空間を示す図である。
この図において、緑色から紫色に変化するまでに経由する色空間を複数の領域に分割した範囲を領域RG〜RPとして示す。
この色空間において分割された領域にそれぞれ対応する代表色を定め、色空間の位置情報に基づいた射影関数により、分割された領域のそれぞれの範囲から定められた代表色を示す値(点P1からPnを参照)に射影する。
図19(b)は、実の成長と色の変化の関係を示す図である。
この図に示されるグラフは、縦軸が緑から紫までの色相を示し、横軸が個々の実の大きさを示す。以下の説明においては、個々の実の大きさも合わせて検出する場合の例である。
未成熟の段階では、個々の実の大きさも小さく緑色をしている。
成長が進むにつれ、個々の実が徐々に大きくなる。途中で、個々の実の大きさの変化量が少なくなる段階から、個々の実の色が紫色に変化する。ただし、同じ房に着いた実であっても、個々の実の色が、それぞれ変化する時期に個体差がある。このことから、検出対象範囲設定部723は、代表する検出対象範囲を定める場合には、個体差の少ない成熟しやすい部分を選択し、検出対象範囲として設定する。
続いて、同じ房に着いた個々の実において、時間の経過に応じた色相の変化から成長度合いを検出する手順について説明する。
図20は、時間の経過に応じた個々の実の色相の変化を示す図である。
この図に示されるグラフは、縦軸が緑から紫までの色相を示し、横軸が時間の経過を示す。丸の大きさは、当該色相に分類された実の数を示している。
図20は、時間の経過に応じた個々の実の色相の変化を示す図である。
この図に示されるグラフは、縦軸が緑から紫までの色相を示し、横軸が時間の経過を示す。丸の大きさは、当該色相に分類された実の数を示している。
上記のように色空間を分割したことにより、成長度合検出部721は、色相の変化を段階付けて検出できる。
時刻t0の段階では、未成熟の段階にあり、全ての実が緑色を示している。丸の大きさは、当該色相に分類された実の色相の数を示している。
時刻t1から時刻tnに進むにつれ、緑色から紫色までのそれぞれの色相に分類される度数の分布が、緑色側が少なくなり、紫色側が多くなる。
例えば、熟した実を個々に収穫する場合には、成長度合検出部721は、上記の分類において、紫色の領域を識別する閾値を設定し、紫色の領域に分類された実を選択することができることから、収穫することが可能になる。
また、例えば、房を単位として熟した段階で収穫する場合には、成長度合検出部721は、上記の分類において、紫色の領域を識別する閾値を設定し、紫色の領域に分類された実の度数分布が所定の比率に達した房を選択することができることから、収穫することが可能になる。例えば、この図に示される場合であれば、P3とP4で示される代表色を示す実の比率を判定基準にすれば、時刻t4として示される段階を判定することができる。
時刻t0の段階では、未成熟の段階にあり、全ての実が緑色を示している。丸の大きさは、当該色相に分類された実の色相の数を示している。
時刻t1から時刻tnに進むにつれ、緑色から紫色までのそれぞれの色相に分類される度数の分布が、緑色側が少なくなり、紫色側が多くなる。
例えば、熟した実を個々に収穫する場合には、成長度合検出部721は、上記の分類において、紫色の領域を識別する閾値を設定し、紫色の領域に分類された実を選択することができることから、収穫することが可能になる。
また、例えば、房を単位として熟した段階で収穫する場合には、成長度合検出部721は、上記の分類において、紫色の領域を識別する閾値を設定し、紫色の領域に分類された実の度数分布が所定の比率に達した房を選択することができることから、収穫することが可能になる。例えば、この図に示される場合であれば、P3とP4で示される代表色を示す実の比率を判定基準にすれば、時刻t4として示される段階を判定することができる。
さらに、成長段階判定部722による成長度合いの検出方法として、上記の第1から第3の検出方法において示した条件と異なる条件の元で検出する方法がある。
概ね1日を周期として生体が変化することが知られており、その周期的な変化が「概日性リズム」と呼ばれている。
植物9に対して1日を周期に変化する照明10(図1)の光を照射することにより、照明10の光を変化させた周期に「概日性リズム」を同期させることができる。
植物9において、植物栽培プラント4に照明の光の変化に同期した「概日性リズム」を生じさせるように制御して、育成状況検出部72は、その「概日性リズム」における変化量を、植物9を撮像した画像から検出する。要するに、育成状況検出部72は、「概日性リズム」における変化量が大きく現れる部位を含むように、植物9の検出対象範囲を定め、植物9の「概日性リズム」における変化量を検出する。
例えば、ひまわりの花は、向日性を有していることから、自然光の環境で栽培すると、花の向きが周期的に変化する。ただし、種が成熟するにつれ、花の向きの変化量が低減する。このように、「概日性リズム」における変化量が成長に応じて変化することを利用することにより、植物9の成長度合いを検出することができる。
なお、ひまわりの花を例にした説明では、自然光により「概日性リズム」が制御されるものとして説明したが、人工光(照明10の光)の照射方向を制御するようにしてもよい。また、光の照射方向の制御に限らず、温度、水温など他の環境条件を制御して、植物9の「概日性リズム」を制御してもよい。
概ね1日を周期として生体が変化することが知られており、その周期的な変化が「概日性リズム」と呼ばれている。
植物9に対して1日を周期に変化する照明10(図1)の光を照射することにより、照明10の光を変化させた周期に「概日性リズム」を同期させることができる。
植物9において、植物栽培プラント4に照明の光の変化に同期した「概日性リズム」を生じさせるように制御して、育成状況検出部72は、その「概日性リズム」における変化量を、植物9を撮像した画像から検出する。要するに、育成状況検出部72は、「概日性リズム」における変化量が大きく現れる部位を含むように、植物9の検出対象範囲を定め、植物9の「概日性リズム」における変化量を検出する。
例えば、ひまわりの花は、向日性を有していることから、自然光の環境で栽培すると、花の向きが周期的に変化する。ただし、種が成熟するにつれ、花の向きの変化量が低減する。このように、「概日性リズム」における変化量が成長に応じて変化することを利用することにより、植物9の成長度合いを検出することができる。
なお、ひまわりの花を例にした説明では、自然光により「概日性リズム」が制御されるものとして説明したが、人工光(照明10の光)の照射方向を制御するようにしてもよい。また、光の照射方向の制御に限らず、温度、水温など他の環境条件を制御して、植物9の「概日性リズム」を制御してもよい。
(検出対象範囲の変更)
成長段階判定部722は、植物9の検出対象範囲の画像に複数の検出対象が検出される場合、検出された検出対象の像の大きさの分布に応じて検出対象範囲を変更する。例えば、検出対象である実が、所定の範囲内に複数集まって結実するものがある。
撮像位置から検出対象までの距離や、撮像方向が適切でないために、所望の大きさで検出することができない検出対象まで含んでしまう場合がある。例えば、葡萄であれば、近くの房を検出する際に、その背景に位置する遠方の房までが、同じ検出対象範囲の中に入ってしまう場合のことである。
このような場合、検出対象範囲設定部723は、検出対象の像の大きさが所望の分布になるように検出対象範囲を変更する。例えば、検出対象範囲設定部723は、撮像位置や撮像方向を変更することにより、検出対象までの距離や撮像方向を変えた撮像範囲の画像から、新たな検出対象範囲を設定することができる。
或いは、検出対象の背景画像に他の検出対象が一緒に写っている場合がある。そのような場合には、撮像部71は、検出対象に対する撮像位置を変更せず、検出対象との距離や角度を同じ状態にしたまま、撮像部71の光学系を制御して被写界深度を調節して、不要な対象の画像を光学的に除去することができる。例えば、被写界深度を浅くなるようにして、所望の検出対象に焦点が合うようにして、検出対象の背景画像として一緒に写っていたほかの検出対象の像をぼかすようにする。このように設定することにより、検出対象範囲設定部723は、所望の検出対象を含む検出対象範囲とすることができる。
成長段階判定部722は、植物9の検出対象範囲の画像に複数の検出対象が検出される場合、検出された検出対象の像の大きさの分布に応じて検出対象範囲を変更する。例えば、検出対象である実が、所定の範囲内に複数集まって結実するものがある。
撮像位置から検出対象までの距離や、撮像方向が適切でないために、所望の大きさで検出することができない検出対象まで含んでしまう場合がある。例えば、葡萄であれば、近くの房を検出する際に、その背景に位置する遠方の房までが、同じ検出対象範囲の中に入ってしまう場合のことである。
このような場合、検出対象範囲設定部723は、検出対象の像の大きさが所望の分布になるように検出対象範囲を変更する。例えば、検出対象範囲設定部723は、撮像位置や撮像方向を変更することにより、検出対象までの距離や撮像方向を変えた撮像範囲の画像から、新たな検出対象範囲を設定することができる。
或いは、検出対象の背景画像に他の検出対象が一緒に写っている場合がある。そのような場合には、撮像部71は、検出対象に対する撮像位置を変更せず、検出対象との距離や角度を同じ状態にしたまま、撮像部71の光学系を制御して被写界深度を調節して、不要な対象の画像を光学的に除去することができる。例えば、被写界深度を浅くなるようにして、所望の検出対象に焦点が合うようにして、検出対象の背景画像として一緒に写っていたほかの検出対象の像をぼかすようにする。このように設定することにより、検出対象範囲設定部723は、所望の検出対象を含む検出対象範囲とすることができる。
成長段階判定部722は、植物9の検出対象範囲の画像に複数の検出対象が検出される場合、検出された検出対象の数に応じて検出対象範囲を変更する。
特定の検出対象を撮像した場合、同一の画像に特定の検出対象以外の検出対象の候補が、同一の画像に含まれる場合がある。このような場合、検出対象範囲設定部723は、特定の検出対象以外の検出対象の候補が含まれないように、撮像された画像の領域を分割して、分割した画像の領域ごとに検出処理をする。これにより、検出対象範囲設定部723は、分割した画像の領域に特定の検出対象を収めることができる。
特定の検出対象を撮像した場合、同一の画像に特定の検出対象以外の検出対象の候補が、同一の画像に含まれる場合がある。このような場合、検出対象範囲設定部723は、特定の検出対象以外の検出対象の候補が含まれないように、撮像された画像の領域を分割して、分割した画像の領域ごとに検出処理をする。これにより、検出対象範囲設定部723は、分割した画像の領域に特定の検出対象を収めることができる。
(合成画像の生成方法)
表示制御部731は、比較する2つの画像のうちから少なくともいずれか一方の像を透過させるようにした透過画像を生成し、透過させていない他方の像に重畳させた合成画像を生成する。
図21は、生成された合成画像を示す図である。
例えば、図21に示されるように、過去に撮像された画像を透過させずにそのままの画像(図中では実線で示す)にして、今回撮影しようとする画像を透過する透過画像(図中では点線で示す)にする。
そこで、透過させていない画像(過去の画像)に、透過させるようにした透過画像(今回撮影しようとする画像)を重畳させた合成画像を生成する。
表示制御部731は、比較する2つの画像のうちから少なくともいずれか一方の像を透過させるようにした透過画像を生成し、透過させていない他方の像に重畳させた合成画像を生成する。
図21は、生成された合成画像を示す図である。
例えば、図21に示されるように、過去に撮像された画像を透過させずにそのままの画像(図中では実線で示す)にして、今回撮影しようとする画像を透過する透過画像(図中では点線で示す)にする。
そこで、透過させていない画像(過去の画像)に、透過させるようにした透過画像(今回撮影しようとする画像)を重畳させた合成画像を生成する。
また、図21には、透過させていない他方の像(過去の画像)における検出対象範囲(点線)と、透過させるようにした透過画像(今回撮影しようとする画像)における検出対象範囲(実線)と、成長範囲を推定した検出対象範囲(2点鎖線)がそれぞれ示されている。
また、図21には、2つの画像の位置を重ね合わせる際に、一致させる特徴点を示す表示が示されている。この一致させる特徴点を示す表示に従って、ユーザーは、撮像方向を調整し、2つの画像が重なるようにする。
これにより、過去に撮像した画像と、今回撮像する画像とを容易に比較することが可能となる。
さらに、過去に撮像した画像と、今回撮像する画像とに基づいて検出された成長度合いの表示と、成長の過程における段階の表示とが、画面中にそれぞれ示されている。
これにより、今回撮像する画像とに基づいて検出された成長度合いと、成長の過程における段階とを、画像の表示に対応させながら確認することが可能となる。
また、図21には、2つの画像の位置を重ね合わせる際に、一致させる特徴点を示す表示が示されている。この一致させる特徴点を示す表示に従って、ユーザーは、撮像方向を調整し、2つの画像が重なるようにする。
これにより、過去に撮像した画像と、今回撮像する画像とを容易に比較することが可能となる。
さらに、過去に撮像した画像と、今回撮像する画像とに基づいて検出された成長度合いの表示と、成長の過程における段階の表示とが、画面中にそれぞれ示されている。
これにより、今回撮像する画像とに基づいて検出された成長度合いと、成長の過程における段階とを、画像の表示に対応させながら確認することが可能となる。
なお、図21には、透過させていない他方の像(過去の画像)における検出対象範囲(点線)に対応させて、過去に撮像した日時が示されており、透過させるようにした透過画像(今回撮影しようとする画像)における検出対象範囲(実線)に対応させて、現在の画像として撮像される日時がそれぞれ示されている。日時をそれぞれ表示することにより、比較する2つの画像を撮像した期間を、容易に得ることができるようになる。
或いは、そのような合成画像を生成するために、表示制御部731は、第1の像と第2の像のうちから少なくともいずれか一方の像の輪郭を抽出した輪郭画像を生成し、他方の像に重畳させた合成画像を生成する。
これにより、過去に撮像した画像と、今回撮像する画像とを容易に比較することが可能となる。
これにより、過去に撮像した画像と、今回撮像する画像とを容易に比較することが可能となる。
(成長度合検出処理の手順)
続いて、本実施形態における成長度合検出処理の手順の一例を示す。
続いて、本実施形態における成長度合検出処理の手順の一例を示す。
<手順0:初期化情報の設定処理>
成長度合検出処理に先立ち、植物栽培システム1において次の初期化処理が行われる。
以下の説明においては、予め育成モデル生成部510において生成された第1育成モデルが育成モデル部220に格納されているものとする。
検出対照とする植物9における特徴点が定められており、定められた特徴点の当初の位置の位置情報が取得されているものとする。
なお、以下に示す手順の説明においては、成長度合検出装置70は、同じ位置から撮影する場合を示すものであり、撮影する位置に関する情報についての説明を省略する。
成長度合検出処理に先立ち、植物栽培システム1において次の初期化処理が行われる。
以下の説明においては、予め育成モデル生成部510において生成された第1育成モデルが育成モデル部220に格納されているものとする。
検出対照とする植物9における特徴点が定められており、定められた特徴点の当初の位置の位置情報が取得されているものとする。
なお、以下に示す手順の説明においては、成長度合検出装置70は、同じ位置から撮影する場合を示すものであり、撮影する位置に関する情報についての説明を省略する。
<手順1:基準画像情報の取得処理>
この初期化情報に基づいて、成長度合検出装置70の撮像部71は、植物栽培プラント4内の植物9の状態を示す画像情報を検出する。成長度合検出部721は、カメラ部711によって撮像された植物9の画像に基づいた画像情報と、その画像情報が撮像された時刻を示す撮像時刻情報と被写***置情報とを、カメラ部711を備える撮像部71から取得する。成長度合検出部721は、取得した画像情報と撮像時刻情報と被写***置情報とを対応させて、過去情報記憶部726に格納する。
この初期化情報に基づいて、成長度合検出装置70の撮像部71は、植物栽培プラント4内の植物9の状態を示す画像情報を検出する。成長度合検出部721は、カメラ部711によって撮像された植物9の画像に基づいた画像情報と、その画像情報が撮像された時刻を示す撮像時刻情報と被写***置情報とを、カメラ部711を備える撮像部71から取得する。成長度合検出部721は、取得した画像情報と撮像時刻情報と被写***置情報とを対応させて、過去情報記憶部726に格納する。
<手順2:検出画像の取得処理>
ここで、成長度合検出部721は、過去情報記憶部726に格納された画像情報と撮像時刻情報と被写***置情報とを参照し、予め定められた所定の時間間隔により取得されていた植物9の画像情報を得る。
表示制御処理部73は、例えば、図21に示されるような検出対象範囲を表示部74に表示させるために生成する。
検出対象範囲は、植物9が成長して植物9の検出対象が移動した場合であっても、植物9の検出対象の撮影を容易にして、過去の画像と比較できるようにするために、植物9が成長することを条件に含めて予測したものである。
表示制御処理部73は、撮像部71において撮像された画像情報と、過去情報記憶部726に記憶されている画像情報と、生成された検出対象範囲とを合成して、表示部74に表示させる。また、表示制御処理部73は、2つの画像の比較を容易にするために、撮影時に一致させる特徴点の位置を表示させる。
このように合成して生成された合成画像の表示に従って撮影方向が定められる。
また、表示制御処理部73は、過去情報記憶部726に記憶されている画像情報が撮影された時刻と、現在の時刻を表示部74に表示させる。
上記に従って撮影方向が定められた後、撮像部71によって撮像された画像から、検出対象の像が検出対象範囲に含まれる画像が取得される。
撮像部71によって取得された画像情報と撮像時刻情報と被写***置情報とを、成長度合検出部721は、過去情報記憶部726に格納する。
ここで、成長度合検出部721は、過去情報記憶部726に格納された画像情報と撮像時刻情報と被写***置情報とを参照し、予め定められた所定の時間間隔により取得されていた植物9の画像情報を得る。
表示制御処理部73は、例えば、図21に示されるような検出対象範囲を表示部74に表示させるために生成する。
検出対象範囲は、植物9が成長して植物9の検出対象が移動した場合であっても、植物9の検出対象の撮影を容易にして、過去の画像と比較できるようにするために、植物9が成長することを条件に含めて予測したものである。
表示制御処理部73は、撮像部71において撮像された画像情報と、過去情報記憶部726に記憶されている画像情報と、生成された検出対象範囲とを合成して、表示部74に表示させる。また、表示制御処理部73は、2つの画像の比較を容易にするために、撮影時に一致させる特徴点の位置を表示させる。
このように合成して生成された合成画像の表示に従って撮影方向が定められる。
また、表示制御処理部73は、過去情報記憶部726に記憶されている画像情報が撮影された時刻と、現在の時刻を表示部74に表示させる。
上記に従って撮影方向が定められた後、撮像部71によって撮像された画像から、検出対象の像が検出対象範囲に含まれる画像が取得される。
撮像部71によって取得された画像情報と撮像時刻情報と被写***置情報とを、成長度合検出部721は、過去情報記憶部726に格納する。
<手順3:各部の成長度合いの検出処理>
成長度合検出部721は、撮像部71において撮像された画像情報と、所定の時間間隔により撮像された植物9の画像情報とから、その画像情報によって示される検出対象の差分情報を得る。この差分情報が、前回検出された時からの成長量を示す。成長度合検出部721は、例えば、この検出対象の部位の差分情報から算出される成長量と、この検出対象の部位において予想されていた成長量との比に基づいて、この検出対象の部位の成長度合いを検出する。
表示制御処理部73は、検出された部位の成長度合いを表示部74に表示させる。
成長度合検出部721は、上記と同様な処理をそれぞれの部位において行うことにより、植物9におけるそれぞれの部位の成長度合いをそれぞれ検出する。
成長度合検出部721は、撮像部71において撮像された画像情報と、所定の時間間隔により撮像された植物9の画像情報とから、その画像情報によって示される検出対象の差分情報を得る。この差分情報が、前回検出された時からの成長量を示す。成長度合検出部721は、例えば、この検出対象の部位の差分情報から算出される成長量と、この検出対象の部位において予想されていた成長量との比に基づいて、この検出対象の部位の成長度合いを検出する。
表示制御処理部73は、検出された部位の成長度合いを表示部74に表示させる。
成長度合検出部721は、上記と同様な処理をそれぞれの部位において行うことにより、植物9におけるそれぞれの部位の成長度合いをそれぞれ検出する。
<手順4:植物の成長度合いの判定処理>
成長段階判定部722は、成長度合検出部721によって検出されたそれぞれの部位の差分情報から算出される成長度合いに基づいて、植物9の全体、又は、植物9の一部である検出対象の成長度合いを判定する。成長段階判定部722は、検出対象の成長度合いに基づいて、成長の段階を判定する。
表示制御処理部73は、判定された成長の段階を表示部74に表示させる。
成長段階判定部722は、成長度合検出部721によって検出されたそれぞれの部位の差分情報から算出される成長度合いに基づいて、植物9の全体、又は、植物9の一部である検出対象の成長度合いを判定する。成長段階判定部722は、検出対象の成長度合いに基づいて、成長の段階を判定する。
表示制御処理部73は、判定された成長の段階を表示部74に表示させる。
<手順5:検出対象範囲の再設定処理>
手順4による植物9の成長度合いの判定結果に応じて、検出対象範囲設定部723は、成長状態に適した植物9の検出対象範囲を改めて設定する。
また、検出対象範囲設定部723は、手順4によって判定された成長度合いに基づいて判定された成長の段階に応じて植物9の検出対象範囲を設定してもよい。
このように、改めて設定された植物9の検出対象範囲に基づいて、次の撮影の撮影範囲が定められる。
手順4による植物9の成長度合いの判定結果に応じて、検出対象範囲設定部723は、成長状態に適した植物9の検出対象範囲を改めて設定する。
また、検出対象範囲設定部723は、手順4によって判定された成長度合いに基づいて判定された成長の段階に応じて植物9の検出対象範囲を設定してもよい。
このように、改めて設定された植物9の検出対象範囲に基づいて、次の撮影の撮影範囲が定められる。
以上に示した手順により、本実施形態に示した成長度合検出装置70は、植物9の成長度合いを検出することが可能であり、植物の育成状況を容易に管理することが可能となる。
[成長度合検出装置による状況表示]
続いて、図を参照し、異なる実施態様について説明する。
図22は、本実施形態における成長度合検出装置70を状況表示端末とする情報提供システムを示すブロック図である。
図1から図3、図9と同じ構成には、同じ符号を附す。
続いて、図を参照し、異なる実施態様について説明する。
図22は、本実施形態における成長度合検出装置70を状況表示端末とする情報提供システムを示すブロック図である。
図1から図3、図9と同じ構成には、同じ符号を附す。
この図に示される情報提供システムは、図9に示した構成に加え、情報提供装置800及び端末装置90を備える。
この図に示される情報提供システムにおいては、制御部500、情報提供装置800、成長度合検出装置70、及び、端末装置90は、通信ネットワーク900にそれぞれ接続されており、通信ネットワーク900を介して相互に通信を行う。
通信ネットワーク900は、有線回線と無線回線のいずれか、又は、それぞれを組み合わせて構成してもよい。
情報提供装置800は、制御部500及び成長度合検出装置70から、植物栽培プラント4において栽培されている植物9の情報を得て、その情報に基づいて生成した提供情報を成長度合検出装置70に提供する。また、情報提供装置800は、端末装置90から評価者による評価情報を収集し、評価者による評価情報を成長度合検出装置70に提供する。
この図に示される情報提供システムにおいては、制御部500、情報提供装置800、成長度合検出装置70、及び、端末装置90は、通信ネットワーク900にそれぞれ接続されており、通信ネットワーク900を介して相互に通信を行う。
通信ネットワーク900は、有線回線と無線回線のいずれか、又は、それぞれを組み合わせて構成してもよい。
情報提供装置800は、制御部500及び成長度合検出装置70から、植物栽培プラント4において栽培されている植物9の情報を得て、その情報に基づいて生成した提供情報を成長度合検出装置70に提供する。また、情報提供装置800は、端末装置90から評価者による評価情報を収集し、評価者による評価情報を成長度合検出装置70に提供する。
情報提供装置800は、データベース部810、提供情報生成部820、情報提供処理部830、情報収集処理部840、及び、通信処理部890を備える。
データベース部810は、個々の植物9(農作物)についての、育成過程の画像情報及び育成履歴情報、提供するために生成した提供情報、評価者から収集された評価情報を記憶する。
提供情報生成部820は、記憶部230に記憶されている各種情報、成長度合検出装置70によって検出された画像情報、又は、成長度合いに基づいて、成長度合検出装置70及び端末装置90を介して提供する情報として各種表示画面を生成する。提供情報生成部820が生成する各種画面は、後述する。
なお、提供情報生成部820は、それぞれ収集された画像情報と、その画像を撮像した撮像位置情報とに基づいて、3次元空間を示す合成画像を生成する。
また、提供情報生成部820は、生成した3次元空間を示す合成画像から植物栽培プラント4内の通路の任意の地点における全周囲の状態を表示する全周囲画像を生成する。
データベース部810は、個々の植物9(農作物)についての、育成過程の画像情報及び育成履歴情報、提供するために生成した提供情報、評価者から収集された評価情報を記憶する。
提供情報生成部820は、記憶部230に記憶されている各種情報、成長度合検出装置70によって検出された画像情報、又は、成長度合いに基づいて、成長度合検出装置70及び端末装置90を介して提供する情報として各種表示画面を生成する。提供情報生成部820が生成する各種画面は、後述する。
なお、提供情報生成部820は、それぞれ収集された画像情報と、その画像を撮像した撮像位置情報とに基づいて、3次元空間を示す合成画像を生成する。
また、提供情報生成部820は、生成した3次元空間を示す合成画像から植物栽培プラント4内の通路の任意の地点における全周囲の状態を表示する全周囲画像を生成する。
情報提供処理部830は、提供情報生成部820によって生成された情報(表示画面)を、成長度合検出装置70及び端末装置90からの要求に応じて、それぞれの装置に提供する。
情報収集処理部840は、評価者により入力された植物9に対する評価情報を端末装置90から収集し、収集した情報をデータベース部810に記憶させる。
通信処理部890は、制御部500との間の通信処理を行い、判定部200の記憶部230に記憶されている育成過程の画像情報及び育成履歴情報などの各種情報を、制御部500を介して収集し、データベース部810に記憶させる。
通信処理部890は、データベース部810に記憶されている個々の農作物の情報と、評価者から収集した評価情報を、育成モデル設計時の条件として反映させる。
通信処理部890は、成長度合検出装置70との間の通信処理を行い、過去情報記憶部726に記憶されている育成過程の画像情報、及び育成履歴情報などの各種情報を収集し、データベース部810に記憶させる。
通信処理部890は、成長度合検出装置70との間の通信処理を行い、成長度合検出装置70に格納される、画像情報と、撮像時刻情報と、撮像位置情報と、被写***置情報とを収集し、データベース部810に記憶させる。
情報収集処理部840は、評価者により入力された植物9に対する評価情報を端末装置90から収集し、収集した情報をデータベース部810に記憶させる。
通信処理部890は、制御部500との間の通信処理を行い、判定部200の記憶部230に記憶されている育成過程の画像情報及び育成履歴情報などの各種情報を、制御部500を介して収集し、データベース部810に記憶させる。
通信処理部890は、データベース部810に記憶されている個々の農作物の情報と、評価者から収集した評価情報を、育成モデル設計時の条件として反映させる。
通信処理部890は、成長度合検出装置70との間の通信処理を行い、過去情報記憶部726に記憶されている育成過程の画像情報、及び育成履歴情報などの各種情報を収集し、データベース部810に記憶させる。
通信処理部890は、成長度合検出装置70との間の通信処理を行い、成長度合検出装置70に格納される、画像情報と、撮像時刻情報と、撮像位置情報と、被写***置情報とを収集し、データベース部810に記憶させる。
通信処理部890は、データベース部810に記憶されている個々の農作物の情報と、評価者から収集した評価情報を、成長度合検出装置70及び端末装置90からの要求に応じてそれぞれの装置に送信する。
成長度合検出装置70は、検出した植物9の情報を情報提供装置800に供給する。成長度合検出装置70は、情報提供装置800から提供される情報を表示する。
端末装置90は、情報提供装置800から提供される情報を表示する。端末装置90は、表示された情報に基づいた評価者による評価情報を得て、情報提供装置800に供給する。
端末装置90は、情報提供装置800から提供される情報を表示する。端末装置90は、表示された情報に基づいた評価者による評価情報を得て、情報提供装置800に供給する。
続いて、図23から図26を参照し、成長度合検出装置70において情報を表示させる情報提供処理について説明する。
以下に示す表示画面は、情報提供装置800において生成され、成長度合検出装置70において表示されるものである。
情報提供装置800は、植物栽培プラント4の配置を示すレイアウト情報と、植物9の位置を識別するために付与された位置情報と、それぞれの位置に配置された植物9の育成情報とに基づいて、成長度合検出装置70に表示させる表示画面を生成する。ここでは、情報提供装置800と成長度合検出装置70との間の通信が行われ、情報提供装置800によって生成された表示画面を、成長度合検出装置70において表示する場合を想定して説明する。
また、成長度合検出装置70は、ユーザーによる操作入力を検出する。検出された操作入力に基づいた操作入力情報を、成長度合検出装置70の制御部79は、情報提供装置800に送信する。操作入力情報をを受信した情報提供装置800は、受信した操作入力情報に従って、成長度合検出装置70において表示する表示画面を生成する。情報提供装置800は、生成した表示画面の情報を成長度合検出装置70に送信する。
以下に示す表示画面は、情報提供装置800において生成され、成長度合検出装置70において表示されるものである。
情報提供装置800は、植物栽培プラント4の配置を示すレイアウト情報と、植物9の位置を識別するために付与された位置情報と、それぞれの位置に配置された植物9の育成情報とに基づいて、成長度合検出装置70に表示させる表示画面を生成する。ここでは、情報提供装置800と成長度合検出装置70との間の通信が行われ、情報提供装置800によって生成された表示画面を、成長度合検出装置70において表示する場合を想定して説明する。
また、成長度合検出装置70は、ユーザーによる操作入力を検出する。検出された操作入力に基づいた操作入力情報を、成長度合検出装置70の制御部79は、情報提供装置800に送信する。操作入力情報をを受信した情報提供装置800は、受信した操作入力情報に従って、成長度合検出装置70において表示する表示画面を生成する。情報提供装置800は、生成した表示画面の情報を成長度合検出装置70に送信する。
図23は、植物栽培プラントにおいて、参照する位置を選択する際に表示する画面の例を示す図である。
成長度合検出装置70のユーザーは、この画面を参照することにより、実際に植物栽培プラント4内を移動することなく、それぞれの位置の状況を得ることができる。
この図には、画像表示領域P101、操作入力検出領域P106、P107、P108、P109が示されている。図1と同じ構成には、同じ符号を附す。
画像表示領域P101には、3つの床6が並べて配置された状態を示す平面図が示されている。3つの床6は、それぞれ通路を挟んで、画面右手方向に沿って設けられている。それぞれの床6には、通路に面して位置を特定する「AからF」の行として定義されている。また、床6の長手方向、すなわち行方向に1から30まで、順に番号が付与されている。
このように、行と列としての番号が通路から植物9を参照できる位置(識別位置)に対応するように付与されていることにより、識別位置に応じて植物9を識別することができる。例えば、この識別位置を、行と列としての番号を組み合わせて、「識別位置B27」のように示す。「識別位置B27」は、B行の27列を示す。
成長度合検出装置70のユーザーは、この画面を参照することにより、実際に植物栽培プラント4内を移動することなく、それぞれの位置の状況を得ることができる。
この図には、画像表示領域P101、操作入力検出領域P106、P107、P108、P109が示されている。図1と同じ構成には、同じ符号を附す。
画像表示領域P101には、3つの床6が並べて配置された状態を示す平面図が示されている。3つの床6は、それぞれ通路を挟んで、画面右手方向に沿って設けられている。それぞれの床6には、通路に面して位置を特定する「AからF」の行として定義されている。また、床6の長手方向、すなわち行方向に1から30まで、順に番号が付与されている。
このように、行と列としての番号が通路から植物9を参照できる位置(識別位置)に対応するように付与されていることにより、識別位置に応じて植物9を識別することができる。例えば、この識別位置を、行と列としての番号を組み合わせて、「識別位置B27」のように示す。「識別位置B27」は、B行の27列を示す。
さらに、画像表示領域P101には、状況表示P102、案内表示P103、現在状況表示P104が示されている。
状況表示P102は、それぞれの識別位置における集中度合い(人数/単位面積)を表示する。例えば、「識別位置E27」付近の状況として、「このE27付近は、少し込み合っています。」という状況表示が示されている。
この集中度合いは、例えば、実際に通路で作業するユーザーの人数、ロボット(移動型検出装置40など)の台数に基づいて算出される。
或いは、植物栽培プラント4に対応する仮想的な作業空間を定義しておき、通信回線を経由して接続される端末装置等から仮想的な作業空間に参加することにより、仮想的な作業空間において作業をする場合の集中度合いに基づいて算出してもよい。ただし、仮想的な作業空間の場合、実際の通路で作業する場合と異なり、仮想的な作業空間の集中度合いを目視で確認することができない。そこで、成長度合検出装置70は、このような仮想的な作業空間における集中度合いを表示するようにしたので、ユーザーは、集中している場所を確認することができるようになる。その結果、ユーザーは、集中している場所を避けて、すいている場所を選ぶことが可能となる。
案内表示P103は、ユーザーに対する案内を表示する。例えば、「識別位置B27」付近の状況として、「このB27付近の木には熟した実が多く着いています。」という案内が示されている。
現在状況表示P104は、植物9に現在残されている収穫対象の状況を表示する。例えば、「識別位置D2」付近の状況として、「このD2付近の木には、熟した実が少なくなっています。」という案内が示されている。
状況表示P102は、それぞれの識別位置における集中度合い(人数/単位面積)を表示する。例えば、「識別位置E27」付近の状況として、「このE27付近は、少し込み合っています。」という状況表示が示されている。
この集中度合いは、例えば、実際に通路で作業するユーザーの人数、ロボット(移動型検出装置40など)の台数に基づいて算出される。
或いは、植物栽培プラント4に対応する仮想的な作業空間を定義しておき、通信回線を経由して接続される端末装置等から仮想的な作業空間に参加することにより、仮想的な作業空間において作業をする場合の集中度合いに基づいて算出してもよい。ただし、仮想的な作業空間の場合、実際の通路で作業する場合と異なり、仮想的な作業空間の集中度合いを目視で確認することができない。そこで、成長度合検出装置70は、このような仮想的な作業空間における集中度合いを表示するようにしたので、ユーザーは、集中している場所を確認することができるようになる。その結果、ユーザーは、集中している場所を避けて、すいている場所を選ぶことが可能となる。
案内表示P103は、ユーザーに対する案内を表示する。例えば、「識別位置B27」付近の状況として、「このB27付近の木には熟した実が多く着いています。」という案内が示されている。
現在状況表示P104は、植物9に現在残されている収穫対象の状況を表示する。例えば、「識別位置D2」付近の状況として、「このD2付近の木には、熟した実が少なくなっています。」という案内が示されている。
また、操作入力検出領域P106は、検状況表示P102を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P106においてユーザーの操作を検出することにより、状況表示P102を表示させるか否かを切り替える制御信号を制御部79に供給して、表示する画面を更新させる。
操作入力検出領域P107は、案内表示P103を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P107においてユーザーの操作を検出することにより、案内表示P103を表示させるか否かを切り替える制御信号を制御部79に供給して、表示する画面を更新させる。
操作入力検出領域P107は、案内表示P103を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P107においてユーザーの操作を検出することにより、案内表示P103を表示させるか否かを切り替える制御信号を制御部79に供給して、表示する画面を更新させる。
操作入力検出領域P108は、現在状況表示P104を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P108においてユーザーの操作を検出することにより、現在状況表示P104を表示させるか否かを切り替える制御信号を制御部79に供給して、表示する画面を更新させる。
操作入力検出領域P109は、先に表示されていた画面の表示に戻るように表示する画面を切り替える操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P109においてユーザーの操作を検出することにより、先に表示されていた画面の表示に戻る制御信号を制御部79に供給して、表示する画面を更新させる。
制御部79により、操作入力検出部75からの制御信号がそれぞれ検出されると、成長度合検出装置70は、検出した制御信号を情報提供装置800に送信する。
操作入力検出領域P109は、先に表示されていた画面の表示に戻るように表示する画面を切り替える操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P109においてユーザーの操作を検出することにより、先に表示されていた画面の表示に戻る制御信号を制御部79に供給して、表示する画面を更新させる。
制御部79により、操作入力検出部75からの制御信号がそれぞれ検出されると、成長度合検出装置70は、検出した制御信号を情報提供装置800に送信する。
また、この画面の表示の次に、例えば「識別位置B27」付近の情報を表示させるために、画像表示領域P101におけるB行とC行に挟まれる通路(以下、「通路BC」という。」の「識別位置B27」付近を触れる操作がユーザーによって行われる。「識別位置B27」付近を触れる操作を操作入力検出部75が検出した場合、成長度合検出装置70は、操作入力検出部75によって「識別位置B27」付近を触れる操作が検出されたことを示す制御信号を情報提供装置800に送信する。制御信号を受信した情報提供装置800は、受信した制御信号に基づいて成長度合検出装置70に表示する画面の表示を次に示す画面の表示に遷移させる。
図24は、通路に沿っている植物の状態を表示する画面の例を示す図である。
この図には、画像表示領域P111、操作入力検出領域P116、P117、P118、P119が示されている。図1、図23と同じ構成には、同じ符号を附す。
画像表示領域P111には、通路に面して並べて配置された床6の植物9の状態が表示されている状態が示されている。この図に示される通路は、例えば、通路BCの26列から29列までの範囲(「識別位置B26からB29まで、及び、識別位置C26からC29まで」)が示されている。画像表示領域P111の左半分には、手前から順に通路の左側にある床6におけるB行26列から29列まで(「識別位置B26からB29まで」)の状態が示されている。画像表示領域P111の右半分には、手前から順に通路の右側にある床6におけるC行26列から29列まで(「識別位置C26からC29まで」)の状態が示されている。
それぞれの床6には、栽培されている植物9がそれぞれ配置されており、植物9の育成状態が表示されており、視覚的に確認することができる。
この図には、画像表示領域P111、操作入力検出領域P116、P117、P118、P119が示されている。図1、図23と同じ構成には、同じ符号を附す。
画像表示領域P111には、通路に面して並べて配置された床6の植物9の状態が表示されている状態が示されている。この図に示される通路は、例えば、通路BCの26列から29列までの範囲(「識別位置B26からB29まで、及び、識別位置C26からC29まで」)が示されている。画像表示領域P111の左半分には、手前から順に通路の左側にある床6におけるB行26列から29列まで(「識別位置B26からB29まで」)の状態が示されている。画像表示領域P111の右半分には、手前から順に通路の右側にある床6におけるC行26列から29列まで(「識別位置C26からC29まで」)の状態が示されている。
それぞれの床6には、栽培されている植物9がそれぞれ配置されており、植物9の育成状態が表示されており、視覚的に確認することができる。
さらに、画像表示領域P111には、位置表示領域P112、方向表示領域P113が表示されている。
位置表示領域P112は、床6にそれぞれ配置された植物9を識別する識別情報を表示する領域を示し、ラベル「B26」から順にラベル「B29」まで、及びラベル「C26」から順にラベル「C29」までを示している。例えば、ラベル「B26」は、「識別位置B26」にある植物9を示す表示である。
方向表示領域P113は、表示する位置を前後左右に変更する操作を行う領域を示し、ユーザーの操作を検出し、操作によって指定された方向に移動した画像に更新する制御信号を生成する。
操作入力検出領域P116、P117、P118、P119は、図23における操作入力検出領域P106、P107、P108、P109と同様である。
制御部79により操作入力検出部75からの指示情報が検出されると、成長度合検出装置70は、検出された指示情報に応じたそれぞれの制御信号を情報提供装置800に送信する。
このような画面の表示の状態で、ユーザーの操作によって、方向表示領域P113において「左向き」の方向変換を操作が行われたことを操作入力検出部75が検出した場合、成長度合検出装置70は、操作入力検出部75によって「左向き」の方向変換の操作が検出されたことを示す制御信号を情報提供装置800に送信する。制御信号を受信した情報提供装置800は、受信した制御信号に基づいて成長度合検出装置70に表示する画面の表示を次に示す画面の表示に遷移させる。
位置表示領域P112は、床6にそれぞれ配置された植物9を識別する識別情報を表示する領域を示し、ラベル「B26」から順にラベル「B29」まで、及びラベル「C26」から順にラベル「C29」までを示している。例えば、ラベル「B26」は、「識別位置B26」にある植物9を示す表示である。
方向表示領域P113は、表示する位置を前後左右に変更する操作を行う領域を示し、ユーザーの操作を検出し、操作によって指定された方向に移動した画像に更新する制御信号を生成する。
操作入力検出領域P116、P117、P118、P119は、図23における操作入力検出領域P106、P107、P108、P109と同様である。
制御部79により操作入力検出部75からの指示情報が検出されると、成長度合検出装置70は、検出された指示情報に応じたそれぞれの制御信号を情報提供装置800に送信する。
このような画面の表示の状態で、ユーザーの操作によって、方向表示領域P113において「左向き」の方向変換を操作が行われたことを操作入力検出部75が検出した場合、成長度合検出装置70は、操作入力検出部75によって「左向き」の方向変換の操作が検出されたことを示す制御信号を情報提供装置800に送信する。制御信号を受信した情報提供装置800は、受信した制御信号に基づいて成長度合検出装置70に表示する画面の表示を次に示す画面の表示に遷移させる。
図25は、通路に面している植物の状態を表示する画面の例を示す図である。
成長度合検出装置70のユーザーは、この画面を参照することにより、実際に植物栽培プラント4内を移動することなく、指定された位置の状況を得ることができる。
この図には、画像表示領域P121、操作入力検出領域P126、P127、P128、P129が示されている。図1、図23、図24と同じ構成には、同じ符号を附す。
画像表示領域P121には、位置表示領域P122、検出対象識別表示領域P123が表示されている。
位置表示領域P122は、それぞれ配置された植物9の位置を示す識別情報を表示する領域を示し、ラベル「B26」から順にラベル「B28」までを示している。
検出対象識別表示領域P123は、位置表示領域P122においてラベル「B27」によって示される「識別位置B27」の植物9の実を識別する識別情報を表示する領域を示し、それぞれの実に対応させてラベル「B2701」からラベル「B2708」までを示している。ここで、表示されず欠番となっている番号のラベル「B2705」とラベル「B2708」は、葉に隠れて表示されていない実に附されたラベルである。
成長度合検出装置70のユーザーは、この画面を参照することにより、実際に植物栽培プラント4内を移動することなく、指定された位置の状況を得ることができる。
この図には、画像表示領域P121、操作入力検出領域P126、P127、P128、P129が示されている。図1、図23、図24と同じ構成には、同じ符号を附す。
画像表示領域P121には、位置表示領域P122、検出対象識別表示領域P123が表示されている。
位置表示領域P122は、それぞれ配置された植物9の位置を示す識別情報を表示する領域を示し、ラベル「B26」から順にラベル「B28」までを示している。
検出対象識別表示領域P123は、位置表示領域P122においてラベル「B27」によって示される「識別位置B27」の植物9の実を識別する識別情報を表示する領域を示し、それぞれの実に対応させてラベル「B2701」からラベル「B2708」までを示している。ここで、表示されず欠番となっている番号のラベル「B2705」とラベル「B2708」は、葉に隠れて表示されていない実に附されたラベルである。
操作入力検出領域P126は、状況表示P133(図26)を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P126においてユーザーの操作を検出することにより、状況表示P133(図26)を表示させるか否かを切り替える制御信号を制御部79に供給して、表示する画面を更新させる。
操作入力検出領域P127は、説明表示P134(図26)を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P127においてユーザーの操作を検出することにより、説明表示P134(図26)を表示させるか否かを切り替える制御信号を制御部79に供給して、表示する画面を更新させる。
操作入力検出領域P128は、選択された実を収穫することを指示する操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P128においてユーザーの操作を検出することにより、選択された実を収穫することを指示する制御信号を制御部79に供給して、表示する画面を更新させる。
操作入力検出領域P129は、図23における操作入力検出領域P109と同様である。
制御部79により操作入力検出部75からの指示情報が検出されると、成長度合検出装置70は、検出した指示情報に応じたそれぞれの制御信号を情報提供装置800に送信する。
このような画面の表示の状態で、ラベル「B27」によって示される植物9を選択した後に、操作入力検出領域P127の操作が行われる。操作入力検出領域P127の操作を操作入力検出部75が検出した場合、成長度合検出装置70は、操作入力検出部75によって操作入力検出領域P127の操作が検出されたことを示す制御信号を情報提供装置800に送信する。制御信号を受信した情報提供装置800は、受信した制御信号に基づいて成長度合検出装置70に表示する画面の表示を次に示す画面の表示に遷移させる。
操作入力検出領域P127は、説明表示P134(図26)を表示させるか否かを切り替える操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P127においてユーザーの操作を検出することにより、説明表示P134(図26)を表示させるか否かを切り替える制御信号を制御部79に供給して、表示する画面を更新させる。
操作入力検出領域P128は、選択された実を収穫することを指示する操作を検出する領域を示す。操作入力検出部75は、操作入力検出領域P128においてユーザーの操作を検出することにより、選択された実を収穫することを指示する制御信号を制御部79に供給して、表示する画面を更新させる。
操作入力検出領域P129は、図23における操作入力検出領域P109と同様である。
制御部79により操作入力検出部75からの指示情報が検出されると、成長度合検出装置70は、検出した指示情報に応じたそれぞれの制御信号を情報提供装置800に送信する。
このような画面の表示の状態で、ラベル「B27」によって示される植物9を選択した後に、操作入力検出領域P127の操作が行われる。操作入力検出領域P127の操作を操作入力検出部75が検出した場合、成長度合検出装置70は、操作入力検出部75によって操作入力検出領域P127の操作が検出されたことを示す制御信号を情報提供装置800に送信する。制御信号を受信した情報提供装置800は、受信した制御信号に基づいて成長度合検出装置70に表示する画面の表示を次に示す画面の表示に遷移させる。
図26は、通路に面している植物の状態を表示する画面の例を示す図である。
成長度合検出装置70のユーザーは、この画面を参照することにより、実際に植物栽培プラント4内を移動することなく、指定された位置の状況についての詳細な情報を得ることができる。
この図には、画像表示領域P131、操作入力検出領域P126、P127、P128、P129が示されている。図1、図23、図24、図25と同じ構成には、同じ符号を附す。
成長度合検出装置70のユーザーは、この画面を参照することにより、実際に植物栽培プラント4内を移動することなく、指定された位置の状況についての詳細な情報を得ることができる。
この図には、画像表示領域P131、操作入力検出領域P126、P127、P128、P129が示されている。図1、図23、図24、図25と同じ構成には、同じ符号を附す。
画像表示領域P131には、位置表示領域P122、検出対象識別表示領域P123のほか、全対象表示領域P132、状況表示領域P133、説明表示領域P134が表示されている。
全対象表示領域P132は、位置表示領域P122においてラベル「B27」として示される植物9の実において、前述の図25において表示されていなかった実、すなわち、葉に隠れて表示されていなかった実を表示する領域を示す。全対象表示領域P132には、例えば、ラベル「B2705」として示される識別情報に対応する実の位置が示されている。
状況表示領域P133は、収穫に適した時期、すなわち「食べごろ」の時期にある実を表示する領域を示し、収穫に適した時期にあると選択された実が下向きの矢印にて示されている。
説明表示領域134は、全対象表示領域P132に示された、「葉に隠れている実」についての説明を表示する領域を示す。
全対象表示領域P132は、位置表示領域P122においてラベル「B27」として示される植物9の実において、前述の図25において表示されていなかった実、すなわち、葉に隠れて表示されていなかった実を表示する領域を示す。全対象表示領域P132には、例えば、ラベル「B2705」として示される識別情報に対応する実の位置が示されている。
状況表示領域P133は、収穫に適した時期、すなわち「食べごろ」の時期にある実を表示する領域を示し、収穫に適した時期にあると選択された実が下向きの矢印にて示されている。
説明表示領域134は、全対象表示領域P132に示された、「葉に隠れている実」についての説明を表示する領域を示す。
このような画面の表示の状態で、ラベル「B2705」とラベル「B2708」によって示される実を選択した後に、操作入力検出領域P127の操作が行われる。操作入力検出領域P127の操作を操作入力検出部75が検出した場合、成長度合検出装置70は、操作入力検出部75によって操作入力検出領域P127の操作が検出されたことを示す制御信号を情報提供装置800に送信する。制御信号を受信した情報提供装置800は、受信した制御信号に基づいて成長度合検出装置70に表示する画面の表示を次に示す画面の表示に遷移させる。
なお、この図に示される位置表示領域P122、検出対象識別表示領域P123のほか、全対象表示領域P132、状況表示領域P133、説明表示領域P134などは、加速度検出部76によって検出された加速度に応じて、表示情報の内容や、表示情報を表示する領域の大きさを変更したり、表示を中断したりしてもよい。成長度合検出装置70の移動方向が定まらなかったり、単位時間当たりの移動量が大きかったりする場合には、文字による情報の表示を少なくした場合のほうが、表示される画像を認識しやすくなる。それゆえ、成長度合検出装置70に作用する加速度に応じて、表示する情報を制限することにより、表示される画像を認識しやすくなる。
図27は、選択した実についての評価情報を表示する画面の例を示す図である。
成長度合検出装置70のユーザーは、この画面を参照することにより、指定された位置の植物9について、第三者によって評価された情報(評価情報)を端末装置90から得ることができる。また、その評価された情報が登録された時刻情報が、その評価された情報に対応させて記憶されている。
この図には、画像表示領域P141、操作入力検出領域P126、P127、P128、P129が示されている。図1、図23、図24、図25、図26と同じ構成には、同じ符号を附す。
画像表示領域P141には、対称植物表示領域P142、選択対象画像表示領域P143a、P143b、評価表示領域P144a、P144b、育成情報表示領域P145が示されている。
対称植物表示領域P142は、図26において選択された植物9の状態を画像によって表示する領域を示す。
選択対象画像表示領域P143aとP143bは、図26において選択された実を画像によって表示する領域を示す。例えば、選択対象画像表示領域P143aには、ラベル「B2705」として識別される実(*印)と、選択対象画像表示領域P143bには、ラベル「B2708」として識別される実(◇印)とが示されている。
成長度合検出装置70のユーザーは、この画面を参照することにより、指定された位置の植物9について、第三者によって評価された情報(評価情報)を端末装置90から得ることができる。また、その評価された情報が登録された時刻情報が、その評価された情報に対応させて記憶されている。
この図には、画像表示領域P141、操作入力検出領域P126、P127、P128、P129が示されている。図1、図23、図24、図25、図26と同じ構成には、同じ符号を附す。
画像表示領域P141には、対称植物表示領域P142、選択対象画像表示領域P143a、P143b、評価表示領域P144a、P144b、育成情報表示領域P145が示されている。
対称植物表示領域P142は、図26において選択された植物9の状態を画像によって表示する領域を示す。
選択対象画像表示領域P143aとP143bは、図26において選択された実を画像によって表示する領域を示す。例えば、選択対象画像表示領域P143aには、ラベル「B2705」として識別される実(*印)と、選択対象画像表示領域P143bには、ラベル「B2708」として識別される実(◇印)とが示されている。
評価表示領域P144aとP144bは、図26において選択された実についての評価情報を表示する領域を示す。例えば、評価表示領域P144aには、選択対象画像表示領域P143aにラベル「B2705」として識別される実(*印)についての評価情報が示されている。また、評価表示P144aには、選択対象画像表示領域P143bにラベル「B2708」として識別される実(◇印)についての評価情報が示されている。
評価表示領域P144aとP144bとに示される評価情報は、例えば、第三者である有識者からの情報として掲載されており、その評価情報は、端末装置90を介して、情報提供装置800に登録されたものである。この評価情報により、ユーザーは、第三者である有識者の知見を獲得することができる。
評価表示領域P144aとP144bとに示される評価情報は、例えば、第三者である有識者からの情報として掲載されており、その評価情報は、端末装置90を介して、情報提供装置800に登録されたものである。この評価情報により、ユーザーは、第三者である有識者の知見を獲得することができる。
育成情報表示領域P145は、植物9の育成情報に基づいて、2つの個体差を示す除法を表示する領域を示す。例えば、ラベル「B2705」として識別される実(*印)と、選択対象画像表示領域P143bには、ラベル「B2708」として識別される実(◇印)の2つについて、甘さと大きさの情報が比較されている。この図に示された場合においては、ラベル「B2705」として識別される実(*印)のほうが、ラベル「B2708」として識別される実(◇印)に比べて、糖度が低いが、大きいということが示されている。さらに、成長曲線によって示されるグラフは、縦軸が成長度合いを示し横軸が日数を示す。点線で囲まれた範囲にあれば、収穫可能な時期にあり、ラベル「B2708」として識別される実(◇印)のほうが、成熟が進んだ状態にあることが示される。
以上に示したように、情報提供装置800は、成長度合検出装置70から受信した制御情報に従って生成した画面の情報を成長度合検出装置70に送信する。成長度合検出装置70は、情報提供装置800から送信される画面の情報を成長度合検出装置70において表示させる。
(植物栽培プラント4における状態検出)
植物栽培プラント4において栽培されている植物9の状態を適切に管理するために、定期的に植物栽培プラント4全体の情報収集を行うことが望ましい。ただし、この情報収集を行うには、労力が掛かることから、本実施形態においては、機械的に情報収集を行うこともできる。以下、その一態様について示す。
例えば、全周囲カメラを搭載した移動型検出装置40(図2)が、植物栽培プラント4内を巡回する。移動型検出装置40は、植物栽培プラント4内を巡回して、植物栽培プラント4の通路を移動しながら、周囲の画像を動画像又は連続静止画像として収集する。
移動型検出装置40が収集した植物栽培プラント4内の画像情報を、成長度合検出装置70、又は、情報提供装置800に供給する。
成長度合検出装置70、又は、情報提供装置800は、移動型検出装置40が収集した植物栽培プラント4内の画像情報から、その画像に含まれる複数フレームの画像情報に基づいて、3次元空間に検出対象のモデルを生成する。成長度合検出装置70、又は、情報提供装置800は、3次元空間に検出対象のモデルに基づいて合成画像を生成する。
このように画像情報をまとめて収集することにより、個々の検出対象を個別に撮影してまわる作業を省力化することができる。
また、収集する画像情報が全周囲方向の画像情報として得られるので、撮像時に一方向に移動する場合、進行方向に向かって確認できる画像だけではなく、進行方向と逆の方向に向かって確認した場合の画像も、まとめて収集することができる。
植物栽培プラント4において栽培されている植物9の状態を適切に管理するために、定期的に植物栽培プラント4全体の情報収集を行うことが望ましい。ただし、この情報収集を行うには、労力が掛かることから、本実施形態においては、機械的に情報収集を行うこともできる。以下、その一態様について示す。
例えば、全周囲カメラを搭載した移動型検出装置40(図2)が、植物栽培プラント4内を巡回する。移動型検出装置40は、植物栽培プラント4内を巡回して、植物栽培プラント4の通路を移動しながら、周囲の画像を動画像又は連続静止画像として収集する。
移動型検出装置40が収集した植物栽培プラント4内の画像情報を、成長度合検出装置70、又は、情報提供装置800に供給する。
成長度合検出装置70、又は、情報提供装置800は、移動型検出装置40が収集した植物栽培プラント4内の画像情報から、その画像に含まれる複数フレームの画像情報に基づいて、3次元空間に検出対象のモデルを生成する。成長度合検出装置70、又は、情報提供装置800は、3次元空間に検出対象のモデルに基づいて合成画像を生成する。
このように画像情報をまとめて収集することにより、個々の検出対象を個別に撮影してまわる作業を省力化することができる。
また、収集する画像情報が全周囲方向の画像情報として得られるので、撮像時に一方向に移動する場合、進行方向に向かって確認できる画像だけではなく、進行方向と逆の方向に向かって確認した場合の画像も、まとめて収集することができる。
以上の実施形態に示した成長度合検出装置70(表示制御装置)は、植物9の成長過程において、植物9の成長に応じた分類をする複数の段階が設けられており、育成状況検出部72によって、成長の段階に合わせてそれぞれ設定された検出対象範囲に含まれる植物9の状態から、植物9の成長度合いを検出し、植物9の育成状況を管理しやすくすることができる
また、成長度合検出装置70(表示制御装置)は、表示制御部73により表示対象の植物9を識別する識別情報に関連付けられて記憶領域に記憶されている植物9の育成に関する情報から生成された表示情報を、表示対象の画像に関連付けて表示させる。これにより、成長度合検出装置70(表示制御装置)は、複数の植物9の中から選択された特定の植物9の情報として、検出した成長度合いの情報を表示し、植物9の育成状況を管理しやすくすることができる
さらに、成長度合検出装置70(表示制御装置)は、画面の表示に従って簡易に操作することができ、ユーザーが操作方法を習得する負担を軽減させることができる。成長度合検出装置70の操作が簡易であることから、植物栽培の経験の浅い人から経験者に到るまで、植物栽培の経験度に関係することなく成長度合検出装置70を利用することができる。それゆえ、経験と勘に依存した栽培方法を採用している経験者が成長度合検出装置70を利用した場合には、判定の結果を安定させることができ、植物9の育成状況を管理しやすくすることができる。
また、成長度合検出装置70(表示制御装置)は、表示制御部73により表示対象の植物9を識別する識別情報に関連付けられて記憶領域に記憶されている植物9の育成に関する情報から生成された表示情報を、表示対象の画像に関連付けて表示させる。これにより、成長度合検出装置70(表示制御装置)は、複数の植物9の中から選択された特定の植物9の情報として、検出した成長度合いの情報を表示し、植物9の育成状況を管理しやすくすることができる
さらに、成長度合検出装置70(表示制御装置)は、画面の表示に従って簡易に操作することができ、ユーザーが操作方法を習得する負担を軽減させることができる。成長度合検出装置70の操作が簡易であることから、植物栽培の経験の浅い人から経験者に到るまで、植物栽培の経験度に関係することなく成長度合検出装置70を利用することができる。それゆえ、経験と勘に依存した栽培方法を採用している経験者が成長度合検出装置70を利用した場合には、判定の結果を安定させることができ、植物9の育成状況を管理しやすくすることができる。
また、植物を栽培したことがある経験者の人数は、農業人口の減少に伴い、年々減少する傾向にある。一方で、植物栽培プラント4の普及が望まれており、植物栽培プラント4がいろいろな場所に導入されるようになると思われる。このような状況から、植物栽培プラント4の施設数が急に増加する場合には、植物を栽培したことがある経験者が、植物栽培プラントを管理することにならないことも生じうる。そこで、植物栽培の経験の浅い人であっても、成長度合検出装置70によって植物9の育成状況を検出することができ、その検出結果を容易に確認することが可能となる。要するに、成長度合検出装置70により、植物9の育成状況を管理しやすくすることができる。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更等も含まれる。
例えば、成長度合検出装置70(表示制御装置)は、携帯型の端末装置として説明したが、据え置き型の装置であってもよい。
また、成長度合検出装置70(表示制御装置)は、一体型として構成するものとして示したが、各構成を分離して構成してもよい。
また、図3に示される植物栽培システム1において、成長度合検出装置70(表示制御装置)の構成の一部又は全部を制御部500に追加することにより、撮像部300から得られる画像情報に基づいて、構成を追加した制御部500によって、成長度合検出装置70(表示制御装置)として示した処理を行ってもよい。
例えば、成長度合検出装置70(表示制御装置)は、携帯型の端末装置として説明したが、据え置き型の装置であってもよい。
また、成長度合検出装置70(表示制御装置)は、一体型として構成するものとして示したが、各構成を分離して構成してもよい。
また、図3に示される植物栽培システム1において、成長度合検出装置70(表示制御装置)の構成の一部又は全部を制御部500に追加することにより、撮像部300から得られる画像情報に基づいて、構成を追加した制御部500によって、成長度合検出装置70(表示制御装置)として示した処理を行ってもよい。
また、成長度合いを検出する2つの画像の位置の調整をユーザーが行うものとして説明したが、成長度合検出装置70(表示制御装置)が、2つの画像の特徴点を抽出し、抽出した特徴点に基づいたパターンマッチング処理や被写体追尾処理などの画像処理の手法を適用することにより、2つの画像を比較することができる。
また、成長度合検出装置70(表示制御装置)は、植物9の成長を撮像された像の大きさにより成長度合いを検出するものとして説明したが、大きさの違いを、撮像部71の撮像倍率から判定してもよい。
また、成長度合検出装置70(表示制御装置)は、植物9の成長を撮像された像の大きさにより成長度合いを検出するものとして説明したが、大きさの違いを、撮像部71の撮像倍率から判定してもよい。
また、成長度合検出装置70(表示制御装置)は、特徴点を識別する際に、その特徴点の近傍に、その特徴点を識別する識別情報を掲示しておき、その識別情報に基づいて特徴点を識別してもよい。その識別情報は、文字情報、バーコード情報、パターン情報などから適宜選択することができる。さらに、RFID(Radio Frequency IDentification)やICタグを設けておくことにより、その特徴点を容易に識別できるようになる。
また、前述の実施形態に示した成長度合検出装置70(表示制御装置)における表示画面は、端末装置90においても、成長度合検出装置70と同様に表示することができる。さらに、端末装置90は、情報提供装置800が生成した画面を表示して、第三者からの情報を受け付けて、情報提供装置800に登録する。
また、前述の実施形態に示した成長度合検出装置70(表示制御装置)における表示画面は、端末装置90においても、成長度合検出装置70と同様に表示することができる。さらに、端末装置90は、情報提供装置800が生成した画面を表示して、第三者からの情報を受け付けて、情報提供装置800に登録する。
なお、上述の植物栽培システム1、移動型検出装置40、成長度合検出装置70、情報提供装置800、端末装置90は、内部にコンピュータシステムを有している。そして、各機能部の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、CPU及び各種メモリやOS、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
1…植物栽培システム、
9…植物、
100…制御対象部、
200…判定部、
300…撮像部、
400…撮像位置移動部、
500…制御部、
70…成長度合検出装置(表示制御装置)、
72…成長度合検出部、
73…表示制御部
9…植物、
100…制御対象部、
200…判定部、
300…撮像部、
400…撮像位置移動部、
500…制御部、
70…成長度合検出装置(表示制御装置)、
72…成長度合検出部、
73…表示制御部
Claims (12)
- 表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部
を備えることを特徴とする表示制御装置。 - 前記表示制御部は、
第1の時間間隔で撮像された画像の画像情報であって、前記撮像された順に基づいた時系列情報に関連付けて画像記憶領域に記憶されている前記表示対象の画像の画像情報を、前記画像記憶領域から前記時系列情報に応じて第2の時間間隔に従って読み出して表示させる
ことを特徴とする請求項1に記載の表示制御装置。 - 前記表示制御部は、
前記画像記憶領域から前記時系列情報に応じて順次読み出して表示させる前記表示対象の画像に、当該表示対象の画像に対応する前記表示情報を関連付けて表示させる
ことを特徴とする請求項2に記載の表示制御装置。 - 前記識別情報に基づいて前記表示対象の植物に関連付けられる前記表示対象の植物に関する前記表示情報を生成する表示情報生成部
を備え、
前記表示制御部は、
生成された前記表示情報を前記表示対象の画像に関連付けて表示させる
ことを特徴とする請求項1から請求項3のいずれか1項に記載の表示制御装置。 - 前記表示情報生成部は、
前記植物の成長の段階を推定した推定情報に基づいた前記表示情報を生成する
ことを特徴とする請求項4に記載の表示制御装置。 - 前記撮像された時刻を示す時刻情報と、前記撮像された画像の前記画像情報とが対応付けられて前記画像記憶領域に記憶されており、
前記表示制御部は、
前記時刻情報を、前記時刻情報に対応付けられている前記画像情報の画像に関連付けて表示させる
ことを特徴とする請求項4又は請求項5に記載の表示制御装置。 - 前記表示情報を表示する表示部と、
前記表示部に作用する加速度を検出する加速度センサーと、
を備え、
前記表示情報生成部は、
前記検出された加速度に応じて、前記生成する表示情報を変更する
ことを特徴とする請求項4から請求項6のいづれか1項に記載の表示制御装置。 - 前記表示情報生成部は、
前記検出された加速度の大きさに応じて、前記表示情報を表示する領域の大きさを変更する
ことを特徴とする請求項7に記載の表示制御装置。 - 前記表示情報生成部は、
前記検出された加速度の大きさに応じて、前記表示情報の表示を中断させる
ことを特徴とする請求項7又は請求項8に記載の表示制御装置。 - 表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部
を備えることを特徴とする表示制御システム。 - 表示制御部が、表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる過程
を含むことを特徴とする表示制御方法。 - 表示制御装置が備えるコンピュータを、
表示対象の植物を識別する識別情報に関連付けられて記憶領域に記憶されている該植物の育成に関する情報から生成された表示情報を、該表示対象の画像に関連付けて表示させる表示制御部
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011138296A JP2013005724A (ja) | 2011-06-22 | 2011-06-22 | 表示制御装置、表示制御システム、表示制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011138296A JP2013005724A (ja) | 2011-06-22 | 2011-06-22 | 表示制御装置、表示制御システム、表示制御方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013005724A true JP2013005724A (ja) | 2013-01-10 |
Family
ID=47673669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011138296A Withdrawn JP2013005724A (ja) | 2011-06-22 | 2011-06-22 | 表示制御装置、表示制御システム、表示制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013005724A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014135944A (ja) * | 2013-01-18 | 2014-07-28 | Nippon Telegr & Teleph Corp <Ntt> | 剪定サポート方法および情報処理装置 |
JP2018143214A (ja) * | 2017-03-09 | 2018-09-20 | パナソニック株式会社 | 果梗位置推定装置および果梗位置推定方法 |
JP2021065166A (ja) * | 2019-10-24 | 2021-04-30 | 井関農機株式会社 | 植物栽培設備 |
JP7064201B1 (ja) | 2021-09-09 | 2022-05-10 | 国立大学法人山梨大学 | 色判定システム、色判定方法および、色判定プログラム |
JP7473951B2 (ja) | 2020-02-27 | 2024-04-24 | 国立大学法人東海国立大学機構 | 情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム |
-
2011
- 2011-06-22 JP JP2011138296A patent/JP2013005724A/ja not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014135944A (ja) * | 2013-01-18 | 2014-07-28 | Nippon Telegr & Teleph Corp <Ntt> | 剪定サポート方法および情報処理装置 |
JP2018143214A (ja) * | 2017-03-09 | 2018-09-20 | パナソニック株式会社 | 果梗位置推定装置および果梗位置推定方法 |
JP2021065166A (ja) * | 2019-10-24 | 2021-04-30 | 井関農機株式会社 | 植物栽培設備 |
JP7473951B2 (ja) | 2020-02-27 | 2024-04-24 | 国立大学法人東海国立大学機構 | 情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム |
JP7064201B1 (ja) | 2021-09-09 | 2022-05-10 | 国立大学法人山梨大学 | 色判定システム、色判定方法および、色判定プログラム |
JP2023039539A (ja) * | 2021-09-09 | 2023-03-22 | 国立大学法人山梨大学 | 色判定システム、色判定方法および、色判定プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5970751B2 (ja) | 成長度合検出装置、植物栽培プラント、成長度合検出方法、植物栽培方法及びプログラム | |
JP5842444B2 (ja) | 販売処理システム、販売処理方法及びプログラム | |
JP2013005726A (ja) | 情報提供システム、情報提供装置、情報提供方法及びプログラム | |
JP5810494B2 (ja) | 植物栽培システム、植物栽培プラント、収穫装置及び植物栽培方法 | |
JP5699460B2 (ja) | 植物育成モデル生成システム、植物栽培プラント及び植物育成モデル生成方法 | |
US11432470B2 (en) | Information processing apparatus, information processing method, and vegetation management system | |
JP2013150584A (ja) | 受粉装置、植物栽培システム、及び植物栽培プラント | |
JP4009441B2 (ja) | 作物育成評価システム | |
JP2012191903A (ja) | 植物選別装置、ロボット、植物栽培システム、植物選別方法、及びプログラム | |
US11925151B2 (en) | Stereo-spatial-temporal crop condition measurements for plant growth and health optimization | |
US20220156921A1 (en) | Data processing platform for analyzing stereo-spatio-temporal crop condition measurements to support plant growth and health optimization | |
JP2013005724A (ja) | 表示制御装置、表示制御システム、表示制御方法及びプログラム | |
JP2016154510A (ja) | 情報処理装置、生長状況判定方法、およびプログラム | |
JP7137426B2 (ja) | 施設栽培果実の収穫予測システム | |
KR20190106388A (ko) | 생육 레시피를 생성 및 제공하는 식물 재배 시스템 | |
US20210227752A1 (en) | Method and apparatus for identifying and harvesting agricultural products | |
US11555690B2 (en) | Generation of stereo-spatio-temporal crop condition measurements based on human observations and height measurements | |
JP2015133971A (ja) | 植物栽培プラント | |
JP2013158288A (ja) | 受粉補助装置、及びプログラム | |
US11666004B2 (en) | System and method for testing plant genotype and phenotype expressions under varying growing and environmental conditions | |
JP2019193581A (ja) | 植物栽培システム | |
US20220107297A1 (en) | Platform for real-time identification and resolution of spatial production anomalies in agriculture | |
CA3189693A1 (en) | Reduction of time of day variations in plant-related data measurements | |
KR101993761B1 (ko) | 농업 로봇 작물 트래킹 방법 | |
JP2023111391A (ja) | 農業情報処理装置、農業情報処理方法および農業情報処理用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140902 |