JP6357140B2 - 画像判定方法 - Google Patents

画像判定方法 Download PDF

Info

Publication number
JP6357140B2
JP6357140B2 JP2015185843A JP2015185843A JP6357140B2 JP 6357140 B2 JP6357140 B2 JP 6357140B2 JP 2015185843 A JP2015185843 A JP 2015185843A JP 2015185843 A JP2015185843 A JP 2015185843A JP 6357140 B2 JP6357140 B2 JP 6357140B2
Authority
JP
Japan
Prior art keywords
unit
sensor
server
terminal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015185843A
Other languages
English (en)
Other versions
JP2017055745A (ja
Inventor
山口 典男
典男 山口
洋平 坂井
洋平 坂井
崇 戸上
崇 戸上
恭輔 山本
恭輔 山本
康高 小杉
康高 小杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PS Solutions Corp
Original Assignee
PS Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2015185843A priority Critical patent/JP6357140B2/ja
Application filed by PS Solutions Corp filed Critical PS Solutions Corp
Priority to PCT/JP2016/077728 priority patent/WO2017047814A1/ja
Priority to AU2016324766A priority patent/AU2016324766B2/en
Priority to US15/760,561 priority patent/US10262244B2/en
Priority to CN201680054114.1A priority patent/CN108024505B/zh
Priority to EP16846685.2A priority patent/EP3351089B1/en
Priority to NZ74101616A priority patent/NZ741016A/en
Publication of JP2017055745A publication Critical patent/JP2017055745A/ja
Application granted granted Critical
Publication of JP6357140B2 publication Critical patent/JP6357140B2/ja
Priority to HK18116068.3A priority patent/HK1257173A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01GHORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00Botany in general
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Botany (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、撮影画像の画像判定方法に関する。
近年、農作物に生息する害虫や農作物の病害の症状を自動的に検索するシステムとして、農作物名及び症状の入力情報、又は、農作物を生育する圃場の撮影画像情報等に基づいて、病虫害名を検索する病虫害検索システムが知られている。
例えば、特許文献1には、画像撮影ユニットと、画像処理ユニットと、特定の植物の病気の名称及び特定の病気の特徴の画像情報を対応付けて記憶する植物病状データベースとによって構成される植物の病気の識別システムが記載されている。この識別システムでは、まず、画像撮影ユニットが栽培植物の画像情報を取得し、画像処理ユニットが、画像撮影ユニットによって取得された栽培植物画像情報を解析して病気疑い区域の画像情報を取得する。次に、画像処理ユニットは、取得された病気疑い区域の画像情報を、植物病状データベースにおける病気の特徴の画像情報と比較する。そして、画像処理ユニットは、病気疑い区域の画像情報が植物病状データベースにおける病気の特徴の画像情報と一致する場合、病気の識別結果として対応する特定の植物の病気の名称を取得する。
特開2013−111078号公報
しかしながら、従来の画像検索による病虫害の判定システムでは、予め蓄積された病虫害の画像情報のみに基づいて画像分類を行うため、撮影された画像の撮影方向、明度、解像度等の相違に従って分類精度が著しく低下することがあった。
本発明は、このような従来の課題を解決すべくなされたものであり、撮影画像の判定の精度を向上させることが可能となる画像判定方法を提供することを目的とする。
本発明に係る画像判定方法は、記憶部を有し、携帯端末及び圃場に設置されるセンサ端末と通信するサーバによる画像判定方法であって、サーバは、生物の態様のそれぞれに対応した生物画像、及び、当該生物の態様に適した環境情報の範囲を示す発生環境情報を複数記憶部に記憶するステップと、携帯端末から送信された撮影画像を受信するステップと、センサ端末によって測定された環境情報を当該センサ端末から受信するステップと、複数の生物画像のうち、受信した撮影画像に類似する生物画像を検索して、検索された生物画像に対応する生物の態様に関する名称にポイントを付与するステップと、センサ端末から受信した環境情報を含む発生環境情報に対応付けられた、生物の態様に関する名称を抽出し、抽出された名称のポイントに重み付けするステップと、複数のポイントのうち最も高いポイントの名称を判定結果名として撮影画像を送信した携帯端末に送信するステップと、を含む。
また、本発明に係る画像判定方法において、重み付けするステップにおいて、サーバは、携帯端末によって生物の態様が撮影されたときの携帯端末の撮影位置の近傍のセンサ端末から受信した環境情報を含む発生環境情報に対応付けられた、生物の態様に関する名称を抽出することが好ましい。
また、本発明に係る画像判定方法において、サーバが、サーバが、生物の態様が確認された圃場に対応付けて、当該生物の態様に関する名称を記憶部に記憶するステップを更に含み、重み付けするステップにおいて、サーバは、撮影位置の近傍のセンサ端末が設置されている圃場の周辺の他の圃場で確認された生物の態様に関する名称を抽出し、抽出された名称のポイントに更に重み付けすることが好ましい。
本発明に係る画像判定方法は、撮影画像の判定の精度を向上させることを可能とする。
農業管理システム1の概略を説明するための模式図である。 農業管理システム1の概略構成の一例を示す図である。 センサ端末2の概略構成の一例を示す図である。 センサ基地局3の概略構成の一例を示す図である。 携帯端末4の概略構成の一例を示す図である。 サーバ5の概略構成の一例を示す図である。 (a)〜(d)は各種テーブルのデータ構造の一例を示す図である。 農業管理システム1に係る動作シーケンスの一例を示す図である。 農業管理システム1に係る動作シーケンスの一例を示す図である。 農業管理システム1に係る動作シーケンスの一例を示す図である。 農業管理システム1に係る動作シーケンスの一例を示す図である。 警告メール出力処理の一例を示すフローチャートである。 農業管理システム1に係る動作シーケンスの一例を示す図である。 範囲情報修正処理の一例を示すフローチャートである。 農業管理システム1に係る動作シーケンスの一例を示す図である。 範囲情報更新処理の一例を示すフローチャートである。 環境情報履歴D、並びに、評価値及び環境情報を軸とした2次元平面の一例を示す模式図である。 積算土壌温度及び積算日射量を軸とした2次元平面に表示された圃場環境特性曲線を示す模式図である。 農業管理システム1に係る動作シーケンスの一例を示す図である。 撮影画像判定処理の一例を示すフローチャートである。
以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
1.本実施形態の概略
図1は、画像判定システムの概略を説明するための模式図である。画像判定システムは、複数の圃場毎に設置されるセンサ端末2と、複数の圃場のそれぞれを運営する各ユーザが所有する携帯端末4と、携帯端末4と通信するサーバ5と、を有する。
画像判定システムでは、サーバ5は、携帯端末4から送信された撮影画像に類似する生物画像を検索し、検索された生物画像に対応する生物の態様に関する名称を判定結果名として携帯端末4に送信する。生物画像は、植物、動物、及び、昆虫等の生物の画像、並びに、農作物等を含む植物の病害の症状の画像等であり、生物の態様に関する名称は、植物名称、動物名称、昆虫名称等の生物の名称、並びに、病害名等である。害虫の撮影画像又は農作物の病害の症状の撮影画像に対応する害虫名又は病害名を検索し、検索された害虫名又は病害名を判定結果名として携帯端末4に送信する。携帯端末4は、多機能携帯電話(所謂「スマートフォン」)であるが、携帯電話(所謂「フィーチャーフォン」)、携帯情報端末(Personal Digital Assistant, PDA)、携帯ゲーム機、携帯音楽プレーヤ、タブレットPC等であってもよい。以下、害虫の撮影画像又は農作物の病害の症状の撮影画像に対応する害虫名又は病害名を検索し、検索された害虫名又は病害名を判定結果名として携帯端末4に送信する画像判定システムを一例に説明する。なお、害虫又は農作物の病害を、病虫害と称し、害虫名又は病害名を、病虫害名と称する場合がある。
まず、携帯端末4が備える撮影機能によって、当該携帯端末4を所有するユーザが運営する圃場Aに生息する害虫、又は、圃場Aで生育される農作物の病害の症状が撮影される(1)。次に、携帯端末4は、撮影された撮影画像をサーバ5に送信する(2)。
サーバ5は、複数の病虫害のそれぞれに対応した複数の病虫害画像、及び、当該病虫害が発生しやすい環境情報の範囲を示す発生環境情報を記憶する。病虫害が発生しやすい環境情報は、生物の態様に適した環境情報の一例である。病虫害画像は、実際の病虫害を撮影して得られた画像であり、農業専門家等によって判定された病虫害名と関連付けてサーバ5に記憶される。環境情報は、各圃場に設置されたセンサ端末2によって測定された気温、湿度、土壌温度、土壌水分量、日射量、土壌電気伝導度、土壌pH、風向及び風速、飽差、露点温度、水位、水温、及びCO2等、並びに、外部サーバから取得した雨量情報等の環境因子を示すデータである。発生環境情報は、病虫害が発生しやすい環境情報の範囲又は圃場の条件等を示すデータであり、例えば、いもち病の発生環境情報は、気温の範囲が15度〜25度、葉の濡れ時間が8時間以上である。
サーバ5は、携帯端末4から送信された撮影画像を受信する。次に、サーバ5は、記憶された複数の病虫害画像のうち、携帯端末4から受信した撮影画像に類似する病虫害画像を検索して、検索された病虫害画像に基づいて、各病虫害名にポイントを付与する(3)。まず、サーバ5は、SURF(Speeded Up Robust Features)法等を用いて、記憶された病虫害画像毎に、特徴点を抽出し、各特徴点の局所特徴量を算出する。次に、サーバ5は、算出した局所特徴量をフィッシャーベクトル(Fisher Vector)等の特徴ベクトルで表現し、Random Forest等の機械学習を用いて、特徴ベクトルに対する分類モデルを作成する。次に、サーバ5は、携帯端末4から送信された撮影画像の特徴点を抽出し、特徴点の局所特徴量を算出し、算出した局所特徴量を特徴ベクトルで表現する。そして、撮影画像における特徴ベクトル及び分類モデルを用いて、携帯端末4から送信された撮影画像に類似する病虫害画像を検索して、検索され病虫害画像に対応する病虫害名毎に、ポイントを付与する。
なお、分類モデルは、例えば、Random Forestにおける複数の決定木である。また、ポイントは、例えば、Random Forestでは、複数の決定木のそれぞれにおいて決定した、病虫害画像に対応する病虫害名の投票数である。
サーバ5は、センサ端末2によって測定された環境情報を当該センサ端末2から受信する。次に、サーバ5は、センサ端末2から受信した圃場Aの環境情報を特定し、特定された環境情報を含む発生環境情報を判定する。次に、サーバ5は、特定された環境情報を含むと判定された発生環境情報に対応付けられた病虫害名を抽出し、抽出された病虫害名に対応するポイントに重み付けする(4)。
そして、サーバ5は、各病虫害名に対応するポイントのうち最も高いポイントに対応する病虫害名を判定結果名として携帯端末4に送信する。これにより、ユーザは、携帯端末4で撮影した病虫害の撮影画像をサーバ5に送信することにより、病虫害の撮影画像による画像分類に基づく病虫害名であり且つユーザが運営する圃場の環境情報に適合した病虫害名を判定結果名として知ることができる。
上述のとおり、画像判定システムは、予め蓄積された病虫害の画像情報だけでなく、圃場の環境情報に基づいて病虫害を検索することができるため、病虫害の撮影画像の判定の精度を向上させることが可能となる。
なお、上述した図1の説明は、本発明の内容への理解を深めるための説明にすぎない。本発明は、具体的には、次に説明する各実施形態において実施され、且つ、本発明の原則を実質的に超えずに、さまざまな変形例によって実施されてもよい。このような変形例はすべて、本発明および本明細書の開示範囲に含まれる。
2.農業管理システム1の構成
図2は、農業管理システム1の概略構成の一例を示す図である。
農業管理システム1は、1又は複数のセンサ端末2と、センサ基地局3と、携帯端末4と、サーバ5とを有する。なお、農業管理システム1は、画像判定システムの一例である。1又は複数のセンサ端末2とセンサ基地局3とは、センサネットワーク7を介して相互に接続される。センサ端末2とサーバ5とは、通信ネットワークを介して相互に接続され、例えば、センサネットワーク7、センサ基地局3、基地局6、バックボーンネットワーク9、ゲートウェイ10、及びインターネット11を介して相互に接続される。なお、農業管理システム1は、センサ端末2の台数に応じて複数のセンサ基地局3を有してもよい。また、携帯端末4と基地局6とは、無線通信ネットワーク8を介して相互に接続される。携帯端末4とサーバ5とは、通信ネットワークを介して相互に接続され、例えば、無線通信ネットワーク8、基地局6、バックボーンネットワーク9、ゲートウェイ10、及びインターネット11を介して相互に接続される。
基地局6は、センサ基地局3とバックボーンネットワーク9との接続、携帯端末4同士の接続、又は、携帯端末4とバックボーンネットワーク9との接続を行う無線機器であり、バックボーンネットワーク9には、複数の基地局6が接続される。
2.1.センサ端末2の構成
図3は、センサ端末2の概略構成の一例を示す図である。
センサ端末2は、測定された環境因子を示す環境情報の取得、環境情報の送信等を行う。そのために、センサ端末2は、センサ端末通信部21と、センサ端末記憶部22と、GPS(Global Positioning System)部23と、センサ接続部24と、センサ部25と、センサ端末処理部26とを備える。
センサ端末通信部21は、主に920MHz帯を感受帯域とするアンテナを含む、通信インターフェース回路を有し、センサ端末2をセンサネットワーク7に接続する。センサ端末通信部21は、特定のチャネルを用いて、センサ基地局3との間で特定小電力無線方式等に基づいて無線通信を行う。なお、センサ端末通信部21の周波数帯域は、上記した周波数帯域に限定されない。センサ端末通信部21は、センサ端末処理部26から供給された環境情報をセンサ基地局3に送信する。
センサ端末記憶部22は、例えば、半導体メモリを有する。センサ端末記憶部22は、センサ端末処理部26での処理に用いられるドライバプログラム、オペレーティングシステムプログラム、データ等を記憶する。例えば、センサ端末記憶部22は、ドライバプログラムとして、センサ端末通信部21を制御する無線通信デバイスドライバプログラム、GPS部23を制御するGPSドライバプログラム、センサ部25を制御するセンサドライバプログラム等を記憶する。また、センサ端末記憶部22は、オペレーティングシステムプログラムとして、特定小電力無線方式等を実行する無線制御プログラム等を記憶する。また、センサ端末記憶部22は、データとして、センサ部25によって測定された環境因子を示す環境情報を記憶する。
GPS部23は、主に1.5GHz帯を感受帯域とするアンテナを含む、GPS回路を有し、不図示のGPS衛星からGPS信号を受信する。GPS部23は、そのGPS信号をデコードし、時刻情報等を取得する。次に、GPS部23は、その時刻情報等に基づいてGPS衛星からセンサ端末2までの擬似距離を計算し、その擬似距離を代入して得られる連立方程式を解くことにより、センサ端末2が存在する位置(緯度、経度、高度等)を検出する。そして、GPS部23は、検出した位置を示す位置情報と取得した時刻情報とを関連付けて定期的にセンサ端末処理部26に出力する。
センサ接続部24は、センサ部25と接続するセンサ端子を含み、1又は複数の種類の環境因子を測定するためのセンサ部25と接続する。
センサ部25は、気温、湿度、土壌温度、土壌水分量、日射量、土壌電気伝導度、土壌pH、風向及び風速、飽差、露点温度、水位、水温、及びCO2等の環境因子を測定するための各種センサを含む。例えば、センサ部25は、気温を測定するための気温センサ、湿度を測定するための湿度センサ、土壌温度を測定するための土壌温度センサ、土壌水分量を測定するための土壌水分センサ、日射量を測定するための日射センサ、土壌電気伝導度を測定するための土壌EC(Electrical Conductivity)センサ、土壌pHを測定するための土壌pHセンサ、風向センサ及び風速センサ、露点温度センサ、水位センサ、水温センサ、及びCO2センサ等の少なくとも何れか1つを含む。
センサ端末処理部26は、一又は複数個のプロセッサ及びその周辺回路を有する。センサ端末処理部26は、センサ端末2の全体的な動作を統括的に制御するものであり、例えば、CPU(Central Processing Unit)である。センサ端末処理部26は、センサ端末2の各種処理がセンサ端末記憶部22に記憶されているプログラム等に応じて適切な手順で実行されるように、センサ端末通信部21、GPS部23、センサ部25等の動作を制御する。センサ端末処理部26は、センサ端末記憶部22に記憶されているプログラム(ドライバプログラム、オペレーティングシステムプログラム等)に基づいて処理を実行する。
センサ端末処理部26は、測定情報取得部261と、測定情報送信部262とを有する。センサ端末処理部26が有するこれらの各部は、センサ端末処理部26が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、センサ端末処理部26が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとしてセンサ端末2に実装されてもよい。
2.2.センサ基地局3の構成
図4は、センサ基地局3の概略構成の一例を示す図である。
センサ基地局3は、センサ端末2からの環境情報の受信、測定された環境因子を示す環境情報の取得、環境情報の送信等を行う。そのために、センサ基地局3は、第1基地局通信部31と、第2基地局通信部32と、基地局記憶部33と、GPS部34と、センサ接続部35と、センサ部36と、基地局処理部37とを備える。
第1基地局通信部31は、主に920MHz帯を感受帯域とするアンテナを含む、通信インターフェース回路を有し、センサ基地局3をセンサネットワーク7に接続する。第1基地局通信部31は、特定のチャネルを用いて、センサ端末2との間で特定小電力無線方式等に基づいて無線通信を行う。なお、第1基地局通信部31の周波数帯域は、上記した周波数帯域に限定されない。第1基地局通信部31は、センサ端末2から送信された環境情報を受信し、受信した環境情報を基地局処理部37に供給する。
第2基地局通信部32は、主に2.4GHz帯、5GHz帯等を感受帯域とするアンテナを含む、通信インターフェース回路を有し、図示しない無線LAN(Local Area Network)の基地局6との間でIEEE(The Institute of Electrical and Electronics Engineers, Inc.)802.11規格の無線通信方式に基づいて無線通信を行う。また、第2基地局通信部32の周波数帯域は、上記した周波数帯域に限定されない。そして、第2基地局通信部32は、基地局処理部37から供給された環境情報を基地局6に送信する。
基地局記憶部33は、例えば、半導体メモリを有する。基地局記憶部33は、基地局処理部37での処理に用いられるドライバプログラム、オペレーティングシステムプログラム、データ等を記憶する。例えば、基地局記憶部33は、ドライバプログラムとして、第1基地局通信部31を制御する無線通信デバイスドライバプログラム、第2基地局通信部32を制御する無線LAN通信デバイスドライバプログラム、GPS部34を制御するGPSドライバプログラム、センサ部25を制御するセンサドライバプログラム等を記憶する。また、基地局記憶部33は、オペレーティングシステムプログラムとして、特定小電力無線方式等を実行する無線制御プログラム、IEEE802.11規格の無線通信方式を実行する接続制御プログラム等を記憶する。また、基地局記憶部33は、データとして、センサ部36によって測定された環境因子を締める環境情報及びセンサ端末2から受信した環境情報を記憶する。
GPS部34は、主に1.5GHz帯を感受帯域とするアンテナを含む、GPS回路を有し、不図示のGPS衛星からGPS信号を受信する。GPS部34は、そのGPS信号をデコードし、時刻情報等を取得する。次に、GPS部34は、その時刻情報等に基づいてGPS衛星からセンサ基地局3までの擬似距離を計算し、その擬似距離を代入して得られる連立方程式を解くことにより、センサ基地局3が存在する位置(緯度、経度、高度等)を検出する。そして、GPS部34は、検出した位置を示す位置情報と取得した時刻情報とを関連付けて定期的に基地局処理部37に出力する。
センサ接続部35は、センサ部36と接続するセンサ端子を含み、1又は複数の種類の環境因子を測定するためのセンサ部36と接続する。
センサ部36は、気温、湿度、土壌温度、土壌水分量、日射量、土壌電気伝導度、土壌pH、風向及び風速、飽差、露点温度、水位、水温、及びCO2等の環境因子を測定するための各種センサを含む。例えば、センサ部36は、気温を測定するための気温センサ、湿度を測定するための湿度センサ、土壌温度を測定するための土壌温度センサ、土壌水分量を測定するための土壌水分センサ、日射量を測定するための日射センサ、土壌電気伝導度を測定するための土壌EC(Electrical Conductivity)センサ、土壌pHを測定するための土壌pHセンサ、風向センサ及び風速センサ、露点温度センサ、水位センサ、水温センサ、及びCO2センサ等の少なくとも何れか1つを含む。
基地局処理部37は、一又は複数個のプロセッサ及びその周辺回路を有する。基地局処理部37は、センサ基地局3の全体的な動作を統括的に制御するものであり、例えば、CPU(Central Processing Unit)である。基地局処理部37は、センサ基地局3の各種処理が基地局記憶部33に記憶されているプログラム等に応じて適切な手順で実行されるように、第1基地局通信部31、第2基地局通信部32、GPS部34、センサ部36等の動作を制御する。基地局処理部37は、基地局記憶部33に記憶されているプログラム(ドライバプログラム、オペレーティングシステムプログラム等)に基づいて処理を実行する。
基地局処理部37は、測定情報取得部371と、環境情報受信部372と、環境情報送信部373とを有する。基地局処理部37が有するこれらの各部は、基地局処理部37が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、基地局処理部37が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとしてセンサ基地局3に実装されてもよい。
2.3.携帯端末4の構成
図5は、携帯端末4の概略構成の一例を示す図である。
携帯端末4は、ユーザ情報の送信、圃場の環境情報の履歴及び範囲情報の受信、環境情報の履歴及び範囲情報の表示等を行う。そのために、携帯端末4は、第1無線通信部41と、第2無線通信部42と、端末記憶部43と、操作部44と、表示部45と、撮影部46と、端末処理部47とを備える。
第1無線通信部41は、主に2.1GHz帯を感受帯域とするアンテナを含む、通信インターフェース回路を有し、携帯端末4を通信ネットワーク(図示せず)に接続する。第1無線通信部41は、基地局6により割り当てられるチャネルを介して、基地局6との間でCDMA(Code Division Multiple Access)方式等による無線信号回線を確立し、基地局6との間で通信を行う。なお、基地局6との間の通信方式は、CDMA方式に限定されず、W−CDMA(Wideband Code Division Multiple Access)方式、LTE(Long Term Evolution)方式等の他の通信方式でもよく、今後使用される通信方式でもよい。また、基地局6との間の通信方式は、PHS(Personal Handy-phone System)等の他の通信方式でもよい。また、第1無線通信部41の周波数帯域は、上記した周波数帯域に限定されない。第1無線通信部41は、基地局6から受信したデータを端末処理部47に供給し、端末処理部47から供給されたデータを基地局6に送信する。
第2無線通信部42は、主に2.4GHz帯、5GHz帯等を感受帯域とするアンテナを含む、通信インターフェース回路を有し、図示しない無線LAN(Local Area Network)のアクセスポイントとの間でIEEE(The Institute of Electrical and Electronics Engineers, Inc.)802.11規格の無線通信方式に基づいて無線通信を行う。また、第2無線通信部42の周波数帯域は、上記した周波数帯域に限定されない。そして、第2無線通信部42は、基地局6から受信したデータを端末処理部47に供給し、端末処理部47から供給されたデータを基地局6に送信する。
端末記憶部43は、例えば、半導体メモリを有する。端末記憶部43は、端末処理部47での処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、端末記憶部43は、ドライバプログラムとして、第1無線通信部41を制御する携帯電話通信デバイスドライバプログラム、第2無線通信部42を制御する無線LAN通信デバイスドライバプログラム、操作部44を制御する入力デバイスドライバプログラム、表示部45を制御する出力デバイスドライバプログラム等を記憶する。また、端末記憶部43は、オペレーティングシステムプログラムとして、IEEE802.11規格の無線通信方式を実行する接続制御プログラム、携帯電話の接続制御プログラム等を記憶する。また、端末記憶部43は、アプリケーションプログラムとして、ウェブページの取得及び表示を行うウェブブラウザプログラム、電子メールの送信及び受信を行う電子メールプログラム等を記憶する。コンピュータプログラムは、例えばCD−ROM(compact disk read only memory)、DVD−ROM(digital versatile disk read only memory)等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて端末記憶部43にインストールされてもよい。
操作部44は、携帯端末4の操作が可能であればどのようなデバイスでもよく、例えば、タッチパネル式の入力装置、キーパッド等である。所有者は、このデバイスを用いて、文字、数字等を入力することができる。操作部44は、所有者により操作されると、その操作に対応する信号を発生する。発生した信号は、所有者の指示として、端末処理部47に入力される。
表示部45は、動画像、静止画像等の出力が可能であればどのようなデバイスでもよく、例えば、タッチパネル式の表示装置、液晶ディスプレイ、有機EL(Electro−Luminescence)ディスプレイ等である。表示部45は、端末処理部47から供給される動画像データに応じた動画像、静止画像データに応じた静止画像等を表示する。
撮影部46は、結像光学系、撮像素子及び画像処理部等を有する。結像光学系は、例えば光学レンズであり、被写体からの光束を撮像素子の撮像面上に結像させる。撮像素子は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等であり、撮像面上に結像した被写体像の画像信号を出力する。画像処理部は、撮像素子によって生成された画像信号から所定のファイル形式の画像データを作成して出力する。
端末処理部47は、一又は複数個のプロセッサ及びその周辺回路を有する。端末処理部47は、携帯端末4の全体的な動作を統括的に制御するものであり、例えば、CPU(Central Processing Unit)である。端末処理部47は、携帯端末4の各種処理が端末記憶部43に記憶されているプログラム及び操作部44の操作からの出力等に応じて適切な手順で実行されるように、第1無線通信部41、第2無線通信部42、表示部45等の動作を制御する。端末処理部47は、端末記憶部43に記憶されているプログラム(ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。また、端末処理部47は、複数のプログラム(アプリケーションプログラム等)を並列に実行することができる。
端末処理部47は、閲覧実行部471と、取得部472と、端末送信部473とを有する。端末処理部47が有するこれらの各部は、端末処理部47が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、端末処理部47が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとして携帯端末4に実装されてもよい。
2.4.サーバ5の構成
図6は、サーバ5の概略構成の一例を示す図である。また、図7(a)〜(d)は、サーバ記憶部52が記憶する各種テーブルのデータ構造の一例を示す図である。
サーバ5は、センサ端末2又はセンサ基地局3から環境情報を受信すると、環境情報を蓄積及び管理し、携帯端末4に、環境情報及び環境情報の範囲情報等を送信する。また、サーバ5は、携帯端末4によって送信された病虫害の撮影画像を受信すると、撮影画像に対応する病虫害名を検索し、検索された病虫害名を判定結果名として携帯端末4に送信する。そのために、サーバ5は、サーバ通信部51と、サーバ記憶部52と、サーバ処理部53とを備える。
サーバ通信部51は、サーバ5をインターネット11に接続するための通信インターフェース回路を有する。サーバ通信部51は、センサ端末2又はセンサ基地局3から送信されたデータ、及び、携帯端末4から送信されたデータを受信し、受信された各データをサーバ処理部53に供給する。
サーバ記憶部52は、例えば、半導体メモリ、磁気ディスク装置、及び光ディスク装置の内の少なくとも一つを有する。サーバ記憶部52は、サーバ処理部53による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、サーバ記憶部52は、ドライバプログラムとして、サーバ通信部51を制御する通信デバイスドライバプログラム等を記憶する。コンピュータプログラムは、例えばCD−ROM、DVD−ROM等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いてサーバ記憶部52にインストールされてもよい。
また、サーバ記憶部52は、データとして、図7(a)に示すユーザ管理テーブル、図7(b)に示すセンサ管理テーブル、図7(c)に示す範囲管理テーブル、図7(d)に示す評価履歴テーブル、画面表示に係る様々な画像データ等を記憶する。さらに、サーバ記憶部52は、所定の処理に係る一時的なデータを一時的に記憶してもよい。
図7(a)は、ユーザを管理するユーザ管理テーブルを示す。ユーザ管理テーブルには、各ユーザについて、当該ユーザの識別番号(ユーザID)、ユーザの名前、ユーザのメールアドレス、センサ端末2及びセンサ基地局3の識別番号(センサID)等の情報が関連付けて記憶される。センサ端末IDは、ユーザが所有するセンサ端末2の識別番号である。
図7(b)は、センサ端末2及びセンサ基地局3を管理するセンサ管理テーブルを示す。センサ管理テーブルには、各センサ端末2及びセンサ基地局3について、当該センサ端末2及びセンサ基地局3の識別番号(センサID)、センサ位置、圃場の識別番号(圃場ID)、農作物の識別番号(農作物ID)、現生育期、下限評価値、レコード毎の環境情報等の情報が関連付けて記憶される。
センサ位置は、各センサ端末2及びセンサ基地局3から送信された、各センサ端末2及びセンサ基地局3のGPS部によって取得された緯度及び経度である。圃場IDは、各センサ端末2及びセンサ基地局3が設置される圃場の識別番号である。農作物IDは、各センサ端末2及びセンサ基地局3が設置される圃場において栽培される農作物の識別番号である。生育期は、各農作物が生育される生育期間を、複数の生育状況毎に分割した複数の期間であり、農作物の種類毎に複数設定される。生育期は、例えば、播種期、育苗期、活着期等である。
現育成期は、各センサ端末2及びセンサ基地局3が設置される圃場において生育される農作物の現在の生育期である。なお、現生育期は、ユーザから送信された生育期更新要求をサーバ5が受信した際に、次の育成期に更新される。下限評価値は、各センサ端末2及びセンサ基地局3が設置される圃場において生育される農作物の成果価値のうち、ユーザが所望する成果価値の下限である。下限評価値は、ユーザによって設定されるが、予め定められた評価値であってもよい。レコード毎の環境情報は、センサ基地局3から所定のサーバ送信周期で送信されたセンサID、環境情報、及び測定時間に基づいて、センサID毎に測定時間に従って順次関連付けられて記憶される。例えば、センサID毎に、最初の測定時間の環境情報が1レコードとして記憶され、各レコードは、測定された順番に、レコード1、レコード2、レコード3、・・・として記憶される。なお、環境情報は、気温、湿度、土壌温度、土壌水分量、日射量、土壌電気伝導度、土壌pH、風向及び風速、飽差、露点温度、水位、水温、及び/又はCO2であるが、他の環境因子を含めてもよく、各環境因子の積算値であってもよい。また、各レコードに含まれる生育期は、環境情報が記憶される時点での現生育期が記憶される。
図7(c)は、環境情報の範囲情報を管理する範囲管理テーブルを示す。範囲管理テーブルには、各農作物について、当該農作物の識別番号(農作物ID)、生育期毎の農作物が収穫されるために必要な環境情報の範囲情報等が関連付けて記憶される。
図7(d)は、過去に生育された農作物の評価値を管理する評価履歴テーブルを示す。評価履歴テーブルには、センサ端末2及びセンサ基地局3毎に、当該センサ端末2及びセンサ基地局3の識別番号(センサID)、当該センサ端末2及びセンサ基地局3が設置された圃場において収穫された農作物の評価履歴等が関連付けて記憶される。評価履歴は、過去に収穫された農作物の育成期間と、当該農作物の成果価値を示す評価値等が含まれる。なお、記憶処理部535が、センサID毎に、評価履歴テーブルに記憶された評価履歴と、センサ管理テーブルに記憶された圃場ID及び農作物IDの何れか一方又は両方とを、相互に対応付けてサーバ記憶部52に記憶するようにしてもよい。
図6に戻り、サーバ処理部53は、一又は複数個のプロセッサ及びその周辺回路を有する。サーバ処理部53は、サーバ5の全体的な動作を統括的に制御するものであり、例えば、CPUである。サーバ処理部53は、サーバ5の各種処理がサーバ記憶部52に記憶されているプログラム等に応じて適切な手順で実行されるように、サーバ通信部51等の動作を制御する。サーバ処理部53は、サーバ記憶部52に記憶されているプログラム(ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。また、サーバ処理部53は、複数のプログラム(アプリケーションプログラム等)を並列に実行できる。
サーバ処理部53は、サーバ受信部531と、登録部532と、画面作成部533、サーバ送信部534と、記憶処理部535と、警告部536、修正部537、特定部538、画像判定部539とを有する。サーバ処理部53が有するこれらの各部は、サーバ処理部53が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、サーバ処理部53が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとしてサーバ5に実装されてもよい。
3.農業管理システム1の動作シーケンス
図8は、農業管理システム1に係る動作シーケンスの一例を示す図である。図8に示す動作シーケンスは、携帯端末4とサーバ5との間のユーザ情報登録処理の一例である。
以下に説明する動作シーケンスは、予め端末記憶部43及びサーバ記憶部52に記憶されているプログラムに基づいて、主に端末処理部47及びサーバ処理部53により、携帯端末4及びサーバ5の各要素と協働して実行される。
最初に、携帯端末4の閲覧実行部471は、ユーザが操作部44を用いて入力したユーザ情報を、ユーザ情報の登録要求とともに第2無線通信部42を介してサーバ5に送信する(ステップS101)。次に、サーバ5のサーバ受信部531は、携帯端末4から送信されたユーザ情報を、サーバ通信部51を介して受信する。ユーザ情報には、ユーザの名前、ユーザのメールアドレス、ユーザが所有するセンサ端末2及びセンサ基地局のセンサID、センサIDに対応する圃場ID、農作物ID,現生育期、下限評価値、生育期毎の農作物が収穫されるために必要な環境情報の範囲情報等が含まれる。なお、圃場IDは、ユーザが操作部44を用いて入力した圃場名に基づいて、一意のIDをサーバ5が付与してもよい。また、農作物IDは、ユーザが操作部44を用いて入力した農作物の種類に基づいて、一意のIDをサーバ5が付与してもよい。
次に、登録部532は、サーバ受信部531が受信したユーザ情報を、サーバ記憶部52に記録された各種テーブルに登録するユーザ情報登録処理を実行する(ステップS102)。
次に、画面作成部533は、登録部532によって登録されたユーザ情報を含む管理画面表示データを作成する。次にサーバ送信部534は、画面作成部533によって管理画面表示データが作成されると、作成された管理画面表示データを、サーバ通信部51を介して携帯端末4に送信する(ステップS103)。携帯端末4の閲覧実行部471は、第2無線通信部42を介して受信した管理画面表示データに基づいて、登録されたユーザ情報を含む管理画面(図示せず)を表示する(ステップS104)。
図9は、農業管理システム1に係る動作シーケンスの一例を示す図である。図9に示す動作シーケンスは、センサ端末2とセンサ基地局3とサーバ5との間の環境情報記憶処理の一例である。
以下に説明する動作シーケンスは、予めセンサ端末記憶部22、基地局記憶部33及びサーバ記憶部52に記憶されているプログラムに基づいて、主にセンサ端末処理部26、基地局処理部37及びサーバ処理部53により、センサ端末2、センサ基地局3及びサーバ5の各要素と協働して実行される。
最初に、センサ端末2の測定情報取得部261は、センサ部25が測定した環境因子を示す環境情報を、センサ接続部24を介してセンサ部25から所定の測定周期で取得するとともに、GPS部23から定期的に出力される時刻情報を取得する。次に、測定情報取得部261は、センサ端末2を識別するためのセンサIDに関連付けて、センサ部25から取得した環境情報と、GPS部23から取得した時刻情報とをセンサ端末記憶部22に記憶する。そして、測定情報送信部262は、センサ端末記憶部22に記憶された、センサID、環境情報、及び測定時間を、所定の送信周期でセンサ端末通信部21を介してセンサ基地局3に送信する(ステップS201)。
次に、センサ基地局3の測定情報取得部371は、センサ部36が測定した環境因子を示す環境情報を、センサ接続部35を介してセンサ部36から所定の測定周期で取得するとともに、GPS部34から定期的に出力される時刻情報を取得する。次に、測定情報取得部371は、センサ基地局3を識別するためのセンサIDに関連付けて、センサ部36から取得した環境情報と、GPS部34から取得した時刻情報とを基地局記憶部33に記憶する。次に、環境情報受信部372は、センサ端末2から所定の送信周期で送信された、センサID、環境情報、及び測定時間を、第1基地局通信部31を介して受信する。次に、環境情報受信部372は、受信したセンサID、環境情報、及び測定時間を基地局記憶部33に記憶する。そして、環境情報送信部373は、基地局記憶部33に記憶された、センサID、環境情報、及び測定時間を、所定のサーバ送信周期で第2基地局通信部32を介してサーバ5に送信する(ステップS202)。
次に、サーバ5のサーバ受信部531は、センサ基地局3から所定のサーバ送信周期で送信された、センサID、環境情報、及び測定時間を、サーバ通信部51を介して受信する。そして、記憶処理部535は、受信した測定時間及び環境情報を、同時に受信したセンサIDに関連付けて、サーバ記憶部52のセンサ管理テーブルに1レコードずつ順次記憶する(ステップS203)。
図10は、農業管理システム1に係る動作シーケンスの一例を示す図である。図10に示す動作シーケンスは、携帯端末4とサーバ5との間の範囲情報登録処理の一例である。
以下に説明する動作シーケンスは、予め端末記憶部43及びサーバ記憶部52に記憶されているプログラムに基づいて、主に端末処理部47及びサーバ処理部53により、携帯端末4及びサーバ5の各要素と協働して実行される。
最初に、携帯端末4の閲覧実行部471は、ユーザが操作部44を用いて入力した農作物を識別する農作物IDと各評価値の農作物が収穫されるために必要な環境情報の範囲情報とを、環境情報の範囲情報の登録要求とともに第2無線通信部42を介してサーバ5に送信する(ステップS301)。以下、各評価値の農作物が収穫されるために必要な環境情報の範囲情報を、各評価値に対応する環境情報の範囲情報と称する場合がある。
次に、サーバ5のサーバ受信部531は、携帯端末4から送信された農作物IDと各評価値に対応する環境情報の範囲情報とを、サーバ通信部51を介して受信する。そして、登録部532は、農作物IDに、各評価値に対応する環境情報の範囲情報を関連付けてサーバ記憶部52の範囲管理テーブルに記録する(ステップS302)。
次に、画面作成部533は、登録部532の範囲管理テーブルによって記録された、農作物IDによって示される農作物と、当該農作物に対応し且つ各評価値に対応する環境情報の範囲情報を含む管理画面表示データを作成する。そして、サーバ送信部534は、画面作成部533によって管理画面表示データが作成されると、作成された管理画面表示データを、サーバ通信部51を介して携帯端末4に送信する(ステップS303)。
携帯端末4の閲覧実行部471は、第2無線通信部42を介して受信した管理画面表示データに基づいて、登録された環境情報の範囲情報を含む管理画面(図示せず)を表示する(ステップS304)。
図11は、農業管理システム1に係る動作シーケンスの一例を示す図である。図11に示す動作シーケンスは、携帯端末4とサーバ5との間の警告メール出力処理の一例である。
以下に説明する動作シーケンスは、予め端末記憶部43及びサーバ記憶部52に記憶されているプログラムに基づいて、主に端末処理部47及びサーバ処理部53により、携帯端末4及びサーバ5の各要素と協働して実行される。
最初に、サーバ5の警告部536及び画面作成部533は、所定の警告周期で警告メール出力処理を実行する(ステップS401)。警告メール出力処理の詳細については後述する。そして、サーバ送信部534は、警告部536及び画面作成部533によって警告メール出力処理が実行されると、警告部536から警告メールを受け取って、警告メールに含まれる送信先アドレスによって示される携帯端末4に、警告メールを送信する(ステップS402)。
図12は、警告部536及び画面作成部533による警告メール出力処理の動作フローの一例を示す図である。図12に示す警告メール出力処理は、図11のステップS401において実行される。
最初に、警告部536は、サーバ記憶部52に記憶されたセンサ管理テーブルを参照して、センサID毎に、最新のレコードの環境情報を所定の警告周期で取得する(ステップS501)。次に、警告部536は、サーバ記憶部52に記憶されたセンサ管理テーブルを参照して、センサID毎に、各センサIDに関連付けられた農作物ID及び下限評価値を抽出する。次に、警告部536は、サーバ記憶部52に記憶された範囲管理テーブルを参照して、抽出された農作物IDに関連付けられた、現在の生育期における下限評価値以上(例えば、下限評価値が4である場合は所定値4及び5)の環境情報の範囲情報を取得する(ステップS502)。なお、下限評価値は、所定の評価値の一例である。
次に、警告部536は、センサID毎に、最新のレコードの環境情報が、各センサIDに関連付けられた農作物IDに対応する下限評価値以上の環境情報の範囲情報内であるか否かを判定する(ステップS503)。次に、警告部536が、各センサIDの最新のレコードの環境情報が、各センサIDに関連付けられた農作物IDに対応する下限評価値の環境情報の範囲情報内であると判定した場合(ステップS503−Yes)、後述するステップS506に処理を進める。
一方、警告部536が各センサIDの最新のレコードの環境情報が、各センサIDに関連付けられた農作物IDに対応する下限評価値の環境情報の範囲情報内でないと判定した場合(ステップS503−No)、警告部536は、下限評価値の農作物が収穫されるために必要な環境を示す環境適合情報を作成する。環境適合情報は、最新のレコードの環境情報と下限評価値以上の環境情報の範囲情報との差分を示す情報等である。画面作成部533は、警告部536によって作成された環境適合情報を含む管理画面表示データを作成する(ステップS504)。
次に、警告部536は、現在の環境情報が環境情報の範囲情報内でないことを示す情報を含む警告メールを作成する(ステップS505)。まず、警告部536は、ユーザ管理テーブルを参照し、下限評価値の環境情報の範囲情報内でないと判定された最新のレコードの環境情報に対応するセンサIDに関連付けられたユーザIDを特定し、特定されたユーザIDに関連付けられたメールアドレスを取得する。次に、警告部536は、取得したメールアドレスが送信先として設定され、且つ、現在の環境情報が環境情報の範囲情報内でないことを示す情報が本文として設定された警告メールを作成する。そして、警告部536は、作成した警告メールをサーバ送信部534に渡す。なお、警告部536は、警告メールに、環境適合情報を含む管理画面表示データの格納場所を示すURL(Uniform Resource Locator)を含めてもよい。これにより、警告メールを受け取ったユーザは、携帯端末4に環境適合情報を含む管理画面を表示することができる。
次に、警告部536は、警告メールを作成すると、センサ管理テーブルに記憶された全てのセンサIDに対して、ステップS503〜S504の処理を実行したか否かを判定する(ステップS506)。次に、警告部536は、全てのセンサIDに対して、ステップS503〜S504の処理を実行していないと判定した場合(ステップS506−No)、ステップS503に処理を戻す。そして、警告部536は、全てのセンサIDに対して、ステップS503〜S504の処理を実行したと判定した場合(ステップS506−Yes)、一連のステップを終了する。
図13は、農業管理システム1に係る動作シーケンスの一例を示す図である。図13に示す動作シーケンスは、携帯端末4とサーバ5との間の範囲情報修正処理の一例である。
以下に説明する動作シーケンスは、予め端末記憶部43及びサーバ記憶部52に記憶されているプログラムに基づいて、主に端末処理部47及びサーバ処理部53により、携帯端末4及びサーバ5の各要素と協働して実行される。
最初に、携帯端末4の閲覧実行部471は、ユーザが操作部44を用いて、各農作物の生育期間の内のいずれかの生育期が終了したことを入力すると、携帯端末4を所有するユーザのユーザID及びセンサIDを含む生育期更新要求を、第2無線通信部42を介してサーバ5に送信する(ステップS601)。以降、終了した生育期を、現在の生育期と称し、生育期更新要求によって更新する生育期を次の生育期と称する。センサIDは、生育期が終了した農作物を生育している圃場に設置されたセンサ端末2及びセンサ基地局3のセンサIDである。
次に、サーバ5のサーバ受信部531が、携帯端末4から送信された生育期更新要求をサーバ通信部51を介して受信すると、修正部537及び画面作成部533は、範囲情報修正処理を実行する(ステップS602)。範囲情報修正処理の詳細については後述する。
そして、サーバ送信部534は、修正部537及び画面作成部533によって範囲情報修正処理が実行されると、画面作成部533から管理画面表示データを受け取って、携帯端末4に、管理画面表示データを送信する(ステップS603)。
図14は、修正部537及び画面作成部533による範囲情報修正処理の動作フローの一例を示す図である。図14に示す範囲情報修正処理は、図13のステップS602において実行される。
最初に、修正部537は、センサ管理テーブルを参照して、サーバ受信部531によって受信された生育期更新要求に含まれるセンサIDに関連付けられた各レコードの環境情報の内、現在の生育期におけるレコードの環境情報を取得する(ステップS701)。次に、修正部537は、センサ管理テーブルを参照して、生育期更新要求に含まれるセンサIDに関連付けられた農作物ID及び下限評価値を抽出し、範囲管理テーブルを参照して、抽出された農作物IDに関連付けられた現在の生育期における下限評価値以上の環境情報の範囲情報を取得する(ステップS702)。以下、抽出された農作物IDに関連付けられた現在の生育期における下限評価値以上の環境情報の範囲情報を、目標範囲情報と称する場合がある。
次に、修正部537は、現在の生育期におけるレコードの環境情報の平均値が、目標範囲情報内であったか否かを判定する(ステップS703)。なお、修正部537は、目標範囲情報内に含まれる環境情報のレコード数が、所定数以上の場合、現在の生育期におけるレコードの環境情報が目標範囲情報内であったと判定してもよい。
次に、修正部537は、現在の生育期におけるレコードの環境情報の平均値が、目標範囲情報内である場合(ステップ703−Yes)、ステップS706に処理を進める。次に、修正部537は、現在の生育期におけるレコードの環境情報の平均値が、目標範囲情報内でない場合(ステップ703−No)、ステップS702で抽出された下限評価値よりも低い評価値を抽出し、生育期更新要求に含まれるセンサIDに関連付けられた下限評価値として抽出された評価値をセンサ管理テーブルに記憶する(ステップS704)。なお、下限評価値及び下限評価値よりも低い評価値は、所定の評価値及び第2の評価値の一例である。なお、第2の評価値は、下限評価値よりも低い評価値に限られない。例えば、修正部537は、ステップS702において取得された下限評価値以上の環境情報の範囲情報に、現在の生育期におけるレコードの環境情報の平均値が含まれるか否かを判定する。そして、修正部537は、現在の生育期におけるレコードの環境情報の平均値が、下限評価値以上の環境情報の範囲情報内である場合、この下限評価値以上の環境情報に対応する評価値を、第2の評価値とする。このように、環境情報に応じて、所定の評価値とは異なる第2の評価値を抽出し、評価値をセンサ管理テーブルに記憶する。
次に、修正部537は、ステップS702で抽出された抽出された農作物IDに関連付けられた次の生育期における第2の評価値の環境情報の範囲情報を取得して、画面作成部533は、抽出した環境情報の範囲情報を含む管理画面を表示するための管理画面表示データを作成する(ステップS705)。そして、画面作成部533は、作成された管理画面表示データを、サーバ送信部534に渡して、一連のステップを終了する。なお、警告部536は、下限評価値よりも低い評価値を用いて、上述の警告メール出力処理を実施する。
図15は、農業管理システム1に係る動作シーケンスの一例を示す図である。図15に示す動作シーケンスは、携帯端末4とサーバ5との間の範囲情報更新処理の一例である。
以下に説明する動作シーケンスは、予め端末記憶部43及びサーバ記憶部52に記憶されているプログラムに基づいて、主に端末処理部47及びサーバ処理部53により、携帯端末4及びサーバ5の各要素と協働して実行される。
最初に、ユーザは、各農作物の生育期間が終了して各農作物が収穫された場合に、操作部44を用いて、収穫された各農作物が生育された圃場に設置されたセンサ端末2及びセンサ基地局3のセンサIDと収穫された農作物の農作物ID、評価値及び生育期間を入力する。次に、携帯端末4の取得部472は、入力されたセンサIDと、農作物ID、評価値及び生育期間とを取得する。そして、端末送信部473は、携帯端末4を所有するユーザのユーザID、並びに、取得部472によって取得されたセンサID、農作物ID、評価値及び生育期間を含む収穫データを、第2無線通信部42を介してサーバ5に送信する(ステップS801)。
次に、サーバ5のサーバ受信部531が、携帯端末4から送信された収穫データをサーバ通信部51を介して受信すると、特定部538及び画面作成部533は、範囲情報更新処理を実行する(ステップS802)。範囲情報更新処理の詳細については後述する。
そして、サーバ送信部534は、特定部538及び画面作成部533によって範囲情報更新処理が実行されると、画面作成部533から管理画面表示データを受け取って、携帯端末4に、管理画面表示データを送信する(ステップS803)。
図16は、特定部538及び画面作成部533による範囲情報更新処理の動作フローの一例を示す図である。図16に示す範囲情報更新処理は、図15のステップS802において実行される。
最初に、特定部538は、センサ管理テーブルを参照して、サーバ受信部531によって受信された収穫データに含まれるセンサID且つ農作物IDに関連付けられた全てのレコードの環境情報の内、各レコードに含まれる生育期毎に環境情報を取得する(ステップS901)。なお、ステップS901において取得される環境情報は、サーバ受信部531によって受信された収穫データに含まれるセンサIDに関するものであるが、この限りではない。例えば、特定部538は、サーバ記憶部52に記憶された全てのセンサIDに関連付けられた全レコードの環境情報であって、農作物IDに関連付けられた環境情報を取得してもよい。また、特定部538は、各圃場の緯度経度、標高、気候条件、土壌の種類等に基づいて、各圃場を複数のグループに分類し、サーバ受信部531によって受信された収穫データに含まれるセンサIDに対応する圃場と同じグループに分類された圃場に対応するセンサIDに関連付けられた全レコードの環境情報であって、農作物IDに関連付けられた環境情報を取得してもよい。
次に、特定部538は、サーバ受信部531が受信した収穫データに含まれるセンサIDと農作物の評価値及び生育期間とを取得し、取得したセンサIDに関連付けて、取得した農作物の評価値及び生育期間を評価履歴テーブルに記憶する更新処理を行い、次に、更新処理後の評価履歴テーブルを参照して、サーバ受信部531によって受信された収穫データに含まれるセンサIDに関連付けられた全ての評価履歴を取得する(ステップS902)。
次に、特定部538は、生育期毎に、ステップS901において取得した全ての環境情報に、当該環境情報の測定時間を含む生育期間に関連付けられた評価値を対応付ける(ステップS903)。以降、評価値と複数の環境情報とが対応付けられたデータセットを、環境情報履歴Dと称する。
次に、特定部538は、複数の環境情報履歴Dの中から、評価値に対する影響が大きい環境情報を選定する(ステップS904)。まず、特定部538は、複数の環境情報履歴Dうちの環境情報を変数として、主成分分析を実行し、第1主成分における各変数の主成分負荷量(因子負荷量)を算出する。そして、特定部538は、主成分負荷量が所定の値よりも大きい変数(環境情報)を選定する。なお、特定部538は、第1主成分の主成分負荷量だけではなく、第2主成分の各主成分負荷量が所定の値よりも大きい変数も選定してもよい。また、第1主成分の寄与率が一定値よりも低い場合は、以降の、ステップS905〜S907を実行せず、範囲情報更新処理を終了してもよい。また、環境情報履歴Dの環境情報の種類が少ない(例えば、環境情報の種類が3種類以下。)場合、ステップS904を実行せずに、ステップS905に処理を進めてもよい。
次に、特定部538は、選定された環境情報履歴Dにおける評価値と環境情報との間に特定の相関関係があるか否か判定する(ステップS905)。以下、評価値と環境情報との間の相関関係について説明する。
図17は、環境情報履歴Dを、評価値及び環境情報を軸とした2次元平面にマッピングした模式図である。図17に示す環境情報は土壌温度の積算値であるが、他の環境因子(気温、日射量等)の積算値であってもよい。一般に、評価値の高い農作物が収穫されるためには、各生育期において、最適な環境情報の範囲内で農作物を生育する必要があることが知られている。例えば、図17に示すとおり、積算土壌温度2,300度前後において、評価値の高い農作物が収穫される。また、積算土壌温度が2,300度から低くなるに従い、評価値の低い農作物が収穫され、且つ、積算土壌温度が2,300度から高くなるに従い、評価値の低い農作物が収穫される。
ここで、積算土壌温度をxi、評価値をyiとし、xi及びyiの平均値をX及びYとすると、相関係数Rxyは、次の式(1)で求められる。なお、nは、環境情報履歴Dのデータ数である。
Figure 0006357140
また、回帰直線は、次の式(2)で求められる。
Figure 0006357140
この場合、a及びbは、それぞれ次の式(3)及び(4)で表される。
Figure 0006357140
Figure 0006357140
また、評価値yの推定値の標準偏差Seは、次の式(5)で表される。
Figure 0006357140
図16に戻り、特定部538は、ステップS905において、評価値と環境情報との間の正の相関関係を示す回帰直線及び負の相関関係を示す回帰直線を算出し、算出された回帰直線に係る相関係数Rxyの絶対値が0.8以上の場合、評価値と環境情報との間に特定の相関関係があると判定する。
次に、特定部538は、評価値と環境情報との間に特定の相関関係がないと判定した場合(ステップS905−No)、ステップS907に処理を進める。
一方、特定部538は、評価値と環境情報との間に特定の相関関係があると判定した場合(ステップS905−Yes)、正の相関関係を示す回帰直線に応じて、各評価値に対応する環境情報の下限値を算出するとともに、負の相関関係を示す回帰直線に応じて、各評価値に対応する環境情報の上限値を算出する。次に、特定部538は、算出した各評価値に対応する下限値及び上限値を、サーバ記憶部52に記憶された範囲管理テーブルの環境情報の範囲情報として更新して記憶する(ステップS906)。
次に、画面作成部533は、範囲管理テーブルの環境情報の範囲情報が更新された通知を含む管理画面を表示するための管理画面表示データを作成する(ステップS907)。そして、画面作成部533は、作成された管理画面表示データを、サーバ送信部534に渡して、一連のステップを終了する。
なお、特定部538は、ステップS904において実行した主成分分析における第1主成分スコアと評価値との間に特定の相関関係があるか否か判定してもよい。まず、特定部538は、複数の環境情報履歴Dうちの環境情報を変数として、主成分分析を実行し、それぞれの変数(環境情報)に対応する第1主成分スコアを算出する。特定部538は、上述した式(1)において、第1主成分スコアをxi、第1主成分スコアに対応する変数(環境情報)と関連対応付けられた評価値をyiとし、xi及びyiの平均値をX及びYとして、相関係数Rxyを算出する。特定部538は、上述した式(2)〜(5)によって、評価値と第1主成分スコアとの間の正の相関関係を示す回帰直線及び負の相関関係を示す回帰直線を算出し、算出された回帰直線に係る相関係数Rxyの絶対値が0.8以上の場合、評価値と第1主成分スコアとの間に特定の相関関係があると判定する。特定部538は、評価値と第1主成分スコアとの間に特定の相関関係があると判定した場合、正の相関関係を示す回帰直線に応じて、各評価値に対応する第1主成分スコアの下限値を算出するとともに、負の相関関係を示す回帰直線に応じて、各評価値に対応する第1主成分スコアの上限値を算出する。次に、特定部538は、算出した各評価値に対応する下限値及び上限値に、主成分分析によって算出された固有ベクトルの逆行列を乗じて、ステップS904で選定された各変数(環境情報)に対応する上限値及び下限値を、サーバ記憶部52に記憶された範囲管理テーブルの各環境情報の範囲情報として更新して記憶する。これにより、収穫された農作物の評価値に影響を与える複数の環境情報に対する範囲情報を算出することが可能となる。
以上説明してきたように、農業管理システム1によって、サーバ5は、各圃場において、過去に収穫した農作物の成果価値及び環境情報の履歴に基づいて、各圃場に適した農作物の管理情報を提供することが可能となる。したがって、サーバ5は、圃場毎の農作物の生育に適した環境を管理することができる。
なお、サーバ5の画面作成部533は、積算土壌温度及び積算日射量を軸とした2次元平面にセンサ管理テーブルに記憶された各レコードの土壌温度及び日射量を積算した値をプロットした圃場環境特性曲線を含む画面を表示するための表示データを作成し、サーバ送信部534が、当該表示データをサーバ通信部51を介して携帯端末4に送信するようにしてもよい。
図18は、積算土壌温度及び積算日射量を軸とした2次元平面に表示された圃場環境特性曲線を示す模式図である。図18では、特定の評価値5の農作物が収穫されたX試験場における圃場環境特性曲線と、特定の農作物を生育しているY町Z圃場における圃場環境特性曲線とが示されている。これにより、現在のY町Z圃場における圃場環境特性曲線とX試験場における圃場環境特性曲線との乖離を視認することができる。
なお、圃場環境特性曲線を用いることにより、現在のY町Z圃場における最適な種及び品種を決定すること、並びに、開花日及び収穫日を多次元的に解析することが可能となる。
図19は、農業管理システム1に係る動作シーケンスの一例を示す図である。図19に示す動作シーケンスは、携帯端末4とサーバ5との間の画像判定処理の一例である。なお、図19に示す動作シーケンスを実行する農業管理システム1は、画像判定方法を実行する画像判定システムの一例である。
以下に説明する動作シーケンスは、予め端末記憶部43及びサーバ記憶部52に記憶されているプログラムに基づいて、主に端末処理部47及びサーバ処理部53により、携帯端末4及びサーバ5の各要素と協働して実行される。なお、サーバ記憶部52は、病虫害毎に、複数の病虫害画像、病虫害名、農作物名、発生部位、発生環境情報等が関連付けて記憶される病虫害画像管理テーブルを記憶する。農作物名は、病虫害が発生した農作物の名称である。なお、各病虫害に関連付けて、複数の病虫害画像が記憶されるが、各病虫害に関連付けて、1の病虫害画像を記憶されてもよい。発生部位は、病虫害が発生した農作物の部位である。発生環境情報は、病虫害が発生しやすい環境情報の範囲又は圃場の条件を示すデータである。また、発生環境情報における環境情報の種類は、1種類でも複数種類でもよい。
最初に、取得部472は、携帯端末4のユーザによる操作部44を用いた操作に応じて撮影部46の撮影により得られた病虫害の撮影画像を取得する(ステップS1001)。なお、撮影された病虫害は、当該携帯端末4を所有するユーザが運営する圃場に生息する害虫、又は、当該圃場で生育する農作物の病害の症状等である。
携帯端末4の端末送信部473は、携帯端末4の撮影部46の撮影により得られた病虫害の撮影画像及び携帯端末4を所有するユーザのユーザIDを含む画像判定要求を、第2無線通信部42を介して、サーバ5に送信する(ステップS1002)。
次に、サーバ5のサーバ受信部531が、携帯端末4から送信された画像判定要求を、サーバ通信部51を介して受信すると、画像判定部539及び画面作成部533は、撮影画像判定処理を実行する(ステップS1003)。撮影画像判定処理の詳細については後述する。
次に、サーバ送信部534は、画像判定部539及び画面作成部533によって撮影画像判定処理が実行されると、画面作成部533から判定結果画面表示データを受け取って、携帯端末4に、判定結果画面表示データを送信する(ステップS1004)。
そして、携帯端末4の閲覧実行部471は、第2無線通信部42を介して受信した判定結果画面表示データに基づいて、判定結果名を含む判定結果画面(図示せず)を表示する(ステップS1005)。
図20は、画像判定部539及び画面作成部533による撮影画像判定処理の動作フローの一例を示す図である。図20に示す撮影画像判定処理は、図19のステップS1003において実行される。
最初に、画像判定部539は、病虫害画像管理テーブルに記憶された複数の病虫害画像を取得し、SURF法等の局所特徴量抽出法を用いて、取得された複数の病虫害画像のそれぞれに対して、複数の特徴点を抽出して、各特徴点の局所特徴量を算出する(ステップS1101)。なお、局所特徴量抽出法として、SURF法に限らず、SIFT(Scale-Invariant Feature Transform)法等が用いられてもよい。なお、局所特徴量抽出法によって算出された局所特徴量は、128次元であるが、それに限らず64次元でも、それ以外の次元数でもよい。
次に、画像判定部539は、複数の病虫害画像のそれぞれに対して算出された複数の局所特徴量に基づいて、各病虫害画像を特徴ベクトルで表現する(ステップS1102)。病虫害画像を特徴ベクトルで表現する処理は、例えば、フィッシャーベクトル(Fisher Vector)等の特徴ベクトル表現方法を用いて実行される。なお、フィッシャーベクトルの要素数は、フィッシャーベクトルにおけるコードブックサイズが10であり且つ局所特徴量の次元数が128次元の場合、(2×128)×10−1=2559である。
次に、画像判定部539は、複数の病虫害画像のそれぞれを表現した特徴ベクトルに基づいて分類モデルを生成する(ステップS1103)。分類モデルは、例えば、Random Forestにおける複数の決定木である。また、分類モデルは、Soft Margin Support Vector Machineにおける学習データを複数の病虫害画像のそれぞれを表現した特徴ベクトルとした場合におけるスラック変数ξを導入した目的関数であってもよい。
次に、画像判定部539は、サーバ受信部531によって受信された画像判定要求に含まれる撮影画像に対して、局所特徴量抽出法を用いて、複数の特徴点を抽出して、各特徴点の局所特徴量を算出する(ステップS1104)。
次に、画像判定部539は、撮影画像に対して算出された複数の局所特徴量に基づいて、撮影画像を特徴ベクトルで表現する(ステップS1105)。
次に、画像判定部539は、生成した分類モデルに基づいて、撮影画像を表現した特徴ベクトルに類似する病虫害名に対応付けてポイントを付与する(ステップS1106)。ポイントは、例えば、Random Forestでは、複数の決定木のそれぞれにおいて決定した、病虫害画像に対応する病虫害名の投票数である。また、ポイントは、Soft Margin Support Vector Machineにおける、スラック変数ξのペナルティとmarginの大きさの按配を制御するパラメータである。
次に、画像判定部539は、病虫害名に対応付けられたポイントの何れかに重み付けする(ステップS1107)。以下、重み付けの処理について説明する。まず、画像判定部539は、ユーザ管理テーブルを参照し、サーバ受信部531によって受信された画像判定要求に含まれるユーザIDに関連付けられたセンサIDを取得する。次に画像判定部539は、センサ管理テーブルを参照し、取得されたセンサIDに関連付けられた所定期間内のレコードの環境情報及び農作物IDを取得する。なお、所定期間は、1年間であるが、当該センサIDに関連付けられた農作物IDに対応する農作物の生育期間であってもよい。次に、画像判定部539は、病虫害画像管理テーブルを参照して、取得された農作物IDに関連付けられた発生環境情報を抽出し、取得された環境情報が、抽出された発生環境情報に含まれるか否か判定する。そして、画像判定部539は、取得された環境情報が、抽出された発生環境情報に含まれると判定した場合は、病虫害画像管理テーブルを参照して、取得された環境情報を含むと判定された発生環境情報に関連付けられた病虫害名を特定し、特定された病虫害名のポイントに重み付けする。例えば、ポイントに重み付けする処理は、ポイントに対して、1.2を乗算する処理等である。
次に、画像判定部539は、各病虫害名に対応付けられたポイントを比較して、最も高いポイントが付与された病虫害名を判定結果名として決定する(ステップS1108)。
そして、画面作成部533は、画像判定部539によって決定された判定結果名を含む判定結果画面表示データを作成し(ステップS1109)、作成された判定結果画面表示データを、サーバ送信部534に渡して、一連のステップを終了する。
以上説明してきたように、画像判定システムによって、サーバ5は、予め蓄積された病虫害の画像情報だけでなく、圃場の環境情報に基づいて病虫害を検索することが可能となる。したがって、サーバ5は、病虫害の撮影画像の判定の精度を向上させることができる。
なお、携帯端末4のユーザによる操作部44を用いた操作に応じて撮影部46の撮影により得られた病虫害の撮影画像は、ユーザによる操作部44を用いた操作に応じて、病虫害の部分のみを切り出した画像であってもよい。携帯端末4が、病虫害の部分のみの画像を含む画像判定要求をサーバ5に送信し、サーバ5が、当該画像によって画像判定処理を行う場合、当該画像は病虫害以外の部分領域が小さくなっているため、画像判定処理の精度を向上させることができる。
また、携帯端末4が、病虫害の撮影画像含む画像判定要求をサーバ5に送る場合、携帯端末4のユーザによる操作部44を用いた操作に応じて入力された農作物名及び病虫害の発生部位等を画像判定要求に含めてもよい。この場合、上述したステップS1101において、病虫害画像管理テーブルから取得する複数の病虫害画像を、画像判定要求に含まれる農作物名及び/又は発生部位に対応する病虫害画像とする。これにより、病虫害が発生した農作物及び/又は発生部位に対応する病虫害画像を判定の対象とすることができ、画像判定処理の精度を向上させることができる。
また、重み付けの処理において、サーバ受信部531によって受信された画像判定要求に含まれるユーザIDをキーにしてユーザ管理テーブルからセンサIDを取得したが、画像判定要求を送信した携帯端末4の位置に基づいてセンサIDを取得してもよい。この場合、携帯端末4は、携帯端末4が存在する位置(緯度、経度、高度等)を検出するGPS部(図示せず)を有する。まず、図19のステップS1001において、携帯端末4の取得部472は、携帯端末4のユーザによる操作部44を用いた操作に応じて撮影部46の撮影により病虫害の撮影画像を取得した際に、GPS部が検出した位置(緯度、経度、高度等)を撮影位置として取得する。次に、図19のステップS1002において、携帯端末4の端末送信部473は、携帯端末4の撮影部46の撮影により得られた病虫害の撮影画像、撮影位置、携帯端末4を所有するユーザのユーザIDを含む画像判定要求を、第2無線通信部42を介して、サーバ5に送信する。そして、図20のステップS1107において、画像判定部539は、センサ管理テーブルを参照し、サーバ受信部531によって受信された撮影位置の近傍のセンサ位置に関連付けられたセンサIDを取得する。これにより、ユーザは、ユーザ自身が運営する圃場以外であっても、画像判定を実施することが可能になる。
また、重み付けの処理において、サーバ5が、画像判定要求を送信した携帯端末4がセンサ端末2から直接取得したセンサIDを、当該携帯端末4から取得するようにしてもよい。この場合、画像判定要求を送信した携帯端末4は、Bluetooth(登録商標)などの端末間の近距離無線通信によって、無線の到達範囲内に位置するセンサ端末2と通信を確立させて、通信が確立されたセンサ端末2からセンサIDを直接取得する。携帯端末4は、図5に示した各部に加えて、さらに近距離無線通信部48を備える。近距離無線通信部48は、Bluetooth(登録商標)等の通信方式に従った近距離無線通信を行うためのインターフェース回路を有する。携帯端末4の取得部472が、近距離無線通信部48を介して通信可能な所定範囲に位置するセンサ端末2を特定し、センサID要求信号をセンサ端末2に送信する。センサ端末2のセンサ端末処理部26は、携帯端末4からセンサID要求信号を受信すると、センサ端末記憶部22に記憶された自己のセンサIDを取得し、取得したセンサIDを、センサID要求信号を送信した携帯端末4に送信する。そして、携帯端末4の端末送信部473は、画像判定要求に受信したセンサIDを更に含めて、サーバ5に送信する。これにより、携帯端末4が備えるGPS等を用いた測位システムの精度が悪い場合であっても、携帯端末4の周辺に位置するセンサ端末2のセンサIDを取得することが可能になる。
また、重み付けの処理において、現在発生している病虫害の情報に基づいて画像判定を行ってもよい。この場合、サーバ5のサーバ受信部531は、圃場を運営する各ユーザから、各圃場において発生が確認されている病虫害名を受信し、サーバ5の取得部472は、病虫害が発生している圃場の圃場IDに対応付けて当該病虫害名を記憶した病虫害発生テーブルをサーバ記憶部52に記憶する。次に、図20のステップS1107において、画像判定部539は、センサ管理テーブルを参照し、サーバ受信部531によって受信された撮影位置の近傍のセンサ位置に関連付けられた圃場IDを取得する。次に、画像判定部539は、病虫害発生テーブルを参照して、圃場IDに対応付けられた病虫害名を取得し、取得した病虫害名のポイントに重み付けする。これにより、ユーザ自身が運営する圃場周辺の圃場において発生した病虫害に基づいて画像判定を実施することが可能になり、病虫害の撮影画像の判定の精度を向上させることができる。
なお、現在発生している病虫害の情報として、外部サーバから取得した発生病虫害データ又は画像判定システムのサーバ管理者によって登録された発生病虫害データを用いてもよい。この場合、サーバ記憶部52は、現在発生が確認されている発生病虫害名と病虫害が発生している位置の発生位置情報とを対応付けて記憶する。また、携帯端末4は、携帯端末4が存在する位置(緯度、経度、高度等)を検出するGPS部(図示せず)を有する。まず、図19のステップS1001において、携帯端末4の取得部472は、携帯端末4のユーザによる操作部44を用いた操作に応じて撮影部46の撮影により病虫害の撮影画像を取得した際に、GPS部が検出した位置(緯度、経度、高度等)を撮影位置として取得する。次に、図19のステップS1002において、携帯端末4の端末送信部473は、携帯端末4の撮影部46の撮影により得られた病虫害の撮影画像、撮影位置、携帯端末4を所有するユーザのユーザIDを含む画像判定要求を、第2無線通信部42を介して、サーバ5に送信する。そして、図20のステップS1107において、画像判定部539は、取得した撮影位置が、サーバ記憶部52に記憶された発生位置情報を中心とした所定範囲内に含まれるか否か判定する。そして、画像判定部539は、撮影位置が所定範囲内に含まれると判定した場合は、発生位置情報に対応する発生病虫害名を特定し、特定された病虫害名のポイントに重み付けする。これにより、ユーザは、全国で現在発生している発生病虫害データに基づいて、画像判定を実施することが可能になる。
また、画像判定システムが実行する画像判定処理は、病虫害以外の動植物の判定に用いられてもよい。動植物は、植物、動物、昆虫等である。この場合、まず、サーバ5は、複数の動植物のそれぞれに対応した複数の動植物画像、及び、当該動植物が発生しやすい環境情報の範囲を示す発生環境情報を記憶する。次に、サーバ5は、携帯端末4から送信された撮影画像を受信する。次に、サーバ5は、記憶された複数の動植物画像のうち、携帯端末4から受信した撮影画像に類似する動植物画像を検索して、検索された動植物画像に基づいて、各動植物名にポイントを付与する。なお、ポイント付与は、画像判定部539によって実行される。次に、サーバ5は、センサ端末2によって測定された環境情報を当該センサ端末2から受信する。次に、サーバ5は、センサ端末2から受信した圃場の環境情報を特定し、特定された環境情報を含む発生環境情報を判定する。次に、サーバ5は、特定された環境情報を含むと判定された発生環境情報に対応付けられた動植物名を抽出し、抽出された動植物名に対応するポイントに重み付けする。なお、サーバ5は、動植物が生息しやすい位置情報を記憶し、当該位置情報と撮影位置に基づいて動植物名に対応するポイントに重み付けしてもよい。そして、サーバ5は、各動植物名に対応するポイントのうち最も高いポイントに対応する動植物名を判定結果名として携帯端末4に送信する。これにより、ユーザは、携帯端末4で撮影した動植物の撮影画像をサーバ5に送信するだけで、動植物の撮影画像による画像分類に基づく動植物名を判定結果名として知ることができる。
当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
1 農業管理システム
2 センサ端末
21 センサ端末通信部
22 センサ端末記憶部
23 GPS部
24 センサ接続部
25 センサ部
26 センサ端末処理部
261 測定情報取得部
262 測定情報送信部
3 センサ基地局
31 第1基地局通信部
32 第2基地局通信部
33 基地局記憶部
34 GPS部
35 センサ接続部
36 センサ部
37 基地局処理部
371 測定情報取得部
372 環境情報受信部
373 環境情報送信部
4 携帯端末
41 第1無線通信部
42 第2無線通信部
43 端末記憶部
44 操作部
45 表示部
46 撮影部
47 端末処理部
471 閲覧実行部
472 取得部
473 端末送信部
5 サーバ
51 サーバ通信部
52 サーバ記憶部
53 サーバ処理部
531 サーバ受信部
532 登録部
533 画面作成部
534 サーバ送信部
535 記憶処理部
536 警告部
537 修正部
538 特定部
539 画像判定部

Claims (3)

  1. 記憶部を有し、携帯端末及び圃場に設置されるセンサ端末と通信するサーバによる画像判定方法であって、前記サーバは、
    複数の動植物のそれぞれについて、各動植物に対応した動植物画像、各動植物が発生しやすい環境情報の範囲を示す発生環境情報、及び、各動植物が発生した農作物に関する情報、関連付けて前記記憶部に記憶するとともに、前記センサ端末に関連付けられた、前記圃場において栽培される農作物に関する情報及び前記センサ端末から受信した環境情報を前記記憶部に記憶するステップと、
    前記携帯端末から送信された撮影画像を受信するステップと、
    前記センサ端末によって測定された前記環境情報を当該センサ端末から受信するステップと、
    複数の前記動植物画像のそれぞれについて、各動植物画像の特徴点の局所特徴量における特徴ベクトルに対する所定の分類モデルを作成するとともに、前記撮影画像の特徴点の局所特徴量における特徴ベクトルを求めるステップと、
    前記複数の動植物のそれぞれの名称に対して、各動植物画像の前記分類モデルと前記撮影画像の前記特徴ベクトルとに基づくポイントを付与するステップと、
    前記センサ端末に関連付けられた前記圃場において栽培される農作物に関する情報を抽出し、抽出された農作物に関する情報に関連付けられた前記発生環境情報を抽出するステップと、
    抽出された前記発生環境情報に、前記センサ端末から受信した前記環境情報が含まれるか否かを判定するステップと、
    抽出された前記発生環境情報に、前記センサ端末から受信した前記環境情報が含まれると判定された場合、当該発生環境情報に対応する動植物の名称を抽出し、抽出された名称の前記ポイントに重み付けするステップと、
    複数の前記ポイントのうち最も高いポイントの名称を判定結果名として前記撮影画像を送信した前記携帯端末に送信するステップと、
    を含むことを特徴とする画像判定方法。
  2. 前記重み付けするステップにおいて、前記サーバは、前記携帯端末によって動植物が撮影されたときの前記携帯端末の撮影位置の近傍のセンサ端末から受信した前記環境情報を含む発生環境情報に対応付けられた、動植物の名称を抽出する、請求項1に記載の画像判定方法。
  3. 前記サーバが、前記動植物が確認された圃場に対応付けて、当該動植物の名称を前記記憶部に記憶するステップを更に含み、
    重み付けするステップにおいて、前記サーバは、前記撮影位置の近傍のセンサ端末が設置されている圃場の周辺の他の圃場で確認された動植物の名称を抽出し、抽出された名称の前記ポイントに更に重み付けする、請求項2に記載の画像判定方法。
JP2015185843A 2015-09-18 2015-09-18 画像判定方法 Active JP6357140B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2015185843A JP6357140B2 (ja) 2015-09-18 2015-09-18 画像判定方法
AU2016324766A AU2016324766B2 (en) 2015-09-18 2016-09-20 Image evaluation method
US15/760,561 US10262244B2 (en) 2015-09-18 2016-09-20 Image evaluation method
CN201680054114.1A CN108024505B (zh) 2015-09-18 2016-09-20 图像判定方法
PCT/JP2016/077728 WO2017047814A1 (ja) 2015-09-18 2016-09-20 画像判定方法
EP16846685.2A EP3351089B1 (en) 2015-09-18 2016-09-20 Image evaluation method
NZ74101616A NZ741016A (en) 2015-09-18 2016-09-20 Image evaluation method
HK18116068.3A HK1257173A1 (zh) 2015-09-18 2018-12-14 圖像評估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015185843A JP6357140B2 (ja) 2015-09-18 2015-09-18 画像判定方法

Publications (2)

Publication Number Publication Date
JP2017055745A JP2017055745A (ja) 2017-03-23
JP6357140B2 true JP6357140B2 (ja) 2018-07-11

Family

ID=58289435

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015185843A Active JP6357140B2 (ja) 2015-09-18 2015-09-18 画像判定方法

Country Status (8)

Country Link
US (1) US10262244B2 (ja)
EP (1) EP3351089B1 (ja)
JP (1) JP6357140B2 (ja)
CN (1) CN108024505B (ja)
AU (1) AU2016324766B2 (ja)
HK (1) HK1257173A1 (ja)
NZ (1) NZ741016A (ja)
WO (1) WO2017047814A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3361448B1 (en) * 2015-10-08 2023-09-06 Sony Group Corporation Information processing device and information processing method
MX2019002645A (es) * 2016-09-08 2019-11-21 Walmart Apollo Llc Sistemas y metodos para identificar plagas en areas que contienen cultivos a traves de vehiculos no tripulados basados en la deteccion de daño de cultivo.
US10635274B2 (en) * 2016-09-21 2020-04-28 Iunu, Inc. Horticultural care tracking, validation and verification
US10791037B2 (en) 2016-09-21 2020-09-29 Iunu, Inc. Reliable transfer of numerous geographically distributed large files to a centralized store
US11538099B2 (en) 2016-09-21 2022-12-27 Iunu, Inc. Online data market for automated plant growth input curve scripts
US11244398B2 (en) 2016-09-21 2022-02-08 Iunu, Inc. Plant provenance and data products from computer object recognition driven tracking
JP6849950B2 (ja) * 2017-04-06 2021-03-31 日本電気株式会社 地上基準点装置およびsar測地システム
US11403833B2 (en) 2017-05-18 2022-08-02 Semiconductor Energy Laboratory Co., Ltd. Image detection module and information management system
JP6307680B1 (ja) * 2017-05-24 2018-04-11 節三 田中 植物の健康診断システム
JOP20190145A1 (ar) * 2017-06-14 2019-06-16 Grow Solutions Tech Llc أنظمة وطرق لتفريع حصاد قرن إنماء
US10088816B1 (en) * 2017-06-26 2018-10-02 International Business Machines Corporation Cognitive plant clinic
CN107742290A (zh) * 2017-10-18 2018-02-27 成都东谷利农农业科技有限公司 植物病害识别预警方法及装置
KR101924393B1 (ko) * 2017-10-30 2018-12-03 주식회사 엑스티엘 이미지 분석을 통한 해충 동정과 정보 모니터링 시스템 및 이를 이용한 모니터링 방법
US11062516B2 (en) 2018-02-07 2021-07-13 Iunu, Inc. Augmented reality based horticultural care tracking
CN108596254B (zh) * 2018-04-25 2021-07-13 福州大学 耦合叶片多表征的刚竹毒蛾危害检测方法
JP2020106890A (ja) * 2018-12-26 2020-07-09 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及びシステム
CN110310291A (zh) * 2019-06-25 2019-10-08 四川省农业科学院农业信息与农村经济研究所 一种稻瘟病分级***及其方法
CN110321868A (zh) * 2019-07-10 2019-10-11 杭州睿琪软件有限公司 对象识别及显示的方法及***
JP2021033924A (ja) * 2019-08-29 2021-03-01 キヤノン株式会社 情報処理システム
JP6974662B2 (ja) * 2019-12-17 2021-12-01 株式会社ミライ菜園 予測装置
CN111078732A (zh) * 2019-12-31 2020-04-28 新疆农业科学院园艺作物研究所 一种扁桃品种鉴定方法
US11720980B2 (en) 2020-03-25 2023-08-08 Iunu, Inc. Crowdsourced informatics for horticultural workflow and exchange
JP7359073B2 (ja) * 2020-04-14 2023-10-11 トヨタ自動車株式会社 情報処理システム、情報処理装置及びプログラム
US11645733B2 (en) 2020-06-16 2023-05-09 Bank Of America Corporation System and method for providing artificial intelligence architectures to people with disabilities
CN112948608B (zh) * 2021-02-01 2023-08-22 北京百度网讯科技有限公司 图片查找方法、装置、电子设备及计算机可读存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6014451A (en) * 1997-10-17 2000-01-11 Pioneer Hi-Bred International, Inc. Remote imaging system for plant diagnosis
US6919959B2 (en) * 1999-06-30 2005-07-19 Masten Opto-Diagnostics Co. Digital spectral identifier-controller and related methods
JP2003004427A (ja) * 2001-06-22 2003-01-08 Hitachi Ltd 画像比較による欠陥検査方法及びその装置
IL150915A0 (en) * 2002-07-25 2003-02-12 Vet Tech Ltd Imaging system and method for body condition evaluation
KR100601957B1 (ko) * 2004-07-07 2006-07-14 삼성전자주식회사 얼굴 인식을 위한 영상간 대응 결정 방법 및 장치, 이를이루기위한 영상 보정 방법 및 장치
JP2007241377A (ja) * 2006-03-06 2007-09-20 Sony Corp 検索システム、撮像装置、データ保存装置、情報処理装置、撮像画像処理方法、情報処理方法、プログラム
WO2010127277A2 (en) * 2009-05-01 2010-11-04 Texas Tech University System Remote contactless stereoscopic mass estimation system
JP2012080790A (ja) * 2010-10-07 2012-04-26 Mega Chips Corp 育成支援システム
US8755570B2 (en) * 2011-04-27 2014-06-17 Steve Gomas Apparatus and method for estimation of livestock weight
JP5714452B2 (ja) * 2011-08-29 2015-05-07 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理方法および情報処理システム
JP5733158B2 (ja) * 2011-11-02 2015-06-10 富士通株式会社 認識支援装置、認識支援方法、およびプログラム
TWI435234B (zh) * 2011-11-24 2014-04-21 Inst Information Industry Plant disease identification method, system and record media
JP2014085114A (ja) * 2012-10-19 2014-05-12 Nikon Corp 物質特定システム、物質特定装置、物質特定方法、およびプログラム
WO2014100502A1 (en) * 2012-12-19 2014-06-26 Alan Shulman Methods and systems for automated micro farming
JP6260824B2 (ja) 2014-04-21 2018-01-17 パナソニックIpマネジメント株式会社 栽培支援方法、栽培支援装置、およびコンピュータプログラム
CN204612755U (zh) * 2015-04-22 2015-09-02 仲恺农业工程学院 基于云计算平台的虫害监测预警***

Also Published As

Publication number Publication date
HK1257173A1 (zh) 2019-10-18
US20180276504A1 (en) 2018-09-27
AU2016324766A1 (en) 2018-04-19
CN108024505A (zh) 2018-05-11
EP3351089A1 (en) 2018-07-25
AU2016324766B2 (en) 2019-06-20
NZ741016A (en) 2019-09-27
EP3351089B1 (en) 2020-04-08
JP2017055745A (ja) 2017-03-23
WO2017047814A1 (ja) 2017-03-23
US10262244B2 (en) 2019-04-16
CN108024505B (zh) 2019-11-22
EP3351089A4 (en) 2019-05-01

Similar Documents

Publication Publication Date Title
JP6357140B2 (ja) 画像判定方法
JP6609142B2 (ja) 農業管理システム、サーバ、農業管理方法、サーバ制御方法、及びサーバプログラム
JP7300796B2 (ja) 生育状況または病害虫発生状況の予測システム、方法およびプログラム
JP6321029B2 (ja) 活動に関連するデータのログを取り、処理するための方法およびシステム
CN111767802B (zh) 一种对象异常状态的检测方法和装置
Zerger et al. Environmental sensor networks for vegetation, animal and soil sciences
KR102200314B1 (ko) 드론을 이용한 농작물 모니터링 시스템
US20080157990A1 (en) Automated location-based information recall
US20160262355A1 (en) Animal movement mapping and movement prediction method and device
JP6035995B2 (ja) 気象情報生成装置、プログラム及び通信システム
CN101790745A (zh) 基于移动的建议***及其方法
US20150187109A1 (en) Obtaining and displaying agricultural data
CN110378303A (zh) 用于对象识别的方法及***
EP3803438B1 (en) Collecting or triggering collecting positioning data for updating and/or generating a positioning map
CN106776675A (zh) 一种基于移动终端的植物识别方法及***
JP2019158635A (ja) 飛行経路生成装置及び飛行経路生成方法
JP6590417B2 (ja) 判別装置、判別方法、判別プログラム、判別システム
KR101481323B1 (ko) 이동 단말로부터 전달되는 식물 영상을 이용한 식물 정보 제공 시스템
CN111563759B (zh) 基于ai技术的农产品溯源过程的识别与分析***
Roslin et al. Smartphone Application Development for Rice Field Management Through Aerial Imagery and Normalised Difference Vegetation Index (NDVI) Analysis.
Reed et al. Predicting winter wheat grain yield using fractional green canopy cover (FGCC)
KR20190130393A (ko) 해양의 유해생물 모니터링 방법 및 그 장치
JP2014026378A (ja) 端末装置、サーバ装置、情報処理システム、情報処理方法、およびプログラム
CN106293053A (zh) 便携型电子装置、传感器控制***、传感器控制方法
Stitt et al. Smartphone LIDAR can measure tree cavity dimensions for wildlife studies

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170313

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170612

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180615

R150 Certificate of patent or registration of utility model

Ref document number: 6357140

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113