JP6887142B2

JP6887142B2 - 圃場画像分析方法

Info

Publication number: JP6887142B2
Application number: JP2020511545A
Authority: JP
Inventors: 千大和氣; 洋柳下; 西片　丈晴; 丈晴西片
Original assignee: Nileworks Inc
Current assignee: Nileworks Inc
Priority date: 2018-10-12
Filing date: 2019-10-15
Publication date: 2021-06-16
Anticipated expiration: 2039-10-15
Also published as: JPWO2020075868A1; WO2020075868A1

Description

本願発明は、圃場の画像、特に、ドローンによって撮影された圃場の画像の、生育状況分析のための処理方法とプログラムに関する。

作物の生育状況分析の重要な分野として、稲や小麦等の作物の生長度を測定するために、葉への窒素吸収量を測定する方法が知られている。窒素吸収量は、作物の収穫量と食味に大きく影響する。窒素吸収量が適正量を超えている場合は、食味低下、環境汚染を招き、適正量を下回っている場合は収量低下を招くため、窒素吸収量を正確かつ効率的に測定できれば得られる価値は大きい。

窒素吸収量により葉の葉緑素（クロロフィルa、クロロフィルb、カロテノイド等）の密度が変化することを利用し、葉の透過光の特性を分析することで、葉緑素の密度を推定して葉への窒素吸収量を推定し、結果的に作物の生長度を測定する方法が知られている（たとえば、特許文献１）。しかし、この方法では、実際に圃場に出向き作物の葉を測定器に読み込ませて測定する必要があることから、特に多数のデータサンプルを得る際の効率が悪いという課題があった（典型的には、一圃場あたり１時間程度の時間を要していた）。

上記の測定の効率性を高めるために、圃場の作物を人工衛星、ドローン、または、上空に設置されたカメラ等から撮影し、特に近赤外線領域のスペクトラムを分析することで、窒素の吸収量を推定する方法も提案されている（たとえば、特許文献２）が、精度の点で課題があった。精度が低い理由としては、水面の画像と作物の画像の混在、透過光と反射光の混在、一次反射光と二次および三次反射光の混在、表面反射と内部反射の混在等があった。

特許公開公報特開２０１１−３８８７９特許公開公報特開２００３−３３９２３８

精度が高い作物の生育分析を可能にする圃場画像分析方法とプログラムを提供する。

本願発明は、ドローンに搭載されたカメラにより撮影した圃場の画像データを取得する取得ステップと、前記カメラによる撮影時の太陽と前記カメラの相対位置もしくは太陽光の状態に応じて前記画像データを補正する補正ステップと、前記補正された画像データに基づいて前記圃場の作物の生育状況を分析する分析ステップとを含む圃場画像分析方法を提供することで上記課題を解決する。

また、本願発明は、前記補正ステップでは、太陽光の照射方向と前記カメラの撮影方向の相対角度に応じて、前記画像データの光量を補正する、段落０００７に記載の圃場画像分析方法を提供することで上記課題を解決する。

また、本願発明は、前記補正ステップでは、前記画像データが前記カメラを太陽に対して順光側に向けて撮影されて取得された順光側画像データか逆光側に向けて撮影されて取得された逆光側画像データかに基づき前記分析ステップでの分析に用いられる画像データの補正量を変更する、段落０００７に記載の圃場画像分析方法を提供することで上記課題を解決する。

また、本願発明は、前記補正ステップでは、前記分析ステップでの分析に用いられる画像データから前記カメラを太陽に対して順光側に向けて撮影されて取得された順光側画像データ、もしくは逆光側に向けて撮影されて取得された逆光側画像データを除外する、段落０００７に記載の圃場画像分析方法を提供することで上記課題を解決する。

前記補正ステップでは、前記画像データが前記順光側画像データか前記逆光側画像データかの判定を、前記画像データが撮影された時の前記ドローンの位置と時刻とに基づいて行なう、段落０００８に記載の圃場画像分析方法を提供することで上記課題を解決する。

また、本願発明は、前記補正ステップでは、太陽から直接前記カメラに入射する直接光の全入射光に占める割合に応じて前記画像データの補正内容を変更する、段落０００７に記載の圃場画像分析方法を提供することで上記課題を解決する。

また、本願発明は、前記補正ステップでは、前記画像データの光量に応じて前記直接光の割合を推定する段落００１２に記載の圃場画像分析方法を提供することで上記課題を解決する。

また、本願発明は、前記補正ステップでは、前記画像データ内の物体の影のコントラストの大きさに基づいて入射光に占める直接光の割合を推定する、段落００１２に記載の圃場画像分析方法を提供することで上記課題を解決する。

また、本願発明は、前記補正ステップでは、天空方向を撮影するカメラの画像に基づいて撮影時に前記カメラに入射する全入射光に占める前記直接光の割合を推定する、段落００１２に記載の圃場画像分析方法を提供することで上記課題を解決する。

また、本願発明は、前記補正ステップでは、圃場画像中の前記ドローンの影の位置に基づいて撮影時の太陽の高度を推定し、推定した太陽の高度に応じて前記画像データを補正する、段落０００７に記載の圃場画像分析方法を提供することで上記課題を解決する。

また、本願発明は、前記補正ステップでは、前記ドローンの影の位置の測定を旋回時に行なう、段落００１６に記載の圃場画像分析方法を提供することで上記課題を解決する。

また、本願発明は、前記画像データの分析結果に基づいて、前記ドローンの薬剤散布の量を調整する薬剤量調整ステップを含む、段落０００７に記載の圃場画像分析方法を提供することで上記課題を解決する。

また、本願発明は、前記ドローンの飛行度に応じて、前記カメラの位置若しくは方向、または、薬剤散布ノズルの位置若しくは方向を調整する位置調整ステップを含む、段落００１８に記載の圃場画像分析方法を提供することで上記課題を解決する。

また、本願発明は、前記分析ステップは、前記画像データから近赤外線の反射率が所定の値以上である領域を排除するステップを含む、段落０００７から段落００１９に記載の圃場画像分析方法を提供することで上記課題を解決する。

また、本願発明は、ドローンに搭載されたカメラにより撮影した圃場の画像データを取得する画像データ取得部と、前記カメラによる撮影時の太陽と前記カメラの相対位置もしくは太陽光の状態に応じて前記画像データを補正する画像データ補正部と、前記補正された画像データに基づいて前記圃場の作物の生育状態を分析する画像分析部とを有する圃場画像分析システムを提供することで上記課題を解決する。

また、本願発明は、前記画像データ補正部は、太陽光の照射方向と前記カメラの撮影方向の相対角度に応じて、前記画像データの光量を補正する、段落００２１に記載の圃場画像分析システムを提供することで上記課題を解決する。

また、本願発明は、前記画像データ補正部は、前記画像データが前記カメラを太陽に対して順光側に向けて撮影した取得した順光側画像データか逆光側に向けて撮影された逆光側画像データかに基づき前記画像分析部での分析に用いられる画像データの補正量を変更する、段落００２１に記載の圃場画像分析システムを提供することで上記課題を解決する。

また、本願発明は、前記画像データ補正部は、前記画像分析部での分析に用いられる画像データから前記カメラを太陽に対して順光側に向けて撮影されて取得された順光側画像データ、もしくは逆光側に向けて撮影されて取得された逆光側画像データを除外する段落００２１に記載の圃場画像分析システムを提供することで上記課題を解決する。

前記画像データ補正部は、前記画像データが前記順光側画像データか前記逆光側画像データかの判定を、前記画像データが撮影された時の前記ドローンの位置と時刻とに基づいて行なう、段落００２３に記載の圃場画像分析システムを提供することで上記課題を解決する。

前記画像データ補正部は、太陽から直接前記カメラに入射する直接光の全入射光に占める割合に応じて前記画像データの補正内容を変更する、請求項１５に記載の圃場画像分析システムを提供することで上記課題を解決する。

また、本願発明は、前記画像データ補正部は、前記画像データ内の物体の影のコントラストの大きさに基づいて全入射光に占める直接光の割合を推定する、請求項２０に記載の圃場画像分析システムを提供することで上記課題を解決する。

また、本願発明は、前記画像データ補正部は、天空方向を撮影するカメラの画像に基づいて撮影時に前記カメラで撮影される画像の前記直射光の割合を推定する、請求項２０に記載の圃場画像分析システムを提供することで上記課題を解決する。

また、本願発明は、前記画像データ補正部は、圃場画像中の前記ドローンの影の位置に基づいて撮影時の太陽の高度を推定し、推定した太陽の高度に応じて前記画像データを補正する、請求項１５に記載の圃場画像分析システムを提供することで上記課題を解決する。

また、本願発明は、前記画像データ補正部は、前記ドローンの影の位置の測定を旋回時に行なう、請求項２３に記載の圃場画像分析システムを提供することで上記課題を解決する。

また、本願発明は、前記画像データの分析結果に基づいて、前記ドローンの薬剤散布の量を調整する薬剤量調整部を含む、請求項１５に記載の圃場画像分析システムを提供することで上記課題を解決する。

また、本願発明は、前記ドローンの飛行度に応じて、前記カメラの位置若しくは方向、または、薬剤散布ノズルの位置若しくは方向を調整するノズル位置調整部を含む、請求項２５に記載の圃場画像分析システムを提供することで上記課題を解決する。

また、本願発明は、前記画像分析部は、前記画像データから近赤外線の反射率が所定の値以上である領域を排除する命令群を含む、請求項１５ないし請求項２６のいずれか１項に記載の圃場画像分析システムを提供することで上記課題を解決する。

また、本願発明は、前記画像データ補正部及び前記画像分析部は、前記ドローン、または前記ドローンに操縦情報を入力する操縦器、またはその他の外部サーバに実装される、請求項１５ないし請求項２６のいずれか１項に記載の圃場画像分析システムを提供することで上記課題を解決する。

精度が高い作物の生育分析を可能にする圃場画像分析方法とプログラムが提供される。

本願発明に係る圃場撮影用ドローンの実施例の平面図である。本願発明に係る圃場撮影用ドローンの実施例の正面図である。本願発明に係る圃場撮影用ドローンの実施例の右側面図、背面図、および、斜視図である。本願発明に係る圃場撮影用ドローンの実施例を使用した圃場撮影システムの全体概念図の例である。本願発明に係る圃場撮影用ドローンの実施例の制御機能を表した模式図である。本願発明に係る圃場画像分析の概要フローチャートの例である。圃場撮影における反射光と透過光の関係を表わした模式図である。圃場撮影における太陽の方向に基づく輝度補正の例を表わした模式図である。

図１に本願発明に係るドローン（100）の実施例の平面図を、図２にその底面図を、図３−ａにその（進行方向側から見た）正面図、図３−ｂにその右側面図、図３−ｃに斜視図を示す。なお、本願明細書において、ドローンとは、動力手段（電力、原動機等）、操縦方式（無線であるか有線であるか、および、自律飛行型であるか手動操縦型であるか等）を問わず、複数の回転翼または飛行手段を有する飛行体全般を指すものとする。

回転翼（101-1a、101-1b、101-2a、101-2b、101-3a、101-3b、101-4a、101-4b）（ローターとも呼ばれる）は、ドローン（100）を飛行させるための手段であり、飛行の安定性、機体サイズ、および、バッテリー消費量のバランスを考慮し、8機（2段構成の回転翼が4セット）備えられていることが望ましい。

モーター（102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、102-4ａ、102-4b）は、回転翼（101-1a、101-1b、101-2a、101-2b、101-3a、101-3b、101-4a、101-4b）を回転させる手段（典型的には電動機だが発動機等であってもよい）であり、一つの回転翼に対して1機設けられていることが望ましい。１セット内の上下の回転翼（たとえば、101-1aと101-1b）、および、それらに対応するモーター（たとえば、102-1aと102-1b）は、ドローンの飛行の安定性等のために軸が同一直線上にあり、かつ、互いに反対方向に回転することが望ましい。

薬剤ノズル（103-1、103-2、103-3、103-4）は、薬剤を下方に向けて散布するための手段であり4機備えられていることが望ましい。薬剤タンク（104）は散布される薬剤を保管するためのタンクであり、重量バランスの観点からドローン（100）の重心に近い位置でかつ重心より低い位置に設けられていることが望ましい。薬剤ホース（105-1、105-2、105-3、105-4）は、薬剤タンク（104）と各薬剤ノズル（103-1、103-2、103-3、103-4）とを接続する手段であり、硬質の素材から成り、当該薬剤ノズルを支持する役割を兼ねていてもよい。ポンプ（106）は、薬剤をノズルから吐出するための手段である。

圃場撮影カメラ（107）は、ドローン（100）から圃場（農地）を撮影するためのカメラであり、機体の進行方向に対して後方にある圃場を撮影する向きに設置されていることが望ましい。また、圃場撮影カメラ（107）と機体の角度はステッピングモーター等の手段により可変となっていることが望ましい。

図４に本願発明に係るドローン（100）を使用した圃場撮影用システムの実施例の全体概念図を示す。本図は模式図であって、縮尺は正確ではない。操縦器（401）は、使用者（402）の操作によりドローン（100）に指令を送信し、また、ドローン（100）から受信した情報（たとえば、位置、薬剤量、電池残量、圃場撮影カメラ映像等）を表示するための手段であり、コンピューター・プログラムを稼働する一般的なタブレット端末等の携帯情報機器によって実現されてよい。本願発明に係るドローン（100）は自律飛行を行なうよう制御されることが望ましいが、離陸や帰還などの基本操作時、および、緊急時にはマニュアル操作が行なえるようになっていることが望ましい。操縦器（401）とドローン（100）はWi-Fi等による無線通信を行なうことが望ましい。

圃場（403）は、ドローン（100）による撮影の対象となる田圃や畑等である。実際には、圃場（403）の地形は複雑であり、事前に地形図が入手できない場合、あるいは、地形図と現場の状況が食い違っている場合がある。通常、圃場（403）は家屋、病院、学校、他作物圃場、道路、鉄道等と隣接している。また、圃場（403）内に、建築物や電線等の障害物が存在する場合もある。

基地局（404）は、Wi-Fi通信の親機機能等を提供する装置であり、RTK-GPS基地局としても機能し、ドローン（100）の正確な位置を提供できるようにすることが望ましい（Wi-Fi通信の親機機能とRTK-GPS基地局が独立した装置であってもよい）。営農クラウド（405）は、典型的にはクラウドサービス上で運営されているコンピューター群と関連ソフトウェアであり、操縦器（401）と携帯電話回線等で無線接続されていることが望ましい。営農クラウド（405）は、ドローン（100）が撮影した圃場（403）の画像を分析し、作物の生育状況を把握して、飛行ルートを決定するための処理を行なってよい。また、保存していた圃場（403）の地形情報等をドローン（100）に提供してよい。加えて、ドローン（100）の飛行および撮影映像の履歴を蓄積し、様々な分析処理を行なってもよい。

通常、ドローン（100）は圃場（403）の外部にある発着地点（406）から離陸し、圃場（403）に薬剤を散布した後に、あるいは、薬剤補充や充電等が必要になった時に発着地点（406）に帰還する。発着地点（406）から目的の圃場（403）に至るまでの飛行経路（侵入経路）は、営農クラウド（405）等で事前に保存されていてもよいし、使用者（402）が離陸開始前に入力してもよい。

図５に本願発明に係る薬剤散布用ドローンの実施例の制御機能を表した模式図を示す。フライトコントローラー（501）は、ドローン全体の制御を司る構成要素であり、具体的にはCPU、メモリー、関連ソフトウェア等を含む組み込み型コンピューターであってよい。フライトコントローラー（501）は、操縦器（401）から受信した入力情報、および、後述の各種センサーから得た入力情報に基づき、ESC（Electronic Speed Control）等の制御手段を介して、モーター（102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、104-a、104-b）の回転数を制御することで、ドローン（100）の飛行を制御する。モーター（102-1a、102-1b、102-2a、102-2b、102-3a、102-3b、104-a、104-b）の実際の回転数はフライトコントローラー（501）にフィードバックされ、正常な回転が行なわれているかを監視できる構成になっている。あるいは、回転翼（101）に光学センサー等を設けて回転翼（101）の回転がフライトコントローラー（501）にフィードバックされる構成でもよい。

フライトコントローラー（501）が使用するソフトウェアは、機能拡張・変更、問題修正等のために記憶媒体等を通じて、または、Wi-Fi通信やUSB等の通信手段を通じて書き換え可能になっていることが望ましい。また、フライトコントローラー（501）が制御に使用する計算処理の一部が、操縦器（401）上、または、営農支援クラウド（405）上や他の場所に存在する別のコンピューターによって実行されてもよい。フライトコントローラー（501）は重要性が高いため、その構成要素の一部または全部が二重化されていてもよい。

バッテリー（502）は、フライトコントローラー（501）、および、ドローンのその他の構成要素に電力を供給する手段であり、例えば充電式である。バッテリー（502）はヒューズ、または、サーキットブレーカー等を含む電源ユニットを介してフライトコントローラー（501）に接続されている。バッテリー（502）は電力供給機能に加えて、その内部状態（蓄電量、積算使用時間等）をフライトコントローラー（501）に伝達する機能を有するスマートバッテリーであってもよい。

フライトコントローラー（501）は、Wi-Fi子機機能（503）を介して、さらに、基地局（404）を介して操縦器（401）とやり取りを行ない、必要な指令を操縦器（401）から受信すると共に、必要な情報を操縦器（401）に送信できる。基地局（404）は、Wi-Fiによる通信機能に加えて、RTK-GPS基地局の機能も備えていてもよい。RTK基地局の信号とGPS測位衛星からの信号を組み合わせることで、GPSモジュール（504）により、ドローン（100）の絶対位置を数センチメートル程度の精度で測定可能となる。GPSモジュール（504）は重要性が高いため、二重化・多重化しており、また、特定のGPS衛星の障害に対応するため、冗長化されたそれぞれのGPSモジュール（504）は別の衛星を使用するよう制御されている。

６軸ジャイロセンサー（505）はドローン機体の互いに直交する３方向の加速度を測定する手段（さらに、加速度の積分により速度を計算する手段）である。また、６軸ジャイロセンサー（505）は、上述の３方向におけるドローン機体の姿勢角の変化、すなわち角速度を測定する手段である。地磁気センサー（506）は、地磁気の測定によりドローン機体の方向を測定する手段である。気圧センサー（507）は、気圧を測定する手段であり、間接的にドローンの高度も測定することもできる。レーザーセンサー（508）は、レーザー光の反射を利用してドローン機体と地表との距離を測定する手段であり、例えばIR（赤外線）レーザーを使用してよい。ソナー（509）は、超音波等の音波の反射を利用してドローン機体と地表との距離を測定する手段である。これらのセンサー類は、ドローンのコスト目標や性能要件に応じて取捨選択してよい。また、機体の傾きを測定するためのジャイロセンサー（角速度センサー）、風力を測定するための風力センサーなどが追加されていてもよい。また、これらのセンサー類は二重化または多重化されていることが望ましい。

流量センサー（510）は薬剤の流量を測定するための手段であり、薬剤タンク（104）から薬剤ノズル（103）に至る経路の複数の場所に設けられている。液切れセンサー（511）は薬剤の量が所定の量以下になったことを検知するセンサーである。圃場撮影カメラ（107）は圃場(403)を撮影し、画像分析を行なうためのデータを取得する手段であり、マルチスペクトルカメラであることが望ましい。障害物検知カメラ（513）はドローン障害物を検知するためのカメラであり、画像特性とレンズの向きが圃場撮影カメラ（107）とは異なるため、圃場撮影カメラ（106）とは別の機器であることが望ましい。スイッチ（514）はドローン（100）の使用者（402）が様々な設定を行なうための手段である。障害物接触センサー（515）はドローン（100）、特に、そのローターやプロペラガード部分が電線、建築物、人体、立木、鳥、または、他のドローン等の障害物に接触したことを検知するためのセンサーである。カバーセンサー（516）は、ドローン（100）の操作パネルや内部保守用のカバーが開放状態であることを検知するセンサーである。薬剤注入口センサー（517）は薬剤タンク（104）の注入口が開放状態であることを検知するセンサーである。これらのセンサー類はドローンのコスト目標や性能要件に応じて取捨選択してよく、二重化・多重化してもよい。

フライトコントローラー（501）はポンプ（106）に対して制御信号を送信し、薬剤吐出量の調整や薬剤吐出の停止を行なう。ポンプ（106）の現時点の状況（たとえば、回転数等）は、フライトコントローラー（501）にフィードバックされる構成となっていることが望ましい。

LED（517-2）は、ドローンの操作者に対して、ドローンの状態を知らせるための表示手段である。LEDに替えて、または、それに加えて液晶ディスプレイ等の表示手段を使用してもよい。ブザー（518）は、音声信号によりドローンの状態（特にエラー状態）を知らせるための出力手段である。Wi-Fi子機機能（519）は操縦器（401）とは別に、たとえば、ソフトウェアの転送などのために外部のコンピューター等と通信するためのオプショナルな構成要素である。Wi-Fi子機機能に替えて、または、それに加えて、赤外線通信、Bluetooth（登録商標）、ZigBee（登録商標）、NFC等の他の無線通信手段、または、USB接続などの有線通信手段を使用してもよい。スピーカー（520）は、録音した人声や合成音声等により、ドローンの状態（特にエラー状態）を知らせる出力手段である。天候状態によっては飛行中のドローン（100）の視覚的表示が見にくいことがあるため、そのような場合には音声による状況伝達が有効である。警告灯（521）はドローンの状態（特にエラー状態）を知らせるストロボライト等の表示手段である。ノズル位置調整機構（522）は、薬剤ノズル（103-1、103-2、103-3、103-4）の位置を変更するための手段であり、ステッピングモーターによって実現されていてよい。これらの入出力手段やは、ドローンのコスト目標や性能要件に応じて取捨選択してよく、二重化・多重化してもよい。

圃場の画像に基づいた作物の生育状況の分析には、赤色光（波長約680nm）と近赤外光（波長約780nm）の反射光による画像を取得してNDVI（Normalized Difference Vegetation Index）を計算することが有効である。一般に、NDVIは（IR − R）/（IR + R）という計算式により求められる（ここで、IRは近赤外光の反射率、Rは赤色光の反射率）である。IRとRは圃場の画像を周波数帯域毎に分析することにより得られるが、カメラにより得られる光量はその時点の環境光等に大きく影響されるため、単に光量のデータだけでは正確な分析を行なうことはできない。状況に応じた適切な補正を行なうことが必要である。

図６に本願発明に係る圃場画像分析の概要フローチャートを示す。圃場画像分析プログラムはドローン（100）の圃場撮影用カメラ（107）で撮影された作物の画像を入力として得る（S601）。画像入力は撮影済の圃場全体の画像データをまとめて行なってもよい（この場合には、画像を動画データとして記録し、後述の太陽光に関する情報を動画と同じタイムコードで記録しておくことが好ましい）が、現在撮影中の画像の一部をストリーミング方式（準リアルタイム方式）で入力してもよい。次に、撮影時の条件に応じて、使用する補正パラメーターを求める（S602）。補正情報は、太陽の位置等の撮影時の環境に応じて、事前の実験等によって得られたパラメーターの集合から選択したものであってよい。次に、選択されたパラメーターを使用して分析対象データの補正を行なう。典型的には、波長帯域を分割した区間（特に、赤色光と近赤外線光）ごとに所定の係数を乗ずること等により補正を行なってよい、たとえば、NDVIの計算式を（α*IR − β*R）/（α*IR + β*R）とし、αとβに所定の数値を代入することで補正を行なってよい。αとβに代入する具体的数値は、事前の実験により様々な太陽光の状態に適する補正数値を求めておき、後述の方法で求めた撮影時の太陽光の状態に合わせて適切なものを選択することが望ましいが、事前に用意した補正パラメーターのセットを選択するのではなく、撮影時の太陽光の状況に応じて随時計算を行なうなど、他の補正方法を使用してもよい。最後に、補正後の分析対象データに対して分析処理を行なう（上記のNDVIの計算に加えて前処理や後処理を行なってよい）（S604）。分析処理結果の情報はいったん保存して事後の分析に供してもよいが、ドローン（100）が飛行中にリアルタイムで参照できるようにしてもよい。

上述の補正用パラメーター決定処理（S602）、画像データ補正処理（S603）、分析画像対象データの分析処理（S604）の処理は営農クラウド（405）上や他の外部サーバ上で行なってもよいが、ドローン（100）が搭載するコンピューターや無線通信を介してドローンに操縦指令を入力する操縦器（401）が搭載するコンピューターにより実行してもよい。複数の場所にあるコンピューターが協調連携して処理を行なってもよい。分析処理は事後的に行なってもよいが、ドローン（100）の飛行中にリアルタイムで行なってもよい。リアルタイムで分析を行なうことにより、作物の生育状況に応じて薬剤散布を動的に調整できるという利点が生じる。

（透過光・反射光補正）
図７に本願発明に係る窒素量測定方法における反射光と透過光の分離の基本的考え方を表わした模式図を示す。図７−ａは水平方向から見た図、図７−ｂは上空から見た図である。なお、ドローン（100）、作物（701）、および、太陽（702）、は模式的表現であり、その位置と大きさは実際の縮尺を表わすものではない。ドローン（100）のカメラ（103）が撮影する圃場（403）の作物（701）の画像は、ドローン（100）の現在位置から見て水平方向に太陽（702）側にある作物（701-1）（逆光側）については透過光が強く、ドローン（100）の現在位置から見て水平方向に太陽（701）の反対側にある作物（701-2）（順光側）については反射光が強い。

ここで太陽の位置は、ドローン（100）が備える光センサーによって把握してもよいが、ドローン（100）またはその操縦装置が備える時計により得られる撮影時の時刻と日付から把握してもよい。また、圃場の画像において図７−ｂの703に相当する直線を境界として、太陽側と太陽の反対側では画像の明度に不連続な差異が生じるので、保存した画像を分析段階でコンピューターによって前処理することで把握してもよい。

把握した太陽（702）の方向に関する情報はカメラ（107）で撮影した作物（701）の動画像と対応付けて保存し、分析処理に供することが好ましい。加えて、GPS等の手段により測定した撮影時のドローン（100）の位置、および、光センサーにより測定した太陽光の特性の情報も作物（701）の動画像と対応付けて保存することが好ましい。保存された動画像は、ドローン（100）内のメモリーに一時的に保存して後に転送する、または、無線通信機能を通じて送信する等の方法により、分析用のコンピューターに送られ、分析の対象となる。コンピューターの画像処理プログラムにより、動画像中の各静止画フレームに波長によるフィルター処理を行ない、近赤外線量を測定することにより、作物中の窒素量を測定可能であるが、前述のとおり、単純に近赤外線の量を測定するだけでは、十分な精度が出せないため、補正処理を適用することで、精度が高い測定を行なうことができる。

ドローン（100）の現在位置から見て太陽（702）の側にある作物（701-1）の画像を窒素含有量測定の対象から除外することで、透過光の影響を排除し、反射光中心型の画像を撮影することができる。ドローン（100）は、人による操縦、または、自動制御により圃場（403）の上空をくまなく飛行することができるので、結果的に圃場（403）にあるすべての作物（701）の反射光中心の画像を得ることが可能である。反射光中心の画像の分析ではそれに合わせた補正パラメーターを使用することが望ましい。

この方法で取得された画像では、作物から最初に反射した光（一次反射光）が中心になっており、反射光がさらに作物に反射したことによる生じる二次反射光、さらに、三次反射光の影響、および、透過光がさらに作物に反射した光の影響を相対的に軽減できるため、精度が高い窒素含有量の測定が可能となる。加えて、二次以上の反射光（複次反射光）では、赤色光の反射光の入射光に対する減衰率が50%以下であることが発明者の実験により明らかになっているため、赤色光のみを抽出した画像において赤色光が閾値より強い領域を画像から除いた後に、近赤外線の測定を行なうことで、より正確な窒素料の測定が行なえる。

逆に、ドローン（100）の現在位置から見て太陽（702）の反対側にある作物（701-2）の画像を窒素含有量測定の対象から除外することで、反射光の影響を排除し、透過光中心型の画像を撮影することができる。同様に、ドローン（100）を圃場（403）の上空をくまなく飛行させることで、圃場全体の透過光中心の画像を得ることが可能である。透過光中心の画像の分析ではそれに合わせた補正パラメーターを使用することが望ましい。作物の種類、および、太陽光の状況によっては、透過光中心の画像の分析が好ましいこともあるため、分析のためのコンピューター・プログラムは反射光中心の分析と透過光中心の分析の両方に対応可能なように作成しておくことが好ましい。

逆光側の作物を撮影する場合に取得される画像は、順光側の作物を撮影する場合の取得画像よりも画像の輝度が低くなるため、太陽光の方向とドローン上のカメラの撮影方向の成す角度に応じて、画像データの輝度を調整することにより、逆光側の画像と順光側の画像の両方を生育診断の画像分析に利用することが可能となる。例えば、図８−aに示すようにドローン上のカメラの撮影方向（801）と太陽光の方向（802）との成す角度θを定義した場合、図８―ｂに示すように、角度θが０度と３６０度の状況で取得された画像データの輝度を大きくするように補正し、角度θが１８０度で取得された画像データの輝度は補正しない、または０度と３６０度の画像よりも輝度の補正量を小さくするようにしてよい。本実施形態において、太陽の方角は時刻と日付情報により推測を行うことができ、カメラの位置と方向の情報は、フライトコントローラー（501）から取得することができる。

上述の反射光と透過光の分離の方法に加えて、または、その方法に替えて以下の画像分析方法を行なうことにより、より精度が高い窒素吸収量の測定が可能である。

（分光特性補正）
窒素含有量のより正確な測定を行なうためには、ドローン（100）による圃場（403）撮影の時点において作物（701）を照らす太陽光の特性を把握し、それに合わせた補正の計算を行なうことが望ましい。天候により左右される太陽光の特性により、作物（201）による反射光および透過光も影響を受けるからである。特に、直接光と天空光（大気中の水蒸気や塵などによって拡散されるか、雲から反射されて地面に到達する光）の割合を測定することが好ましい。太陽光の特性はドローン（100）に備えた光センサー、あるいは、カメラで測定し、圃場の画像と対応づけて保存して分析に供してもよい。さらに、以下のような方法で太陽光の特性を間接的に推定し、それに合わせた補正を行なってもよい。特に、直接光の全入射光に占める割合に基づいた補正を行なうことが望ましい。

圃場画像中の作物を含む物体の影のコントラスト（画像内の他の部分と比較した影の濃さ）を測定することにより直接光の光量、あるいは、入射光に占める直接光の割合を推定してもよい。前述の方法により分割した逆光側の作物（701-１）の画像と順光側の作物（701-2）の画像の全波長における反射率から直接光と天空光の割合を推定してもよい。直接光が強いときは逆光側と順光側の反射率の差が大きいことが明らかになっているからである。同様に、逆光側の作物（701-1）の画像の分光特性と順光側の作物（701-2）の画像の分光特性の差分から太陽光の特性を推定してもよい。画像全体の光量から直接光の割合を推定するようにしてもよい。

時刻から算出できる太陽高度と総光量の比率から直接光の割合を推定し、それに応じた補正を行なってもよい。たとえば、太陽の高度が高いのに総光量が少ない場合には、雲が厚く、直接光の割合が低いことを意味する。

（太陽角補正）
分光特性（各波長帯域のヒストグラム）は、太陽の方向と高度にも大きく影響を受けるため、撮影時の時刻から把握した太陽の方向と高度に関する情報圃場の画像と共に記録し、それに応じて補正パラメーターを算出する、または、計算式自体を変更する等の手順を分析処理に取り込むことが望ましい。

代替の方法として、太陽の位置をドローン（100）の高度と機首方向、圃場撮影カメラ（107）で撮影された画像内の機体の影の位置から算出してもよい。ドローン（100）の高度は、GPS（504）や各種センサーにより把握できるため、三角測量の原理により、太陽の位置を把握可能である。影の位置の測定は、圃場上の物体を機体の影と誤認しないよう、機体をホバリング状態にして、水平方向に好ましくは360度回転させて行なうことが望ましい。360度回転させることは地磁気センサー（506）のキャリブレーションにも貢献する。代替の方法として、ドローン（100）が方向転換を行なう際に、自機の影の位置を測定するようにしてもよい。ドローン（100）が圃場上空をくまなく飛行するためには、いずれにせよ方向転換が必要となるため、この方法を採用することで、ドローン（100）の飛行時間を無駄にしないというメリットが生じる。

ドローン（100）の飛行中にも太陽の位置は変化していくため、上記の影の位置の測定はドローン（100）の飛行中に定期的に行なうことが望ましい。所定の時間経過ごとに測定を行なってよく、さらに、着陸時および離陸時にいずれせよ必要となるホバリング時に影の位置の測定処理を行なってもよい。

上記で説明した太陽光の状況に応じた補正に加えて、画像分析処理において以下のような追加的処理を行なってもよい。土および水面は近赤外線領域における入射光に対する反射光の減衰率が10%以下であるという特性を有する。上記方法で得た反射光中心の画像から近赤外線が閾値以上である領域を抽出すると、それが土および水面に相当する可能性が高いため、その領域を窒素蓄積量の測定から排除することで、測定の精度を高めることができる。

また、赤色光の反射光の閾値により表面反射と内部反射を分離することが可能である。表面反射は葉の葉緑素の含有量にあまり影響されないため、画像から表面反射部分を削除してから近赤外線量の測定を行なうことで、より正確な葉緑素の含有量を測定できる。

同様に、近赤外線光および赤色光の反射光の閾値により葉の反射と穂の反射を分離することが可能である。葉緑素の測定は葉を中心にして行なうことが必要であるため、画像から穂の部分を削除してから近赤外線量の測定を行なうことで、より正確な葉緑素の含有量を測定できる。

同様に、赤色光の反射光の閾値により作物の上部にある葉の反射と下部にある葉の反射を分離することが可能であり、これにより上部の葉の窒素含有量と下部の葉の窒素含有量を独立して測定できる。この測定値に基づき、作物の窒素転流の状況を推定できる。

（同時散布の場合のカメラ角度）
本願発明に係るドローン（100）により、圃場撮影カメラ（107）による圃場の撮影、上述してきたような撮影画像の分析、そして、分析結果に基づいた適切な量の肥料等の薬剤散布を一回の飛行によりまとめて行なうようにしてもよい。これにより、圃場面積あたりのドローンの利用率を向上し、経済的なメリットが得られる。リアルタイム分析を行なう場合であっても、分析処理には多少の時間を要するため、圃場撮影カメラ（107）をドローン（100）の機体前方に向け、薬剤散布の調整、あるいは、可否の決定のための分析時間を確保することが望ましい。

この場合において、確保すべき分析時間はドローン（100）の飛行速度によって変わるため、圃場撮影カメラ（107）の角度をステッピングモーター等により調整可能とし、飛行速度に応じて自動的に調整することが望ましい。すなわち、飛行速度が速いときには、圃場撮影カメラ（107）を、前方を撮影する向きにし、飛行速度が遅いときには、圃場撮影カメラ（107）を、後方（機体直下に近い位置）を撮影する向きとすることが望ましい。圃場撮影カメラ（107）の角度調整に替えて、あるいは、加えて、薬剤散布ノズル（103）の位置をステッピングモーター等により調整可能とし、飛行速度に応じて自動的に調整することで分析に必要な時間を確保するようにしてもよい。すなわち、飛行速度が速いときには、薬剤散布ノズル（103）を、飛行方向のより後方側に位置させるようにしてよい。

逆に、分析に求められる計算時間を推定し、それに応じて飛行速度を決定し、さらに、それに応じて薬剤散布量を調整するようにしてもよい。

（本願発明による技術的に顕著な効果）
稲をはじめとする作物の生長度評価に必要な重要な窒素含有量を、ドローンという簡便な手段により、効率的かつ高精度で測定可能となる。測定機器を圃場まで運び多数のサンプルを測定する場合と比較して効率性が高い。また、衛星写真や単なる上空からの撮影画像による測定方法と比較して精度がはるかに高い。加えて、画像分析には太陽の位置や角度、天候などの環境条件を加味するため、さらに正確な分析が可能となる。

Claims

ドローンに搭載されたカメラにより撮影した圃場の画像データを取得する取得ステップと、
前記カメラによる撮影時の太陽と前記カメラの相対位置もしくは太陽光の状態に応じて前記画像データを補正する補正ステップと、
前記補正された画像データに基づいて前記圃場の作物の生育状況を分析する分析ステップとを含み、
前記補正ステップでは、前記画像データ内の物体の影のコントラストの大きさに基づいて入射光に占める直接光の割合を推定し、前記割合に応じて前記画像データの補正内容を変更する
圃場画像分析方法。
ドローンに搭載されたカメラにより撮影した圃場の画像データを取得する取得ステップと、
前記カメラによる撮影時の太陽と前記カメラの相対位置もしくは太陽光の状態に応じて前記画像データを補正する補正ステップと、
前記補正された画像データに基づいて前記圃場の作物の生育状況を分析する分析ステップとを含み、
前記補正ステップでは、圃場画像中の前記ドローンの影の位置に基づいて撮影時の太陽の高度を推定し、前記推定した太陽の高度に応じて前記画像データを補正する
圃場画像分析方法。
前記補正ステップでは、前記ドローンの影の位置の測定を旋回時に行なう、
請求項２に記載の圃場画像分析方法。
前記画像データの分析結果に基づいて、前記ドローンの薬剤散布の量を調整する薬剤量調整ステップをさらに含む、
請求項１から請求項３のいずれか１項に記載の圃場画像分析方法。
前記ドローンの飛行高度に応じて、前記カメラの位置若しくは方向、または、薬剤散布ノズルの位置若しくは方向を調整する位置調整ステップを含む、
請求項１から請求項４のいずれか１項に記載の圃場画像分析方法。
前記分析ステップは、前記画像データから近赤外線の反射率が所定の値以上である領域を排除するステップを含む、
請求項１から請求項５に記載の圃場画像分析方法。
ドローンに搭載されたカメラにより撮影した圃場の画像データを取得する画像データ取得部と、
前記カメラによる撮影時の太陽と前記カメラの相対位置もしくは太陽光の状態、および、前記画像データ内の物体の影のコントラストの大きさに基づいて推定された、全入射光に占める直接光の割合に応じて前記画像データを補正する画像データ補正部と、
前記補正された画像データに基づいて前記圃場の作物の生育状態を分析する画像分析部とを含む
圃場画像分析システム。
ドローンに搭載されたカメラにより撮影した圃場の画像データを取得する画像データ取得部と、
前記カメラによる撮影時の太陽と前記カメラの相対位置もしくは太陽光の状態、および、圃場画像中の前記ドローンの影の位置に基づいて推定された撮影時の太陽の高度に応じて前記画像データを補正する画像データ補正部と、
前記補正された画像データに基づいて前記圃場の作物の生育状態を分析する画像分析部とを含む
圃場画像分析システム。
前記画像データ補正部は、前記ドローンの影の位置の測定を旋回時に行なう、請求項８に記載の圃場画像分析システム。
前記画像データの分析結果に基づいて、前記ドローンの薬剤散布の量を調整する薬剤量調整部を含む、請求項７から請求項９のいずれか１項に記載の圃場画像分析システム。
前記ドローンの飛行高度に応じて、前記カメラの位置若しくは方向、または、薬剤散布ノズルの位置若しくは方向を調整するノズル位置調整部を含む、請求項７から請求項１０のいずれか１項に記載の圃場画像分析システム。
前記画像分析部は、前記画像データから近赤外線の反射率が所定の値以上である領域を排除する処理を実行する、請求項７から請求項１１のいずれか１項に記載の圃場画像分析システム。
前記画像データ補正部及び前記画像分析部は、前記ドローン、または前記ドローンに操縦情報を入力する操縦器、またはその他の外部サーバに実装される、請求項７から請求項１２のいずれか１項に記載の圃場画像分析システム。