JP7292850B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、連続的に撮影した画像を処理する技術に関する。

農業分野において、圃場、農作物を撮影して、その撮影画像を解析することにより、農作物の生育状態や病害虫による被害状況を把握する取り組みが行われている。例えば特許文献１には、圃場を走行しながら連続的に圃場内の局所を撮影するビデオカメラとＧＰＳとを搭載した農用車両が開示されている。これにより、圃場内の任意の領域における詳細な画像解析を可能としている。

一方で、生育状態の判定や病害虫の被害を見落とさないためには、一定以上の解像度・フレームレートでの撮影が必要だが、常に高解像度・高フレームレートで撮影し続けると、膨大な記憶容量が必要となる。そのため、被写体に応じて撮影頻度や解像度を上げるような取り組みが行われている。例えば特許文献２には、被写体（障害物）との距離や相対速度を検出し、この距離及び／又は相対速度をトリガとしてフレームレートを可変して記憶するドライブレコーダーが開示されている。これにより、衝突事故や衝突事故に繋がる急接近時の画像を確実に保存することができるようになっている。

特開２００１－１２００４２号公報 特開２０１２－３８２２９号公報

特許文献２では、被写体もしくは事象の検出時または検出以降のみ高フレームレート／高解像度で保存している。一方で、農業分野において分析したい農作物の生育状態や病害虫による被害状況では、ある事象がある地点で発見された場合、その周囲の位置的な（特に２次元的な）範囲をより詳細に検討して事象の広がりの程度等を知る必要がある。従って従来のように、被写体もしくは事象の検出時または検出以降の時間的な範囲に着目するだけでは、発見された事象の周囲の位置的な範囲の詳細な検討に必要な情報が十分に得られない場合があった。このように従来は、位置的な範囲に影響し得るに広がりを伴う被写体や事象に適応した、高解像度画像の保存や画像のデータ量の削減が難しかった。

そこで、本発明は、位置的な範囲に影響し得る被写体や事象に適応した、高解像度画像の保存および画像のデータ量の削減を可能にすることを目的とする。

本発明の画像処理装置は、撮影により得られた複数の第１のデータ量の画像を取得する取得手段と、前記複数の第１のデータ量の画像のそれぞれから、農作物のうち病気の症状が現れた部分及び害虫の少なくとも一方である注目対象を検出し、前記撮影が行われた空間において前記注目対象が存在する位置を示す情報を取得する対象検出手段と、前記撮影が行われた空間において前記注目対象が存在する位置に基づいて位置の範囲を特定する特定手段と、前記複数の第１のデータ量の画像のそれぞれが得られた位置が前記範囲に含まれるか否かに応じて、前記複数の第１のデータ量の画像のうち少なくとも一部を前記第１のデータ量より少ない第２のデータ量の画像に変換する変換手段と、を有することを特徴とする。

本発明によれば、位置的な範囲に影響し得る被写体や事象に適応した、高解像度画像の保存および画像のデータ量の削減が可能となる。

実施形態の撮像装置のハードウェア構成の一例を示した図である。 第１の実施形態の撮像装置の機能構成の一例を示した図である。 撮像装置における撮影処理のフローチャートである。 第１の実施形態の検出済注目対象テーブルの一例を表す図である。 第１の実施形態の注目対象検出処理のフローチャートである。 第１の実施形態の詳細調査仕様テーブルの一例を表す図である。 第１の実施形態の記憶部間の画像保存処理のフローチャートである。 第２の実施形態の撮像装置の機能構成の一例を示した図である。 第２実施形態の検出済注目対象テーブルの一例を表す図である。 第２の実施形態の検出済単位領域端点テーブルの一例を表す図である。 第２の実施形態の注目対象検出処理のフローチャートである。 第２の実施形態の詳細調査仕様テーブルの一例を表す図である。 第２の実施形態の記憶部間の画像保存処理のフローチャートである。 巡回順路に沿った撮影と病気発生位置と詳細調査の範囲を示す図である。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
本実施形態では、農業分野において、圃場、農作物を撮影し、その撮影画像を解析することによって、農作物の生育状態や病害虫による被害状況を把握可能にするための構成を例に挙げている。
＜第１の実施形態＞
図１は、本実施形態の画像処理装置の適用例である撮像装置１００のハードウェア構成の一例を示したブロック図である。撮像装置１００は、ＣＰＵ１０２、ＲＯＭ１０３、ＲＡＭ１０４、記憶装置１０５、入力部１０６、出力部１０７、撮像部１０８、システムバス１０１を有する。

ＣＰＵ１０２は中央演算処理装置であり、後述する各種処理のための演算および論理判断等を行い、データや命令をやり取りするためのシステムバス１０１に接続された各構成要素を制御する。
本実施形態の撮像装置１００には、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリは、後述するフローチャートを用いて説明する処理手順を含む各種制御等をＣＰＵ１０２が実行するためのプログラムを格納する。このプログラムメモリは、ＲＯＭ１０３であっても良いし、記憶装置１０５等からプログラムがロードされるＲＡＭ１０４であっても良い。

記憶装置１０５は、本実施形態の撮像装置１００にて撮影した画像データ、プログラムを記憶しておくためのＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）等により構成されている。
入力部１０６は、ユーザが情報の入力あるいは操作を行なうためのマウス、キーボード、タブレット等により構成されている。
出力部１０７は、グラフィックコントローラ等の出力のための回路を含むディスプレイ等により構成されている。
撮像部１０８は、レンズなどの撮影光学系、ＣＭＯＳなどの撮像素子、各種センサ、画像処理回路等を含み、被写体等の撮影を行う。本実施形態の場合、被写体は、例えば、圃場、その圃場内の農作物等である。

図２は、本実施形態の撮像装置１００における各機能構成を機能ブロックとして表した図である。なお、図２に示す機能ブロックは、すべてハードウェア構成により実現されても良いし、あるいはソフトウェア構成により実現されても良く、またハードウェア構成とソフトウェア構成の組み合わせにより実現されても良い。このことは後述する各実施形態の機能ブロックにおいても同様である。

撮像部２０１は、画像を撮影するための機能部であり、図１の撮像部１０８が含まれる。
位置検出部２０２は、ＧＰＳ信号などを基に、画像を撮影した位置を検出するための機能部である。
第１記憶部２０３は、撮像部２０１により取得された撮影画像を一時保存するための記憶部である。

対象検出部２０６は、撮像部２０１により撮影された画像を解析し、例えば農作物のうち病気の症状が現れた部分や害虫などの注目対象を検出する。さらに、本実施形態では、撮影された画像の撮影位置情報を使用して注目対象の位置も取得する機能部である。ただし、注目対象の位置情報は、位置検出部２０２にて検出された位置情報を使用して得るように構成してもよい。詳細は後述するが、対象検出部２０６は、画像解析を行うことにより、撮影画像から、後述する図６の詳細調査仕様テーブル６００に登録されている各注目対象の種類に対応した、注目対象を検出する処理を行う。

対象記憶部２０７は、対象検出部２０６により検出された注目対象に関する情報を記憶する記憶部である。詳細は後述するが、対象記憶部２０７には、対象検出部２０６により検出された注目対象に関する情報を検出済注目対象テーブルに格納する。
範囲特定部２０８は、対象記憶部２０７に記憶された注目対象に関する情報を基に、当該注目対象によって圃場や農作物に影響が生じ得る位置的な範囲（以下、影響の範囲）を特定する機能部である。また、画像変換部２０４が画像変換して得られる画像のデータ量を決定する処理を行う機能部である。詳細は後述するが、範囲特定部２０８は、対象記憶部２０７に記憶された注目対象に関する情報のうち、特に注目対象の検出位置に基づいて影響の範囲を特定する。なお注目対象の検出位置とは、圃場における二次元的な位置である。なお、範囲特定部２０８は、注目対象の種類に基づいて、影響の範囲を特定することも可能であり、また画像のデータ量を決定することも可能となされている。

画像変換部２０４は、第１記憶部２０３に保存されている画像が得られた位置と、範囲特定部２０８で特定された位置的な範囲の包含関係に基づいて、第１記憶部２０３に保存されている画像の少なくとも一部のデータ量を小さくする制御する機能部である。本実施形態では、第１記憶部２０３に保存されている画像が得られた位置が、範囲特定部２０８で特定された範囲に含まれていない場合に、例えば画像の解像度を小さくしてデータ量を少なくするような画像変換処理を行う機能部である。ここで画像が得られた位置とは、本実施形態の場合は、画像が撮影された際の撮影位置であるが、撮影された被写体の位置を解析して得た位置情報等を利用しても構わない。例えば、撮像部２０１にて取得された撮像画像が第１のデータ量である場合、画像変換部２０４における画像変換処理では、第１のデータ量より少ない第２のデータ量の画像への変換が行われる。
第２記憶部２０５は、第１記憶部２０３に保存された画像が必要に応じて画像変換部２０４で変換された後の画像を、保存するための記憶部である。

図３は、本実施形態の撮像装置１００における撮影処理の一例を示すフローチャートである。以下の説明では、ステップＳ３０１～ステップＳ３０６をそれぞれＳ３０１～Ｓ３０６のように略記する。このことは後述する他のフローチャートにおいても同様とする。

まず、Ｓ３０１において、ＣＰＵ１０２は、入力部１０６を介して、ユーザにより撮影の終了が指示されたか否かを判断する。ＣＰＵ１０２は、Ｓ３０１において、撮影終了が指示されたと判断した場合には後述するＳ３０６に処理を進め、一方、撮影終了の指示がないと判断した場合にはＳ３０２に処理を進める。

Ｓ３０２に進むと、撮像部２０１は、画像撮影時の解像度を第１の設定にして画像撮影を実行する。本実施形態において、第１の設定に係る解像度は、後述する詳細調査仕様テーブル６００に登録されている種類の各注目対象について詳細に調査するために必要な解像度のうちの最も高い解像度となされている。

次にＳ３０３に進むと、対象検出部２０６は、撮影画像から注目対象を検出する処理を実行し、その検出した注目対象に関する情報を、後述する図４で説明する検出済注目対象テーブル４００に格納する。Ｓ３０３にて行われる処理の詳細な説明は後述する。
次にＳ３０４に進むと、第１記憶部２０３は、撮影画像の保存処理を実行する。すなわち、第１記憶部２０３には、Ｓ３０２で解像度が設定された撮像部２０１により撮像された画像が保存される。
次にＳ３０５に進むと、ＣＰＵ１０２は、予め決められた撮影間隔だけスリープした後、Ｓ３０１に処理を戻す。

またＳ３０１で撮影終了指示がなされたと判断してＳ３０６に進むと、ＣＰＵ１０２は、第１記憶部２０３に保存された画像を、必要に応じて画像変換部２０４により変換した上で、第２記憶部２０５に保存させた後、フローチャートの処理を終了する。Ｓ３０６にて行われる処理の詳細な説明は後述する。

図４は、Ｓ３０３において対象検出部２０６により検出された注目対象に関する情報が格納される検出済注目対象テーブル４００のデータ構造の一例を示す概念図である。
図４に示すように、検出済注目対象テーブル４００の各行には、対象検出部２０６による画像解析で撮影画像から検出された病気の症状や害虫などの一つの注目対象に関する情報が格納される。

検出済注目対象テーブル４００の列４０１には、検出された各注目対象をそれぞれ個別に識別するための注目対象識別子（ＩＤ）が格納され、列４０２には、それぞれの注目対象が検出された撮影画像の画像ファイル名が格納される。また、列４０３には、検出された注目対象が存在する位置を示す情報が格納され、列４０４には、検出された注目対象の種類を表す情報が格納される。この図４の例からもわかるように、一つの撮影画像からは複数の注目対象が検出される場合がある。また、本実施形態の場合、撮影時には農作物等に対して近接撮影が行われるため、注目対象の位置は、撮影時の撮像装置１００の位置情報（ＧＰＳ情報等）で近似代用するものとする。検出済注目対象テーブル４００は、例えば圃場等に対する一連の撮影処理が行われるごとに初期化される一時データであり、テーブル初期化時には注目対象に関する情報は格納されていない。また、検出済注目対象テーブル４００は、ＲＡＭ１０４あるいは記憶装置１０５に保存され、一連の撮像処理が終了すると削除されるものとする。

図５は、図３のＳ３０３において、対象検出部２０６で実行される、撮影画像から注目対象を検出する処理の一例を示すフローチャートである。
まずＳ５０１において、対象検出部２０６は、撮影画像から、深層学習やパターン認識などの手法により、すべての種類の注目対象を検出する。
次にＳ５０２において、対象検出部２０６は、検出した注目対象が一つ以上存在するか否かを判断する。対象検出部２０６は、注目対象が一つも存在しない場合にはこのフローチャートの処理を終了し、注目対象が一つ以上存在する場合にはＳ５０３に処理を進める。

Ｓ５０３に進むと、対象検出部２０６は、検出した最初の注目対象に関する情報を取得する。
そしてＳ５０４において、対象検出部２０６は、前述した検出済注目対象テーブル４００に対し、最初の注目対象に関する情報を追加する。つまり、対象検出部２０６は、この注目対象に対応する一行について、列４０１には注目対象の識別子を、列４０２には注目対象の画像ファイル名を、列４０３には注目対象の画像が撮影された位置を、列４０４には当該注目対象の種類の各情報を格納する。

次にＳ５０５において、対象検出部２０６は、撮影画像から検出した注目対象が他にも存在するか否かを判断し、存在する場合にはＳ５０６に処理を進め、存在しない場合にはフローチャートの処理を終了する。
Ｓ５０６に進むと、対象検出部２０６は、次の注目対象に関する情報を取得した後、Ｓ５０４に処理を戻す。

図６は、本実施形態における詳細調査仕様テーブル６００のデータ構造の一例を表す概念図である。
図６に示すように、詳細調査仕様テーブル６００の各行には、対象検出部２０６にて検出する病気の症状が現れた農作物の部分や害虫などの注目対象ごとに詳細な調査を行うために必要となる、撮影画像の仕様に関する情報が格納される。

詳細調査仕様テーブル６００の列６０１には、後に詳細な調査を行うために必要となる画像の仕様をそれぞれ個別に識別するための仕様識別子（ＩＤ）が格納され、列６０２には、注目対象のそれぞれ種類を表す情報が格納されている。また、列６０３には、列６０２に格納された種類の注目対象が検出された際に、詳細な調査を行うのに必要とされる画像の解像度を表す情報が格納されている。また、列６０４には、列６０２に格納された種類の注目対象が検出された際に、その種類の注目対象による影響（病気や害虫の影響）が及ぶ可能性がある影響範囲、つまり、詳細に調査すべき範囲の半径を表す情報が格納されている。このように詳細調査仕様テーブル６００に格納されている情報は、撮影処理が行われる前に事前に用意されている固定データであり、例えばＲＯＭ１０３、ＲＡＭ１０４、あるいは記憶装置１０５に保存されているものとする。

図７は、本実施形態の第１記憶部２０３に一時的に保存されている撮影画像を、必要に応じて画像変換部２０４で変換した上で第２記憶部２０５に保存する処理の一例を示すフローチャートである。
まずＳ７０１において、画像変換部２０４は、第１記憶部２０３に撮影画像が存在しているか否かを判断する。画像変換部２０４は、第１記憶部２０３に撮影画像が存在していないと判断した場合にはフローチャートの処理を終了し、一方、撮影画像が存在していると判断した場合にはＳ７０２に処理を進める。

Ｓ７０２に進むと、画像変換部２０４は、第１記憶部２０３に記憶されている撮影画像のうちの先頭の画像Ｉｔ（具体的には撮影日時がより古い画像）を選択する。
次にＳ７０３において、画像変換部２０４は、画像Ｉｔを第２記憶部２０５に保存する際の解像度Ｒを、対象検出部２０６で検出されたどの注目対象からも影響を受けない十分な距離だけ離れている場合の粗い解像度Ｒｏで初期化する。
そしてＳ７０４において、画像変換部２０４は、撮影画像から検出されて前述した検出済注目対象テーブル４００に格納された注目対象群の先頭要素を、現在の注目対象Ｉｃとする。

次にＳ７０５において、範囲特定部２０８は、前述した検出済注目対象テーブル４００に注目対象Ｉｃとなる情報が存在しているか否かを判断する。範囲特定部２０８は、検出済注目対象テーブル４００に注目対象Ｉｃに関する情報が存在していないと判断した場合には、後述するＳ７１１に処理を進める。一方、範囲特定部２０８は、検出済注目対象テーブル４００に注目対象Ｉｃに関する情報が存在していると判断した場合には、Ｓ７０６に処理を進める。
Ｓ７０６に進むと、範囲特定部２０８は、前述した詳細調査仕様テーブル６００から、検出済注目対象テーブル４００の列４０４に格納されている注目対象Ｉｃの種類と一致する詳細調査仕様Ｓｃの情報を取得する。

次にＳ７０７において、範囲特定部２０８は、注目対象Ｉｃが検出された撮影画像の撮影位置と、第１記憶部２０３に記憶されている先頭の画像Ｉｔの撮影位置との間の距離を、それら両画像に関する位置情報から算出する。そして、範囲特定部２０８は、その距離が、詳細調査仕様Ｓｃを基に詳細に調査すべき影響範囲の半径以下であるか否かを判断する。そして、範囲特定部２０８において、半径以下であると判断された場合にはＳ７０８の処理に進み、一方、半径を超えると判断された場合には後述するＳ７１０の処理に進む。

Ｓ７０８に進んだ場合、範囲特定部２０８は、第１記憶部２０３の画像を第２記憶部２０５に保存する際の解像度Ｒが、詳細調査仕様Ｓｃに記述されている必要解像度Ｒｃよりも小さいか否かを判断する。範囲特定部２０８は、解像度Ｒが必要解像度Ｒｃよりも小さいと判断した場合にはＳ７０９に処理を進め、一方、解像度Ｒが必要解像度Ｒｃよりも小さくないと判断した場合にはＳ７１０に処理を進める。
Ｓ７０９に進むと、範囲特定部２０８は、画像変換部２０４に対し、必要解像度Ｒｃを新たな解像度Ｒに設定した後、Ｓ７１０に処理を進める。

Ｓ７１０に進むと、画像変換部２０４は、検出済注目対象テーブル４００に格納されている撮影画像から検出された注目対象の次の要素を、現在の注目対象Ｉｃとした後、Ｓ７０５に処理を戻す。

またＳ７０５からＳ７１１に進んだ場合、画像変換部２０４は、前述した画像Ｉｔを解像度Ｒの画像に変換した上で、次のＳ７１２において、その変換後の画像Ｉｔを第２記憶部２０５に保存させる。
その後、Ｓ７１３において、画像変換部２０４は、第１記憶部２０３の先頭の画像Ｉｔを削除した後、Ｓ７０１の処理に戻る。

以上、説明した第１の実施形態の撮像装置１００によれば、撮影画像から病気の症状や害虫が検出された場合には、その病気や害虫の種類に応じた影響範囲で撮影された画像をそれら病気や害虫の種類に応じたより高い解像度で保存することが可能となる。一方、それ以外の撮影画像は、より低い解像度に変換することにより、必要な記憶容量を低減することが可能となる。
なお、本実施形態では、検出された病気の症状や害虫の種類に応じて、解像度を変換したが、例えば撮影された画像を間引くように撮影画像間隔を変更することで、必要となる記憶容量を低減してもよい。また、解像度の変換と画像の間引きは共に行われても良い。

＜第２の実施形態＞
前述した第１の実施形態では、注目対象からの距離に基づいて保存する画像の解像度を決定している。
ここで、注目対象の種類によっては、注目対象が検出された位置からの距離が同じであっても、注目対象が発見された農作物とその隣の農作物とではリスクの度合いは異なることもあると考えられる。したがって、より詳細な画像（高解像度な画像）が必要となる範囲を、第１の実施形態のように距離だけに基づいて決定することが適切であるとは言い難いケースも考えられる。そこで、第２の実施形態では、注目対象が検出された農作物から数えて何本目の農作物であるかのような、注目対象からの単位領域数に基づいて、より詳細な画像が必要な範囲を決定する例について説明する。なお、第２の実施形態における撮像装置１００のハードウェア構成や撮影処理は、前述した第１の実施形態と同様であるため、それらの図示と説明は省略する。

図８は、第２の実施形態における撮像装置１００における各機能構成を機能ブロックとして表した図である。図８の機能ブロックにおいて、前述した図２の機能部と同様のものには、図２で用いたのと同じ参照符号を付して、それらの説明は省略する。
図８の場合、撮像装置１００は、端点検出部８０１をも有している。端点検出部８０１は、撮像部２０１により撮影された画像を解析し、農作物や圃場の区画の境界を示す物体などを認識することで、撮影画像から農作物や区画といった単位領域の端点を検出する。そして、端点検出部８０１は、検出した単位領域の端点を示す情報を、後述の図１０で説明する検出済単位領域端点テーブル１０００に格納する。

図９は、第２の実施形態における検出済注目対象テーブル９００のデータ構造の一例を表す概念図である。なお、第２の実施形態の検出済注目対象テーブル９００において、前述した図４の各列と同様の列には、図４で用いたのと同じ参照符号を付して、それらの説明は省略する。
図９の検出済注目対象テーブル９００の場合、列９０１には、検出した注目対象の画像内における左端からの水平方向の座標を示す情報が格納される。すなわち第２の実施形態の場合、対象検出部２０６は、注目対象に関する情報として、第１の実施形態で説明した情報に加え、検出した注目対象の画像内における左端からの水平方向の座標を示す情報も取得して、検出済注目対象テーブル９００に格納する。

図１０は、第２の実施形態における検出済単位領域端点テーブル１０００のデータ構造の一例を表す概念図である。
図１０に示すように、検出済単位領域端点テーブル１０００の各行には、撮影画像から検出した農作物等の単位領域の端点に関する情報が格納される。

検出済単位領域端点テーブル１０００の列１００１には、検出した単位領域の端点の識別子（ＩＤ）が格納され、列１００２には、単位領域の端点が検出された画像ファイル名が格納される。また、列１００３には、検出された単位領域の端点の種類（左右両端のいずれであるのか）の情報、列１００４には、検出された単位領域の端点の画像内での座標が格納される。この検出済単位領域端点テーブル１０００からもわかるように、一つの撮影画像から複数の単位領域の端点が検出される場合がある。また、検出済単位領域端点テーブル１０００は、一連の撮像処理ごとに生成される一時データであり、生成時には検出された単位領域の端点の情報は格納されていない。また、検出済単位領域端点テーブル１０００は、ＲＡＭ１０４あるいは記憶装置１０５に保存され、一連の撮像処理が終了すると削除されるものとする。

図１１は、第２の実施形態において、撮影画像から注目対象を検出する処理の一例を示すフローチャートである。なお、図１１のフローチャートにおいて、Ｓ５０１～Ｓ５０３、Ｓ５０５、Ｓ５０６の処理は前述した図５のフローチャートの対応した処理と同様であるため、その説明は省略する。図１１のフローチャートの場合、Ｓ５０３の後にＳ１１０１の処理に進み、Ｓ１１０１の後にＳ５０５の処理に進む。また、Ｓ５０２において注目対象が一つも存在しないと判断された場合、もしくは、Ｓ５０５において注目対象がもうないと判断された場合には、Ｓ１１０２に処理が進む。

Ｓ１１０１に進むと、対象検出部２０６では前述したＳ５０４と同様の処理が行われ、さらに検出した注目対象の画像内における左端を基準とする水平方向座標の検出が行われる。そして、この水平方向の座標の情報は、検出済注目対象テーブル９００の列９０１に格納される。

またＳ１１０２に進むと、端点検出部８０１は、深層学習やオブジェクト認識などの手法により、撮影画像から単位領域の端点を検出する。
次にＳ１１０３において、端点検出部８０１は、検出した端点が一つ以上存在するか否かを判断する。端点検出部８０１は、検出した単位領域の端点が一つ以上ある場合には、Ｓ１１０４に処理を進め、一方、端点が存在しない場合にはこのフローチャートの処理を終了する。

Ｓ１１０４に進むと、端点検出部８０１は、検出した最初の端点の情報を取得する。
次にＳ１１０５において、端点検出部８０１は、その取得した端点の情報を、検出済単位領域端点テーブル１０００に追加する。またこの時、端点検出部８０１は、新しい検出済みの単位領域の端点の識別子（ＩＤ）を列９０１に、端点を検出した注目対象の画像ファイル名を列９０２に、端点の種類を列９０３に、画像内における端点の座標を列９０４にそれぞれ記述する。

次にＳ１１０６において、端点検出部８０１は、検出した単位領域の端点がまだ存在するか否かを判断し、端点がまだ存在すると判定した場合にはＳ１１０７に処理を進め、一方、端点が存在しないと判断した場合にはこのフローチャートの処理を終了する。
そして、Ｓ１１０７に進むと、端点検出部８０１は、次の検出された端点の情報を取得した後、Ｓ１１０５の処理に戻す。

図１２は、第２の実施形態における詳細調査仕様テーブル１２００のデータ構造の一例を表す概念図である。なお、第２の実施形態の詳細調査仕様テーブル１２００において、前述した図６の各列と同様の列には、図６で用いたのと同じ参照符号を付して、それらの説明は省略する。
図１２の詳細調査仕様テーブル１２００の場合、図６の列６０４に代えて、列１２０１が設けられている。列１２０１には、注目対象の種類が検出された際に詳細に調査すべき影響範囲の単位領域数が登録されている。ここで、詳細に調査すべき影響範囲の単位領域数が０である場合には、影響範囲は注目対象が検出された農作物だけに限定されることを示しており、単位領域数が１以上の場合にはその数値だけ隣の単位領域も詳細に調査する必要があることを示している。この詳細調査仕様テーブル１２００も、前述した詳細調査仕様テーブル６００と同様、予め撮像処理の前に用意される固定データであり、例えばＲＯＭ１０３、ＲＡＭ１０４、あるいは記憶装置１０５に保存されているものとする。

図１３は、第２の実施形態において、第１記憶部２０３に保存した画像を、必要に応じて画像変換部２０４で変換した上で第２記憶部２０５に保存する処理の一例を示すフローチャートである。なお、図１３のフローチャートにおいて、Ｓ７０１～Ｓ７０５、Ｓ６０６、Ｓ７０８～Ｓ７１３の処理は前述した図７のフローチャートの対応した処理と同様であるため、その説明は省略する。図１３のフローチャートの場合、Ｓ７０５において検出済注目対象テーブル９００に注目対象Ｉｃの情報が存在していると判断した場合、Ｓ１３０１に処理が進む。そして、Ｓ１３０１の後にＳ７０６の処理に進み、Ｓ７０６の後にＳ１３０２の処理に進む。Ｓ１３０２からＳ７０８に進む場合、Ｓ１３０２からＳ７１０に進む場合については後述する。

図１３のフローチャートにおいて、Ｓ１３０１に進むと、範囲特定部２０８は、現在の注目対象Ｉｃを検出した撮影画像の撮影位置と、第１記憶部２０３に記憶されている先頭の画像Ｉｔの撮影位置との間に、単位領域がいくつあるかを算出する。単位領域数は、検出済単位領域端点テーブル１０００に登録されている端点の情報を使用して、注目対象ｉｃを検出した画像の撮影位置から画像Ｉｔの撮影位置までの間に撮影された画像に含まれる端点数を積算することで算出するものとする。

またＳ１３０２に進むと、範囲特定部２０８は、注目対象Ｉｃの撮影画像と第１記憶部２０３内の先頭の画像Ｉｔの撮影位置間の単位領域数が、詳細調査仕様Ｓｃに記述されている、詳細に調査すべき影響範囲の単位領域数の閾値以下であるか否かを判断する。そして、単位領域数が、詳細に調査すべき影響範囲の単位領域数の閾値以下であると判断された場合にはＳ７０８に処理が進み、一方、詳細に調査すべき影響範囲の単位領域数より多いと判断された場合にはＳ７１０に処理が進む。

以上説明した第２の実施形態の撮像装置によれば、注目対象が検出された農作物から数えて何本目の農作物であるかのような、注目対象からの単位領域数に基づいて、より詳細な画像が必要な範囲を特定することができる。

前述したように、第１、第２の実施形態の撮像装置１００においては、より詳細な画像が必要な範囲を特定でき、その範囲では、高解像度の画像を取得して詳細な調査を実施することが可能となる。一方、詳細な画像が必要な範囲以外の範囲では、低解像度の画像を保存することで、保存データ量を削減することが可能となる。例えば図１４に示すように、第１、第２の実施形態の撮像装置１００によれば、巡回順路１４０２に沿って農作物１４０１等の画像を撮影する場合、病気や害虫等の発見位置１４０４に基づいた要詳細調査範囲１４０３のみ詳細な画像を保存できる。一方、それ以外の範囲では、記憶容量の小さい粗い画像を保存することで、保存データ量を削減することが可能となる。言い換えると、第１、第２の実施形態の撮像装置１００においては、注目対象からの距離や単位領域数により決定される２次元的な撮影範囲に基づいて、注目対象に適応した、高解像度の画像の取得、および画像のデータ量の調整が可能となっている。

＜その他の実施形態＞
前述した各実施形態では、撮像装置において撮影した画像から注目対象を検出したが、別途外部から入力された画像から注目対象を検出するように構成しても良い。
また、前述の各実施形態では、保存する画像の解像度を調整する例を挙げたが、詳細な調査が必要な範囲では撮影間隔を短くつまりフレームレートを高く、その範囲外では撮影間隔を長くつまりフレームレートを低くするように構成しても良い。
また、前述の各実施形態では、撮影が終了した後に、必要に応じて画像を変換した上で画像を保存しているが、撮影途中で必要に応じて画像を変換した上で画像を保存するように構成しても良い。
また、前述の各実施形態では、直前に撮影した際に検出した注目対象のみに基づいて詳細な調査が必要な範囲を決定しているが、任意のタイミングで１回以上撮影した際に検出した注目対象群を基に詳細な調査が必要な範囲を決定するよう構成しても良い。
さらに前述の実施形態では、農業分野を例に挙げ、注目対象を農作物の病気の症状や害虫などとしたが、本発明は農業分野のみに限定されず、他の分野の注目対象についても適用可能である。

本発明は、前述の各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：撮像装置、１０２：ＣＰＵ、１０３：ＲＯＭ、１０４：ＲＡＭ、１０５：記憶装置、１０８：撮像部、２０２：位置検出部、２０３：第１記憶部、２０４：画像変換部、２０５：第２記憶部、２０６：対象検出部、２０７：対象記憶部、２０８：範囲特定部、８０１：端点検出部

Claims (13)

1. 撮影により得られた複数の第１のデータ量の画像を取得する取得手段と、
   前記複数の第１のデータ量の画像のそれぞれから、農作物のうち病気の症状が現れた部分及び害虫の少なくとも一方である注目対象を検出し、前記撮影が行われた空間において前記注目対象が存在する位置を示す情報を取得する対象検出手段と、
   前記撮影が行われた空間において前記注目対象が存在する位置に基づいて位置の範囲を特定する特定手段と、
   前記複数の第１のデータ量の画像のそれぞれが得られた位置が前記範囲に含まれるか否かに応じて、前記複数の第１のデータ量の画像のうち少なくとも一部を前記第１のデータ量より少ない第２のデータ量の画像に変換する変換手段と、
   を有することを特徴とする画像処理装置。
2. 前記複数の第１のデータ量の画像を記憶する第１の記憶手段と、
   前記画像が撮影された際の撮影位置を検出する位置検出手段を更に有し、
   前記複数の第１のデータ量の画像のそれぞれが得られた位置とは、前記複数の第１のデータ量の画像のそれぞれについて前記位置検出手段によって検出された撮影位置であって、
   前記変換手段は、前記第１の記憶手段に記憶された前記複数の第１のデータ量の画像のうちそれぞれの撮影位置が前記範囲に含まれない画像を、前記第１のデータ量より少ない第２のデータ量の画像に変換することを特徴とする請求項１に記載の画像処理装置。
3. 前記対象検出手段は、前記撮影された前記複数の第１のデータ量の画像から、前記注目対象を検出し、前記複数の第１のデータ量の画像について前記位置検出手段によって検出された撮影位置に基づいて前記注目対象が存在する位置を示す情報を取得することを特徴とする請求項２に記載の画像処理装置。
4. 前記対象検出手段が前記注目対象を検出した位置を記憶する第２の記憶手段をさらに有することを特徴とする請求項３に記載の画像処理装置。
5. 前記変換手段による前記変換は、前記撮影された前記複数の第１のデータ量の画像のうち少なくとも一部の解像度を低くする処理であることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記変換手段による前記変換は、前記撮影された前記複数の第１のデータ量の画像のうち少なくとも一部を間引く処理であることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
7. 前記変換手段による前記変換は、前記撮影された前記複数の第１のデータ量の画像のうち少なくとも一部の解像度を低くする処理、および前記撮影された前記複数の第１のデータ量の画像のうち少なくとも一部を間引く処理であることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
8. 前記特定手段は、さらに前記注目対象の種類に応じて、前記変換手段による前記変換において前記第１のデータ量より少ない第２のデータ量にする際の、少なくするデータ量を決定することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記特定手段は、さらに、前記検出された注目対象までの距離に基づいて、前記変換手段による前記変換において前記第１のデータ量より少ない第２のデータ量にする際の、データ量を少なくする範囲を特定することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 単位領域の端点を検出する端点検出手段をさらに有し、
    前記特定手段は、前記端点検出手段で検出された単位領域の端点に基づいて、前記変換手段による前記変換において前記第１のデータ量より少ない第２のデータ量にする際の、データ量を少なくする範囲を特定することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記画像処理装置は、圃場、農作物を撮影し、前記圃場及び農作物の撮影画像を解析することによって、前記農作物の生育状態や病害虫による被害状況をユーザが把握可能であるように出力する処理に用いられることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 画像処理装置が実行する画像処理方法であって、
    撮影により得られた複数の第１のデータ量の画像を取得する取得工程と、
    前記複数の第１のデータ量の画像のそれぞれから、農作物のうち病気の症状が現れた部分及び害虫の少なくとも一方である注目対象を検出し、前記撮影が行われた空間において前記注目対象が存在する位置を示す情報を取得する対象検出工程と、
    前記撮影が行われた空間において前記注目対象が存在する位置に基づいて位置の範囲を特定する特定工程と、
    前記複数の第１のデータ量の画像のそれぞれが得られた位置が前記範囲に含まれるか否かに応じて、前記複数の第１のデータ量の画像のうち少なくとも一部を前記第１のデータ量より少ない第２のデータ量の画像に変換する変換工程と、
    を有することを特徴とする画像処理方法。
13. コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images