以下、本発明の一実施形態について、図面を参照して詳細に説明する。図1は、本実施形態に係る警告装置を示す模式的なブロック図である。図2は、図1に示された警告装置が設置された様子の一例を示す模式図である。図3は、図1に示された警告装置が設置された様子を示す別の一例を示す模式図である。図1〜3に示される警告装置1は、対象領域Rに侵入する移動体A,Bに対して警告を行うためのものである。
図1,2に示されるように、警告装置1は、画像取得装置(画像取得部)10と、本体装置20と、UAV(Unmanned aerial vehicle:無人航空機、警告部)30と、音響発生装置(警告部)40と、を備えている。図2の例では、画像取得装置10として1つの画像取得装置10Aが用いられている。図3の例では、画像取得装置10として2つの画像取得装置10A,10Bが用いられている。画像取得装置10、本体装置20、UAV30、及び、音響発生装置40は、例えば本体装置20を介して、有線又は無線により互いに接続されており、情報の授受が可能とされている。
画像取得装置10は、例えば、対象領域Rに臨むように設置された定点カメラである。画像取得装置10は、互いに異なる撮影時間において対象領域Rを複数回撮影することにより、複数の画像P1,P2を取得する。図3の例では、画像取得装置10A,10Bが、互いに異なる方向から対象領域Rを撮影することにより、互いに異なる方向からの画像(第1画像)P1及び画像(第2画像)P2を取得する。この場合、画像取得装置10A,10Bは、対象領域Rをステレオ視可能な位置に設置されている。
画像取得装置10は、例えば、所定の時間間隔で対象領域Rを撮影するスチールカメラであってもよいし、一定の時間にわたって連続的に動画を撮影するビデオカメラであってもよい。画像取得装置10がビデオカメラである場合には、画像P1,P2は動画を構成する各フレームとすることができる。また、画像取得装置10は、可視光カメラ及び赤外カメラの両方を含み、昼間には可視光カメラを用いると共に夜間には赤外カメラを用いるように構成されてもよい。
本体装置20は、画像取得装置10が取得した画像P1,P2に基づいて正射投影画像OP1,OP2を作成したり、正射投影画像OP1,OP2に基づいて対象領域Rに侵入した移動体A,Bを検出したり、検出された移動体A,Bに向けて警告を行うための信号を生成したりする。本体装置20の詳細については後述する。なお、本体装置20は、対象領域Rの周囲に設けられていてもよいし、対象領域Rから離隔した所定の施設に設けられていてもよい。
UAV30は、本体装置20により生成された信号に基づいて、移動体A,Bの位置に向けて飛行することにより移動体A,Bへの警告を行う。UAV30は、対象領域Rに移動体A,Bが侵入していないときには、対象領域Rの周囲に設けられた待機場所31に着陸して待機しており、充電状態とされ得る。すなわち、警告装置1は、定期的に、又は、一定のパターンによりUAVを飛行させるものとは明確に区別され得る。
音響発生装置40は、例えば、対象領域Rに臨むように設けられた指向性のスピーカである。音響発生装置40は、例えば画像取得装置10と共に設置されていてもよい。音響発生装置40は、本体装置20により生成された信号に基づいて、移動体A,Bの位置に向けて指向性の音響を発信することにより、移動体A,Bへの警告を行う。音響発生装置40は、対象領域Rに移動体A,Bが侵入していないときには、待機状態とされ得る。すなわち、警告装置1は、定期的に、又は、一定のパターンにより音や光を発生させるものとは明確に区別され得る。
なお、本実施形態においては、警告装置1は、UAV30と音響発生装置40との2つの警告部を備えることなるが、いずれか一方であってもよい。また、警告装置1は、UAV30及び/又は音響発生装置40に代えて、或いは加えて、移動体A,Bの位置に光を照射するライトといった光照射装置を備えていてもよい。
ここで、対象領域Rは、例えば、鳥獣類による食害等が生じ得る任意の領域である。対象領域Rは、例えば、人家に隣接した農業地であってもよいし、高山植物等が自生する山岳といった人家から離隔した地域であってもよい。また、移動体Aは、地表面を移動する獣(害獣)であって、例えば、サル、イノシシシ、及び、シカ等である。移動体Bは、地上を飛行可能な鳥(害鳥)であって、例えば、カラス等である。さらに、移動体A,Bは、単体である場合もあるし、群体である場合もある。
引き続いて、本体装置20の詳細について説明を行う。本体装置20は、オルソ生成装置(正射投影画像作成部)21、移動体検出装置(判定部、特定部)22、経路判定装置(経路判定部)23、移動体判定装置(移動体判定部)24、誘導情報作成装置25、UAV誘導装置26、音響生成装置27、及び、記録装置28を備えている。本体装置20の少なくとも一部は、CPU、ROM、及びRAM等を含むコンピュータとして構成される。そして、本体装置20の各装置は、そのコンピュータにおいて所定のプログラムを実行することによって実現される機能的な装置であり得る。
オルソ生成装置21は、画像取得装置10から対象領域Rの画像P1,P2を入力する。オルソ生成装置21は、例えば記録装置28に保持されている対象領域Rの地表モデル(数値地形モデル、DSM)に基づいて、対象領域Rの正射投影画像(第1正射投影画像)OP1及び正射投影画像(第2正射投影画像)OP2を作成する。正射投影画像には、例えば3次元的な地理座標が付与されている。オルソ生成装置21は、例えば、撮影時間の異なる複数の画像P1のそれぞれに基づいて、正射投影画像OP1を作成する。また、オルソ生成装置21は、撮影時間の異なる複数の画像P2のそれぞれに基づいて、正射投影画像OP2を作成する。また、オルソ生成装置21は、画像P1,P2を、異なる高度(標高)の面に投影することにより、互いに高度が異なる複数組の正射投影画像OP1,OP2を作成することができる。
移動体検出装置22は、正射投影画像OP1,OP2の差分に応じて移動体A,Bを検出する(移動体A,Bの有無を判定する)。例えば、図2の例では、時間的に互いに隣接する一対の正射投影画像OP1の差分を算出することにより移動体Aを検出する。また、図3の例では、時間的に互いに隣接する一対の正射投影画像OP1又は一対の正射投影画像OP2の差分を算出することにより、移動体Bを検出する。移動体検出装置22は、正射投影画像OP1,OP2において差分量が所定の閾値よりも大きい領域を移動体A,Bとして検出する。すなわち、移動体検出装置22は、正射投影画像OP1,OP2において当該領域が検出された場合に、移動体A,Bが有ると判定する。
移動体検出装置22は、さらに、移動体A,Bが有ると判定された場合に、正射投影画像OP1,OP2に基づいて、移動体A,Bの位置を特定する。すなわち、正射投影画像OP1,OP2には地理座標に関する情報が含まれるので、移動体検出装置22は、正射投影画像OP1,OP2に基づいて、上述した差分が相対的に大きい領域の位置を特定することができる。移動体検出装置22により特定された移動体A,Bの位置を示す情報は、記録装置28に記録され蓄積される。
経路判定装置23は、記録装置28に蓄積された移動体A,Bの位置を示す情報に基づいて、移動体A,Bの侵入経路T(図7参照)を特定する。換言すれば、経路判定装置23は、移動体検出装置22が特定した移動体A,Bの位置を蓄積することにより移動体A,Bの侵入経路Tを特定する。
移動体判定装置24は、移動体A,Bの種類を判定する。より具体的には、移動体判定装置24は、まず、移動体A,Bが害獣・害鳥等の退避させるべき動物(例えば対象領域Rへの侵入が許可された人や動物以外の動物)であるのか否かを判定する。また、移動体判定装置24は、移動体A,Bが害獣・害鳥等であった場合には、例えばシカ、イノシシ、サル、カラス、といった種別を判定する。
この判定には、例えば深層学習を利用することができる。すなわち、移動体判定装置24は、例えば、画像判定により得られた判定結果と、実際の画像P1,P2及び正射投影画像OP1,OP2、画像P1,P2の撮影時刻、移動体A,Bの位置及び侵入経路T等を含むデータに基づいて機械学習を行って生成された判定条件によって移動体A,Bの種類を判定することができる。
誘導情報作成装置25は、UAV30及び音響発生装置40を用いた移動体A,Bへの警告の態様を示す誘導情報を作成する。一例として、誘導情報作成装置25は、移動体判定装置24により判定された移動体A,Bの種類に応じて、UAV30の飛行経路や、音響発生装置40により発生させる音響の発信方向や周波数等を示す情報(誘導情報)を作成する。また、誘導情報作成装置25は、誘導情報として、経路判定装置23が特定した移動体A,Bの侵入経路Tに基づいて、移動体A,Bを所望の方向に退避させるように、誘導情報を作成する。なお、誘導情報作成装置25は、UAV30及び音響発生装置40が警告動作を行わない旨の情報(停止情報)を作成する場合もある。
UAV誘導装置26は、誘導情報作成装置25により作成された誘導情報又は停止情報に沿ってUAV30を運用するための信号を生成し、UAV30に提供する。音響生成装置27は、誘導情報作成装置25により作成された誘導情報又は停止情報に沿って音響発生装置40を運用するための信号を生成し、音響発生装置40に提供する。
引き続いて、警告装置1の動作(警告方法)について説明する。図4、図5、及び図6は、本実施形態に係る警告方法の一例を示すフローチャートである。図4に示されるように、ここでは、まず、画像取得装置10が、所定の時間間隔でもって(すなわち、互いに異なる撮影時間において)、対象領域Rを複数回撮影することにより、時間に沿った複数の画像P1,P2を取得する(ステップS101:第1工程)。画像取得装置10は、画像P1,P2を本体装置20に提供する。
続いて、オルソ生成装置21が、複数の画像P1,P2に基づいて、対象領域Rの複数の正射投影画像OP1,OP2を作成する(ステップS102:第2工程)。オルソ生成装置21は、画像P1,P2を、例えば記録装置28に予め保持されている地表モデル等に投影することにより、正射投影画像OP1,OP2を作成することができる。上述したように、ステップS101においては、時間に沿った複数の画像P1,P2が取得される。したがって、このステップS102においても、時間に沿った(互いに撮影時間が異なる)複数の正射投影画像OP1,OP2が作成される。なお、正射投影画像OP1,OP1には、地理座標が付与される。このため、正射投影画像OP1,OP2は、対象領域Rの地図と重ね合わせることが可能である。
続いて、移動体検出装置22が、正射投影画像OP1同士又は正射投影画像OP2同士の差分を算出することにより、移動体A,Bを検出する(ステップS103)。そして、移動体検出装置22は、その検出結果に応じて、移動体A,Bの有無を判定する(ステップS104:第3工程)。すなわち、このステップS104においては、移動体判定装置24は、正射投影画像同士の差分に応じて移動体A,Bの有無を判定する。
ステップS104において移動体A,Bが無い(いない)と判定された場合にはステップS101に戻る。一方、ステップS104において移動体A,Bが有る(いる)と判定された場合には、移動体検出装置22が、正射投影画像OP1,OP2に基づいて、移動体A,Bの位置・撮影時刻を特定する(ステップS105:第2工程、第4工程)。ここでは、一例として、移動体検出装置22は、移動体A,Bの3次元的な位置を特定する。
特に、図3に示される例のように、移動体Bが飛行体である場合には、移動体検出装置22は、次のようにして移動体Bの緯度・経度に加えて高度(標高)をさらに特定することができる。すなわち、図8の(a)に示されるように、画像取得装置10Aと画像取得装置10Bとは、対象領域Rをステレオ視するように設置されている。このため、正射投影画像OP1と正射投影画像OP2とは、少なくとも部分的に重複している。このような状態において、移動体検出装置22は、撮影時刻が一致する一対の画像P1,P2を、例えば1m間隔で高度の異なる複数の投影面に投影することにより、図8の(b)〜(d)に示されるように、互いに高度が異なる複数組の正射投影画像OP1,OP2を作成する。
このとき、投影面の高度が移動体Bの高度と異なる場合には、図8の(b),(c)に示されるように、1組の正射投影画像OP1,OP2の間において、移動体Bの位置が一致しない。これに対して、投影面の高度が移動体Bの高度に一致する場合には、図8の(d)に示されるように、1組の正射投影画像OP1,OP2の間において、移動体Bの位置が一致する(重複する)。したがって、正射投影画像OP1,OP2間において単一の移動体Bが観測された投影面の高度を、移動体Bの高度として特定することができる。すなわち、ここでは、移動体検出装置22は、高度の異なる複数組の正射投影画像OP1,OP2の作成(第2工程)によって、それらに基づいて移動体Bの高度をさらに特定する(第4工程)。
移動体検出装置22は、以上のように特定した移動体A,Bの位置を例えば記録装置28に提供して蓄積する(ステップS106:第6工程)。そして、経路判定装置23が、蓄積された移動体A,Bの位置から移動体A,Bの経路を特定する(ステップS107:第6工程)。すなわち、ここでは、移動体A,Bの位置を蓄積することにより移動体A,Bの侵入経路Tが特定される(図7参照)。
続いて、移動体判定装置24が、判定情報の入力を受ける(ステップS108)。上述したように、判定情報は、移動体A,Bの種類を判定するための情報であって、例えばオペレータによる画像判定で得られた判定結果と、実際の画像P1,P2及び正射投影画像OP1,OP2、画像P1,P2の撮影時刻、移動体A,Bの位置及び侵入経路T等を含むデータに基づいて機械学習を行って生成される。
続いて、移動体判定装置24が、移動体A,Bの種類を判定する(ステップS109:第7工程)。より具体的には、移動体判定装置24は、判定情報に基づいて、移動体A,Bが害獣・害鳥であるか否かを判定する。このとき、移動体判定装置24は、移動体A,Bが害獣・害鳥である場合にはその種別まで判定することができる。
このステップS109の判定の結果、移動体A,Bが害獣・害鳥でない場合、誘導情報作成装置25が、停止情報を作成する(ステップS111)。一方、ステップS109の判定の結果、移動体A,Bが害獣・害鳥である場合には、誘導情報作成装置25が、UAV30及び音響発生装置40の誘導情報を作成する(ステップS112:第5工程)。
一例として、誘導情報作成装置25は、図7に示されるように、侵入経路Tの逆側から(移動体Aを介して侵入経路Tの反対方向Dから)、UAV30及び/又は音響発生装置40により警告を行うように誘導情報を作成する。これにより、侵入経路Tを介して(すなわち侵入経路Tを戻るように)侵入位置から移動体Aを退去させることが可能となる。別の一例として、誘導情報作成装置25は、対象領域Rの地図と正射投影画像OP1,OP2とを重ね合わせ、ステップS105において特定された位置から人家Cに向かう方向と異なる方向(例えば反対方向)に移動体A,Bを誘導するように、誘導情報を作成する。さらに別の一例としては、誘導情報作成装置25は、対象領域Rの地図と正射投影画像OP1,OP2とを重ね合わせ、ステップS105において特定した位置から山林Fに向かう方向に移動体A,Bを誘導するように誘導情報を作成する。これらの場合、侵入経路Tの特定は必須ではない。これらの場合には、対象領域Rから退去させた移動体A,Bが人家Cに向かうことを避けることができる。
その後、誘導情報作成装置25は、停止情報又は誘導情報をUAV誘導装置26及び音響生成装置27に出力する(ステップS113)。そして、UAV30に関する動作は図5のステップS114に移行し、音響発生装置40に関する動作は図6のステップS122に移行する。
すなわち、図5に示されるように、UAV30に関する動作においては、UAV誘導装置26が、停止情報又は誘導情報を受信する(ステップS114)。続いて、UAV誘導装置26が、受信した情報が誘導情報であるか否かを判定する(ステップS115)。
ステップS115の判定の結果、UAV誘導装置26が受信した情報が誘導情報である場合、UAV誘導装置26は、UAV30が地上にて待機中であるか否かを判定する(ステップS116)。この判定の結果、UAV30が地上にある場合、UAV30は、誘導情報に沿って警告を行うべく離陸する(ステップS117)。そして、UAV30は、誘導情報に沿って、移動体A,Bの位置に向けて飛行して警告を行い(ステップS118:第5工程)、処理を終了する。一方、ステップS116の判定の結果、UAV30が地上にない(飛行中である)場合には、UAV30は、そのまま誘導情報に沿って、移動体A,Bの位置に向けて飛行して警告を行い(ステップS118:第5工程)、処理を終了する。
他方、ステップS115の判定、UAV誘導装置26が受信した情報が誘導情報でない場合(すなわち、停止情報である場合)、UAV誘導装置26は、UAV30が空中(飛行中)であるか否かの判定を行う(ステップS119)。この判定の結果、UAVが空中である場合、UAV誘導装置26は、UAV30を待機場所31に着陸させ(ステップS120)、UAV30の充電を開始する(ステップS121)。そして処理を終了する。なお、この判定の結果、UAV30が空中でない場合、そのまま充電を開始する(ステップS121)。
ここで、図6に示されるように、音響発生装置40に関する動作においては、音響生成装置27が、停止情報又は誘導情報を受信する(ステップS122)。続いて、音響生成装置27が、受信した情報が誘導情報であるか否かを判定する(ステップS123)。この判定の結果、音響生成装置27が受信した情報が誘導情報でない場合(すなわち、停止情報である場合)、音響発生装置40は、音響生成装置27を停止させ(ステップS124)、処理を終了する。
一方、ステップS123の判定の結果、音響生成装置27が受信した情報が誘導情報であった場合、音響生成装置27は、誘導情報に沿って音響を発信して警告を行うように音響発生装置40を制御する(ステップS125)。そして、音響発生装置40は、その制御に応じて移動体A,Bの位置に指向性の音響を発信して警告を行い(ステップS126:第5工程)、処理を終了する。
以上説明したように、本実施形態に係る警告装置1及びその警告方法においては、互いに異なる撮影時間において対象領域Rを複数回撮影することにより、複数の画像P1,P2を取得する。また、その複数の画像P1,P2に基づいて複数の正射投影画像OP1,OP2を作成する。したがって、互いに異なる撮影時間における正射投影画像OP1,OP2(例えば撮影時間が隣接する2つの正射投影画像)の差分に応じて、対象領域Rに侵入した移動体A,Bの有無を判定できる。
また、正射投影画像OP1,OP2には地理座標が付与されている。したがって、移動体A,Bが有る(いる)場合には、その移動体A,Bの位置を正射投影画像OP1,OP2から特定することができる。したがって、その特定された位置に向けて警告を行うことにより、対象領域Rの外に移動体A,Bを退去させることができる。このように、警告装置1及びその警告方法によれば、移動体A,Bに対して積極的に警告を行うことが可能であり、移動体A,Bによる被害を確実に抑制することができる。
また、警告装置1及びその警告方法においては、警告として、UAV30を移動体A,Bの位置に向け飛行させる。このため、UAV30を運用することにより、移動体A,Bに対してより積極的に警告を行って対象領域Rから確実に移動体A,Bを退去させることができる。
また、警告装置1及びその警告方法においては、警告として、指向性の音響を移動体A,Bの位置に向け発信する。このため、指向性の音響を用いることにより、周囲への影響を抑制しつつ移動体A,Bに対して積極的に警告を行うことが可能である。
また、警告装置1及びその警告方法においては、画像として、互いに異なる方向から対象領域Rを撮影することにより互いに異なる方向からの画像P1及び画像P2を取得する。また、正射投影画像として、画像P1及び画像P2のそれぞれに基づいて高度の異なる複数組の正射投影画像OP1及び正射投影画像OP2を作成する。そして、複数組の正射投影画像OP1及び正射投影画像OP2に基づいて移動体A,Bの高度をさらに特定する。このため、例えば移動体A,Bが害鳥等の飛行体である場合にも、適切な警告を行うことができる。
また、警告装置1及びその警告方法は、特定した移動体A,Bの位置を蓄積することにより移動体A,Bの侵入経路Tを特定すると共に、侵入経路Tの逆側から警告を行う。このため、侵入経路Tを介して侵入位置から移動体A,Bを退去させることが可能となる。
また、警告装置1及びその警告方法においては、対象領域Rの地図と正射投影画像OP1,OP2とを重ね合わせ、移動体A,Bの位置から人家Cに向かう方向と異なる方向に移動体A,Bを誘導するように警告を行うことができる。また、警告装置1及びその警告方法においては、対象領域Rの地図と正射投影画像OP1,OP2とを重ね合わせ、移動体A,Bの位置から山林Fに向かう方向に移動体A,Bを誘導するように警告を行うことができる。これらの場合、対象領域Rから退去させた移動体A,Bが人家C等へ向かうことを避けることができる。
さらに、警告装置1及びその警告方法は、移動体A,Bが有ると判定された場合に、移動体A,Bの種類を判定する。このため、移動体A,Bの種類に応じて適切な警告を行う(又は不要な警告を行わない)ことが可能となる。
以上の実施形態は、本発明に係る警告方法、及び、警告装置の一実施形態について説明した者である。したがって、本発明に係る警告方法、及び、警告装置は、上記のものに限定されず、適宜変更することが可能である。
例えば、上記実施形態においては、UAV30による警告と、音響による警告と、の実施の順番について特に規定していない。これに対して、一例として、音響発生装置40から指向性の音響を移動体A,Bに発信した後に、なお移動体A,Bが有りと判定された場合(すなわち、移動体A,Bが対象領域Rから退去しなかった場合)に、UAV30を移動体A,Bの位置に向けて飛行させるようにしてもよい。さらには、UAV30による警告と音響による警告との順番は、この逆であってもよい。