JP2019028577A - 動物種別判定装置、方法およびプログラム - Google Patents
動物種別判定装置、方法およびプログラム Download PDFInfo
- Publication number
- JP2019028577A JP2019028577A JP2017145025A JP2017145025A JP2019028577A JP 2019028577 A JP2019028577 A JP 2019028577A JP 2017145025 A JP2017145025 A JP 2017145025A JP 2017145025 A JP2017145025 A JP 2017145025A JP 2019028577 A JP2019028577 A JP 2019028577A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- moving object
- moving
- reference image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
【課題】撮像された動物体の向きによらず当該動物体の種別を精度良く判定することを可能にする。【解決手段】カメラ2から画像データが取得される。当該画像データから動物体を示す領域が検出される。当該画像データから、上記検出された上記動物体を示す領域に含まれる動物体画像データが生成される。上記画像データにおける上記動物体を示す領域の時間変化から、上記動物体の移動方向が推定される。当該移動方向から、上記動物体の向きが推定される。基準画像データベース123に記憶される複数の種別の動物体の複数の向きにそれぞれ対応する複数の基準画像データのうちの、上記推定された向きに対応する基準画像データ群が読み出され、読み出された基準画像データ群に含まれる各基準画像データと、上記動物体画像データとが比較されて、動物体画像データにより表される動物体の種別が判定される。【選択図】図1
Description
この発明は、撮像装置によって撮像される動物体の種別を判定する動物種別判定装置に関する。
野生動物による農作物被害は全国的に蔓延しており、その被害の規模は深刻なものとなっている。そのため、野生動物の捕獲や追い払い等の被害対策が重要となっている。このような被害対策を行う際には、保護動物であるツキノワグマ等の、捕獲対象外の動物体が誤捕獲される問題が生じることがあった。したがって、このような被害対策を効果的に実施するためには、動物体の種別を判定できるようにする必要があった。
一般的に、夜間の屋外環境で動物体を監視する場合は、暗視カメラやサーモグラフィカメラを利用する。これらのカメラから取得される画像はグレースケール画像であり、可視光画像と比較して情報量が少ない。例えば、暗視カメラの場合は、赤外光の照射度合により取得画像の鮮明さが異なる。また、サーモグラフィカメラの場合は、一般的に取得画像の解像度が低い。そのため、これらのカメラによる画像から動物体の種別を判定するためには、動物体の種別の特徴量がより現れている画像を用いる必要があった。
そこで、野生動物が檻へ侵入する際の正面画像を用いて、機械学習によって動物体の種別を判定する技術が知られている。具体的には、暗視カメラを使用して、例えばクマやイノシシが檻へ侵入する際の正面画像を動物体の種別毎に撮像し、撮像された動物体の種別毎に特徴量がよく表れている画像を機械学習により取得してこれを基準画像とする。次に、対象の檻に動物体が侵入する際に撮像された画像を上記基準画像と比較し、動物体の種別を判定する。このように檻に進入するときの動物体の正面画像を用いることで、動物体の種別を精度良く判定することが可能となる(例えば、特許文献1または非特許文献1を参照)。
兵庫県立大学 自然・環境科学研究所,野生動物対策におけるスマートセンサーの活用 pp.9-14.
ところが、檻の外にいる動物体の種別を判定しようとすると、撮像される動物体の向きは不定となる。そのため、動物体の正面画像を基準画像として種別を判定する手法では、撮像されたときの動物体の向きによっては種別を精度良く判定することができない。
この発明は上記事情に着目してなされたもので、撮像された動物体の向きによらず当該動物体の種別を精度良く判定することが可能な動物種別判定装置、方法およびプログラムを提供しようとするものである。
上記課題を解決するためにこの発明の第1の態様は、動物種別判定装置にあって、撮像装置によって生成された画像データを取得する画像データ取得部と、前記取得された画像データから動物体を示す領域を検出する動物体領域検出部と、前記取得された画像データにおける前記動物体を示す領域の時間変化から、前記動物体の移動方向を推定する移動方向推定部と、前記推定された前記動物体の移動方向から前記動物体の向きを推定する向き推定部と、前記画像データから、前記検出された動物体を示す領域に含まれる動物体画像データを生成する動物体画像データ生成部と、前記動物体画像データ生成部により生成された動物体画像データと、複数の種別の動物体の複数の向きに対応してそれぞれ生成された複数の基準画像データとを、前記推定された動物体の向きを考慮して比較し、その比較結果に基づいて、前記動物体画像データにより表される動物体の種別を判定する種別判定部とを備えるようにしたものである。
この発明の第2の態様は、前記動物体画像データ生成部が、前記画像データから前記動物体を示す領域以外の背景領域を削除し、前記動物体を示す領域の画像サイズを前記画像データ内の基準位置に対する距離に基づいて正規化することによって、前記動物体画像データを生成するようにしたものである。
この発明の第3の態様は、前記種別判定部が、前記複数の基準画像データから、前記推定された前記動物体の向きに対応する基準画像データ群を選択する基準画像データ選択部と、前記選択された基準画像データ群に含まれる各基準画像データと、前記生成された動物体画像データとを比較する画像データ比較部とを備えるようにしたものである。
この発明の第4の態様は、前記種別判定部が、前記複数の基準画像データのうちの、前記推定された前記動物体の向きに近接する2つの向きに対応する基準画像データ群と、前記生成された動物体画像データとを比較する画像データ比較部と、前記画像データ比較部による比較の結果を、前記推定された前記動物体の向きと前記2つの向きとの関係に基づく比率に基づいて重み付けする重み付け部とを備えるようにしたものである。
この発明の第5の態様は、前記種別判定部が、前記動物体画像データ生成部により生成された動物体画像データと、複数の種別の動物体の複数の向きおよびサイズに対応してそれぞれ生成された複数の基準画像データとを、前記推定された動物体の向きおよび前記正規化後の前記動物体を示す領域の画像サイズを考慮して比較し、その比較結果に基づいて、前記動物体画像データにより表される動物体の種別を判定するようにしたものである。
この発明の第6の態様は、前記動物種別判定装置にあって、所定の種別の動物体を表す動物体画像データを、前記複数の基準画像データのうちの、前記所定の種別の動物体の当該所定の種別の動物体の向きに対応して生成された基準画像データとして記憶させる基準画像データベース生成部をさらに備えるようにしたものである。
この発明の第1の態様によれば、撮像装置によって生成された画像データが取得され、当該画像データから動物体を示す領域が検出される。その後、当該画像データにおける動物体を示す領域の時間変化から、当該動物体の移動方向が推定され、推定された動物体の移動方向から当該動物体の向きが推定される。また、上記画像データから、上記検出された動物体を示す領域に含まれる動物体画像データが生成される。その結果、生成された動物体画像データと、複数の種別の動物体の複数の向きに対応してそれぞれ生成された複数の基準画像データとが、上記推定された向きを考慮して比較され、その比較結果に基づいて、上記動物体画像データにより表される動物体の種別が判定される。このように、取得された画像データに撮像されたさまざまな向きの動物体の種別を判定することができる。
この発明の第2の態様によれば、上記画像データから上記動物体を示す領域以外の背景領域が削除され、上記動物体を示す領域の画像サイズを画像データ内の基準位置に対する距離に基づいて正規化することによって、上記動物体画像データが生成される。このように、動物体を示す領域が正確に切り出され、動物体のサイズが反映されるように正規化された動物体画像データを生成することができる。したがって、撮像された動物体との距離にかかわらず、動物体の種別を精度良く判定することができる。
この発明の第3の態様によれば、動物体の種別判定処理において、上記複数の基準画像データから、上記推定された向きに対応する基準画像データ群が選択され、選択された基準画像データ群に含まれる各基準画像データと、上記動物体画像データとが比較される。このように、上記動物体画像データは、上記複数の基準画像データのうちの、推定された動物体の向きに対応する基準画像データ群のみと比較処理を実行される。したがって、上記複数の基準画像データのすべての基準画像データが比較処理を実行される場合と比べて処理量を抑えることができる。
この発明の第4の態様によれば、動物体の種別判定処理において、上記複数の基準画像データのうちの、上記推定された向きに近接する2つの向きに対応する基準画像データ群と、上記動物体画像データとが比較され、当該比較の結果が、上記推定された向きと上記2つの向きとの関係に基づく比率に基づいて重み付けされる。したがって、取得された画像データに撮像された任意の向きの動物体の種別を判定することができる。
この発明の第5の態様によれば、動物体の種別判定処理において、上記動物体画像データと、複数の種別の動物体の複数の向きおよびサイズに対応してそれぞれ生成された複数の基準画像データとが、上記推定された向きおよび正規化後の上記動物体を示す領域の画像サイズを考慮して比較され、その比較結果に基づいて、上記動物体画像データにより表される動物体の種別が判定される。このように、動物体のサイズにも対応している基準画像データを使用して、動物体の種別判定処理が実行されるので、例えば、動物体が成体であるかまたは幼体であるかの判定もすることができる。
この発明の第6の態様によれば、所定の種別の動物体を表す動物体画像データが、上記複数の基準画像データのうちの、上記所定の種別の動物体の当該所定の種別の動物体の向きに対応する基準画像データとして記憶される。したがって、動物種別判定装置において動物体の種別判定処理を実行するために必要とされる上記複数の基準画像データを、当該動物種別判定装置において生成することができる。
すなわちこの発明によれば、撮像された動物体の向きによらず当該動物体の種別を精度良く判定することが可能な動物種別判定装置、方法およびプログラムを提供することができる。
以下、図面を参照してこの発明に係わる実施形態を説明する。
[第1の実施形態]
(構成)
図1は、この発明の第1の実施形態に係る動物種別判定装置1の機能構成を示すブロック図である。図1に図示される動物種別判定装置1は、撮像装置としてのカメラ2によって撮像された動物体の画像をもとに当該動物体の種別を判定するもので、判定対象の動物としては、例えばイノシシ、シカおよびクマ等が挙げられる。
[第1の実施形態]
(構成)
図1は、この発明の第1の実施形態に係る動物種別判定装置1の機能構成を示すブロック図である。図1に図示される動物種別判定装置1は、撮像装置としてのカメラ2によって撮像された動物体の画像をもとに当該動物体の種別を判定するもので、判定対象の動物としては、例えばイノシシ、シカおよびクマ等が挙げられる。
本実施形態に係る動物種別判定装置1は、制御ユニット11と、記憶ユニット12と、外部インタフェースユニット13と、入出力インタフェースユニット14とを備えている。
外部インタフェースユニット13および入出力インタフェースユニット14は、例えば1つ以上の有線または無線の通信インタフェースユニットを含んでいる。外部インタフェースユニット13は、カメラ2により所定の監視対象区域を撮像して得られた画像データを制御ユニット11に入力する。カメラ2としては、例えば、可視光カメラ、赤外線カメラ(暗視カメラ)、またはサーモカメラ等が用いられる。入出力インタフェースユニット14は、例えば、キーボードやマウス等を含む入力部3によって入力された操作信号等を制御ユニット11に入力するとともに、制御ユニット11から出力された表示データを表示部4に表示させる。
記憶ユニット12は、記憶媒体としてHDD(Hard Disk Drive)またはSSD(Solid State Drive)等の随時書き込みおよび読み出しが可能な不揮発メモリを使用したもので、その記憶領域には、画像データ記憶部121と、動物体画像データ記憶部122と、基準画像データベース123とが設けられている。
画像データ記憶部121は、制御ユニット11の画像データ取得部111によって取得される、カメラ2からの画像データを記憶するために使用される。
動物体画像データ記憶部122は、制御ユニット11の動物体画像データ生成部113によって生成される動物体画像データを記憶するために使用される。
基準画像データベース123は、制御ユニット11の基準画像データベース生成部116によって生成される、複数の種別の動物体の複数の向きにそれぞれ対応する複数の基準画像データを記憶するために使用される。
制御ユニット11は、CPU(Central Processing Unit)を有し、本実施形態における処理機能を実行するために、画像データ取得部111と、動物体領域検出部112と、動物体画像データ生成部113と、移動方向推定部114と、向き推定部115と、基準画像データベース生成部116と、種別判定部117とを備えている。これらの各部における処理機能はいずれも、図示しないプログラムメモリに格納されたプログラムを上記CPUに実行させることによって実現される。
画像データ取得部111は、カメラ2により所定の監視対象区域を撮像することにより生成された画像データを、外部インタフェースユニット13を介して取得し、取得された画像データを記憶ユニット12の画像データ記憶部121に記憶させる処理を実行する。なお、当該画像データは、映像データであってもよい、あるいは、時系列的に間欠的に得られる複数の静止画データであってもよい。また、上記記憶させる処理では、上記取得された画像データに加えて、あるいは、上記取得された画像データの代わりに、当該画像データから抽出された特徴量データを記憶させるようにしてもよい。特徴量データは、例えば、AKAZE特徴量やSIFT特徴量等を含むデータである。特徴量データを記憶させる場合は、画像データに対して実行するものとして説明する以下の処理は、特徴量データに対して実行するものとしてもよい。
動物体領域検出部112は、記憶ユニット12の画像データ記憶部121に記憶される画像データを読み出し、読み出された画像データから動物体を示す領域を検出する処理を実行する。当該検出処理は、例えば、画像データによるフレーム間差分法を使用して実行される。あるいは、カメラ2がサーモカメラであり、画像データとして熱情報のデータが得られている場合は、当該検出処理は、熱情報を使用して実行される。
動物体画像データ生成部113は、上記画像データから上記動物体を示す領域以外の背景領域を削除し、上記動物体を示す領域の画像サイズを上記画像データ内の基準位置に対する距離に基づいて正規化する。そして、この正規化後の動物体を示す領域に含まれる動物体画像データを生成し、生成した動物体画像データを記憶ユニット12の動物体画像データ記憶部122に記憶させる処理を実行する。
移動方向推定部114は、上記動物体領域検出部112により画像データから検出された上記動物体を示す領域の時間変化から、上記動物体の移動方向を推定する処理を実行する。当該移動方向推定処理は、例えば、オプティカルフロー等の手法を用いて実行される。
向き推定部115は、上記推定された動物体の移動方向から、例えば、右向き、左向き、奥向き、手前向き等の、上記動物体の向いている方向(以下、「向き」と称する。)を推定する処理を実行する。なお、当該推定される方向は、上記した右向き、左向き、奥向き、手前向き等に限定されず、例えば、これらの間の方向を含んでいてもよい。
基準画像データベース生成部116は、動物体の種別判定処理に先立つ基準画像データ生成モードにおいて、判定対象となる複数種の動物体の各々について複数の方向から見たときの当該動物体の基準画像データを機械学習により生成し、当該生成された基準画像データを、上記方向(向き)毎に動物体の識別情報と関連付けて基準画像データベース123に記憶させる処理を実行する。なお、上記動物体の基準画像データは、機械学習を使用せずに、オペレータが手動操作により選択して基準画像データベース123に登録するようにしてもよい。
種別判定部117は、動物体の種別判定モードにおいて、上記動物体画像データ生成部113により新たな動物体画像データが生成される毎に、当該動物体画像データを動物体画像データ記憶部122から読み込む。また、それと並行して、上記向き推定部115により推定された動物体の向きに対応する基準画像データ群を上記基準画像データベース123から選択的に読み込む。そして、上記読み込んだ動物体画像データを、上記基準画像データ群の各画像データと順次比較してその一致の度合いを算出し、当該算出された一致の度合いに基づいて上記動物体画像データにより表される動物の種別を判定する処理を実行する。判定結果は、例えば、入出力インタフェースユニット14を介して、表示部4に出力される。
(動作)
次に、以上のように構成された動物種別判定装置1の動作を説明する。
(1)基準画像データベースの生成
図2は、図1に示した制御ユニット11によって実行される基準画像データベース生成処理の一例を示すフロー図である。
次に、以上のように構成された動物種別判定装置1の動作を説明する。
(1)基準画像データベースの生成
図2は、図1に示した制御ユニット11によって実行される基準画像データベース生成処理の一例を示すフロー図である。
最初に、ステップS11において制御ユニット11は、画像データ取得部111の制御の下、撮像装置としてのカメラ2によって生成された、監視対象区域内で所定の種別の動物体が撮像された画像データを取得し、取得された画像データを画像データ記憶部121に記憶させる。なお、当該画像データは、映像データであってもよいし、時系列的に間欠的に得られた複数の静止画データであってもよい。また、画像データ記憶部121には、上記取得された画像データを記憶させるのに加えて、あるいは、上記取得された画像データを記憶させる代わりに、当該画像データから抽出された特徴量データを記憶させるようにしてもよい。特徴量データは、例えば、AKAZE特徴量やSIFT特徴量等を含むデータである。特徴量データを記憶させる場合は、画像データに対して実行するものとして説明する以下の処理は、特徴量データに対して実行するものとしてもよい。なお、撮像される動物体の種別は、例えば、オペレータが判断して、入力部3を介して入力するものとしてもよい。
上記所定の種別の動物体が撮像されていることは、動物体領域検出部112が、画像データ記憶部121に記憶される上記画像データを読み出し、読み出された画像データから上記所定の種別の動物体を示す領域を検出する処理を実行することによって確認される。当該検出処理は、例えば、画像データによるフレーム間差分法を使用して実行される。あるいは、カメラ2がサーモカメラであり、画像データとして熱情報のデータが得られている場合は、当該検出処理は、熱情報を使用して実行される。
次に、ステップS12において制御ユニット11は、動物体画像データ生成部113の制御の下、上記画像データから上記所定の種別の動物体を示す領域以外の背景領域を削除し、上記所定の種別の動物体を示す領域の画像サイズを上記画像データ内の基準位置に対する距離に基づいて正規化することによって、上記検出された上記所定の種別の動物体を示す領域に含まれる動物体画像データを生成させ、生成された動物体画像データを動物体画像データ記憶部122に記憶させる。
一方、ステップS13において制御ユニット11は、移動方向推定部114の制御の下、上記画像データにおける上記所定の種別の動物体を示す領域の時間変化から、上記所定の種別の動物体の移動方向を推定する。当該移動方向推定処理は、例えば、オプティカルフロー等の手法を用いて実行される。
ステップS14において制御ユニット11は、向き推定部115の制御の下、上記推定された所定の種別の動物体の移動方向から、例えば、右向き、左向き、奥向き、手前向き等の、上記所定の種別の動物体の向きを推定する。なお、当該推定される方向は、上記した右向き、左向き、奥向き、手前向き等に限定されず、例えば、これらの間の方向を含んでいてもよい。
最後に、ステップS15において制御ユニット11は、基準画像データベース生成部116の制御の下、動物体画像データ記憶部122に記憶された上記所定の種別の動物体を表す動物体画像データを読み出し、上記読み出された動物体画像データを、上記所定の種別の動物体の、ステップS14において推定された向きに対応する基準画像データとして、基準画像データベース123に記憶させる。
以上の基準データベース生成処理は、機械学習により行われる。なお、当該動物体の向きは、移動方向推定部114および向き推定部115における処理によって推定する代わりに、例えば、オペレータが判断して、入力部3を介して入力するようにしてもよい。
(2)動物体の種別判定
動物種別判定装置1は、上記で説明した基準画像データベース生成処理によって生成された基準画像データベース123を使用して動物種別判定処理を実行する。なお、基準画像データベースに記憶される基準画像データ群は、例えば他の装置から一括して取得して基準画像データベース123に記憶して使用するようにしてもよい。また、例えば動物種別判定装置1には基準画像データベース123を設けず、データサーバ上に設けられている基準画像データベースからその都度必要な基準画像データを取得して使用するようにしてもよい。
動物種別判定装置1は、上記で説明した基準画像データベース生成処理によって生成された基準画像データベース123を使用して動物種別判定処理を実行する。なお、基準画像データベースに記憶される基準画像データ群は、例えば他の装置から一括して取得して基準画像データベース123に記憶して使用するようにしてもよい。また、例えば動物種別判定装置1には基準画像データベース123を設けず、データサーバ上に設けられている基準画像データベースからその都度必要な基準画像データを取得して使用するようにしてもよい。
図3は、図1に示した制御ユニット11によって実行される動物種別判定処理の一例を示すフロー図である。
最初に、ステップS21において制御ユニット11は、画像データ取得部111の制御の下、撮像装置としてのカメラ2によって生成された、監視対象区域内が撮像された画像データを取得し、取得された画像データを画像データ記憶部121に記憶させる。なお、当該画像データは、映像データであってもよい、あるいは、時系列的に間欠的に得られる複数の静止画データであってもよい。また、画像データ記憶部121には、上記取得された画像データを記憶させるのに加えて、あるいは、上記取得された画像データを記憶させる代わりに、当該画像データから抽出された特徴量データを記憶させるようにしてもよい。特徴量データは、例えば、AKAZE特徴量やSIFT特徴量等を含むデータである。特徴量データを記憶させる場合は、画像データに対して実行するものとして説明する以下の処理は、特徴量データに対して実行するものとしてもよい。なお、当該画像データの取得処理は、カメラ2または他の装置が、上記監視対象区域内において動物体の存在または移動を検知したときに実行されるようにしてもよい。
ステップS22において制御ユニット11は、動物体領域検出部112の制御の下、画像データ記憶部121に記憶される上記画像データを読み出し、読み出された画像データにおいて動物体を示す領域が検出されるか否かを判定する。当該検出処理は、例えば、画像データによるフレーム間差分法を使用して実行される。あるいは、カメラ2がサーモカメラであり、画像データとして熱情報のデータが得られている場合は、当該検出処理は、熱情報を使用して実行される。読み出された画像データにおいて動物体を示す領域が検出されていないと判定された場合は、後述の処理は実行されず、再度ステップS21の処理に戻る。読み出された画像データにおいて動物体を示す領域が検出されたと判定された場合は、以下に説明する処理に進む。
ステップS23において制御ユニット11は、動物体画像データ生成部113の制御の下、上記画像データから上記動物体を示す領域以外の背景領域を削除し、上記動物体を示す領域の画像サイズを上記画像データ内の基準位置に対する距離に基づいて正規化する。そして、この正規化後の動物体を示す領域に含まれる動物体画像データを生成し、生成された動物体画像データを動物体画像データ記憶部122に記憶させる。
一方、ステップS24において制御ユニット11は、移動方向推定部114の制御の下、上記画像データにおける上記動物体を示す領域の時間変化から、上記動物体の移動方向を推定する。当該移動方向推定処理は、例えば、オプティカルフロー等の手法を用いて実行される。
ステップS25において制御ユニット11は、向き推定部115の制御の下、上記推定された動物体の移動方向から、例えば、右向き、左向き、奥向き、手前向き等の、上記動物体の向きを推定する。なお、当該推定される方向は、上記した右向き、左向き、奥向き、手前向き等に限定されず、例えば、これらの間の方向を含んでいてもよい。
最後に、ステップS26において制御ユニット11は、種別判定部117の制御の下、動物体画像データ記憶部122に記憶される動物体画像データを読み出し、読み出された動物体画像データにより表される動物体の種別を判定する。具体的には、先ず、種別判定部117の制御の下、基準画像データベース123に記憶される複数の種別の動物体の複数の向きにそれぞれ対応する複数の基準画像データのうち、上記ステップS25において推定された動物体の向きに対応する基準画像データ群が選択されて読み出される。次に、制御ユニット11は、種別判定部117の制御の下、読み出された基準画像データ群に含まれる各基準画像データと、上記読み出された動物体画像データとを順次比較して一致の度合いを算出し、この算出した一致の度合いに基づいて上記動物体画像データにより表される動物体の種別を判定する。
なお、上記ステップS25において推定された動物体の向きが、基準画像データベース123に定義されていない場合も考えられる。この場合、制御ユニット11は、種別判定部117の制御の下、基準画像データベース123で定義されている複数の向きのうち、上記ステップS25において推定された動物体の向きに近接する2つの向きを選択する。そして、当該選択した2つの向きに対応する基準画像データ群をそれぞれ読み込み、この読み込まれた基準画像データ群と、上記動物体画像データ記憶部122から読み出された動物体画像データとをそれぞれ比較してその一致の度合いを算出する。その後、制御ユニット11は、種別判定部117の制御の下、上記算出された一致の度合いに対し、上記推定された動物体の向きと上記選択された2つの向きとの関係に基づく比率、例えば角度の比率に基づいて重み付けし、当該重み付け後の一致の度合いに基づいて動物体の種別を判定する。
また以上の説明では、複数の種別の動物体の複数の向きに対応する基準画像データ群を基準画像データベース123に記憶しておく場合を例にとって説明したが、複数の種別の動物体の複数の向きおよび複数のサイズに対応する基準画像データ群を基準画像データベース123に記憶しておくようにしてもよい。この場合、制御ユニット11は、種別判定部117の制御の下、上記ステップS25において推定された動物体の向きに対応し、かつ上記ステップS23において正規化された画像サイズに対応する基準画像データ群を基準画像データベース123から読み込む。そして、上記動物体画像データ記憶部122から読み込んだ動物体画像データを、上記基準画像データベース123から読み込んだ基準画像データ群とそれぞれ比較してその一致の度合いを算出し、当該算出された一致の度合いに基づいて上記動物体画像データにより表される動物の種別を判定する。
(3)基準画像データベース生成処理および動物種別判定処理に含まれる各処理の具体例
図4は、図2のステップS12および図3のステップS23において説明した、動物体画像データ生成処理の一例を図示したものである。
図4は、図2のステップS12および図3のステップS23において説明した、動物体画像データ生成処理の一例を図示したものである。
図4(A)は、画像データから動物体を示す領域以外の背景領域が削除される例を図示している。図4(A)に示される画像P0は、背景領域削除前の画像データに対応しており、図4(A)に示される画像tP0は、背景領域削除後の画像データに対応している。画像P0中に示されるイノシシやシカのような動物体を示す領域が、画像データによるフレーム間差分法を使用して、あるいは、カメラ2がサーモカメラであり画像データとして熱情報のデータが得られている場合には熱情報を使用して検出される。画像データから、検出された動物体を示す領域以外の領域である背景領域を削除することにより、画像tP0に対応する画像データが得られる。
図4(B)は、背景領域が削除された画像データから動物体画像データが生成される例を図示している。画像nP0_1および画像nP0_2は、生成される動物体画像データに対応している。まず、背景領域が削除された画像データにおいて、基準位置に対する各動物体の距離が判定される。具体的には、画像tP0において、破線で示される基準線からの各動物体の距離が判定される。画像tP0では、当該距離が小さい動物体と比較して、当該距離が大きい動物体は小さく表示されている。したがって、動物体の種別判定に用いることができる画像データにするため、当該判定された距離に基づいて、各動物体を示す領域の画像サイズが正規化されるようにする。その結果、上記動物体画像データが生成される。なお、上記の画像にゆがみがある場合は、別途補正をする。
図5は、図2のステップS15において説明した、基準画像データベース生成処理の一例を図示したものである。
図5(A)に示されるように、各動物体を表す動物体画像データに、推定された各動物体の向きをそれぞれ対応付ける。図5(A)の例では、イノシシの第1の動物体画像データおよびシカの第1の動物体画像データに左の向きが対応付けられ、イノシシの第2の動物体画像データおよびシカの第2の動物体画像データに右の向きが対応付けられている。なお、各動物体画像データには、図4(B)の例で説明した正規化後の動物体を示す領域の画像サイズも対応付けてもよい。正規化後の動物体を示す領域の画像サイズを対応付けることによって、各動物体画像データにより表される動物体が同一の種別のものであっても、例えば、幼体と成体とを判別することが可能になる。なお、動物体の向きは、図2のステップS14において推定されるものではなく、オペレータが判断して、入力部3を介して入力したものを用いるようにしてもよい。
図5(B)に示されるように、任意の機械学習手法を用いて、各動物体を表す動物体画像データは、各動物体の上記対応付けられた向きに対応する基準画像データとして、基準画像データベース123に記憶される。図5(B)の例では、左の向きに対応付けられているイノシシの第1の動物体画像データおよびシカの第1の動物体画像データが、左向きに対応する基準画像データとして基準画像データベース123に記憶され、右の向きに対応付けられているイノシシの第2の動物体画像データおよびシカの第2の動物体画像データが、右向きに対応する基準画像データとして基準画像データベース123に記憶される。なお、上述したように、各動物体画像データは、正規化後の動物体を示す領域の画像サイズに対応付けて、基準画像データとして基準画像データベース123に記憶されるようにしてもよい。なお、各動物体画像データは、画像サイズの複数の範囲のうち、上記正規化後の動物体を示す領域の画像サイズが含まれる範囲に対応付けて、基準画像データとして記憶されるようにしてもよい。
図6は、図2のステップS13および図3のステップS24において説明した、動物体移動方向推定処理の一例を図示したものである。
当該動物体移動方向推定処理が実行される画像データに対応する画像P1,1、・・・、画像P1,kが時系列で示されている。当該画像データは、例えば、映像データであってもよく、あるいは、時系列的に間欠的に得られる複数の静止画データであってもよい。時系列の画像である画像P1,1、・・・、画像P1,kを、例えばオプティカルフロー等の手法により比較することによって、画像データにおける動物体を示す領域の時間変化を観察することができる。その結果、動物体の移動方向を推定することができる。図6の例では、画像中に示されるイノシシが右向きの方向に移動していることが推定される。なお、この結果から、イノシシが右向きであることも推定される。
図7は、図3のステップS26において説明した、種別判定処理の一例を図示したものである。
図7に示される画像nP1は、図6に示した画像データから生成された動物体画像データに対応している。当該動物体画像データにより表されるイノシシは、右向きであると推定されていた。動物体の種別判定処理のために、基準画像データベース123に記憶される複数の基準画像データのうちの、右向きに対応する基準画像データ群が読み出される。次に、画像解析によって、読み出された基準画像データ群に含まれる各基準画像データと、読み出された動物体画像データとが比較され、読み出された動物体画像データにより表される動物体の種別が判定される。当該画像解析処理は、例えば、離散コサイン変換手法による特徴ベクトルの解析方法を用いる。なお、当該画像解析処理は、離散フーリエ変換、KL変換、ウェーブレット変換等の他の手法を用いて実行してもよい。図7の例では、種別判定処理の結果として、イノシシである確率が80%、シカである確率が20%であると示されている。当該種別判定処理の結果は、例えば、表示部4に出力される。なお、当該種別判定処理の結果は、示される確率のうち最も高い確率のものが所定の値を上回っている場合に限り、表示部4において、その最も高い確率に対応する動物の種別を表示するようにしてもよい。最も高い確率のものが所定の値を上回っていない場合は、アラートを表示するようにしてもよい。
図8は、図3のステップS26において説明した、動物種別判定処理の他の例を図示したものである。
図8に示される画像nP2では、動物体が右奥の向きを向いている。したがって、画像nP2に対応する動物体画像データにより表される動物体の種別を判定するために、基準画像データベース123に記憶される複数の基準画像データのうちの、上記右奥の向きに近接する向きである奥向きと右向きとに対応する基準画像データ群が読み出される。次に、画像解析によって、読み出された基準画像データ群と、上記動物体画像データとが比較される。図8の例では、奥向きの基準画像データに対応する比較結果の重み付けを30、右向きの基準画像データに対応する比較結果の重み付けを70として、比較の結果を重み付けして、上記動物体画像データにより表される動物体の種別が判定される。
図9は、図8に示したような、動物種別判定処理において使用される重み付け係数の一例を示したものである。図9の例では、推定された動物体の向きに対応する極座標の角度に基づいて、各向きに対応する基準画像データとの比較結果に使用される重み付け係数が決定される例が示されている。
図10は、動物種別判定処理において使用される重み付け係数の他の例を示したものである。図10の例は、上述したような、基準画像データがそれぞれサイズにも対応付けられて基準画像データベース123に記憶されている場合の種別判定処理において使用することができる。当該種別判定処理では、動物体画像データと、複数の種別の動物体の複数の向きおよびサイズにそれぞれ対応する複数の基準画像データとが、動物体画像データに関して推定された動物体の向きおよび上記正規化後の上記動物体を示す領域の画像サイズを考慮して比較される。その際に、図8および図9の例と同様に、図10に示した重み付け係数を使用することができる。
(効果)
以上詳述したように、この発明の第1の実施形態では、以下のような効果が奏せられる。
以上詳述したように、この発明の第1の実施形態では、以下のような効果が奏せられる。
(1)カメラ2によって生成された、監視対象区域内で所定の種別の動物体が撮像された画像データが取得される。当該画像データから上記所定の種別の動物体を示す領域が検出される。当該画像データから、上記検出された上記所定の種別の動物体を示す領域に含まれる動物体画像データが生成される。上記画像データにおける上記所定の種別の動物体を示す領域の時間変化から、上記所定の種別の動物体の移動方向が推定される。当該移動方向から、上記所定の種別の動物体の向きが推定される。上記生成された動物体画像データが、上記所定の種別の動物体の上記推定された向きに対応する基準画像データとして記憶される。
このように、動物種別判定装置において動物体の種別判定処理を実行するために必要とされる、複数の種別の動物体の複数の向きにそれぞれ対応する複数の基準画像データを、当該動物種別判定装置において生成することができる。
(2)カメラ2によって生成された、監視対象区域内が撮像された画像データが取得される。当該画像データから動物体を示す領域が検出される。当該画像データから、上記検出された上記動物体を示す領域に含まれる動物体画像データが生成される。上記画像データにおける上記動物体を示す領域の時間変化から、上記動物体の移動方向が推定される。当該移動方向から、上記動物体の向きが推定される。基準画像データベース123に記憶される複数の種別の動物体の複数の向きにそれぞれ対応する複数の基準画像データのうちの、上記推定された動物体の向きに対応する基準画像データ群が選択されて読み出され、読み出された基準画像データ群に含まれる各基準画像データと、上記動物体画像データとが比較されて、動物体画像データにより表される動物体の種別が判定される。なお、上記推定された動物体の向きに対応する基準画像データが基準画像データベース123に記憶されていない場合は、代わりに、基準画像データベース123に記憶される複数の基準画像データのうちの、上記推定された動物体の向きに近接する2つの向きに対応する基準画像データ群が読み出され、読み出された基準画像データ群と、読み出された動物体画像データとが比較されて、当該比較の結果を、上記推定された動物体の向きと上記2つの向きとの関係に基づく比率に基づいて重み付けした上で、読み出された動物体画像データにより表される動物体の種別が判定される。
このように、取得された画像データに撮像された任意の向きの動物体の種別を判定することができる。また、上記動物体画像データが、上記複数の基準画像データのうちの、推定された動物体の向きに対応する基準画像データ群のみと比較処理を実行される場合には、上記複数の基準画像データのすべての基準画像データが比較処理を実行される場合と比べて処理量を抑えることができる。
(3)上記動物体画像データは、上記画像データから上記所定の種別の動物体を示す領域以外の背景領域を削除し、上記所定の種別の動物体を示す領域の画像サイズを上記画像データ内の基準位置に対する距離に基づいて正規化することによって生成される。上記動物体画像データと、複数の種別の動物体の複数の向きおよびサイズに対応してそれぞれ生成された複数の基準画像データとが、読み出された動物体画像データに関して向き推定部115において推定された動物体の向きおよび上記正規化後の上記動物体を示す領域の画像サイズを考慮して比較され、その比較結果に基づいて、読み出された動物体画像データにより表される動物体の種別が判定される。
このように、動物体を示す領域が正確に切り出され、動物体のサイズが反映されるように正規化された動物体画像データを生成することができる。したがって、撮像された動物体との距離にかかわらず、動物体の種別を精度良く判定することができる。また、動物体のサイズにも対応している基準画像データを使用して、動物体の種別判定処理が実行されるので、例えば、動物体が成体であるかまたは幼体であるかの判定もすることができる。
[他の実施形態]
なお、この発明は上記第1の実施形態に限定されるものではない。例えば、上記第1の実施形態では、さまざまな向きの動物体が撮像された画像データにおいて、当該動物体の種別を判定する処理について説明した。しかしながら、本発明はこれに限定されるものではなく、例えば、さまざまな向きでヒトが撮像された画像データにおいて、複数のヒトの複数の方向に対応する基準画像データを用いて、撮像されているヒトの顔認識をするようにもできる。
なお、この発明は上記第1の実施形態に限定されるものではない。例えば、上記第1の実施形態では、さまざまな向きの動物体が撮像された画像データにおいて、当該動物体の種別を判定する処理について説明した。しかしながら、本発明はこれに限定されるものではなく、例えば、さまざまな向きでヒトが撮像された画像データにおいて、複数のヒトの複数の方向に対応する基準画像データを用いて、撮像されているヒトの顔認識をするようにもできる。
その他、基準画像データベース生成処理および動物種別判定処理を実行する装置、撮像装置としてのカメラ等の種類とその構成、および、基準画像データベースの構成等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
要するにこの発明は、上記第1の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記第1の実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、上記第1の実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
1…動物種別判定装置、11…制御ユニット、111…画像データ取得部、112…動物体領域検出部、113…動物体画像データ生成部、114…移動方向推定部、115…向き推定部、116…基準画像データベース生成部、117…種別判定部、12…記憶ユニット、121…画像データ記憶部、122…動物体画像データ記憶部、123…基準画像データベース、13…外部インタフェースユニット、14…入出力インタフェースユニット、2…カメラ、3…入力部、4…表示部、P0,P1,1,・・・,P1,k…画像データに対応する画像、tP0…背景領域削除後の画像データに対応する画像、nP0_1,nP0_2,nP1,nP2…動物体画像データに対応する画像
Claims (8)
- 撮像装置によって生成された画像データを取得する画像データ取得部と、
前記取得された画像データから動物体を示す領域を検出する動物体領域検出部と、
前記取得された画像データにおける前記動物体を示す領域の時間変化から、前記動物体の移動方向を推定する移動方向推定部と、
前記推定された前記動物体の移動方向から前記動物体の向きを推定する向き推定部と、
前記画像データから、前記検出された動物体を示す領域に含まれる動物体画像データを生成する動物体画像データ生成部と、
前記動物体画像データ生成部により生成された動物体画像データと、複数の種別の動物体の複数の向きに対応してそれぞれ生成された複数の基準画像データとを、前記推定された動物体の向きを考慮して比較し、その比較結果に基づいて、前記動物体画像データにより表される動物体の種別を判定する種別判定部と
を備える動物種別判定装置。 - 前記動物体画像データ生成部は、前記画像データから前記動物体を示す領域以外の背景領域を削除し、前記動物体を示す領域の画像サイズを前記画像データ内の基準位置に対する距離に基づいて正規化することによって、前記動物体画像データを生成する、請求項1に記載の動物種別判定装置。
- 前記種別判定部は、
前記複数の基準画像データから、前記推定された前記動物体の向きに対応する基準画像データ群を選択する基準画像データ選択部と、
前記選択された基準画像データ群に含まれる各基準画像データと、前記生成された動物体画像データとを比較する画像データ比較部と
を備える、請求項1又は2に記載の動物種別判定装置。 - 前記種別判定部は、
前記複数の基準画像データのうちの、前記推定された前記動物体の向きに近接する2つの向きに対応する基準画像データ群と、前記生成された動物体画像データとを比較する画像データ比較部と、
前記画像データ比較部による比較の結果を、前記推定された前記動物体の向きと前記2つの向きとの関係に基づく比率に基づいて重み付けする重み付け部と
を備える、請求項1又は2に記載の動物種別判定装置。 - 前記種別判定部は、前記動物体画像データ生成部により生成された動物体画像データと、複数の種別の動物体の複数の向きおよびサイズに対応してそれぞれ生成された複数の基準画像データとを、前記推定された動物体の向きおよび前記正規化後の前記動物体を示す領域の画像サイズを考慮して比較し、その比較結果に基づいて、前記動物体画像データにより表される動物体の種別を判定する、請求項2に記載の動物種別判定装置。
- 所定の種別の動物体を表す動物体画像データを、前記複数の基準画像データのうちの、前記所定の種別の動物体の当該所定の種別の動物体の向きに対応して生成された基準画像データとして記憶させる基準画像データベース生成部をさらに備える、請求項1乃至5のいずれかに記載の動物種別判定装置。
- コンピュータおよびメモリを備える装置が実行する動物種別判定方法であって、
撮像装置によって生成された画像データを取得する過程と、
前記取得された画像データから動物体を示す領域を検出する過程と、
前記取得された画像データにおける前記動物体を示す領域の時間変化から、前記動物体の移動方向を推定する過程と、
前記推定された前記動物体の移動方向から前記動物体の向きを推定する過程と、
前記画像データから、前記検出された動物体を示す領域に含まれる動物体画像データを生成する過程と、
前記生成された動物体画像データと、複数の種別の動物体の複数の向きに対応してそれぞれ生成された複数の基準画像データとを、前記推定された動物体の向きを考慮して比較し、その比較結果に基づいて、前記動物体画像データにより表される動物体の種別を判定する過程と
を備える動物種別判定方法。 - 請求項1乃至6のいずれかに記載の動物種別判定装置が備える各部としてコンピュータを機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017145025A JP2019028577A (ja) | 2017-07-27 | 2017-07-27 | 動物種別判定装置、方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017145025A JP2019028577A (ja) | 2017-07-27 | 2017-07-27 | 動物種別判定装置、方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019028577A true JP2019028577A (ja) | 2019-02-21 |
Family
ID=65478423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017145025A Pending JP2019028577A (ja) | 2017-07-27 | 2017-07-27 | 動物種別判定装置、方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019028577A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020171248A (ja) * | 2019-04-12 | 2020-10-22 | 合同会社アーク | 動物捕獲装置 |
JP2021064825A (ja) * | 2019-10-10 | 2021-04-22 | Kddi株式会社 | 撮像装置、学習装置、制御方法、学習方法、及びコンピュータプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008035301A (ja) * | 2006-07-31 | 2008-02-14 | Hitachi Ltd | 移動体追跡装置 |
JP2009003866A (ja) * | 2007-06-25 | 2009-01-08 | Panasonic Corp | 顔認証装置 |
JP2017004106A (ja) * | 2015-06-05 | 2017-01-05 | トヨタ自動車株式会社 | 車両の衝突回避支援装置 |
-
2017
- 2017-07-27 JP JP2017145025A patent/JP2019028577A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008035301A (ja) * | 2006-07-31 | 2008-02-14 | Hitachi Ltd | 移動体追跡装置 |
JP2009003866A (ja) * | 2007-06-25 | 2009-01-08 | Panasonic Corp | 顔認証装置 |
JP2017004106A (ja) * | 2015-06-05 | 2017-01-05 | トヨタ自動車株式会社 | 車両の衝突回避支援装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020171248A (ja) * | 2019-04-12 | 2020-10-22 | 合同会社アーク | 動物捕獲装置 |
JP7261467B2 (ja) | 2019-04-12 | 2023-04-20 | 合同会社アーク | 動物捕獲装置 |
JP2021064825A (ja) * | 2019-10-10 | 2021-04-22 | Kddi株式会社 | 撮像装置、学習装置、制御方法、学習方法、及びコンピュータプログラム |
JP7300958B2 (ja) | 2019-10-10 | 2023-06-30 | Kddi株式会社 | 撮像装置、制御方法、及びコンピュータプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6036824B2 (ja) | 画角変動検知装置、画角変動検知方法および画角変動検知プログラム | |
US10748294B2 (en) | Method, system, and computer-readable recording medium for image object tracking | |
US9858677B2 (en) | Method of image analysis | |
JP2013210968A (ja) | 物体検出装置及びその方法、プログラム | |
JP6482195B2 (ja) | 画像認識装置、画像認識方法及びプログラム | |
US20140286546A1 (en) | Apparatus and method for processing fingerprint image | |
CN106919895B (zh) | 用于运动目标的跟踪方法和*** | |
JP2021048617A (ja) | 情報処理システム、情報処理方法及びプログラム | |
US10909388B2 (en) | Population density determination from multi-camera sourced imagery | |
JP2014048962A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20190370543A1 (en) | Land use determination system, land use determination method and program | |
JPWO2013005815A1 (ja) | 物体検出装置、物体検出方法及びプログラム | |
US11544926B2 (en) | Image processing apparatus, method of processing image, and storage medium | |
WO2012063544A1 (ja) | 画像処理装置、画像処理方法及び記録媒体 | |
CN111444758A (zh) | 一种基于时空信息的行人重识别方法及装置 | |
US20150116543A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2020106970A (ja) | 人検出装置および人検出方法 | |
JP2019028577A (ja) | 動物種別判定装置、方法およびプログラム | |
JPWO2018163243A1 (ja) | 物体追跡装置及び物体追跡方法 | |
JP2018186397A (ja) | 情報処理装置、映像監視システム、情報処理方法及びプログラム | |
JP7074174B2 (ja) | 識別器学習装置、識別器学習方法およびコンピュータプログラム | |
JP7243372B2 (ja) | 物体追跡装置および物体追跡方法 | |
KR101290517B1 (ko) | 촬영장치 및 이의 대상 추적방법 | |
WO2018050644A1 (en) | Method, computer system and program product for detecting video surveillance camera tampering | |
JP2021149687A (ja) | 物体認識装置、物体認識方法及び物体認識プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190903 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210518 |