JP7260922B2 - 学習用データ生成装置、学習装置、行動分析装置、行動型分析装置、プログラム、及び記録媒体 - Google Patents
学習用データ生成装置、学習装置、行動分析装置、行動型分析装置、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP7260922B2 JP7260922B2 JP2021110070A JP2021110070A JP7260922B2 JP 7260922 B2 JP7260922 B2 JP 7260922B2 JP 2021110070 A JP2021110070 A JP 2021110070A JP 2021110070 A JP2021110070 A JP 2021110070A JP 7260922 B2 JP7260922 B2 JP 7260922B2
- Authority
- JP
- Japan
- Prior art keywords
- individual
- image
- learning
- unit
- learning data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry
Landscapes
- Image Analysis (AREA)
Description
1) 個体を含む画像を取得する画像取得部と、取得した前記画像中の動体を検知する動体検知部と、検知した前記動体のうちの前記個体の体全体を含む体領域に枠囲みを付与する枠囲み部と、枠囲みが付与された前記体領域の体領域画像を抽出する抽出部と、抽出した前記体領域画像から、個体を識別する識別モデルの学習用データを生成する生成部とを備えている。
2) 前記枠囲み部は、個体を含む画像から当該個体の体全体を含む体領域を抽出するように機械学習した判別モデルに、検知した前記動体の画像データを入力データとして入力することにより出力される体領域に枠囲みを付与する、1)に記載の学習用データ生成装置。
3) 前記枠囲み部は、個体の体の一部を表す画像から当該個体の体全体を表す画像を生成するように機械学習した生成モデルに、検知した前記動体の画像データを入力データとして入力することにより出力される個体の体全体を表す画像を体領域とし、当該体領域に枠囲みを付与する、1)又は2)に記載の学習用データ生成装置。
4) 前記個体は、多頭飼育されている家畜個体である、1)から3)のいずれかに記載の学習用データ生成装置。
5) 前記生成部は、前記体領域画像を個体毎に分類して蓄積し、前記学習用データを生成する、1)から4)のいずれか1項に記載の学習用データ生成装置。
6) 1)から5)のいずれかに記載の学習用データ生成装置としてコンピュータを機能させるためのプログラムであって、個体を含む画像を取得する画像取得ステップと、取得した前記画像中の動体を検知する動体検知ステップと、検知した前記動体のうちの前記個体の体全体を含む体領域に枠囲みを付与する枠囲みステップと、枠囲みが付与された前記体領域の体領域画像を抽出する抽出ステップと、抽出した前記体領域画像から、個体を識別する識別モデルの学習用データを生成する生成ステップとを実行することを特徴とする、プログラム。
7) 個体を含む画像を取得する画像取得部と、1)から5)のいずれかに記載の学習用データ生成装置により生成した学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって構築された、個体を識別する識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別部と、識別した個体の時系列の画像を取得する識別画像取得部と、取得した前記画像を参照して、前記個体の行動を分析する分析部とを備えている、行動分析装置。
8) 7)に記載の行動分析装置としてコンピュータを機能させるためのプログラムであって、個体を含む画像を取得する画像取得ステップと、1)から5)のいずれかに記載の学習用データ生成装置により生成した学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって構築された、個体を識別する識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別ステップと、識別した個体の時系列の画像を取得する識別画像取得ステップと、取得した前記画像を参照して、前記個体の行動を分析する分析ステップとを実行することを特徴とする、プログラム。
9) 1)から5)のいずれかに記載の学習用データ生成装置が生成した学習用データを取得する学習用データ取得部と、取得した前記学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって、個体を識別する識別モデルを構築する学習部とを備えている、学習装置。
10) 9)に記載の学習装置としてコンピュータを機能させるためのプログラムであって、1)から5)の何れかに記載の学習用データ生成装置が生成した学習用データを取得する学習用データ取得ステップと、取得した前記学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって、個体を識別する識別モデルを構築する学習ステップとを実行することを特徴とする、プログラム。
11) 個体を含む画像を取得する画像取得部と、9)に記載の学習装置によって構築された前記識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別部とを備えている、個体識別装置。
12) 11)に記載の個体識別装置としてコンピュータを機能させるためのプログラムであって、個体を含む画像を取得する画像取得ステップと、9)に記載の学習装置によって構築された前記識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別ステップとを実行することを特徴とする、プログラム。
前記個体識別装置が備える各部としてコンピュータを機能させるためのプログラム。
13) 6)、8)、10)又は12)に記載のプログラムを記録した記録媒体。
14) 個体を含む画像を取得する画像取得ステップと、取得した前記画像中の動体を検知する動体検知ステップと、検知した前記動体のうちの前記個体の体全体を含む体領域に枠囲みを付与する枠囲みステップと、枠囲みが付与された前記体領域の体領域画像を抽出する抽出ステップと、抽出した前記体領域画像から、個体を識別する識別モデルの学習用データを生成する生成ステップとを含む、学習用データ生成方法。
15) 個体を含む画像を取得する画像取得ステップと、14)に記載の学習用データ生成方法により生成した学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって構築された、個体を識別する識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別ステップと、識別した個体の時系列の画像を取得する識別画像取得ステップと、取得した前記画像を参照して、前記個体の行動を分析する分析ステップとを含む、行動分析方法。
16) 学習用データ生成装置は、個体を含む画像を取得する画像取得部と、取得した前記画像中の前記個体を検出する検出部と、検出した前記個体の体全体を含む体領域を特定する体領域特定部と、特定した前記体領域の体領域画像を抽出する抽出部と、抽出した前記体領域画像から、個体を識別する識別モデルの学習用データを生成する生成部とを備えている。
17) 16)に記載の学習用データ生成装置において、前記検出部は、個体を含む画像を入力データとして、当該画像中の当該個体を検出するように機械学習した検出モデルに、前記画像取得部が取得した前記画像を入力データとして入力することにより出力される前記個体を検出する。
18) 16)又は17)に記載の学習用データ生成装置において、前記体領域特定部は、前記検出部が検出した前記個体の体全体を含む体領域を画像セグメンテーションにより特定する。
19) 16)~18)のいずれかに記載の学習用データ生成装置において、前記体領域特定部は、個体の体の一部を表す画像から当該個体の骨格を検知して姿勢を推定するように機械学習した姿勢推定モデルに、検出した前記個体の画像データを入力データとして入力することにより出力される個体の姿勢を参照して、個体の体全体を表す体領域を特定する。
20) 16)~19)のいずれかに記載の学習用データ生成装置において、前記生成部は、体領域画像を同一個体毎に分類して蓄積し、前記学習用データを生成する。
21) 行動型分析装置は、個体を含む画像を取得する画像取得部と、取得した前記画像中の前記個体を検出する検出部と、検出した前記個体を識別する識別部と、識別した個体の体の部位の位置を特定する位置特定部と、特定した前記位置の所定時間内の変化を表す時系列情報を取得する情報取得部と、取得した前記時系列情報を参照して、前記個体の行動型を分析する行動型分析部とを備えている。
22) 21)に記載の行動型分析装置において、前記位置特定部は、個体を含む画像を入力データとして、当該画像中の当該個体の体の部位の位置を特定するように機械学習した位置特定モデルに、前記画像取得部が取得した前記画像を入力データとして入力することにより出力される前記位置を特定する。
23) 21)又は22)に記載の行動型分析装置において、位置特定部は、前記個体の体の部位の位置の座標を取得する。
24) 21)から23)のいずれかに記載の行動型分析装置において、前記行動型分析部は、時系列情報を入力データとして、当該時系列情報に対応した行動型を推定するように機械学習した分析モデルに、前記情報取得部が取得した前記時系列情報を入力データとして入力することにより出力される行動型を分析結果として取得する。
25) 21)から24)のいずれかに記載の行動型分析装置において、前記位置特定部は、個体の体の一部を表す画像から当該個体の骨格を検知して姿勢を推定するように機械学習した姿勢推定モデルに、検出した前記個体の画像データを入力データとして入力することにより出力される個体の姿勢を参照して、前記位置を特定する。
本発明の一態様に係る学習用データ生成装置は、個体を含む画像を取得する画像取得部と、取得した前記画像中の動体を検知する動体検知部と、検知した前記動体のうちの前記個体の体全体を含む体領域に枠囲みを付与する枠囲み部と、枠囲みが付与された前記体領域の体領域画像を抽出する抽出部と、抽出した前記体領域画像から、個体を識別する個体識別モデルの学習用データを生成する生成部とを備えている。
学習用データ生成装置10により生成する学習用データを機械学習させた個体識別モデルは、複数の個体が撮影された画像において個体を識別する機械学習済モデルである。個体識別モデルにより識別する個体は、ヒト、動物、他の移動体等であり得るが、閉鎖された空間内で群毎に管理される個体であることが好ましい。個体識別モデルにより識別する個体は、多頭飼育されている家畜個体であることがより好ましく、ウシ個体であることがさらに好ましく、乳牛個体であることがさらにより好ましく、最も好ましくはホルスタイン種の乳牛個体である。なお、以下では、識別する個体の例としてホルスタイン種の乳牛個体について説明するが、本発明はこれに限定されず、他の乳牛個体又は他の動物個体であっても、紋様や体型の違い、あるいは簡易なマーカー等を利用することにより、ホルスタイン種の乳牛個体と同様に適用することができる。例えば、錦鯉、豚、猫や犬等にも、本発明を適用することができる。簡易なマーカーを利用する構成の例として、図16に示すように、首輪に数値などの標識を装着する構成が挙げられる。図16は、本発明の一態様に係る学習用データ生成装置で利用する個体識別の一例を説明する図である。このような簡易なマーカーを利用することによって、紋様による識別が難しい種であっても容易に個体識別することが可能であり、様々な種の個体に本発明を適用することができる。
画像取得部11は、ウシ個体を含む画像を取得する。画像取得部11は、入出力部(図示せず)を介して、ウシ個体を撮像したカメラ20から個体を含む画像を取得する。画像取得部11は、無線通信又は有線通信によりカメラ20からウシ個体を含む画像を取得する。画像取得部11は、カメラ20によりウシ個体を撮像する度毎に画像を取得してもよいし、所定時間毎に画像を取得してもよい。
動体検知部12は、取得したウシ個体を含む画像中の動体を検知する。動体検知部12は、ウシ個体を含む画像において物体の動きを検知し、動いた物体を動体として検知する。動体検知部12は、例えば、撮像された時間が異なる複数の画像フレーム間で比較を行うフレーム間差分処理、撮像された画像と事前に取得した背景画像とで比較を行う背景差分処理等により、画像中の動体を検知する。動体検知部12は、検知した動体の、画像中の位置情報を取得し、枠囲み部13に送る。
枠囲み部13は、検知した動体のうちのウシ個体の体全体を含む体領域に枠囲みを付与する。枠囲み部13は、検知した動体がウシ個体である場合に、当該ウシ個体の体領域に枠囲みを付与する。枠囲み部13は、取得した動体の位置情報に対応する部分領域の画像において、ウシ個体の体領域を特定し、枠囲みを付与する。
抽出部14は、枠囲みが付与された体領域画像を抽出する。抽出部14は、カメラ20が撮像した画像から、枠囲みの外側の画像を取り除き、枠囲みの内側の体領域画像を切り出す。抽出部14は、抽出した体領域画像を学習用データ生成部15に送る。
学習用データ生成部15は、抽出した前記体領域画像から、個体を識別する個体識別モデルの学習用データを生成する。学習用データは、ラベル付されていない教師なしデータであり得、例えば、数百~数万の体領域画像データを含む。学習用データ生成部15は、体領域画像を同一個体毎に分類して蓄積し、学習用データを生成し得る。学習用データ生成部15は、予め定められた数の体領域画像が蓄積された時点、又は、ユーザからの学習用データ生成指示を受け付けた時点において、蓄積されている体領域画像により学習用データを生成してもよい。
学習用データ記憶部16には、生成された学習用データが格納される。また、学習用データ記憶部16には、画像取得部11が取得した画像や、動体検知部12が検知した動体の、画像における位置情報等のデータが格納されてもよい。また、学習用データ記憶部16には、学習用データ生成装置10が行う動作に必要な一連の処理を示すプログラムが格納されていてもよい。
図9を参照して、学習用データ生成装置10による学習用データ生成処理の一例について説明する。図9は、図1の学習用データ生成装置10による学習用データ生成処理を示すフローチャートである。
本発明の一実施形態に係る学習装置は、本発明の一実施形態に係る学習用データ生成装置が生成した学習用データを取得する学習用データ取得部と、取得した前記学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって、個体を識別する個体識別モデルを構築する学習部とを備えている。
学習用データ取得部101は、学習用データ生成装置10の学習用データ記憶部16に格納された学習用データを、入出力部(図示せず)を介して取得する。学習用データ取得部101は、学習部102において機械学習する個体識別モデルが識別する個体群に対応した学習用データを取得する。例えば、個体識別モデルが、ウシ個体No.1~ウシ個体No.10までの10頭のウシ個体が含まれる個体群Xのウシ個体を識別する学習済みモデルである場合、学習用データ取得部101は、個体群Xに対応した学習用データを取得する。学習用データ取得部101は、取得した学習用データを学習部102に送る。
学習部102は、取得した学習用データを用いて、個体を識別する個体識別モデルを構築する。学習部102は、取得した学習用データを用いて、サポートベクタ―マシン、ランダムフォレスト、k-means法、畳み込みニューラルネットワークのような公知の学習アルゴリズムを適用して個体識別モデルを機械学習する。
学習モデル記憶部103には、機械学習済みの個体識別モデルが格納される。また、学習モデル記憶部103には、学習用データ取得部101が取得した学習用データ等が格納されてもよい。また、学習モデル記憶部103には、学習装置100が行う動作に必要な一連の処理を示すプログラムが格納されていてもよい。
図11を参照して、学習装置100による学習処理の一例について説明する。図11は、図10の学習装置100による学習処理を示すフローチャートである。
本発明の一実施形態に係る個体識別装置は、個体を含む画像を取得する画像取得部と、本発明の一実施形態に係る学習装置によって構築された前記個体識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別部とを備えている。
個体識別装置120により識別する個体は、ヒト、動物、他の移動体等であり得るが、閉鎖された空間内で群毎に管理される個体であることが好ましい。個体識別モデルにより識別する個体は、多頭飼育されている家畜個体であることがより好ましく、ウシ個体であることがさらに好ましく、乳牛個体であることがさらにより好ましく、最も好ましくはホルスタイン種の乳牛個体である。なお、多頭飼育されている個体は、図2に示すように、屋内で放し飼いにされている個体であってもよいし、鎖等に繋がれてつなぎ飼いにされている個体であってもよい。また、多頭飼育されている個体は、屋外の管理区域内で飼育されている個体であってもよい。本実施形態においては、個体がウシ個体である場合を例として説明する。
画像取得部121は、ウシ個体を含む画像を取得する。画像取得部121は、入出力部(図示せず)を介して、ウシ個体を撮像したカメラ20から個体を含む画像を取得する。画像取得部121は、無線通信又は有線通信によりカメラ20からウシ個体を含む画像を取得する。画像取得部121は、カメラ20によりウシ個体を撮像する度毎に画像を取得してもよいし、所定時間毎に画像を取得してもよい。
識別部122は、学習装置100によって構築された個体識別モデルに、取得した画像のデータを入力データとして入力することにより、当該画像中のウシ個体の個体識別情報を出力する。識別部122は、学習装置100の学習モデル記憶部103に格納された個体識別モデルを、入出力部(図示せず)を介して取得する。個体識別モデルは、個体識別装置120により識別する個体群に対応した機械学習済みモデルである。例えば、個体識別装置120により識別する個体群が、ウシ個体No.1~ウシ個体No.10までの10頭のウシ個体が含まれる個体群Xである場合、個体識別モデルは、個体群Xに対応した機械学習済みモデルである。
識別画像蓄積部123には、個体識別された画像が格納される。また、識別画像蓄積部123には、個体識別装置120が行う動作に必要な一連の処理を示すプログラムが格納されていてもよい。
図13を参照して、個体識別装置120による個体識別処理の一例について説明する。図13は、図12の個体識別装置120による個体識別処理を示すフローチャートである。
本発明の一実施形態に係る行動分析装置は、個体を含む画像を取得する画像取得部と、上記学習用データ生成装置により生成した学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって構築された、個体を識別する識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別部と、識別した個体の時系列の画像を取得する識別画像取得部と、取得した前記画像を参照して、前記個体の行動を分析する分析部とを備えている。すなわち、行動分析装置は、本発明の一実施形態に係る個体識別装置により識別した個体の時系列の画像を取得する識別画像取得部と、取得した前記画像を参照して、前記個体の行動を分析する分析部とを備えている。
識別画像取得部141は、個体識別装置120の識別画像蓄積部123に蓄積されたウシ個体の画像を、入出力部(図示せず)を介して取得する。識別画像取得部141は、個体識別装置120において識別したウシ個体の時系列の画像を取得する。識別画像取得部141は、取得したウシ個体の時系列の画像を分析部142に送る。
分析部142は、ウシ個体の時系列の画像を参照して、ウシ個体の行動を分析する。ウシ個体の時系列の画像により、ウシ個体の行動を追跡することができる。分析部142は、ウシ個体の時系列の画像に基づいてウシ個体の行動を追跡することによって、所定時間内のウシの行動を分析する。分析部142は、ウシ個体の時系列の画像に基づいてウシ個体の行動を追跡することで、例えば、所定時間内のウシ個体の行動量、行動範囲、行動パターンを分析する。分析部142は、ウシ個体の分析結果を分析結果記憶部143に格納する。
図15を参照して、行動分析装置140による行動分析処理の一例について説明する。図15は、図14の行動分析装置140による行動分析処理を示すフローチャートである。
本発明の一態様に係る学習用データ生成方法は、個体を含む画像を取得する画像取得ステップと、取得した前記画像中の動体を検知する動体検知ステップと、検知した前記動体のうちの前記個体の体全体を含む体領域に枠囲みを付与する枠囲みステップと、枠囲みが付与された前記体領域の体領域画像を抽出する抽出ステップと、抽出した前記体領域画像から、個体を識別する識別モデルの学習用データを生成する生成ステップとを含む。一例として、本発明の一態様に係る学習用データ生成方法は、上述した本発明の一態様に係る学習用データ生成装置により実現されるものである。したがって、本発明の一態様に係る学習用データ生成方法の説明は、上述した本発明の一態様に係る学習用データ生成装置の説明に準じる。
学習用データ生成装置10、学習装置100、個体識別装置120、及び行動分析装置140の制御ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
本発明の各態様に係る学習用データ生成装置としてコンピュータを機能させるためのプログラムであって、個体を含む画像を取得する画像取得ステップと、取得した前記画像中の動体を検知する動体検知ステップと、検知した前記動体のうちの前記個体の体全体を含む体領域に枠囲みを付与する枠囲みステップと、枠囲みが付与された前記体領域の体領域画像を抽出する抽出ステップと、抽出した前記体領域画像から、個体を識別する識別モデルの学習用データを生成する生成ステップとを実行することを特徴とする、プログラム:
本発明の各態様に係る行動分析装置としてコンピュータを機能させるためのプログラムであって、個体を含む画像を取得する画像取得ステップと、本発明の各態様に係る学習用データ生成装置により生成した学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって構築された、個体を識別する識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別ステップと、識別した個体の時系列の画像を取得する識別画像取得ステップと、取得した前記画像を参照して、前記個体の行動を分析する分析ステップとを実行することを特徴とする、プログラム:
本発明の各態様に係る学習装置としてコンピュータを機能させるためのプログラムであって、本発明の各態様に係る学習用データ生成装置が生成した学習用データを取得する学習用データ取得ステップと、取得した前記学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって、個体を識別する識別モデルを構築する学習ステップとを実行することを特徴とする、プログラム:
本発明の各態様に係る個体識別装置としてコンピュータを機能させるためのプログラムであって、個体を含む画像を取得する画像取得ステップと、本発明の各態様に係る学習装置によって構築された前記識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別ステップとを実行することを特徴とする、プログラム。
本発明の他の態様に係る学習用データ生成装置は、個体を含む画像を取得する画像取得部と、取得した前記画像中の前記個体を検出する検出部と、検出した前記個体の体全体を含む体領域を特定する体領域特定部と、特定した前記体領域の体領域画像を抽出する抽出部と、抽出した前記体領域画像から、個体を識別する識別モデルの学習用データを生成する生成部とを備えている。
動物各個体の行動種別(行動型)は動物を管理する上で重要な情報である。例えば、採食行動や休息行動は維持行動が確保されていることの指標となる。また、反芻家畜において、行動型の中でも特に反芻行動は、飼料摂取量をはじめ各種疾病の徴候や回復状態、あるいはストレス状態を反映するバロメーターとなる有用な情報とされている。従来、ウェアラブルセンサ等を利用して行動型を把握するシステムが実用化しているがコストや管理に係る労力の点で問題がある。一方、従来の画像解析では、特に反芻のような動作の把握が必要な行動の検出が困難であった。本発明の一形態によれば、画像解析を利用して動物の行動型を把握することで、省力的かつ容易に行動型データを取得することができる。また、本発明の一形態によれば、動作の把握が必要な行動型であっても検出することができる。
行動型分析装置220は、画像取得部221、検出部222、識別部223、位置特定部224、情報取得部225、及び、行動型分析部226を備えている。行動型分析装置220は、さらに、分析結果記憶部227を備えている。行動型分析装置220は、個体の行動型を検出して分析する。
行動型分析装置220により行動型を分析する個体は、ヒト、動物、他の移動体等であり得るが、閉鎖された空間内で群毎に管理される個体であってもよいし、個体毎に管理されている個体であってもよい。このような個体には、多頭飼育されている家畜個体及び単頭飼育されている家畜個体が含まれる。家畜個体は、ウシ個体のような反芻動物個体であってもよく、例えば、乳牛個体、より具体的には、ホルスタイン種の乳牛個体であってもよい。多頭飼育されている個体は、屋内で放し飼いにされている個体であってもよいし、鎖等に繋がれてつなぎ飼いにされている個体であってもよい。また、多頭飼育されている個体は、屋外の管理区域内で飼育されている個体であってもよい。本実施形態においては、個体がウシ個体である場合を例として説明する。
画像取得部221は、カメラ20により撮影されたウシ個体を含む画像を取得する。画像取得部221は、上述した個体識別装置120の画像取得部121と同様に構成される。そのため、画像取得部221の説明として、個体識別装置120の画像取得部121の説明を援用し、その詳細な説明は省略する。カメラ20についても、個体識別装置120に関して説明したカメラ20と同一であるため、その詳細な説明は省略する。
検出部222は、画像取得部221が取得した画像中のウシ個体を検出する。画像中のウシ個体を検出する方法としては、動体検知方法、機械学習を利用した方法等が挙げられる。動体検知方法を利用する場合、検出部222は、学習用データ生成装置10の動体検知部12と同様に構成することができる。機械学習を利用する場合、図17に示す物体検出機械学習モデル、及び、図18に示す骨格検知機械学習モデルのような、機械学習モデルを用いることができる。なお、画像中にウシ個体が単体で含まれる場合には、ウシ個体の検出は不要であり、取得した画像において後述する位置特定が行なわれてもよい。
識別部223は、検出部222が検出したウシ個体を識別する。識別部223は、上述した個体識別装置120の識別部122と同様に構成される。そのため、識別部223の説明として、個体識別装置120の識別部122の説明を援用し、その詳細な説明は省略する。なお、画像中にウシ個体が単体で含まれる場合には、ウシ個体の識別は不要であり、取得した画像において後述する位置特定が行なわれてもよい。
位置特定部224は、識別した個体の体の部位の位置を特定する。位置特定部224が特定する個体の体の部位の位置は、例えば、鼻先、口元、前肢踵、前肢蹄、等の個体の体の部位である。図22に、位置特定部224がウシ個体の体の部位を特定する例を示す。図22の左側には、座位のウシ個体の鼻先、口元、前肢踵、及び前肢蹄を特定した例を、右側に立位のウシ個体の鼻先、口元、前肢踵、及び前肢蹄を特定した例を示す。なお、特定する個体の体の部位の数はこれに限定されず、より少なくても、より多くてもよい。
情報取得部225は、特定した位置の所定時間内の変化を表す時系列情報を取得する。情報取得部225が取得する時系列情報は、所定時間内の連続する画像から得られるウシ個体の部位の変化を表す情報であり、位置特定部224が取得した位置座標に基づいて得られる各部位間の平均距離及び各部位の画像フレーム間の平均変位であり得る。
行動型分析部226は、取得した時系列情報を参照して、個体の行動型を分析する。行動型分析部226は、時系列情報を参照することで、ウシ個体の動作を検出することが可能であり、また、ウシ個体の行動を追跡することもできる。これにより、所定のタイミングや所定の時間内における、ウシ個体の動作や行動から行動型を分析することができる。行動型分析部226は、ウシ個体の行動型の分析結果を分析結果記憶部217に格納する。
行動型分析システム200が備える学習用データ生成装置210は、個体を含む画像を取得する画像取得部11と、取得した画像中の前記個体を検出する検出部212と、検出した個体の体領域を特定する特定部213と、特定した体領域の体領域画像を抽出する抽出部14と、抽出した体領域画像から、個体を識別する識別モデルの学習用データを生成する学習用データ生成部15とを備えている。学習用データ生成装置210は、生成した学習用データを記憶する学習用データ記憶部16をさらに備えている。
学習装置100は、学習用データ生成装置210が生成した学習用データを用いて、識別モデル、分析モデル等を構築する。行動型分析システム200が備える学習装置100は、図10に示す学習装置100と同一である。したがって、行動型分析システム200が備える学習装置100の説明として、図10に示す学習装置100の説明を援用し、その詳細な説明は省略する。
図24を参照して、行動型分析装置220による行動型分析処理の一例について説明する。図24は、図23の行動型分析装置220による行動型分析処理を示すフローチャートである。
Claims (25)
- 個体を含む画像を取得する画像取得部と、
取得した前記画像中の動体を検知する動体検知部と、
検知した前記動体のうちの前記個体の体全体を含む体領域に枠囲みを付与する枠囲み部と、
枠囲みが付与された前記体領域の体領域画像を抽出する抽出部と、
抽出した前記体領域画像から、識別対象の個体群に含まれる一の個体を他の個体と識別する識別モデルの学習用データを生成する生成部と
を備えている、学習用データ生成装置。 - 前記枠囲み部は、個体を含む画像から当該個体の体全体を含む体領域を抽出するように機械学習した判別モデルに、検知した前記動体の画像データを入力データとして入力することにより出力される体領域に枠囲みを付与する、請求項1に記載の学習用データ生成装置。
- 前記枠囲み部は、個体の体の一部を表す画像から当該個体の体全体を表す画像を生成するように機械学習した生成モデルに、検知した前記動体の画像データを入力データとして入力することにより出力される個体の体全体を表す画像を体領域とし、当該体領域に枠囲みを付与する、請求項1又は2に記載の学習用データ生成装置。
- 前記個体は、多頭飼育されている家畜個体である、請求項1から3のいずれか1項に記載の学習用データ生成装置。
- 前記生成部は、前記体領域画像を個体毎に分類して蓄積し、前記学習用データを生成する、請求項1から4のいずれか1項に記載の学習用データ生成装置。
- 請求項1から5のいずれか1項に記載の学習用データ生成装置としてコンピュータを機能させるためのプログラムであって、
個体を含む画像を取得する画像取得ステップと、
取得した前記画像中の動体を検知する動体検知ステップと、
検知した前記動体のうちの前記個体の体全体を含む体領域に枠囲みを付与する枠囲みステップと、
枠囲みが付与された前記体領域の体領域画像を抽出する抽出ステップと、
抽出した前記体領域画像から、識別対象の個体群に含まれる一の個体を他の個体と識別する識別モデルの学習用データを生成する生成ステップと
を実行することを特徴とする、プログラム。 - 個体を含む画像を取得する画像取得部と、
請求項1から5のいずれか1項に記載の学習用データ生成装置により生成した学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって構築された、識別対象の個体群に含まれる一の個体を他の個体と識別する識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別部と、
識別した個体の時系列の画像を取得する識別画像取得部と、
取得した前記画像を参照して、前記個体の行動を分析する分析部と
を備えている、行動分析装置。 - 請求項7に記載の行動分析装置としてコンピュータを機能させるためのプログラムであって、
個体を含む画像を取得する画像取得ステップと、
請求項1から5のいずれか1項に記載の学習用データ生成装置により生成した学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって構築された、識別対象の個体群に含まれる一の個体を他の個体と識別する識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別ステップと、
識別した個体の時系列の画像を取得する識別画像取得ステップと、
取得した前記画像を参照して、前記個体の行動を分析する分析ステップと
を実行することを特徴とする、プログラム。 - 請求項1から5のいずれか1項に記載の学習用データ生成装置が生成した学習用データを取得する学習用データ取得部と、
取得した前記学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって、識別対象の個体群に含まれる一の個体を他の個体と識別する識別モデルを構築する学習部と
を備えている、学習装置。 - 請求項9に記載の学習装置としてコンピュータを機能させるためのプログラムであって、
請求項1から5のいずれか1項に記載の学習用データ生成装置が生成した学習用データを取得する学習用データ取得ステップと、
取得した前記学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって、識別対象の個体群に含まれる一の個体を他の個体と識別する識別モデルを構築する学習ステップと
を実行することを特徴とする、プログラム。 - 個体を含む画像を取得する画像取得部と、
請求項9に記載の学習装置によって構築された前記識別モデルに、取得した前記画像の
データを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別部と
を備えている、個体識別装置。 - 請求項11に記載の個体識別装置としてコンピュータを機能させるためのプログラムであって、
個体を含む画像を取得する画像取得ステップと、
請求項9に記載の学習装置によって構築された前記識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別ステップと
を実行することを特徴とする、プログラム。 - 請求項6、8、10又は12に記載のプログラムを記録した記録媒体。
- 個体を含む画像を取得する画像取得ステップと、
取得した前記画像中の動体を検知する動体検知ステップと、
検知した前記動体のうちの前記個体の体全体を含む体領域に枠囲みを付与する枠囲みステップと、
枠囲みが付与された前記体領域の体領域画像を抽出する抽出ステップと、
抽出した前記体領域画像から、識別対象の個体群に含まれる一の個体を他の個体と識別する識別モデルの学習用データを生成する生成ステップと
を含む、学習用データ生成方法。 - 個体を含む画像を取得する画像取得ステップと、
請求項14に記載の学習用データ生成方法により生成した学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって構築された、識別対象の個体群に含まれる一の個体を他の個体と識別する識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別ステップと、
識別した個体の時系列の画像を取得する識別画像取得ステップと、
取得した前記画像を参照して、前記個体の行動を分析する分析ステップと
を含む、行動分析方法。 - 個体を含む画像を取得する画像取得部と、
取得した前記画像中の前記個体を検出する検出部と、
検出した前記個体の体全体を含む体領域を特定する体領域特定部と、
特定した前記体領域の体領域画像を抽出する抽出部と、
抽出した前記体領域画像から、識別対象の個体群に含まれる一の個体を他の個体と識別する識別モデルの学習用データを生成する生成部と
を備えている、学習用データ生成装置。 - 前記検出部は、個体を含む画像を入力データとして、当該画像中の当該個体を検出するように機械学習した検出モデルに、前記画像取得部が取得した前記画像を入力データとして入力することにより出力される前記個体を検出する、請求項16に記載の学習用データ生成装置。
- 前記体領域特定部は、前記検出部が検出した前記個体の体全体を含む体領域を画像セグメンテーションにより特定する、請求項16又は17に記載の学習用データ生成装置。
- 前記体領域特定部は、個体の体の一部を表す画像から当該個体の骨格を検知して姿勢を推定するように機械学習した姿勢推定モデルに、検出した前記個体の画像データを入力データとして入力することにより出力される個体の姿勢を参照して、個体の体全体を表す体域を特定する、請求項16~18のいずれか1項に記載の学習用データ生成装置。
- 前記生成部は、体領域画像を同一個体毎に分類して蓄積し、前記学習用データを生成する、請求項16~19のいずれか1項に記載の学習用データ生成装置。
- 個体を含む画像を取得する画像取得部と、
取得した前記画像中の前記個体を検出する検出部と、
請求項1~5および16~20のいずれか1項に記載の学習用データ生成装置により生成した学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって構築された、識別対象の個体群に含まれる一の個体を他の個体と識別する識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体を他の個体と識別する識別部と、
識別した個体の体の部位の位置を特定する位置特定部と、
特定した前記位置の所定時間内の変化を表す時系列情報を取得する情報取得部と、
取得した前記時系列情報を参照して、前記個体の行動型を分析する行動型分析部と
を備えている、行動型分析装置。 - 前記位置特定部は、個体を含む画像を入力データとして、当該画像中の当該個体の体の部位の位置を特定するように機械学習した位置特定モデルに、前記画像取得部が取得した前記画像を入力データとして入力することにより出力される前記位置を特定する、請求項21に記載の行動型分析装置。
- 前記位置特定部は、前記個体の体の部位の位置の座標を取得する、請求項21又は22に記載の行動型分析装置。
- 前記行動型分析部は、時系列情報を入力データとして、当該時系列情報に対応した行動型を推定するように機械学習した分析モデルに、前記情報取得部が取得した前記時系列情報を入力データとして入力することにより出力される行動型を分析結果として取得する、請求項21から23のいずれか1項に記載の行動型分析装置。
- 前記位置特定部は、個体の体の一部を表す画像から当該個体の骨格を検知して姿勢を推定するように機械学習した姿勢推定モデルに、検出した前記個体の画像データを入力データとして入力することにより出力される個体の姿勢を参照して、前記位置を特定する、請求項21から24のいずれか1項に記載の行動型分析装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023059075A JP2023073478A (ja) | 2020-07-01 | 2023-03-31 | 行動型分析装置、行動型分析方法、行動型分析プログラム、及び記録媒体 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020114316 | 2020-07-01 | ||
JP2020114316 | 2020-07-01 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023059075A Division JP2023073478A (ja) | 2020-07-01 | 2023-03-31 | 行動型分析装置、行動型分析方法、行動型分析プログラム、及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022013910A JP2022013910A (ja) | 2022-01-18 |
JP7260922B2 true JP7260922B2 (ja) | 2023-04-19 |
Family
ID=80169776
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021110070A Active JP7260922B2 (ja) | 2020-07-01 | 2021-07-01 | 学習用データ生成装置、学習装置、行動分析装置、行動型分析装置、プログラム、及び記録媒体 |
JP2023059075A Pending JP2023073478A (ja) | 2020-07-01 | 2023-03-31 | 行動型分析装置、行動型分析方法、行動型分析プログラム、及び記録媒体 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023059075A Pending JP2023073478A (ja) | 2020-07-01 | 2023-03-31 | 行動型分析装置、行動型分析方法、行動型分析プログラム、及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7260922B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012046392A1 (ja) | 2010-10-08 | 2012-04-12 | パナソニック株式会社 | 姿勢推定装置及び姿勢推定方法 |
JP2019024482A (ja) | 2017-07-31 | 2019-02-21 | 株式会社コンピューター総合研究所 | 情報処理システム、情報処理装置、およびプログラム |
JP2020038572A (ja) | 2018-09-05 | 2020-03-12 | 京セラ株式会社 | 画像学習プログラム、画像学習方法、画像認識プログラム、画像認識方法、学習データセットの生成プログラム、学習データセットの生成方法、学習データセット、及び画像認識装置 |
JP2021144631A (ja) | 2020-03-13 | 2021-09-24 | エヌ・ティ・ティ・ビズリンク株式会社 | 動物行動推定システム、動物行動推定支援装置、動物行動推定方法及びプログラム |
-
2021
- 2021-07-01 JP JP2021110070A patent/JP7260922B2/ja active Active
-
2023
- 2023-03-31 JP JP2023059075A patent/JP2023073478A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012046392A1 (ja) | 2010-10-08 | 2012-04-12 | パナソニック株式会社 | 姿勢推定装置及び姿勢推定方法 |
JP2019024482A (ja) | 2017-07-31 | 2019-02-21 | 株式会社コンピューター総合研究所 | 情報処理システム、情報処理装置、およびプログラム |
JP2020038572A (ja) | 2018-09-05 | 2020-03-12 | 京セラ株式会社 | 画像学習プログラム、画像学習方法、画像認識プログラム、画像認識方法、学習データセットの生成プログラム、学習データセットの生成方法、学習データセット、及び画像認識装置 |
JP2021144631A (ja) | 2020-03-13 | 2021-09-24 | エヌ・ティ・ティ・ビズリンク株式会社 | 動物行動推定システム、動物行動推定支援装置、動物行動推定方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
Niki Parmar, et al.,Image Transformer,Proceedings of the 35 th International Conference on Machine, Stockholm, Sweden, PMLR 80, 2018,2018年06月15日,https://arxiv.org/pdf/1802.05751.pdf |
Also Published As
Publication number | Publication date |
---|---|
JP2022013910A (ja) | 2022-01-18 |
JP2023073478A (ja) | 2023-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wurtz et al. | Recording behaviour of indoor-housed farm animals automatically using machine vision technology: A systematic review | |
Nasirahmadi et al. | Implementation of machine vision for detecting behaviour of cattle and pigs | |
Bao et al. | Artificial intelligence in animal farming: A systematic literature review | |
Zhao et al. | Automatic lameness detection in dairy cattle based on leg swing analysis with an image processing technique | |
Lao et al. | Automatic recognition of lactating sow behaviors through depth image processing | |
US9521829B2 (en) | Livestock identification and monitoring | |
JP2021101668A (ja) | 発情診断システム、発情診断方法、及びプログラム、並びに個体識別システム | |
Roland et al. | Evaluation of a triaxial accelerometer for monitoring selected behaviors in dairy calves | |
KR102341715B1 (ko) | 가축 모니터링 장치 및 방법 | |
CA3174258A1 (en) | Animal visual identification, tracking, monitoring and assessment systems and methods thereof | |
Jia et al. | Segmentation of body parts of cows in RGB-depth images based on template matching | |
CA3230401A1 (en) | Systems and methods for the automated monitoring of animal physiological conditions and for the prediction of animal phenotypes and health outcomes | |
Oczak et al. | Comparison of the automated monitoring of the sow activity in farrowing pens using video and accelerometer data | |
EP3933766B1 (en) | A system and a method for livestock monitoring | |
KR20200071597A (ko) | 영상분석을 활용한 어미돼지의 분만시점 예측 방법 및 장치 | |
Mittek et al. | Health monitoring of group-housed pigs using depth-enabled multi-object tracking | |
Azarpajouh et al. | Farm 4.0: innovative smart dairy technologies and their applications as tools for welfare assessment in dairy cattle | |
Yaseer et al. | A review of sensors and Machine Learning in animal farming | |
JP7260922B2 (ja) | 学習用データ生成装置、学習装置、行動分析装置、行動型分析装置、プログラム、及び記録媒体 | |
CN111814698A (zh) | 基于人工智能及航拍图像的牧区母牛护犊行为检测方法 | |
Shu et al. | Non-contact respiration rate measurement of multiple cows in a free-stall barn using computer vision methods | |
CN113221776A (zh) | 一种基于人工智能对反刍动物一般行为识别的方法 | |
Yuan et al. | Stress-free detection technologies for pig growth based on welfare farming: A review | |
JP2024046596A (ja) | 状態予測装置、状態予測方法、プログラム、及び記録媒体 | |
Siegford et al. | Practical considerations for the use of precision livestock farming to improve animal welfare |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220614 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220614 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230331 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7260922 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |