JP2012190280A - 行動認識装置、行動認識方法及びプログラム - Google Patents

Abstract

【課題】実験動物の各部位の行動をより詳細に定量化する。
【解決手段】輪郭情報取得部１０は、撮像部で撮像されるマウスの撮像画像に基づいて、その撮像画像におけるマウスの重心位置を基準として極座標変換されたマウスの輪郭情報を逐次取得する。変動情報算出部１１は、輪郭情報取得部１０により逐次取得されたマウスの輪郭情報を、例えば、頭部、尾部、右胴体部、左胴体部等の部位単位で分割し、分割された部位毎にマウスの輪郭情報の変動に関する情報を算出する。行動判別部１２は、変動情報算出部１１によって算出された各部位の輪郭情報の変動に関する情報に基づいて、マウスの行動を判別する。
【選択図】図２

Description

本発明は、実験動物の行動を自動的に認識する行動認識装置、行動認識方法及びプログラムに関する。

マウスなどの実験動物は、新薬開発、毒性試験など様々な医用用途で用いられている。動物の疾病の程度をｉｎ ｖｉｖｏレベルで定量化するためには、疾病と密接に関係するモデル行動の解析が重要となる。

このようなモデル行動には、四股を用いた秒間十数回といった繰返し運動を伴う擦過行動やグルーミングなどの高速な行動が含まれる。高速な行動の多くは人間の肉眼や標準のＮＴＳＣ（National Television System Committee）カメラ（３０ｆｐｓ）では正確かつ客観的な観測が困難になる。

一方で、画像に基づく人間の歩様解析の研究が数多く行われているが、その多くは高々３０ｆｐｓのビデオ画像を用いて数Ｈｚの周期的歩様を解析している。これに対し、痒みを示すモデル行動として広く知られる、後肢により頭部を繰返し引っ掻くマウスの擦過運動など、四肢の高速な運動を伴う実験動物のモデル行動を正確かつ客観的に定量化するためには、高フレームレート（ＨＦＲ）のビデオ解析が有効となる。

ビデオ解析における空間解像度の優位性から、実験動物の部位ベースドな画像特徴に基づく行動認識アルゴリズムが提案され、部位ラベリング法、マウス輪郭の不変特徴量、ラット行動解析における機械学習などが報告されている。これらの多くは標準的なビデオ画像（NTSC 30fps）を用いており、十数Ｈｚといった四肢の繰返し運動を正確に捉えるためには十分ではない。これに対し、本発明者らは、ＨＦＲビデオ解析に基づく擦過行動定量化アルゴリズムを提案し、２４０ｆｐｓ実時間画像解析システムを開発した（例えば、非特許文献１、２参照）。

I.Ishii et al,"Automatic Scratching Pattern Detection for Laboratory Mice using High-Speed Video Images. "IEEE Trans, Automat. Sci. Eng., 5(1)176-182, 2008. Y.Nie et al,"Real-time Scratching Behavior Quantification System for Laboratory Mice Using High-speed Vision," J. Real-Time Im.Process., 4(2) 181-190, 2009.

上記非特許文献１、２に開示された研究では、全画像領域に対するフレーム間差分特徴計算により十数Ｈｚの周期的な輝度変化を擦過運動として検出している。このため、グルーミングなどの類似した高速な動きを伴うモデル行動が多発する場合、擦過運動と誤検出されやすくなる。

また、上記研究では、実験動物の特定の部位の動きまで検出するのは困難である。

本発明は、上記実情に鑑みてなされたものであり、実験動物の各部位の行動をより詳細に定量化することができる行動認識装置、行動認識方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の観点に係る行動認識装置は、
尾部及び頭部を有する実験動物の撮像画像に基づいて、前記実験動物の重心位置を基準として極座標変換された前記実験動物の輪郭情報を逐次取得する輪郭情報取得部と、
前記輪郭情報取得部により逐次取得された前記輪郭情報を、部位単位で分割し、分割された部位毎に前記輪郭情報の変動に関する情報を算出する変動情報算出部と、
前記変動情報算出部によって算出された前記各部位の前記輪郭情報の変動に関する情報に基づいて、前記実験動物の行動を判別する行動判別部と、
を備える。

この場合、前記変動情報算出部は、
前記輪郭情報に基づいて、前記実験動物の尾部の向き及び頭部の向きを検出し、
前記検出された尾部の向き及び頭部の向きを基準として、極座標系を再定義し、
再定義された極座標系の下で、前記輪郭情報を、頭部領域と、左胴体領域と、右胴体領域とに分割する、
こととしてもよい。

また、前記輪郭情報の変動に関する情報は、
今回取得した撮像画像から得られる前記輪郭情報と、前回取得した撮像画像から得られる前記輪郭情報との差分である前記各部位のフレーム間特徴差分を含む、
こととしてもよい。

また、前記行動判別部は、
前記フレーム間特徴差分が所定の閾値以上であるか否かによりレベルが変化するパルス信号が、所定の時間間隔以内で連続して所定時間以上発生している場合に、
前記各部位が運動していると判別する、
こととしてもよい。

また、前記変動情報算出部は、
前記撮像画像における前記実験動物の重心の移動速度に関する第１の情報と、
前記撮像画像における前記実験動物の面積に関する第２の情報と、
前記撮像画像における前記実験動物の全体の動きに関する第３の情報と、
をさらに算出し、
前記行動判別部は、
前記第１の情報、前記第２の情報及び前記第３の情報を考慮して、前記実験動物の行動を判別する、
こととしてもよい。

本発明の第２の観点に係る行動認識方法は、
尾部及び頭部を有する実験動物の撮像画像に基づいて、前記実験動物の重心位置を基準として極座標変換された前記実験動物の輪郭情報を逐次取得する輪郭情報取得工程と、
前記輪郭情報取得工程において逐次取得された前記輪郭情報を、部位単位で分割し、分割された部位毎に前記輪郭情報の変動に関する情報を算出する変動情報算出工程と、
前記変動情報算出工程において算出された前記各部位の前記輪郭情報の変動に関する情報に基づいて、前記実験動物の行動を判別する行動判別工程と、
を含む。

本発明の第３の観点に係るプログラムは、
コンピュータを、
尾部及び頭部を有する実験動物の撮像画像に基づいて、前記実験動物の重心位置を基準として極座標変換された前記実験動物の輪郭情報を逐次取得する輪郭情報取得部、
前記輪郭情報取得部により逐次取得された前記輪郭情報を、部位単位で分割し、分割された部位毎に前記輪郭情報の変動に関する情報を算出する変動情報算出部、
前記変動情報算出部によって算出された前記各部位の前記輪郭情報の変動に関する情報に基づいて、前記実験動物の行動を判別する行動判別部、
として機能させる。

本発明によれば、実験動物の撮像画像から極座標変換された実験動物の各部位の輪郭情報の変動に関する情報を得ることができるので、実験動物の各部位の行動をより詳細に定量化することができる。

本発明の実施形態に係る行動認識装置の構成を示す斜視図である。 図１の画像処理部の構成を示すブロック図である。 モデル行動の類型を表すルックアップテーブルを示す図である。 図２の輪郭情報取得部の処理を示すフローチャートである。 図２の変動情報算出部の処理を示すフローチャートである。 図２の行動判別部の処理を示すフローチャートである。 図１の行動認識装置で行われる処理を模式的に示す図である。

この発明の実施の形態について、図面を参照して詳細に説明する。

まず、行動認識装置１００の構成について図１を参照して詳細に説明する。図１に示すように、行動認識装置１００は、撮像部１と、画像処理部２とを備える。行動認識装置１００は、尾部及び頭部を有するマウス３の四肢の高速な繰返し運動を含む複数の行動を認識する。マウス３は、例えばＩＣＲ（癌研究学会）マウスである。ＩＣＲマウスは、動物実験に広く用いられているＳｗｉｓｓマウスである。マウス３は、透明アクリル製のケージ４に入れられている。

撮像部１は、例えば、２４０ｆｐｓ程度の高フレームレート（ＨＦＲ）を実現するカメラである。撮像部１は、ケージ４の底面がその撮像視野に収まるように（すなわちマウス３が撮像視野内に収まるように）配置されており、ケージ４内のマウス３を上方から撮像する。撮像部１は、その撮像画像（フレーム画像）を画像処理部２に出力する。この撮像画像は、例えば３２０×４００画素の８ビット濃淡画像である。ケージ４の下には、近赤外平板ＬＥＤ照明（波長９５０ｎｍ）が設置されている。これにより、撮像部１により得られる撮像画像は、マウス３のシルエット画像となる。

画像処理部２は、撮像部１から出力されたマウス３の撮像画像を処理するコンピュータである。画像処理部２は、図示しないＣＰＵ及びメモリを備えており、メモリに格納されたプログラムを、ＣＰＵが実行することにより、図２の各ブロックの機能が実現される。図２に示すように、画像処理部２は、輪郭情報取得部１０と、変動情報算出部１１と、行動判別部１２とを備える。

輪郭情報取得部１０は、撮像部１で撮像されるマウス３の撮像画像に基づいて、その撮像画像におけるマウス３の重心位置を基準として極座標変換されたマウス３の輪郭情報を逐次取得する。

変動情報算出部１１は、輪郭情報取得部１０により逐次取得されたマウス３の輪郭情報を部位単位で分割し、分割された部位毎にマウス３の輪郭情報の変動に関する情報を算出する。本実施形態では、輪郭情報は、頭部、尾部、右胴体部、左胴体部に分割されるものとする。マウス３の輪郭情報の変動に関する情報には、例えば、今回取得した撮像画像から得られる輪郭情報と、前回取得した撮像画像から得られる輪郭情報との差分であるフレーム間差分特徴がある。

行動判別部１２は、変動情報算出部１１によって算出された各部位の輪郭情報の変動に関する情報に基づいて、マウス３の行動を判別する。この行動判別は、図３に示すマウス３のモデル行動の類型を表すルックアップテーブルに基づいて行われる。図３のテーブルには、マウス３が取り得る行動として６つのモデル行動が示されている。

このルックアップテーブルにおいて、ＭＶは、”ｍｏｖｉｎｇ”であり、歩く、又は走る状態を示す。ＲＥは、”ｒｅａｒｉｎｇ”であり、後肢を下に座る、あるいは立つ状態を示している。ＩＭは、”ｉｍｍｏｂｉｌｉｔｙ”であり、一定時間運動がない状態を示している。ＨＧは、”ｈｅａｄ ｇｒｏｏｍｉｎｇ”であり、前肢で頭部を毛繕いする状態である。ＳＬは、”ｌｅｆｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”であり、左後肢で頭部を繰り返し引っ掻く状態である。ＳＲは、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”であり、右後肢で頭部を繰り返し引っ掻く状態である。

上記６つの行動と、マウス３の撮像画像から得られる情報との間には、相関関係が見られる。テーブルにおいて、”○”、”×”、”−”は、この相関関係について、それぞれ”ｌａｒｇｅ”、”ｓｍａｌｌ”、”ｎｏｔ−ｃｏｎｃｅｒｎｅｄ”を意味する。

例えば、撮像画像におけるマウス３の重心の移動速度Ｖ（ｔ）がかなり大きければ、マウス３の状態は、”ｍｏｖｉｎｇ”（○）であると考えられ、”ｒｅａｒｉｎｇ”、”ｉｍｍｏｂｉｌｉｔｙ”、”ｈｅａｄ ｇｒｏｏｍｉｎｇ”、”ｌｅｆｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”ではない（×）と考えられる。

また、撮像画像におけるマウス３のシルエット面積Ａ（ｔ）がかなり小さければ、マウス３の状態は、”ｒｅａｒｉｎｇ”（×）であると考えられ、”ｉｍｍｏｂｉｌｉｔｙ”、”ｈｅａｄ ｇｒｏｏｍｉｎｇ”、”ｌｅｆｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”ではない（○）と考えられる。

また、撮像画像から得られる全胴体のフレーム間差分特徴Ｆ（ｔ）が小さければ、マウス３の状態は、”ｉｍｍｏｂｉｌｉｔｙ”（×）であると考えられ、”ｈｅａｄ ｇｒｏｏｍｉｎｇ”、”ｌｅｆｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”ではない（○）と考えられる。

また、撮像画像から得られる頭部領域のフレーム間差分特徴Ｆ_h（ｔ）が大きければ、マウス３の状態は、”ｈｅａｄ ｇｒｏｏｍｉｎｇ”（○）であると考えられ、”ｌｅｆｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”ではない（×）と考えられる。

また、撮像画像から得られる左胴体部のフレーム間差分特徴Ｆ_l（ｔ）が大きければ、マウス３の状態は、”ｌｅｆｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”（○）であると考えられ、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”ではない（×）と考えられる。

また、撮像画像から得られる右胴体部のフレーム間差分特徴Ｆ_r（ｔ）が大きければ、マウス３の状態は、”ｒｉｇｈｔ−ｓｉｄｅ ｓｃｒａｔｃｈｉｎｇ”（○）であると考えられる。

変動情報算出部１１は、上述したマウス３の重心の移動速度Ｖ（ｔ）、マウス３のシルエット面積Ａ（ｔ）、全胴体のフレーム間差分特徴Ｆ（ｔ）、頭部領域のフレーム間差分特徴Ｆ_h（ｔ）、左胴体部のフレーム間差分特徴Ｆ_l（ｔ）、右胴体部のフレーム間差分特徴Ｆ_r（ｔ）を算出する。行動判別部１２は、算出されたこれらの情報を用いて、マウス３の行動を判別する。

次に、本実施形態に係る行動認識装置１００の動作について図４乃至図６のフローチャートを中心にして説明する。図４には、輪郭情報取得部１０の処理が示され、図５には、変動情報算出部１１の処理が示され、図６には、行動判別部１２の処理が示されている。これらの処理は、撮像部１からマウス３の撮像画像が入力される度に実行される。

図４に示すように、まず、輪郭情報取得部１０は、入力されたマウス３の撮像画像の二値化を行う（ステップＳ１）。より具体的には、例えば図７に示すように、マウス３のシルエット画像を取得するために、輪郭情報取得部１０は、時刻ｔに入力された撮像画像Ｉ（ｘ，ｙ，ｔ）を閾値Ｔｂ（例えば１００）により二値化し、次式で示される二値化画像を取得する。

続いて、輪郭情報取得部１０は、マウス３の位置を特定するために、マウス３のシルエット画像の重心（ｃ_x（ｔ），ｃ_y（ｔ））を、以下のモーメント特徴Ｍ₀（ｔ）、Ｍ_x（ｔ）、Ｍ_y（ｔ）を用いて算出する（ステップＳ２）。

Ｄ（ｘ，ｙ，ｔ）は、マウス３の尾や四肢を無視したｒ_b×ｒ_b画素カーネルによるＢ（ｘ，ｙ，ｔ）のオープニング画像として算出する。

続いて、輪郭情報取得部１０は、例えば次式に示すＣａｎｎｙエッジ検出器を用いてマウス３のエッジ画像を求めることにより、エッジを検出する（ステップＳ３）。図７には、Ｉ（ｘ，ｙ，ｔ）から求められるエッジ画像Ｃ（ｘ，ｙ，ｔ）の一例が示されている。

続いて、輪郭情報取得部１０は、エッジ画像Ｃ（ｘ，ｙ，ｔ）の極座標変換を行う（ステップＳ４）。ここでは、エッジ画像Ｃ（ｘ，ｙ，ｔ）の全ての画素について、重心（ｃ_x（ｔ），ｃ_y（ｔ））からの距離及び角度を算出し、極座標系（ｒ，θ）を用いて、Ｃ（ｘ，ｙ，ｔ）を、Ｐ（ｒ，θ，ｔ）へと極座標変換する。

ここで、ｘ’＝ｘ−ｃ_x（ｔ）、ｙ’＝ｙ−ｃ_y（ｔ）は、マウス３の重心（ｃ_x（ｔ），ｃ_y（ｔ））からの相対座標値を指し、δ（ｘ）は次のように与えられる。

続いて、輪郭情報取得部１０は、マウス３のシルエットの輪郭情報を抽出する（ステップＳ５）。ここでは、輪郭情報取得部１０は、θの方向にあるＰ（ｒ，θ，ｔ）の全画素について、最小値ｒ_m（θ，ｔ）を算出し、内側境界を極座標系（ｒ，θ）でのシルエット輪郭として抽出する。図７には、このシルエット輪郭ｒ_m（θ，ｔ）の一例が示されている。

次に、変動情報算出部１１の処理について説明する。図５に示すように、変動情報算出部１１は、シルエット輪郭ｒ_m（θ，ｔ）に基づいて、尾部の向きθ_t（ｔ）を検出する（ステップＳ１１）。尾部の向きθ_t（ｔ）周辺では、輪郭は大きくカーブし、特定方向に鋭い分布を持つため、尾部の向きθ_t（ｔ）は、次のように決まる。

ここで、ｈ（θ，ｔ）は、θ〜θ＋ｄθの方向において、Ｐ（ｒ，θ，ｔ）＝１となる画素数を指す。

続いて、変動情報算出部１１は、シルエット輪郭ｒ_m（θ，ｔ）に基づいて、頭部の向きθ_h（ｔ）を検出する（ステップＳ１２）。頭部の向きθ_h（ｔ）は、尾部を除いて、重心から一番離れている輪郭上の点の方向として決定される。

Θ_aは、例えばπ／３とすることができる。

続いて、変動情報算出部１１は、胴体・部位セグメンテーションを行う（ステップＳ１３）。まず、変動情報算出部１１は、マウス３の胴体部の屈曲や姿勢の影響を抑えるために、角度座標θについて、検出された尾部の向きθ_t（ｔ）及び頭部の向きθ_h（ｔ）を用いて、次のような角度座標Φを再定義する。

これにより、ｒ_m（θ，ｔ）は、シフト及び姿勢不変なシルエット輪郭情報ｒ’_m（Φ，ｔ）に変換され、以下に示す、尾部領域Ｒ’_t、頭部領域Ｒ’_h、左胴体領域Ｒ’_l、右胴体領域Ｒ’_rにセグメントされる。

ここで、尾部領域Ｒ’_t、頭部領域Ｒ’_hの中心方向及び範囲は、それぞれ（０，Φ_t）、（０，Φ_l）に設定されている。

続いて、変動情報算出部１１は、部位毎のフレーム間差分特徴を含むマウス３の動きに関する情報を算出する（ステップＳ１４）。ここでは、フレーム間差分特徴Ｆ_t（ｔ）、Ｆ_r（ｔ）、Ｆ_h（ｔ）、Ｆ_l（ｔ）が、各部位Ｒ’_t、Ｒ’_r、Ｒ’_h、Ｒ’_lの運動特徴として、次式を用いて算出される。

ここで、ｄｔは、フレーム差分計算の時間間隔である。ｄｔは、例えば、４２ｍｓ程度とすることができる。

さらに、変動情報算出部１１は、次式を用いて、重心の移動速度Ｖ（ｔ）を算出する。

さらに、変動情報算出部１１は、次式を用いて、マウス３のシルエット面積Ａ（ｔ）を、次式を用いて求める。

さらに、変動情報算出部１１は、全胴体のフレーム間差分特徴Ｆ（ｔ）を、次式を用いて算出する。

次に、行動判別部１２の処理について説明する。この処理は、上述のように、図３のルックアップテーブルに基づいて定められたものである。

図６に示すように、まず、行動判別部１２は、重心の移動速度Ｖ（ｔ）が閾値Ｔ_mvより大きいか否かを判定する（ステップＳ２１）。閾値Ｔ_mvは、例えば１００画素／ｓ程度とすることができる。重心の移動速度Ｖ（ｔ）が閾値Ｔ_mvより大きい場合（ステップＳ２１；Ｙｅｓ）、”ｍｏｖｉｎｇ”と判定し、変数ｑ_mv（ｔ）に１を設定する（ステップＳ２２）。すなわち、変数ｑ_mv（ｔ）は、次式のようになる。

この後、行動判別部１２は、処理を終了する。

一方、重心の移動速度Ｖ（ｔ）が閾値Ｔ_mv以下の場合（ステップＳ２１；Ｎｏ）、行動判別部１２は、シルエット面積Ａ（ｔ）が閾値Ｔ_reより大きいか否かを判定する（ステップＳ２３）。閾値Ｔ_reは、例えば、７．４×１０⁵画素とすることができる。

シルエット面積Ａ（ｔ）が閾値Ｔ_reより大きい場合（ステップＳ２３；Ｙｅｓ）、行動判別部１２は、”ｒｅａｒｉｎｇ”と判定し、変数ｑ_re（ｔ）に１を設定する（ステップＳ２４）。すなわち、変数ｑ_re（ｔ）は、次式のようになる。

この後、行動判別部１２は、処理を終了する。

一方、シルエット面積Ａ（ｔ）が、閾値Ｔ_re以下の場合（ステップＳ２３；Ｎｏ）、行動判別部１２は、全胴体のフレーム間差分特徴Ｆ（ｔ）が、閾値Ｔ_imより小さいか否かを判定する（ステップＳ２５）。閾値Ｔ_imは、例えば５．３×１０³画素程度とすることができる。

全胴体のフレーム間差分特徴Ｆ（ｔ）が、閾値Ｔ_imより小さければ（ステップＳ２５；Ｙｅｓ）、”ｉｍｍｍｏｂｉｌｉｔｙ”と判定し、変数ｑ_im（ｔ）に１を設定する（ステップＳ２６）。すなわち、変数ｑ_im（ｔ）は、次式のようになる。

この後、行動判別部１２は、処理を終了する。

一方、全胴体のフレーム間差分特徴Ｆ（ｔ）が、閾値Ｔ_im以上の場合（ステップＳ２５；Ｎｏ）、行動判別部１２は、頭部のフレーム間差分特徴Ｆ_h（ｔ）が閾値Ｔ_hg以上であるか否かを判定する（ステップＳ２７）。例えば、閾値Ｔ_hgを、１００画素とすることができる。

頭部のフレーム間差分特徴Ｆ_h（ｔ）が閾値Ｔ_hg以上である場合（ステップＳ２７；Ｙｅｓ）、行動判別部１２は、パルス閾値処理を行う（ステップＳ２８）。パルス閾値処理において、まず、行動判別部１２は、運動の有無を示すパルスｐ_hg（ｔ）に１を設定する。これにより、パルスｐ_hg（ｔ）は、次式のようになる。

続いて、行動判別部１２は、次式に従って、これまでに蓄積されたパルスｐ_hg（ｔ）から、短時間パルス信号ｓ_hg（ｔ）のみを抽出し、パルス時間幅の長いパルスを排除する。

ここで、ｄ（ｔ）は、時刻ｔを含むｓ_hg＝１の持続時間を示し、τ₀は長時間パルス除去のための閾値である。

続いて、行動判別部１２は、パルス信号ｓ_hg（ｔ）において短時間間隔で短時間パルスが連続する場合、次式のようにして単一パルスｓ’_hg（ｔ）として補償する。

続いて、行動判別部１２は、ｓ’_hg（ｔ）の持続時間ｄ”（ｔ）が閾値τ₂より大きい否か、すなわちパルスが持続しているか否かを判定する（ステップＳ２９）。閾値τ₂は、例えば１６７ｍｓとすることができる。

ｓ’_hg（ｔ）の持続時間ｄ”（ｔ）が閾値τ₂より大きい場合（ステップＳ２９；Ｙｅｓ）、”head grooming”として判定し、変数ｑ_hg（ｔ）に１を設定する（ステップＳ３０）。すなわち、変数ｑ_hg（ｔ）は、次式のようになる。

この後、行動判別部１２は、処理を終了する。

一方、頭部のフレーム間差分特徴Ｆ_h（ｔ）が閾値Ｔ_hg以上でない場合（ステップＳ２７；Ｎｏ）、行動判別部１２は、左胴体部フレーム間差分特徴Ｆ_l（ｔ）が、閾値Ｔ_slより小さいか否かを判定する（ステップＳ３１）。閾値Ｔ_slは、例えば２５０画素程度とすることができる。

左胴体部のフレーム間差分特徴Ｆ_l（ｔ）が閾値Ｔ_sl以上である場合（ステップＳ３１；Ｙｅｓ）、行動判別部１２は、パルス閾値処理を行う（ステップＳ３２）。このパルス閾値処理は、上記ステップＳ２８と同様にして行われる。これにより、左胴体部の繰り返し運動の持続時間ｄ”（ｔ）が得られる。ここで、τ₀、τ₁については、それぞれ８３ｍｓ、１６７ｍｓとすることができる。

続いて、行動判別部１２は、持続時間ｄ”（ｔ）が、閾値τ₂より大きいか否か、すなわちパルスが持続しているか否かを判定する（ステップＳ３３）。閾値τ₂は、例えば２０８ｍｓとすることができる。

持続時間ｄ”（ｔ）が閾値τ₂より大きい場合（ステップＳ３３；Ｙｅｓ）、”left-side scratching”として判定し、変数ｑ_sl（ｔ）に１を設定する（ステップＳ３４）。すなわち、変数ｑ_sl（ｔ）は、次式のようになる。

この後、行動判別部１２は、処理を終了する。

一方、左胴体部のフレーム間差分特徴Ｆ_l（ｔ）が閾値Ｔ_sl以上でない場合（ステップＳ３１；Ｎｏ）、行動判別部１２は、右胴体部フレーム間差分特徴Ｆ_r（ｔ）が、閾値Ｔ_srより小さいか否かを判定する（ステップＳ３５）。閾値Ｔ_srは、例えば２５０画素程度とすることができる。

右胴体部のフレーム間差分特徴Ｆ_r（ｔ）が閾値Ｔ_sr以上である場合（ステップＳ３５；Ｙｅｓ）、行動判別部１２は、パルス閾値処理を行う（ステップＳ３６）。このパルス閾値処理は、上記ステップＳ２８と同様にして行われる。これにより、右胴体部の繰り返し運動の持続時間ｄ”（ｔ）が得られる。ここで、τ₀、τ₁については、それぞれ８３ｍｓ、１６７ｍｓとすることができる。

続いて、行動判別部１２は、持続時間ｄ”（ｔ）が、閾値τ₂より大きいか否か、すなわちパルスが持続しているか否かを判定する（ステップＳ３７）。閾値τ₂は、例えば２０８ｍｓとすることができる。

持続時間ｄ”（ｔ）が閾値τ₂より大きい場合（ステップＳ３７；Ｙｅｓ）、”right-side scratching”として判定し、変数ｑ_sr（ｔ）に１を設定する（ステップＳ３８）。すなわち、変数ｑ_sr（ｔ）は、次式のようになる。

この後、行動判別部１２は、処理を終了する。

右胴体部のフレーム間差分特徴Ｆ_r（ｔ）が閾値Ｔ_sr以上でない場合（ステップＳ３５；Ｎｏ）、行動判別部１２は、分類できない他の行動”ｏｔｈｅｒ ｂｅｈａｖｉｅｒ”を設定し（ステップＳ３９）、処理を終了する。

なお、時刻ｔ＝ｔ₁〜ｔ₂において判別された行動の持続時間Ｑ_i（ｔ₁：ｔ₂）（ｉ＝ｍｖ，ｒｅ，ｉｍ，ｈｇ，ｓｌ，ｓｒ）は、ｑ_i（ｔ）＝１である時間を積分することで次式を用いて算出される。

これにより、ある時間でのマウス３の行動が明らかになる。

以上詳細に説明したように、本実施形態によれば、マウス３の撮像画像から極座標変換されたマウス３の各部位の輪郭情報の変動に関する情報を得ることができるので、マウス３の行動をより詳細に定量化することができる。

また、本実施形態によれば、マウス３の重心を中心として極座標変換された輪郭情報に基づいてマウス３の動きを検出するので、撮像視野内のマウス３の位置に関らず、マウス３の行動を正確に定量化することができる。さらに、極座標は、マウス３の尾部の向き及び頭部の向きにより再定義されるので、マウス３の胴体部の屈曲や姿勢に左右されずに、マウス３の行動を正確に定量化することができる。

また、本実施形態によれば、各部位の動きの検出に先立って、マウス３の重心移動や、マウス３の姿勢の変化などを検出するので、マウス３の移動等に左右されずに、各部位の行動の検出が可能となる。

本実施形態に係る行動認識装置を用いれば、新薬開発、毒性実験など様々な医用用途において、疾病と密接に関係する各部位のモデル行動（例えば左肢による擦過運動）の解析により、マウス３の疾病の程度をｉｎ ｖｉｖｏレベルで定量化することができる。

なお、本発明では、マウス３を検出対象としたが、ラット、モルモットや他の実験動物（実験小動物）を検出対象としてもよい。

なお、上記実施の形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical Disk）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。

また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。

また、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲、実施形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。

本発明は、尾部及び頭部を有する実験動物の行動の分析に好適である。より具体的には、本発明によれば、実験動物に特化した形で、四肢の高速な繰り返し動作を含む擦過運動やグルーミングなどの複数の行動を同時に自動判別することができる。

１ 撮像部
２ 画像処理部
３ マウス
４ ケージ
１０ 輪郭情報取得部
１１ 変動情報算出部
１２ 行動判別部
１００ 行動認識装置

Claims (7)

1. 尾部及び頭部を有する実験動物の撮像画像に基づいて、前記実験動物の重心位置を基準として極座標変換された前記実験動物の輪郭情報を逐次取得する輪郭情報取得部と、
   前記輪郭情報取得部により逐次取得された前記輪郭情報を、部位単位で分割し、分割された部位毎に前記輪郭情報の変動に関する情報を算出する変動情報算出部と、
   前記変動情報算出部によって算出された前記各部位の前記輪郭情報の変動に関する情報に基づいて、前記実験動物の行動を判別する行動判別部と、
   を備える行動認識装置。
2. 前記変動情報算出部は、
   前記輪郭情報に基づいて、前記実験動物の尾部の向き及び頭部の向きを検出し、
   前記検出された尾部の向き及び頭部の向きを基準として、極座標系を再定義し、
   再定義された極座標系の下で、前記輪郭情報を、頭部領域と、左胴体領域と、右胴体領域とに分割する、
   ことを特徴とする請求項１に記載の行動認識装置。
3. 前記輪郭情報の変動に関する情報は、
   今回取得した撮像画像から得られる前記輪郭情報と、前回取得した撮像画像から得られる前記輪郭情報との差分であるフレーム間特徴差分を含む、
   ことを特徴とする請求項１又は２に記載の行動認識装置。
4. 前記行動判別部は、
   前記フレーム間特徴差分が所定の閾値以上であるか否かによりレベルが変化するパルス信号が、所定の時間間隔以内で連続して所定時間以上発生している場合に、
   前記各部位が運動していると判別する、
   ことを特徴とする請求項３に記載の行動認識装置。
5. 前記変動情報算出部は、
   前記撮像画像における前記実験動物の重心の移動速度に関する第１の情報と、
   前記撮像画像における前記実験動物の面積に関する第２の情報と、
   前記撮像画像における前記実験動物の全体の動きに関する第３の情報と、
   をさらに算出し、
   前記行動判別部は、
   前記第１の情報、前記第２の情報及び前記第３の情報を考慮して、前記実験動物の行動を判別する、
   ことを特徴とする請求項１乃至４のいずれか一項に記載の行動認識装置。
6. 尾部及び頭部を有する実験動物の撮像画像に基づいて、前記実験動物の重心位置を基準として極座標変換された前記実験動物の輪郭情報を逐次取得する輪郭情報取得工程と、
   前記輪郭情報取得工程において逐次取得された前記輪郭情報を、部位単位で分割し、分割された部位毎に前記輪郭情報の変動に関する情報を算出する変動情報算出工程と、
   前記変動情報算出工程において算出された前記各部位の前記輪郭情報の変動に関する情報に基づいて、前記実験動物の行動を判別する行動判別工程と、
   を含む行動認識方法。
7. コンピュータを、
   尾部及び頭部を有する実験動物の撮像画像に基づいて、前記実験動物の重心位置を基準として極座標変換された前記実験動物の輪郭情報を逐次取得する輪郭情報取得部、
   前記輪郭情報取得部により逐次取得された前記輪郭情報を、部位単位で分割し、分割された部位毎に前記輪郭情報の変動に関する情報を算出する変動情報算出部、
   前記変動情報算出部によって算出された前記各部位の前記輪郭情報の変動に関する情報に基づいて、前記実験動物の行動を判別する行動判別部、
   として機能させるプログラム。