JP6720756B2

JP6720756B2 - 情報処理装置、情報処理方法及び情報処理システム

Info

Publication number: JP6720756B2
Application number: JP2016150604A
Authority: JP
Inventors: 真司渡辺
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2015-10-08
Filing date: 2016-07-29
Publication date: 2020-07-08
Anticipated expiration: 2036-07-29
Also published as: EP3360113A1; JP2017073119A; US10929985B2; US20180268557A1; CN108140241A

Description

本開示は、情報処理装置、情報処理方法及び情報処理システムに関する。

医療および生命科学の分野において、多くの種類の生体組織の運動、または状態の変化を観察することが行われている。このような生体組織の運動または状態の変化を追跡するために、画像処理を用いて撮像画像から生体組織等に対応する領域をトラッキングする技術が開発されている。

例えば、下記特許文献１には、臓器等の生体組織を観察対象として、超音波またはＣＴ（Computed Tomography）等を用いて得られる画像から、観察対象の領域の一部について追跡点を配置し、当該追跡点の動きを追跡する技術が開示されている。かかる技術により、追跡点の動きを算出することで、観察対象である生体組織の動きを定量的に評価することができる。

特許第５５０８０３５号公報

しかし、観察対象が臓器等の生体組織ではなく細胞である場合、細胞の成長および運動等によって、細胞自身の形状が短時間で大きく変化する。そのため、上記特許文献１に開示された技術において、一度配置された追跡点の動きを追跡するだけでは、追跡点が配置されていない部分の形状の変化を追跡することが困難である。

そこで、本開示では、観察対象の形状変化を高精度で追跡することが可能な、新規かつ改良された情報処理装置、情報処理方法および情報処理システムを提案する。

本開示によれば、撮像画像における注目領域に関して複数の追跡点を配置する配置部と、上記撮像画像と、上記撮像画像とは撮像時点が異なる他の撮像画像との比較に基づいて、上記追跡点の上記他の撮像画像における位置を推定する推定部と、上記推定部により推定された上記追跡点の位置に基づいて上記他の撮像画像における注目領域を設定する設定部と、を備え、上記設定部により上記撮像画像における上記注目領域が設定されている場合、上記配置部は、設定された上記注目領域に関して上記追跡点を再配置し、上記推定部は、再配置された追跡点の上記他の撮像画像における位置を推定する情報処理装置が提供される。

また、本開示によれば、プロセッサが、撮像画像における注目領域に関して複数の追跡点を配置することと、上記撮像画像と、上記撮像画像とは撮像時点が異なる他の撮像画像との比較に基づいて、上記追跡点の上記他の撮像画像における位置を推定することと、推定された上記追跡点の位置に基づいて上記他の撮像画像における注目領域を設定することと、を含み、上記プロセッサにより上記撮像画像における上記注目領域が設定されている場合、上記プロセッサが、設定された上記注目領域に関して上記追跡点を再配置することと、再配置された追跡点の他の撮像画像における位置を推定することと、をさらに含む情報処理方法が提供される。

また、本開示によれば、複数の撮像画像を生成する撮像部を備える撮像装置と、上記撮像部から取得した一の撮像画像における注目領域に関して複数の追跡点を配置する配置部と、上記一の撮像画像と、上記一の撮像画像とは上記撮像部による撮像時点が異なる他の撮像画像との比較に基づいて、上記追跡点の上記他の撮像画像における位置を推定する推定部と、推定された上記追跡点の位置に基づいて上記他の撮像画像における注目領域を設定する設定部と、を備え、上記設定部により上記一の撮像画像における上記注目領域が設定されている場合、上記配置部は、設定された上記注目領域に関して上記追跡点を再配置し、上記推定部は、再配置された追跡点の上記他の撮像画像における位置を推定する情報処理装置と、を備える情報処理システムが提供される。

以上説明したように本開示によれば、観察対象の形状変化を高精度で追跡することが可能である。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る情報処理システムの構成の概要を示す図である。同実施形態に係る情報処理装置の機能構成例を示すブロック図である。同実施形態に係る情報処理装置による処理の一例を示すフローチャートである。同実施形態に係る初期設定処理における撮像画像の表示例を示す図である。同実施形態に係る初期設定処理における撮像画像および初期注目領域の表示例を示す図である。同実施形態に係る初期設定処理における追跡点の配置例を示す図である。同実施形態に係る追跡処理における追跡領域および探索範囲の設定例を示す図である。同実施形態に係る追跡処理における動きベクトルの算出例および追跡点の位置の推定例を示す図である。同実施形態に係る追跡処理における注目領域の設定例を示す図である。同実施形態に係る追跡処理における追跡点の再配置例を示す図である。同実施形態に係る配置部による配置処理の第１の応用例を説明するための図である。同実施形態に係る配置部による配置処理の第２の応用例を説明するための図である。同実施形態に係る配置部による配置処理の第３の応用例を説明するための図である。同実施形態に係る推定部による推定処理の応用例を説明するための図である。同実施形態の変形例に係る情報処理装置の機能構成例を示すブロック図である。同変形例に係る情報処理装置による処理の一例を示すフローチャートである。同実施形態に係る情報処理装置の第１の適用例（神経細胞）について説明するための図である。同実施形態に係る情報処理装置による軸索の初期設定処理の例を示す図である。同実施形態に係る情報処理装置による軸索の追跡処理の例を示す図である。同実施形態に係る情報処理装置の第２の適用例（ゼブラフィッシュ）について説明するための図である。同実施形態に係る情報処理装置の第３の適用例（コロニー）について説明するための図である。同実施形態に係る情報処理装置の第４の適用例（マクロファージ、異物）について説明するための図である。本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．情報処理システムの概要
２．情報処理装置
２．１．構成例
２．２．処理例
２．３．効果
２．４．応用例
２．５．変形例
２．６．適用例
３．ハードウェア構成例
４．まとめ

＜１．情報処理システムの概要＞
図１は、本開示の一実施形態に係る情報処理システム１の構成の概要を示す図である。図１に示すように、情報処理システム１は、撮像装置１０、および情報処理装置２０を備える。撮像装置１０および情報処理装置２０は、有線または無線の各種ネットワークにより接続される。

（撮像装置）
撮像装置１０は、撮像画像（動画像）を生成する装置である。本実施形態に係る撮像装置１０は、例えば、デジタルカメラにより実現される。他にも、撮像装置１０は、例えばスマートフォン、タブレット、ゲーム機、またはウェアラブル装置など、撮像機能を有するあらゆる装置により実現されてもよい。例えば、撮像装置１０は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像する。また、撮像装置１０は、情報処理装置２０との間で撮像画像等を送受信するための通信装置を含む。本実施形態において、撮像装置１０は、観察対象である細胞が培養されている培地Ｍを撮像するための撮像ステージＳの上方に設けられる。そして、撮像装置１０は、培地Ｍを特定のフレームレートで撮像することにより動画像データを生成する。なお、撮像装置１０は、培地Ｍを直接（他の部材を介さずに）撮像してもよいし、顕微鏡等の他の部材を介して培地Ｍを撮像してもよい。また、上記フレームレートは特に限定されないが、観察対象の変化の度合いに応じて設定されることが好ましい。なお、撮像装置１０は、観察対象の変化を正しく追跡するため、培地Ｍを含む一定の撮像領域を撮像する。撮像装置１０により生成された動画像データは、情報処理装置２０へ送信される。

なお、本実施形態において、撮像装置１０は光学顕微鏡等に設置されるカメラであることを想定しているが、本技術はかかる例に限定されない。例えば、撮像装置１０は、ＳＥＭ（Scanning Electron Microscope；走査型電子顕微鏡）、もしくはＴＥＭ（Transmission Electron Microscope；透過型電子顕微鏡）等の電子線を用いた電子顕微鏡等に含まれる撮像装置、または、ＡＦＭ（Atomic Force Microscope；原子間力顕微鏡）、もしくはＳＴＭ（Scanning Tunneling Microscope；走査型トンネル顕微鏡）等の探針を用いたＳＰＭ（Scanning Probe Microscope；走査型プローブ顕微鏡）等に含まれる撮像装置であってもよい。この場合、撮像装置１０により生成される撮像画像は、例えば電子顕微鏡の場合、電子線を観察対象に照射することにより得られる画像であり、また、ＳＰＭの場合、短針を用いて観察対象をなぞることにより得られる画像である。これらの撮像画像も、本実施形態に係る情報処理装置２０により画像解析され得る。

（情報処理装置）
情報処理装置２０は、画像解析機能を有する装置である。情報処理装置２０は、ＰＣ（Personal Computer）、タブレット、スマートフォンなど、画像解析機能を有するあらゆる装置により実現される。また、情報処理装置２０は、ネットワーク上の１または複数の情報処理装置によって実現されてもよい。本実施形態に係る情報処理装置２０は、撮像装置１０から撮像画像を取得し、取得した撮像画像について観察対象の領域の追跡を実行する。情報処理装置２０による追跡処理の解析結果は、情報処理装置２０の内部または外部に備えられる記憶装置または表示装置等に出力される。なお、情報処理装置２０の各機能を実現する機能構成については後述する。

なお、本実施形態において、撮像装置１０および情報処理装置２０により情報処理システム１が構成されるが、本技術はかかる例に限定されない。例えば、撮像装置１０が、情報処理装置２０に関する処理（例えば追跡処理）を行ってもよい。この場合、情報処理システム１は、観察対象の追跡機能を有する撮像装置により実現される。

ここで、観察対象となる細胞は、人、動物、植物または無生物である構造体等の通常の被写体と異なり、短時間において成長、***、結合、変形、またはネクローシス（Necrosis；壊死）等の各種現象を発生させる。この場合、細胞の形状が短時間で大きく変化し得る。そうすると、例えば特許第５５０８０３５号明細書に開示された技術を用いて撮像画像内の観察対象である細胞の形状を追跡しても、追跡点が配置されていない部分の形状が変化した場合、当該部分の形状の変化を追跡することができない。よって、細胞の形状の変化を精度高く追跡することが困難である。また、観察対象が動物、植物または無生物である構造体であっても、例えば、薄膜またはナノクラスタ結晶の成長等、観察対象の構造または形状が短時間で著しく変化する場合、上記文献に開示された技術を用いて観察対象を精度高く追跡し続けることは困難である。

そこで、本実施形態に係る情報処理システム１によれば、撮像画像内に設定された注目領域に関して複数の追跡点を配置し、撮像時点が異なる他の撮像画像における追跡点について位置を推定し、推定された位置における追跡点に基づいて注目領域を再設定し、さらに再設定した注目領域に関して追跡点を再配置する。かかる技術により、観察対象である細胞の領域を追跡するときに、当該領域の変化を追跡するための追跡点を撮像フレームごとに適切な位置に再配置することができる。これにより、細胞の形状の変化に追随して追跡点の位置を適切に調整することができるので、細胞の形状の変化の程度に関わらず精度高く細胞の形状の変化を追跡することができる。

以上、本開示の一実施形態に係る情報処理システム１の概要について説明した。本開示の一実施形態に係る情報処理システム１に含まれる情報処理装置２０は、以下の実施形態において実現される。以下、情報処理装置２０の具体的な構成例および動作処理について説明する。

＜２．情報処理装置＞
まず、図２〜図２２を参照して本開示の第１の実施形態に係る情報処理装置２０について説明する。

［２．１．構成例］
図２は、本開示の一実施形態に係る情報処理装置２０の機能構成例を示すブロック図である。図２に示すように、情報処理装置２０は、画像取得部２１０、初期設定部２１５、配置部２２０、推定部２３０、設定部２４０、および出力制御部２５０を含む。

（画像取得部）
画像取得部２１０は、撮像装置１０により生成された撮像画像データを、不図示の通信装置を介して取得する。例えば、画像取得部２１０は、撮像装置１０により生成された動画像データを時系列に取得する。

なお、画像取得部２１０が取得する画像は、ＲＧＢ画像またはグレースケール画像等が含まれる。取得した画像がＲＧＢ画像である場合、画像取得部２１０は、当該ＲＧＢ画像である撮像画像をグレースケールに変換する。

また、画像取得部２１０は、取得した撮像画像データを初期設定部２１５、または推定部２３０に出力する。例えば、情報処理装置２０による追跡処理が開始されていない場合、後述する初期設定部２１５による注目領域の初期設定のために、画像取得部２１０は、取得した撮像画像データのうち一の画像データを初期設定部２１５に出力する。一方で、情報処理装置２０による追跡処理が実行されている場合、推定部２３０による推定のために、画像取得部２１０は、取得した撮像画像データのうち、一時刻前に実施した追跡処理に用いられた撮像画像データとは異なる撮像画像データを出力する。

なお、本明細書において追跡処理とは、詳しくは後述するが、図２に示すように、配置部２２０、推定部２３０、および設定部２４０による一連の処理を意味する。この追跡処理は、画像取得部２１０により取得される動画像データに含まれる撮像画像データについて、繰り返し実施され得る。

（初期設定部）
初期設定部２１５は、情報処理装置２０による追跡処理が開始されていない場合に、画像取得部２１０から取得した撮像画像について注目領域の初期設定を行う機能を有する。

なお、本明細書において注目領域とは、撮像画像内において追跡処理の対象となる領域を意味する。本実施形態において、注目領域は、撮像された細胞等の観察対象に対応する領域に相当する領域である。つまり、一連の追跡処理において、後述する設定部２４０により設定される注目領域が観察対象に対応する領域の追跡結果となる。なお、初期設定部２１５において設定される注目領域は、撮像画像内における観察対象に対応する領域と完全に一致していなくてもよい。ただし、観察対象に対応する領域を精度高く追跡するためには、注目領域を適切に設定することが好ましい。

また、本明細書における注目領域は、例えば開曲線（直線を含む）により表現される領域であってもよく、または、閉曲線（始点と終点が一致する曲線）により包囲される領域であってもよい。また、ユーザの操作等により、複数の閉領域、または８の字のような領域が設定されてもよい。

初期設定部２１５において、注目領域はユーザの操作により設定されてもよい。例えば、ユーザが不図示のマウス、タッチペン、またはタッチパネル等の入力装置を操作して、不図示の表示装置（ディスプレイ等）に表示されている撮像画像内の観察対象の外周（例えば、細胞の輪郭）をなぞることにより、注目領域が設定されてもよい。これにより、ユーザが所望する領域を注目領域として設定することができる。

また、ユーザの操作により開曲線が表現された場合においても、初期設定部２１５は、補間処理等により注目領域を閉曲線により包囲される領域として設定してもよい。また、初期設定部２１５において、注目領域は画像解析処理により自動的に設定されてもよい。例えば、初期設定部２１５は、２値画像変換、ハフ変換、または機械学習等の画像解析手法を用いて注目領域を設定してもよい。これにより、注目領域の初期設定により生じるユーザへの負担を軽減することができる。

初期設定部２１５により設定された注目領域に関する情報は、配置部２２０に出力される。

（配置部）
配置部２２０は、注目領域に関して、複数の追跡点を配置する機能を有する。

ここで、本明細書において追跡点とは、ある撮像画像について設定された注目領域に対応して配置される点である。例えば本実施形態において、追跡点は注目領域を定義する線または輪郭上に、所定の間隔を空けて配置される。後述する推定部２３０において、当該注目領域が設定された際に用いられた撮像画像とは異なる時点において撮像された他の撮像画像における追跡点の位置が推定される。この追跡点の位置を時系列に推定することにより、細胞の形状の変化を追跡することができる。

なお、注目領域が開曲線により表現される場合、配置部２２０は当該開曲線の端点にそれぞれ追跡点を配置する。一方で注目領域が閉曲線により表現される場合、配置部２２０は、閉曲線上の特定の位置に追跡点を配置しなくともよい。ただし、ユーザの操作により注目領域が閉曲線により設定された場合、配置部２２０は、当該閉曲線の始点（終点）に追跡点を配置してもよい。これにより、ユーザが所望する位置に追跡点を配置することができる。

追跡点の配置数および配置間隔は、観察対象の種類、または観察対象の形状に応じて決定されてもよい。例えば、観察対象である細胞の形状が大きく変化する場合、追跡点の配置数を増やし、配置間隔を小さくすることが好ましい。これにより、細胞の形状が大きく変化しても、精度高くその形状の変化を追跡することができる。また、計算負荷の低減のためには、追跡点の配置数を減らし、配置間隔を大きくすることが好ましい。

情報処理装置２０による追跡処理が開始されていない場合、本実施形態に係る配置部２２０は、初期設定部２１５により設定された注目領域に関して、追跡点を配置する。

一方で、情報処理装置２０による追跡処理が実行されている場合、配置部２２０は、設定部２４０により設定された注目領域に関して、追跡点を再配置する。これにより、追跡処理ごとに適切な追跡点を配置することができる。例えば追跡点を再配置しない場合、観察対象である細胞のうち、追跡点が配置されていない部分の形状の変化を追うことができない。本実施形態によれば、一時刻前に設定部２４０により設定された注目領域に関して、配置部２２０により追跡処理ごとに追跡点が適切な間隔を空けて再配置される。そのため、細胞の形状が大きく変化しても、注目領域が細胞に対応する領域と大きく乖離することを最小限にとどめることができる。よって、細胞に対応する領域を精度高く追跡することができる。

なお、配置部２２０は、先に配置された追跡点のうち少なくとも一の追跡点を、後述する推定部２３０により推定された位置と同一の位置に再配置してもよい。例えば、配置部２２０が配置した追跡点の近傍の領域に含まれる観察対象がその特徴を大きく変化させない場合、同一の位置に追跡点を再配置したほうが、追跡処理の精度が向上するためである。

配置部２２０により配置（再配置）された追跡点に関する情報は、注目領域の設定に用いられた撮像画像に関する情報とともに、推定部２３０に出力される。

（推定部）
推定部２３０は、注目領域の設定に用いられた撮像画像（以後、第１の撮像画像と呼称する）と、画像取得部２１０から取得した他の撮像画像（以後第２の撮像画像と呼称する）との比較に基づいて、第１の撮像画像における注目領域に関して配置された追跡点の第２の撮像画像における位置を推定する機能を有する。ここで、第２の撮像画像とは、第１の撮像画像とは撮像時点が異なる撮像画像を意味する。第２の撮像画像は、例えば、第１の撮像画像のフレームの前後の数フレームのうちのいずれかのフレームの撮像画像であってもよい。より具体的には、第２の撮像画像は、第１の撮像画像の１フレーム後に生成された撮像画像であってもよい。また、詳細は後述するが、観察対象の状態または変化等に応じて、推定対象となる第２の撮像画像の撮像時点（第１の撮像画像と第２の撮像画像の間のフレーム数）が指定されてもよい。

推定部２３０は、例えば、第１の撮像画像と第２の撮像画像との比較により算出される動きベクトルに基づいて、追跡点の位置を推定してもよい。この動きベクトルとは、追跡点ごとに算出される動きベクトルであってもよい。当該動きベクトルは、例えばブロックマッチング、または勾配法等の手法により算出されてもよい。本明細書において、推定部２３０は、当該動きベクトルをブロックマッチングにより推定するものとして説明する。

例えば、推定部２３０は、追跡点を含む所定の大きさの追跡領域について、第１の撮像画像と第２の撮像画像との間で追跡領域内の画素に関する情報が最も合致する領域を第２の撮像画像の所定の探索範囲から検出することにより、追跡点の第２の撮像画像における位置を推定してもよい。このとき、追跡領域および探索範囲の大きさは、撮像装置１０の撮像条件（例えば撮像倍率）、観察対象の種類、または観察対象に対して行う解析の種類等に応じて決定されてもよい。例えば、観察対象の動きが大きい場合は、追跡領域または探索範囲をより大きくしてもよい。これにより、推定部２３０による追跡点の位置の推定精度を向上させることができる。また、追跡点が注目領域に関して多数存在する場合は、計算負荷の低減のために、追跡領域または探索範囲を小さくするよう調整してもよい。

また、推定部２３０は、観察対象に関する情報に基づいて決定される撮像時点に生成された第２の撮像画像における追跡点の位置を推定してもよい。例えば、形状の変化のスピードが遅い細胞の形状の変化を追跡する場合、撮像装置１０により生成された連続する複数のフレームの間における撮像画像の違いは小さい。そのため、形状の変化スピードが遅い細胞の形状の変化を追跡する際、推定部２３０は、第１の撮像画像のフレームから前後数フレーム離れた撮像画像を第２の撮像画像として推定処理を行ってもよい。より具体的には、推定部２３０は、第１の撮像画像のフレームから数フレーム後の撮像画像を第２の撮像画像として推定処理を行ってもよい。第１の撮像画像と第２の撮像画像のフレーム間隔を空けることにより、追跡処理の対象となる撮像画像のデータ数を減らすことができる。これにより、計算負荷を減らすことができ、また、より長時間にわたる細胞の形状の変化を追跡することができる。上記フレーム間隔は、細胞の種類または状態等に応じて適宜設定され得る。

推定部２３０は、推定した追跡点の位置に関する情報を、設定部２４０に出力する。

（設定部）
設定部２４０は、推定部２３０から取得した第２の撮像画像における追跡点の位置に基づいて、第２の撮像画像における注目領域を設定する機能を有する。

設定部２４０は、例えば、推定部２３０により推定された各追跡点の位置を通過するような閉曲線（元の注目領域が開曲線である場合は開曲線）で補間することにより、注目領域を設定してもよい。閉曲線の補間方法として、例えばベジェ曲線補間、またはスプライン曲線補間等、公知の補間方法が用いられる。

また、設定部２４０は、推定された各追跡点の位置に加えて、撮像画像の画像解析結果を用いて注目領域を設定してもよい。例えば、観察対象である細胞が***または結合等により注目領域の数が増減する場合、上記の各追跡点の位置だけを用いて注目領域を精度高く設定することは困難である。そのため、設定部２４０は、例えば撮像画像についてエッジ解析または濃淡解析等の画像解析を行うことにより、各追跡点に基づいて設定される補間曲線の調整をすることができる。より具体的には、観察している細胞が***した場合、設定部２４０は、エッジ解析等により細胞の***を検出し、当該検出結果を用いて注目領域を設定してもよい。これにより、細胞の***に応じて注目領域の数および位置を適切に設定することができる。

設定部２４０は、設定した注目領域に関する情報を、配置部２２０および出力制御部２５０に出力する。なお、一連の追跡処理を終了する場合、設定部２４０は、配置部２２０に上記情報を出力しなくてもよい。

（出力制御部）
出力制御部２５０は、設定部２４０から取得した注目領域に関する情報など、一連の追跡処理において得られた各種情報を出力する機能を有する。出力制御部２５０は、例えば、配置部２２０による追跡点の配置結果、推定部２３０による追跡点の位置の推定結果、または設定部２４０による注目領域の設定結果等を出力してもよい。出力制御部２５０による出力態様については特に限定されない。例えば、出力制御部２５０は撮像画像を不図示の表示装置に表示し、表示された撮像画像上に追跡点または注目領域等の各種情報を重畳してもよい。また、出力制御部２５０は、上記の各種情報を不図示の記憶装置に記憶してもよいし、不図示の通信装置を用いて外部装置に送信してもよい。

［２．２．処理例］
以上、本開示の一実施形態に係る情報処理装置２０の構成例について説明した。次に、本開示の一実施形態に係る情報処理装置２０による処理の一例について、図３〜図１０を参照して説明する。なお、本実施形態に係る処理において得られる追跡点および注目領域等は、出力制御部２５０により表示装置の表示部Ｄに適宜表示されるものとして説明する。

図３は、本開示の一実施形態に係る情報処理装置２０による処理の一例を示すフローチャートである。本実施形態に係る処理は、初期設定処理（図３のステップＳ１０１〜Ｓ１０５）、および追跡処理（図３のステップＳ１０７〜Ｓ１２１）からなる。

（初期設定処理）
まず、画像取得部２１０は、撮像装置１０から動画像データを取得し、当該動画像データから一の撮像画像を初期設定部２１５に出力する（Ｓ１０１）。

図４は、本実施形態に係る初期設定処理における撮像画像の表示例を示す図である。図４に示したように、表示部Ｄには撮像画像Ｐ１が表示されており、撮像画像Ｐ１には細胞の像Ｃ１が含まれている。

次に、初期設定部２１５は、撮像画像Ｐ１に表示されている細胞の像Ｃ１に対して初期注目領域を設定する（図３のＳ１０３）。

図５は、本実施形態に係る初期設定処理における撮像画像および初期注目領域の表示例を示す図である。図５に示したように、初期設定部２１５は、細胞の像Ｃ１の周囲に閉曲線１０１０を描画し、閉曲線１０１０が包囲する領域を初期注目領域１００１として設定する。なお、図５に示した例では閉曲線１０１０が細胞の像Ｃ１の輪郭に沿って描画されることにより初期注目領域１００１が設定されているが、初期注目領域１００１は、細胞の像Ｃ１の内部、外部、または細胞の像Ｃ１の輪郭を横断する領域に設定されてもよい。また、閉曲線１０１０は、不図示の入力装置を介したユーザの操作により描画されてもよく、撮像画像Ｐ１に対する画像解析処理に基づいて描画されてもよい。

次に、配置部２２０は、初期注目領域１００１に関して追跡点を配置する（図３のＳ１０５）。

図６は、本実施形態に係る初期設定処理における追跡点の配置例を示す図である。図６に示したように、配置部２２０は、初期注目領域１００１を定義する閉曲線１０１０上に、複数の追跡点１０１１（１０１１ａ、１０１１ｂ、１０１１ｃ、・・・）を配置する。なお、図６に示した例では、閉曲線１０１０上において追跡点１０１１が略等間隔で配置されているが、追跡点の配置間隔については特に限定されない。追跡点の配置方法については後述する。また、図６に示した例では、閉曲線１０１０上に追跡点１０１１が配置されているが、追跡点１０１１の配置位置は、初期注目領域１００１に関連付けられる位置であれば特に限定されない。しかし、設定部２４０による注目領域の設定処理において追跡点を補間する曲線により注目領域が設定されるので、初期注目領域を定義する閉曲線上に追跡点を配置することが好ましい。

（追跡処理）
以上、情報処理装置２０による初期設定処理について説明した。続いて、情報処理装置２０による追跡処理について説明する。

初期設定処理が終了すると、推定部２３０は、追跡点１０１１を中心とする追跡領域、および追跡領域の探索範囲を設定する（図３のＳ１０７）。

図７は、本実施形態に係る追跡処理における追跡領域および探索範囲の設定例を示す図である。図７に示したように、推定部２３０は、追跡領域２００１として、追跡点１０１１を中心とする矩形領域を設定する。追跡領域２００１の大きさは特に限定されず、例えばｎ画素×ｎ画素（ｎ＝４、８、１６、３２など）であってもよい。また、追跡領域２００１の大きさは、撮像装置１０の撮像条件、または観察対象の種類等に応じて決定されてもよい。また、推定部２３０は、追跡領域２００１の探索対象となる探索範囲２０１１を設定する。探索範囲２０１１の大きさ、探索範囲２０１１の中心位置、および探索範囲２０１１の形状は特に限定されない。例えば、探索範囲２０１１の大きさは、撮像装置１０の撮像条件（例えば撮像倍率）、または観察対象に対して行う解析の種類等に応じて決定されてもよい。

図３に戻って説明すると、次に、推定部２３０は、注目領域の設定に用いられた撮像画像とは異なる他の撮像画像を画像取得部２１０から取得する（図３のＳ１０９）。そして、推定部２３０は、各追跡点に対応する追跡領域の動きベクトルを算出し（Ｓ１１１）、算出した動きベクトルに基づいて各追跡点の当該他の撮像画像における位置を推定する（Ｓ１１３）。

図８は、本実施形態に係る追跡処理における動きベクトルの算出例および追跡点の位置の推定例を示す図である。図８に示したように、まず、本実施形態において推定部２３０は、撮像画像Ｐ１の次のフレームである撮像画像Ｐ２を取得する。撮像画像Ｐ２は、撮像画像Ｐ１に示されている細胞と同一の細胞の像Ｃ２が表示されており、当該細胞が変形していることが認められる。なお、図８には、初期注目領域１００１および初期注目領域１００１を定義する閉曲線１０１０が示されているが、実際には表示部Ｄには初期注目領域１００１および初期注目領域１００１を定義する閉曲線１０１０は表示されない。

次に、推定部２３０は、各追跡点に対応する追跡領域の動きベクトルを算出する。図８を参照すると、例えば、推定部２３０は、撮像画像Ｐ１における追跡点１０１１ａに対応する追跡領域２００１に含まれる画素情報と最も合致する画素情報を含む領域を撮像画像Ｐ２から探索する。なお、図８に示した例では、追跡領域２００１の探索範囲２０１１は追跡領域２００１（追跡点１０１１ａ）を中心とする矩形領域として設定されているが、当該探索範囲は撮像画像Ｐ２全体であってもよい。

追跡領域２００１に含まれる画素情報と最も合致する画素情報を含む領域２０２１が特定されると、推定部２３０は、上記特定された領域２０２１に基づいて動きベクトル２０２２を算出する。動きベクトル２０２２は、例えば、ブロックマッチング法を用いて算出される。そして、推定部２３０は、算出した動きベクトル２０２２に基づいて、撮像画像Ｐ２における各追跡点１０１１の位置を推定し、推定した位置に各追跡点１０１１を移動させる。例えば、追跡点１０１１の座標を（Ｘ（ｎ）、Ｙ（ｎ））（ｎ＝１、２、・・・、Ｎ）、および各追跡点１０１１に対応する動きベクトル２０２２を（ＭｖＸ（ｎ）、ＭｖＹ（ｎ））とすると（Ｎは追跡点１０１１の総数）、移動後の追跡点１０２１の座標（Ｘ’（ｎ）、Ｙ’（ｎ））は、下記式（１）および式（２）により表現される。これにより、移動後の追跡点１０２１の位置が確定する。

図３に戻って説明すると、次に、設定部２４０は、移動後の各追跡点の位置に基づいて注目領域を設定する（Ｓ１１５）。

図９は、本実施形態に係る追跡処理における注目領域の設定例を示す図である。図９に示したように、設定部２４０は、移動後の追跡点１０２１を補間する閉曲線１０２０を描画し、閉曲線１０２０が包囲する領域を撮像画像Ｐ２における注目領域１００２として設定する。なお、撮像画像Ｐ１において設定された初期注目領域１００１と撮像画像Ｐ１に含まれる細胞の像のＣ２が一致している場合であっても、図９に示したように、撮像画像Ｐ２に含まれる細胞の像Ｃ２の輪郭と、設定部２４０により設定される注目領域１００２を定義する閉曲線１０２０とが必ずしも一致するとは限らない。その場合、例えば、追跡点の数もしくは配置間隔、または追跡領域もしくは探索範囲を適切に調整することにより、注目領域１００２を細胞の像Ｃ２により精度高く一致させることができる。また、ステップＳ１１５において設定された注目領域１００２は、不図示の入力装置を介したユーザの操作により適宜修正がなされてもよい。例えば、ユーザの操作により、閉曲線１０２０の形状、または移動後の追跡点１０２１の位置が修正されてもよい。これにより、追跡処理による注目領域の設定に誤りがあった場合において、注目領域を適切に修正することができる。

図３に戻って説明すると、次に、出力制御部２５０は、移動後の各追跡点および設定部２４０により設定された注目領域等を表示部Ｄに出力する（Ｓ１１７）。なお、上述したステップＳ１０７〜Ｓ１１５の処理は表示部Ｄに表示されない状態で行われてもよいし、各ステップにおける処理が表示部Ｄに逐次表示されて行われてもよい。

次に、情報処理装置２０は、ステップＳ１０７〜Ｓ１１７における追跡処理を終了するか否かを判定する（Ｓ１１９）。追跡処理の終了には、例えば、動画像データの全フレームに対する追跡処理の完了、またはユーザによる情報処理装置２０の使用の終了等が含まれる。追跡処理が継続して行われる場合（Ｓ１１９／ＮＯ）、配置部２２０は、設定部２４０により設定された注目領域に関して追跡点を再配置する（Ｓ１２１）。

図１０は、本実施形態に係る追跡処理における追跡点の再配置例を示す図である。図１０に示したように、設定部２４０により設定された注目領域１００２を定義する閉曲線１０２０上に存在する追跡点１０２１（１０２１ａ、１０２１ｂ、１０２１ｃ、・・・）は、推定部２３０により推定された位置に各々が移動したことにより、各追跡点の配置間隔にばらつきが生じる。そのため、移動後の追跡点１０２１をそのまま利用してさらに異なるフレームの撮像画像について追跡点１０２１の位置を推定した場合、例えば追跡点の配置間隔が広がっている部分における細胞の形状を追跡することが困難となる。また、各追跡点が近接した場合、追跡領域が重なることにより追跡可能な領域が全体として小さくなってしまうので、細胞の形状を追跡できる範囲が限られてしまう。

そこで、配置部２２０は、追跡点１０２１を削除し、閉曲線１０２０上に改めて追跡点１０２２（１０２２ａ、１０２２ｂ、１０２２ｃ、・・・）を配置する。図１０に示した例では、追跡点１０２２は、一定の間隔を空けて閉曲線１０２０上に配置されている。これにより、追跡点の配置位置の偏りをなくすことができ、追跡処理の精度を維持することができる。

なお、配置部２２０により再配置される追跡点の配置間隔については、ステップＳ１０５と同様に特に限定されない。追跡点の配置方法については後述する。また、図１０に示した例では、閉曲線１０２０上に追跡点１０２２が再配置されているが、追跡点１０２２の再配置位置は、注目領域１００２に関連付けられる位置であれば特に限定されない。しかし、設定部２４０による注目領域の設定処理において追跡点を補間する曲線により注目領域が設定されるので、注目領域を定義する閉曲線上に追跡点を再配置することが好ましい。

情報処理装置２０は、上述したステップＳ１０７〜Ｓ１２１における処理を繰り返し実施する。逐次的に変化する細胞の領域に対応する注目領域を設定し、設定された注目領域に関して追跡点を再配置し、再配置された追跡点の他のフレームの撮像画像における位置を推定することを繰り返すことにより、細胞の形状の変化を追跡することができる。

［２．３．効果］
以上、本開示の一実施形態に係る情報処理装置２０の構成例および処理例について説明した。本実施形態によれば、初期設定部２１５が、第１の撮像画像について細胞の領域に対応する注目領域を設定し、配置部２２０が、設定された注目領域に関して追跡点を配置し、推定部２３０が、配置された追跡点の第２の撮像画像における位置を推定する。さらに、本実施形態によれば、設定部２４０が、推定された追跡点の位置に基づいて第２の撮像画像について注目領域を設定し、配置部２２０が、設定された注目領域に関して追跡点を再配置する。かかる構成により、変化する注目領域に応じて追跡点を適切な位置に再配置することができる。これにより、追跡点どうしの離隔または近接による追跡処理の精度低下を防ぐことができ、観察対象の形状変化を高精度で追跡することが可能となる。

［２．４．応用例］
本開示の一実施形態に係る情報処理装置２０による各種処理は、上述した処理例に限定されない。以下、本実施形態に係る情報処理装置２０の配置部２２０、および推定部２３０による処理の応用例について説明する。

（配置処理の応用例１：形状に応じた配置間隔の調整）
まず、配置部２２０による配置処理（再配置処理を含む）の第１の応用例について説明する。配置部２２０は、例えば、注目領域を定義する線の少なくとも一部の形状に応じて、当該形状を有する線上に配置される追跡点の配置間隔（配置数）を決定してもよい。つまり、配置部２２０は、形状に応じて追跡点の配置間隔を大きく、または小さくしてもよい。

図１１は、本実施形態に係る配置部２２０による配置処理の第１の応用例を説明するための図である。図１１に示したように、撮像画像Ｐ３上において、観察対象である細胞（不図示）について、閉曲線１０３０により定義される注目領域１００３が設定されている。ここで、閉曲線１０３０のうち、二点鎖線部１０３２に囲まれた領域内にある曲線は、当該領域外の曲線と比較して、複雑な形状を有している。より具体的には、二点鎖線部１０３２に囲まれた領域内にある曲線は、当該領域外の曲線と比較して、曲率が大きい形状を有している。

このように、曲率が大きい部分については、観察対象である細胞の形状の変化が細かく生じている部分であることが考えられる。そのため、配置部２２０は、曲線の形状の曲率の大きさに応じて、追跡点１０３１の配置間隔を決定してもよい。より具体的には、図１１に示したように、配置部２２０は、曲線の形状の曲率が大きい部分（二点鎖線部１０３２に囲まれた領域内にある曲線）について、追跡点の配置間隔を小さくし、より多くの追跡点を配置するよう決定してもよい。これにより、細胞の形状の細かな変化を追跡することができる。この配置処理は、例えば、細かく形状が変化するような観察対象（細胞）に対して適用されてもよい。

（配置処理の応用例２：注目領域の輝度情報に応じた配置間隔の調整）
次に、配置部２２０による配置処理の第２の応用例について説明する。配置部２２０は、注目領域内の画素に関する情報に基づいて追跡点の配置間隔（配置数）を決定してもよい。ここで、注目領域内の画素に関する情報は、例えば各画素の輝度情報であってもよい。また、当該画素に関する情報は、輝度情報に限らず、画素の濃淡の分布、またはエッジの強弱等であってもよい。

図１２は、本実施形態に係る配置部２２０による配置処理の第２の応用例を説明するための図である。図１２に示したように、撮像画像Ｐ４上において、観察対象である細胞（不図示）について、閉曲線１０４０により定義される注目領域１００４（１００４Ａおよび１００４Ｂ）が設定されている。ここで、注目領域１００４のうち、注目領域１００４Ａの輝度は低く、注目領域１００４Ｂの輝度は高い。

細胞を観察した際に、輝度が高い領域については細胞死が生じていると考えられる。細胞死が生じている領域の形状の変化は小さい（または形状の変化が生じない）ので、配置部２２０は、輝度が高い領域について、追跡点の配置間隔を大きくし、追跡点の配置数を少なくしてもよい。逆に、輝度が低い領域については細胞が生きていると考えられる。そのため、配置部２２０は、輝度が低い領域について、追跡点の配置間隔を小さくし、追跡点の配置数を多くするよう決定してもよい。このように、輝度に応じて追跡点の配置間隔（配置数）を決定することにより、形状が変化し得る領域についての追跡を効率的に行うことができる。この配置処理は、例えば、細胞死を発現し得る観察対象（細胞）に対して適用されてもよい。

なお、上述した例においては、輝度の高低に応じて追跡点の配置間隔が決定されるとしたが、例えば、輝度の分散値に応じて追跡点の配置間隔が決定されてもよい。より具体的には、輝度の分散値が大きい領域は、観察対象である細胞が活動している領域に相当すると考えられる。そのため、配置部２２０は、輝度の分散値が大きい領域について、追跡点の配置間隔を小さくし、追跡点の配置数を多くするよう決定してもよい。一方、輝度の分散値が小さい領域は、細胞が活動していない領域に相当すると考えられる。そのため、配置部２２０は、輝度の分散値が小さい領域について、追跡点の配置間隔を大きくし、追跡点の配置数を少なくするよう決定してもよい。これにより、細胞が活動している領域についてより詳細に追跡することができる。

（配置処理の応用例３：動きベクトルに応じた配置間隔の調整）
次に、配置部２２０による配置処理の第３の応用例について説明する。配置部２２０は、先の追跡処理において推定部２３０により推定された、各追跡点の動きベクトルの大きさに基づいて追跡点の配置間隔（配置数）を決定してもよい。配置部２２０は、例えば、各追跡点の動きベクトルの大きさの分布を取得し、当該分布に応じて追跡点の配置間隔を決定してもよい。

図１３は、本実施形態に係る配置部２２０による配置処理の第３の応用例を説明するための図である。図１３に示したように、撮像画像Ｐ５上において、観察対象である細胞（不図示）について、閉曲線１０６０により定義される注目領域１００６が設定されている。なお、点線で示されている閉曲線１０５０は、撮像画像Ｐ５の一つ前のフレームにおける撮像画像において設定された注目領域を定義する曲線である。閉曲線１０５０上には先の撮像画像において設定された注目領域に関して追跡点１０５１（１０５１ａ、１０５１ｂ、・・・）が配置されている。推定部２３０により算出された動きベクトルに基づいて算出された位置に、各追跡点１０５１は移動する（移動後の追跡点は追跡点１０６１として示されている）。例えば、追跡点１０５１ａは、動きベクトルＭ１ａに基づいて追跡点１０６１ａ（破線）となる位置に移動する。同様に、追跡点１０５１ｂは、動きベクトルＭ１ｂに基づいて追跡点１０６１ｂとなる位置に移動する。

ここで、図１３に示したように、動きベクトルＭ１ａは、動きベクトルＭ１ｂよりも大きい。つまり、追跡点１０５１ａの近傍の形状の変化が、追跡点１０５１ｂの近傍の形状の変化よりも大きいということが考えられる。そのため、移動後の追跡点１０６１に基づいて設定部２４０により撮像画像Ｐ５における注目領域１００６が設定された後に当該注目領域１００６に関して追跡点が再配置される場合、配置部２２０は、大きい動きベクトルに対応する追跡点の近傍に多くの追跡点を再配置してもよい。例えば、図１３に示すように、追跡点１０６２は、動きベクトルＭ１ａに対応する追跡点１０６１ａの近傍に多く配置される。一方、動きベクトルＭ１ｂに対応する追跡点１０６１ｂの近傍においては、追跡点１０６２の配置間隔が大きくなるよう設定されている。このように、動きベクトルの大きさに応じて追跡点を設定することにより、細胞が活動している領域についてより詳細に追跡することができる。

（推定処理の応用例：観察対象の移動量の算出）
次に、推定部２３０による推定処理の応用例について説明する。本実施形態に係る推定部２３０は、他の撮像画像における各追跡点の位置を推定するが、その際に、推定部２３０は、推定結果を用いて観察対象の移動量をさらに算出してもよい。より具体的には、推定部２３０は、各追跡点について算出した動きベクトルを用いて、観察対象の移動量を算出してもよい。

図１４は、本実施形態に係る推定部２３０による推定処理の応用例を説明するための図である。図１４に示したように、撮像画像Ｐ６上において、観察対象である細胞（不図示）について、推定部２３０により推定された追跡点１０８１（１０８１ａ、１０８１ｂ、・・・）、および設定部２４０により追跡点１０８１に基づいて描画される閉曲線１０８０により定義される注目領域１００８が設定されている。また、点線で示された閉曲線１０７０（注目領域１００７に対応する）の描画に用いられた追跡点１０７１（１０７１ａ、１０７１ｂ、・・・）は、撮像画像Ｐ６の前フレームである撮像画像（不図示）において配置された追跡点である。つまり、追跡点１０７１は、推定部２３０により算出された動きベクトルに基づいて算出された位置に移動する（移動後の追跡点は追跡点１０８１として示されている）。例えば、追跡点１０８１ａは、元の追跡点１０７１ａから、推定部２３０により算出された動きベクトルＭ２ａの大きさおよび方向に移動した点である。

ここで、図１４に示したように、細胞の形状が大きく変化しない場合、設定部２４０により設定される各注目領域の形状は大きく変化しない。そのため、追跡点の位置の推定に用いられた動きベクトルが、細胞の移動の状態を反映すると考えられる。

そこで、推定部２３０は、追跡点の位置の推定のために算出した動きベクトルから、注目領域に対応する観察対象の動きの大きさを算出してもよい。例えば、図１４に示したように、推定部２３０は、各追跡点１０７１ａ、１０７１ｂ、・・・、について算出した動きベクトルＭ２ａ、Ｍ２ｂ、・・・、に基づいて、観察対象の動きを示すベクトルＭ３を算出してもよい。ベクトルＭ３は、例えば、動きベクトルＭ２の分布について最小二乗法に基づいて算出されてもよい。このベクトルＭ３が、観察対象の動きの値として出力されてもよい。

また、推定部２３０は、各追跡点の動きベクトルＭ２に基づいて、観察対象の並進方向の動きだけではなく、観察対象の回転を算出してもよい。例えば、推定部２３０は、動きベクトルＭ２の大きさおよび方向に基づいて、観察対象の回転中心を推定し、回転中心に基づく回転の動きを算出してもよい。

このように、推定部２３０により算出される動きベクトルに基づいて、観察対象の様々な動きを定量的に解析することができる。これにより、観察対象の追跡について、より詳細に評価することができる。

［２．５．変形例］
（注目領域内の動き解析）
次に、本開示の一実施形態に係る情報処理装置２０の変形例について説明する。図１５は、本開示の一実施形態の変形例に係る情報処理装置２０Ａの機能構成例を示すブロック図である。本変形例に係る情報処理装置２０Ａは、本実施形態に係る情報処理装置２０に含まれる画像取得部２１０、初期設定部２１５、配置部２２０、推定部２３０、設定部２４０、および出力制御部２５０を含むが、初期設定部２１５の代わりに初期処理部２５５および解析部２６０を含み得る。より具体的には、本変形例に係る情報処理装置２０Ａは、初期処理部２５５にて算出された動きベクトルに基づき、解析部２６０において追跡処理で特定された注目領域内の動き特徴量を算出し得る。

（初期処理部）
初期処理部２５５は、画像取得部２１０により取得された複数の撮像画像データについて動き解析を行い動きベクトルの算出を行う機能を有する。ここで算出される動きベクトルは上述した注目領域について配置された追跡点の動きベクトルではなく、撮像画像データのフレーム内部における動きベクトルを意味する。かかる動きベクトルは、後段の解析部２６０における動き特徴量の算出に用いられる。動きベクトルの算出対象となる撮像画像データは、取得された全ての撮像画像（動画像）データのフレームであってもよいし、自動的にまたはユーザの選択により選択された区間におけるフレームであってもよい。動きベクトルの算出については、ブロックマッチング等の公知のアルゴリズムを用いて適宜行われる。

なお、初期処理部２５５は、上述した初期設定部２１５の機能も有し得る。すなわち、初期処理部２５５は、取得した撮像画像について注目領域を設定する機能を有し得る。したがって、初期処理部２５５によって、注目領域の初期設定処理と上記の動きベクトル算出処理が行われ得る。これらの処理の順序は特に限定されない。初期処理部２５５による動きベクトルの算出処理は、後段の追跡処理の前に行われることが好ましい。計算にかかる負荷を低減させるためである。初期処理部２５５により得られた動きベクトルに関する情報は、後段の解析部２６０に出力され得る。

（解析部）
解析部２６０は、追跡処理において設定部２４０により設定された注目領域についての動き特徴量を算出する機能を有する。具体的には、解析部２６０は、初期処理部２５５において予め算出された動きベクトルのうち、設定部２４０により設定された注目領域の内部における動きベクトルを特定し、特定された動きベクトルに基づいて注目領域についての動き特徴量を算出する。

かかる動き特徴量は、例えば、動き量、動き領域、平均動き量、動き量の標準偏差、加速度、動き方向、または動き周波数の少なくともいずれかである。これらの動き特徴量は、公知のアルゴリズム等により適宜算出される。

また、算出された動き特徴量は、出力制御部２５０に出力される。動き特徴量の出力態様としては、時系列グラフ、二次元マッピング、レーダーチャート、ヒストグラム等、解析したい動きの特性に応じて適宜選択される。

このように、注目領域について動き解析を行うことにより、単に注目領域に対応する観察対象の動きを追跡するだけではなく、観察対象の特徴的な動きを定量的に評価することが可能となる。また、追跡処理に先立って予め動きベクトルを算出しておくことにより、追跡処理と動きベクトル算出処理を同時に行うよりも、計算負荷を低減させることができる。したがって、追跡処理をより早く行うことが可能である。

（処理の流れ）
図１６は、本変形例に係る情報処理装置２０Ａによる処理の一例を示すフローチャートである。図１６を参照すると、まず画像取得部２１０により動画像データ（撮像画像データ）が取得される（Ｓ２０１）。次に、初期処理部２５５により動画像データについて動きベクトルが算出される（Ｓ２０３）。

次に、初期処理部２５５により一の撮像画像について注目領域が設定され（Ｓ２０５）、配置部２２０により当該注目領域に追跡点が配置される（Ｓ２０７）。その後、推定部２３０は、追跡点を中心とする追跡領域、および追跡領域の探索範囲を設定する（Ｓ２０９）。

次に、画像取得部２１０が、注目領域が設定された一の撮像画像の次のフレームの画像を取得し（Ｓ２１１）、推定部２３０が当該画像における追跡点の位置を推定する（Ｓ２１３）。そして、設定部２４０は、追跡処理後の追跡点の位置に基づいて注目領域を設定する（Ｓ２１５）。さらに、解析部２６０は、設定された注目領域についての動き特徴量を注目領域の内部における動きベクトルに基づいて算出し、算出した動き特徴量を所定の態様で出力する（Ｓ２１７）。

かかる追跡処理および動き特徴量算出処理（Ｓ２０９〜Ｓ２１７）は終了するまで繰り返し行われる（Ｓ２１９）。なお、ステップＳ２１９において追跡処理を続行する場合（Ｓ２１９／ＮＯ）、配置部２２０により追跡処理後に設定された注目領域について追跡点が再配置される（Ｓ２２１）。

［２．６．適用例］
続いて、本開示の一実施形態に係る情報処理装置２０の適用例について説明する。

（適用例１：神経細胞）
本実施形態に係る情報処理装置２０について、短時間でその形態を大きく変化させる細胞が、処理の主な対象となる。まず、本実施形態に係る情報処理装置２０の第１の適用例について説明する。

図１７は、本実施形態に係る情報処理装置２０の第１の適用例（神経細胞）について説明するための図である。図１７に示したように、本適用例における観察対象である神経細胞Ｃ１０は、神経細胞体Ｃ１０Ａおよび軸索Ｃ１０Ｂからなる（なお、本適用例における説明の都合上、神経細胞Ｃ１０を構成する樹状突起および核等の他の要素については省略する）。神経細胞Ｃ１０は、神経回路を形成するために、軸索Ｃ１０Ｂを他の細胞に向かって伸長させる。つまり、神経細胞Ｃ１０において、軸索Ｃ１０Ｂは短時間で成長する。そこで、本実施形態に係る情報処理装置２０を用いれば、軸索Ｃ１０Ｂの成長を追跡することができる。

図１７に示したように、例えば、追跡点３００１を軸索Ｃ１０Ｂに重なるように配置することにより、注目領域３０００を軸索Ｃ１０Ｂの形状および伸長方向に合わせて設定することができる。図１７に示した例では、注目領域３０００は、直線または曲線により定義される。この場合、軸索Ｃ１０Ｂの成長を追跡するために、少なくとも軸索Ｃ１０Ｂの先端、および神経細胞体Ｃ１０Ａと軸索Ｃ１０Ｂとの境界に追跡点３００１が配置されることが好ましい。なお、この注目領域３０００は、軸索Ｃ１０Ｂの形状に応じた平面領域により定義されてもよい。

図１８は、本実施形態に係る情報処理装置２０による軸索Ｃ１１Ｂの初期設定処理の例を示す図である。図１８に示したように、神経細胞Ｃ１１の軸索Ｃ１１Ｂに重なるように、注目領域３０１０が設定されている。また、注目領域３０１０を定義する追跡点３０１１のうち、追跡点３０１１ａは神経細胞体Ｃ１１Ａと軸索Ｃ１１Ｂとの境界上に配置され、追跡点３０１１ｃは、軸索Ｃ１１Ｂの先端に配置されている。

図１９は、本実施形態に係る情報処理装置２０による軸索Ｃ１１Ｂの追跡処理の例を示す図である。軸索Ｃ１１Ｂは、図１８に示した状態から、軸索Ｃ１１Ｂの長手方向に沿って伸長した状態となっている。このとき、追跡点３０１１は推定部２３０により推定された位置に移動する。例えば、追跡点３０１１ｃは、軸索Ｃ１１Ｂの先端に相当する位置に移動する。一方で、追跡点３０１１ａは、神経細胞体Ｃ１１Ａと軸索Ｃ１１Ｂとの境界に相当する位置に移動する（移動しない場合も考えられる）。その後、設定部２４０により移動後の追跡点３０１１に基づいて注目領域３０２０が設定される。そして、配置部２２０により、注目領域３０２０に関して新たな追跡点３０２１が配置される。なお、例えば軸索Ｃ１１Ｂの先端、および神経細胞体Ｃ１１Ａと軸索Ｃ１１Ｂとの境界には、先の追跡点３０１１ａおよび３０１１ｃと同じ位置に、追跡点３０２１ａおよび３０２１ｆが再配置される。また、図１９に示したように、配置部２２０により再配置される追跡点の数は、軸索Ｃ１１Ｂの伸長に応じて増加されてもよい。

軸索Ｃ１１Ｂについて上記のような追跡処理を繰り返し実行することにより、軸索Ｃ１１Ｂの伸長を追跡することができる。

（適用例２：ゼブラフィッシュ）
本実施形態に係る情報処理装置２０の適用対象は上述したような細胞に限られない。例えば、適用対象は、動物、植物または無生物である構造体であってもよい。これらの適用対象が短時間でその形状または構造を大きく変化させる場合、本実施形態に係る情報処理装置２０による追跡処理は有用である。以下、本実施形態に係る情報処理装置２０の第２の適用例について説明する。

図２０は、本実施形態に係る情報処理装置２０の第２の適用例（ゼブラフィッシュ）について説明するための図である。本適用例における観察対象であるゼブラフィッシュＣ２０は、単なる観賞用ではなく、脊椎動物のモデル生物として、生物学の研究において多く用いられている。つまり、ゼブラフィッシュＣ２０の形態の変化を観察し、評価をすることが多く実施されている。そこで、本実施形態に係る情報処理装置２０を用いれば、ゼブラフィッシュＣ２０の成長および形態の変化を、客観的に追跡することができる。

図２０に示したように、ゼブラフィッシュＣ２０は、眼Ｃ２０Ａおよび背骨Ｃ２０Ｂを含む。初期設定処理において、眼Ｃ２０Ａの輪郭上および背骨Ｃ２０Ｂ上に追跡点４００１を配置することにより、眼Ｃ２０Ａを包囲する注目領域４０００Ａおよび背骨Ｃ２０Ｂの形状に沿った注目領域４０００Ｂが設定される。

注目領域４０００Ｂは、背骨Ｃ２０Ｂの動きを追跡するために設定される。そのため、本実施形態に係る情報処理装置２０を用いて、ゼブラフィッシュＣ２０の動態を追跡することができる。また、注目領域４０００Ａは、眼Ｃ２０Ａの輪郭上に設定されている。眼Ｃ２０Ａの形状は特に大きく変化しない。そのため、眼Ｃ２０Ａを包囲する注目領域４０００Ａを固定の領域として、注目領域４０００Ｂの相対的な動態または形態の変化を追跡することができる。例えば、注目領域４０００Ａおよび４０００Ｂを接続する追跡点４００１ｃの位置を基準として、追跡点４００１ａの相対的な動きを算出してもよい。これにより、ゼブラフィッシュＣ２０の動態と、ゼブラフィッシュＣ２０に含まれる各要素（例えば背骨Ｃ２０Ｂ等）の動態または形態の変化を分別して追跡することができる。したがって、ゼブラフィッシュＣ２０が細かく移動を継続的に行う場合であっても、ゼブラフィッシュＣ２０の形態の変化、またはゼブラフィッシュＣ２０に含まれる各要素の動態または形態の変化を、客観的に追跡することが可能となる。

（適用例３：コロニー）
本実施形態に係る情報処理装置２０の適用対象（観察対象）は上述した一つの構造体だけでなく、複数の構造体からなる集団であってもよい。これらの適用対象が集団として短時間でその形状または構造を大きく変化させる場合、本実施形態に係る情報処理装置２０による追跡処理は有用である。以下、本実施形態に係る情報処理装置２０の第３の適用例について説明する。

図２１は、本実施形態に係る情報処理装置２０の第３の適用例（コロニー）について説明するための図である。本適用例における観察対象であるコロニーＣ３０は、細菌または細胞等が培養過程で形成する単一種由来の集団である。コロニーＣ３０の形態の変化を観察することにより、個々の細胞や細菌等の特徴や観察対象に対する処置の効果を評価することが可能である。例えば、ＥＳ細胞などから分化した細胞のコロニー形成能を評価したり、薬剤を入れたがん細胞のコロニーＣ３０の増殖能に基づいて薬効を評価したりすることができる。

図２１に示したように、観察対象がコロニーＣ３０である場合には、コロニーＣ３０の最も外側に追跡点５００１を配置して、コロニーＣ３０の最外輪郭を注目領域５０００として設定することが好ましい。ここで、コロニーＣ３０の形状は、コロニー内部Ｃ３１の細胞***による全体の膨張と外郭近辺Ｃ３２の細胞の変化による一部輪郭の突出とにより複雑に変化する。そのため、コロニーＣ３０に対しては、追跡点５００１をバランスよく配置する必要がある。例えば、追跡点５００１の間隔をコロニーＣ３０を構成する細胞一つ分の幅と同じまたは少し狭くすることにより、コロニーＣ３０の複雑な形態変化を追跡することが可能になる。

（適用例４：マクロファージ、がん細胞等異物）
本実施形態に係る情報処理装置２０は、一の撮像画像データに対して一種類の構造体だけを適用対象とするだけではなく、異なる複数種類の構造体を適用対象としてもよい。これらの適用対象が相互に作用して短時間でその形状または構造を大きく変化させる場合、本実施形態に係る情報処理装置２０による追跡処理は有用である。以下、本実施形態に係る情報処理装置２０の第４の適用例について説明する。

図２２は、本実施形態に係る情報処理装置２０の第４の適用例（マクロファージ、異物）について説明するための図である。本適用例における観察対象であるマクロファージＣ４０は、生体内を遊走する白血球であり、死細胞、体内の変性物質または細菌などの異物を捕食および消化する貪食作用を有する。マクロファージＣ４０を適用対象とする場合、マクロファージＣ４０の遊走および形状の変化を捉え、貪食時におけるマクロファージＣ４０動き解析を行うことにより、マクロファージＣ４０の貪食能を評価することができる。

図２２に示したように、観察対象がマクロファージＣ４０であり、マクロファージＣ４０の貪食作用について評価したい場合、マクロファージＣ４０およびがん細胞等の異物Ｃ５０の各々の輪郭上に追跡点６００１、７００１を配置して、マクロファージＣ４０および異物Ｃ５０の最外輪郭を注目領域６０００、７０００として設定することが好ましい。マクロファージＣ４０は、貪食過程で大きく形状が変化するため、追跡点６００１の配置数を増やし、配置間隔６００２を小さくすることが望ましい。一方で、異物Ｃ５０は、貪食過程を通して形状の変化がほとんどないことから、追跡点７００１の配置数を減らし、配置間隔７００２を大きくすることが好ましい。また、異物Ｃ５０については追跡処理において追跡点７００１の再配置は行われなくてもよい。これにより、計算負荷を削減することができ、それぞれの細胞に適した追跡処理をすることができる。

上述した適用例に示したように、本実施形態に係る情報処理装置２０の配置部２２０は、注目領域が設定される観察対象に関する情報（例えば、観察対象の種類、数または活性もしくは不活性等の状態）に基づいて、それぞれの追跡点の配置間隔を適宜決定してもよい。これにより、計算負荷を低減させつつ、各観察対象に適した追跡処理を行うことが可能となる。

＜３．ハードウェア構成例＞
次に、図２３を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図２３は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態における情報処理装置２０を実現しうる。

情報処理装置９００は、ＣＰＵ（Central Processing unit）９０１、ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２５、通信装置９２９を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）またはＡＳＩＣ（Application Specific Integrated Circuit）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２３に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。例えば、ＣＰＵ９０１は、上記の実施形態における情報処理装置２０に含まれる各機能部の動作全般を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２７であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ、ＰＤＰ、ＯＥＬＤなどの表示装置、スピーカおよびヘッドホンなどの音響出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音響などの音として出力したりする。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２３のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２３に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２３に記録を書き込む。

接続ポート９２５は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２５は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２５は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２５に外部接続機器９２７を接続することで、情報処理装置９００と外部接続機器９２７との間で各種のデータが交換されうる。

通信装置９２９は、例えば、通信ネットワークＮＷに接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２９は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２９は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２９は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２９に接続される通信ネットワークＮＷは、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
＜４．まとめ＞

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、情報処理システム１は撮像装置１０と情報処理装置２０とを備える構成であるとしたが、本技術はかかる例に限定されない。例えば、撮像装置１０が情報処理装置２０の有する機能（追跡機能）を備えてもよい。この場合、情報処理システム１は、撮像装置１０により実現される。また、情報処理装置２０が撮像装置１０の有する機能（撮像機能）を備えてもよい。この場合、情報処理システム１は、情報処理装置２０により実現される。また、情報処理装置２０の有する機能の一部を撮像装置１０が有してもよく、撮像装置１０の有する機能の一部を情報処理装置２０が有してもよい。

また、上記実施形態では、情報処理システム１による解析の観察対象として細胞が挙げられていたが、本技術はかかる例に限定されない。例えば、上記観察対象は、細胞小器官、生体組織、臓器、人、動物、植物または無生物である構造体等であってもよく、これらの構造または形状が短時間で変化する場合に、これらの観察対象の変化を当該情報処理システム１を用いて追跡することが可能である。

なお、本明細書の情報処理装置の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、情報処理装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した調整指示特定部等を備える情報処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像画像における注目領域に関して複数の追跡点を配置する配置部と、
前記撮像画像と、前記撮像画像とは撮像時点が異なる他の撮像画像との比較に基づいて、前記追跡点の前記他の撮像画像における位置を推定する推定部と、
前記推定部により推定された前記追跡点の位置に基づいて前記他の撮像画像における注目領域を設定する設定部と、
を備え、
前記設定部により前記撮像画像における前記注目領域が設定されている場合、
前記配置部は、設定された前記注目領域に関して前記追跡点を再配置し、
前記推定部は、再配置された追跡点の前記他の撮像画像における位置を推定する情報処理装置。
（２）
前記配置部は、前記注目領域を定義する線上に前記複数の追跡点を配置する、前記（１）に記載の情報処理装置。
（３）
前記配置部は、前記注目領域を定義する線の少なくとも一部の形状に応じて、当該形状を有する線上に配置される前記複数の追跡点の前記配置間隔を決定する、前記（２）に記載の情報処理装置。
（４）
前記配置部は、前記形状の曲率に応じて前記複数の追跡点の配置間隔を決定する、前記（３）に記載の情報処理装置。
（５）
前記配置部は、前記撮像画像における前記注目領域内の画素に関する情報に基づいて前記複数の追跡点の配置間隔を決定する、前記（２）〜（４）のいずれか１項に記載の情報処理装置。
（６）
前記画素に関する情報は、輝度情報を含む、前記（５）に記載の情報処理装置。
（７）
前記配置部は、前記注目領域に対応する観察対象に関する情報に基づいて前記複数の追跡点の配置間隔を決定する、前記（２）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記注目領域を定義する線は、前記注目領域を包囲する閉曲線である、前記（２）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記配置部は、先に配置された追跡点のうち少なくとも一の追跡点を、前記推定部により推定された位置と同一の位置に再配置する、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記推定部は、前記撮像画像と前記他の撮像画像との比較により得られる動きベクトルに基づいて前記他の撮像画像における前記追跡点の位置を推定する、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記推定部は、前記撮像画像内の前記追跡点を含む追跡領域について、前記他の撮像画像における前記追跡領域の位置を所定の探索範囲において探索することにより、前記動きベクトルを算出する、前記（１０）に記載の情報処理装置。
（１２）
前記追跡領域の大きさは、前記注目領域に対応する観察対象に関する情報に基づいて決定される大きさである、前記（１１）に記載の情報処理装置。
（１３）
前記探索範囲の大きさは、前記注目領域に対応する観察対象に関する情報に基づいて決定される大きさである、前記（１１）または（１２）に記載の情報処理装置。
（１４）
前記推定部は、前記動きベクトルに基づいて、前記注目領域に対応する観察対象の移動量を算出する、前記（１０）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記配置部は、前記動きベクトルの大きさに基づいて前記複数の追跡点の配置間隔を決定する、前記（１０）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）
前記撮像画像の各々の解析により得られる動きベクトルを用いて、前記注目領域の内部の動き特徴量を算出する解析部をさらに備える、前記（１）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）
前記推定部は、前記注目領域に対応する観察対象に関する情報に基づいて決定される撮像時点において撮像された他の撮像画像における前記追跡点の位置を推定する、前記（１）〜（１６）のいずれか１項に記載の情報処理装置。
（１８）
前記設定部は、前記撮像画像内の画素に関する情報を用いて前記注目領域を設定する、前記（１）〜（１７）のいずれかに記載の情報処理装置。
（１９）
プロセッサが、
撮像画像における注目領域に関して複数の追跡点を配置することと、
前記撮像画像と、前記撮像画像とは撮像時点が異なる他の撮像画像との比較に基づいて、前記追跡点の前記他の撮像画像における位置を推定することと、
推定された前記追跡点の位置に基づいて前記他の撮像画像における注目領域を設定することと、
を含み、
前記プロセッサにより前記撮像画像における前記注目領域が設定されている場合、
前記プロセッサが、
設定された前記注目領域に関して前記追跡点を再配置することと、
再配置された追跡点の他の撮像画像における位置を推定することと、
をさらに含む情報処理方法。
（２０）
複数の撮像画像を生成する撮像部
を備える撮像装置と、
前記撮像部から取得した一の撮像画像における注目領域に関して複数の追跡点を配置する配置部と、
前記一の撮像画像と、前記一の撮像画像とは前記撮像部による撮像時点が異なる他の撮像画像との比較に基づいて、前記追跡点の前記他の撮像画像における位置を推定する推定部と、
推定された前記追跡点の位置に基づいて前記他の撮像画像における注目領域を設定する設定部と、
を備え、
前記設定部により前記一の撮像画像における前記注目領域が設定されている場合、
前記配置部は、設定された前記注目領域に関して前記追跡点を再配置し、
前記推定部は、再配置された追跡点の前記他の撮像画像における位置を推定する
情報処理装置と、
を備える情報処理システム。

１情報処理システム
１０撮像装置
２０情報処理装置
２１０画像取得部
２１５初期設定部
２２０配置部
２３０推定部
２４０設定部
２５０出力制御部
２５５初期処理部
２６０解析部

Claims

撮像画像における注目領域に関して、前記注目領域を定義する線上に複数の追跡点を配置し、前記注目領域を定義する線の少なくとも一部の形状に応じて、当該形状を有する線上に配置される前記複数の追跡点の配置間隔を決定する配置部と、
前記撮像画像と、前記撮像画像とは撮像時点が異なる他の撮像画像との比較に基づいて、前記追跡点の前記他の撮像画像における位置を推定する推定部と、
前記推定部により推定された前記追跡点の位置に基づいて前記他の撮像画像における注目領域を設定する設定部と、
を備え、
前記設定部により前記撮像画像における前記注目領域が設定されている場合、
前記配置部は、設定された前記注目領域に関して前記追跡点を再配置し、
前記推定部は、再配置された追跡点の前記他の撮像画像における位置を推定する情報処理装置。
前記配置部は、前記形状の曲率に応じて前記複数の追跡点の配置間隔を決定する、請求項１に記載の情報処理装置。
前記配置部は、前記撮像画像における前記注目領域内の画素に関する情報に基づいて前記複数の追跡点の配置間隔を決定する、請求項１または請求項２に記載の情報処理装置。
前記画素に関する情報は、輝度情報を含む、請求項３に記載の情報処理装置。
前記配置部は、前記注目領域に対応する観察対象に関する情報に基づいて前記複数の追跡点の配置間隔を決定する、請求項１乃至請求項４の何れか１項に記載の情報処理装置。
前記注目領域を定義する線は、前記注目領域を包囲する閉曲線である、請求項１乃至請求項５の何れか１項に記載の情報処理装置。
前記配置部は、先に配置された追跡点のうち少なくとも一の追跡点を、前記推定部により推定された位置と同一の位置に再配置する、請求項１乃至請求項６の何れか１項に記載の情報処理装置。
前記推定部は、前記撮像画像と前記他の撮像画像との比較により得られる動きベクトルに基づいて前記他の撮像画像における前記追跡点の位置を推定する、請求項１乃至請求項７の何れか１項に記載の情報処理装置。
前記推定部は、前記撮像画像内の前記追跡点を含む追跡領域について、前記他の撮像画像における前記追跡領域の位置を所定の探索範囲において探索することにより、前記動きベクトルを算出する、請求項８に記載の情報処理装置。
前記追跡領域の大きさは、前記注目領域に対応する観察対象に関する情報に基づいて決定される大きさである、請求項９に記載の情報処理装置。
前記探索範囲の大きさは、前記注目領域に対応する観察対象に関する情報に基づいて決定される大きさである、請求項９または請求項１０に記載の情報処理装置。
前記推定部は、前記動きベクトルに基づいて、前記注目領域に対応する観察対象の移動量を算出する、請求項８乃至請求項１１の何れか１項に記載の情報処理装置。
前記配置部は、前記動きベクトルの大きさに基づいて前記複数の追跡点の配置間隔を決定する、請求項８乃至請求項１２の何れか１項に記載の情報処理装置。
前記撮像画像の各々の解析により得られる動きベクトルを用いて、前記注目領域の内部の動き特徴量を算出する解析部をさらに備える、請求項１乃至請求項１３の何れか１項に記載の情報処理装置。
前記推定部は、前記注目領域に対応する観察対象に関する情報に基づいて決定される撮像時点において撮像された他の撮像画像における前記追跡点の位置を推定する、請求項１乃至請求項１４の何れか１項に記載の情報処理装置。
前記設定部は、前記撮像画像内の画素に関する情報を用いて前記注目領域を設定する、請求項１乃至請求項１５の何れか１項に記載の情報処理装置。
プロセッサが、
撮像画像における注目領域に関して、前記注目領域を定義する線上に複数の追跡点を配置し、前記注目領域を定義する線の少なくとも一部の形状に応じて、当該形状を有する線上に配置される前記複数の追跡点の配置間隔を決定することと、
前記撮像画像と、前記撮像画像とは撮像時点が異なる他の撮像画像との比較に基づいて、前記追跡点の前記他の撮像画像における位置を推定することと、
推定された前記追跡点の位置に基づいて前記他の撮像画像における注目領域を設定することと、
を含み、
前記プロセッサにより前記撮像画像における前記注目領域が設定されている場合、
前記プロセッサが、
設定された前記注目領域に関して前記追跡点を再配置することと、
再配置された追跡点の他の撮像画像における位置を推定することと、
をさらに含む情報処理方法。
複数の撮像画像を生成する撮像部
を備える撮像装置と、
前記撮像部から取得した一の撮像画像における注目領域に関して、前記注目領域を定義する線上に複数の追跡点を配置し、前記注目領域を定義する線の少なくとも一部の形状に応じて、当該形状を有する線上に配置される前記複数の追跡点の配置間隔を決定する配置部と、
前記一の撮像画像と、前記一の撮像画像とは前記撮像部による撮像時点が異なる他の撮像画像との比較に基づいて、前記追跡点の前記他の撮像画像における位置を推定する推定部と、
推定された前記追跡点の位置に基づいて前記他の撮像画像における注目領域を設定する設定部と、
を備え、
前記設定部により前記一の撮像画像における前記注目領域が設定されている場合、
前記配置部は、設定された前記注目領域に関して前記追跡点を再配置し、
前記推定部は、再配置された追跡点の前記他の撮像画像における位置を推定する
情報処理装置と、
を備える情報処理システム。