JP4696278B2 - 領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラム - Google Patents

領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラム Download PDF

Info

Publication number
JP4696278B2
JP4696278B2 JP2009212291A JP2009212291A JP4696278B2 JP 4696278 B2 JP4696278 B2 JP 4696278B2 JP 2009212291 A JP2009212291 A JP 2009212291A JP 2009212291 A JP2009212291 A JP 2009212291A JP 4696278 B2 JP4696278 B2 JP 4696278B2
Authority
JP
Japan
Prior art keywords
region
image
noise suppression
image generation
divided image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009212291A
Other languages
English (en)
Other versions
JP2011060227A (ja
Inventor
祐子 関野
盛一郎 馳澤
夏麿 朽名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Original Assignee
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC filed Critical University of Tokyo NUC
Priority to JP2009212291A priority Critical patent/JP4696278B2/ja
Priority to PCT/JP2010/065326 priority patent/WO2011030756A1/ja
Publication of JP2011060227A publication Critical patent/JP2011060227A/ja
Application granted granted Critical
Publication of JP4696278B2 publication Critical patent/JP4696278B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Description

本発明は、解析対象の動画像(時系列画像)を特定の複数の領域に分割して得られる領域分割画像を生成する領域分割画像生成方法、その方法を実施する領域分割画像生成装置、及びその方法をコンピュータに実行させるためのコンピュータプログラムに関する。
従来、解析対象の時系列画像を特定の複数の領域に分割する領域分割をクラスタリング等の分類アルゴリズムによって行う技術として、様々なものが提案されている。例えば、特許文献1には、動き情報をクラスタリングの特徴量に加えることによって、画像の動きに応じた領域分割を行うことができる領域分割方法が開示されている。この領域分割方法によれば、異なる動きをしているにもかかわらず色輝度及び位置が近いために同じ領域として認識されたり、同質な動きをしているにもかかわらず色輝度が異なるために違う領域として認識されたりすることを抑制することができる。
また、同様にして動き情報を用いたクラスタリングを実行することによって領域分割を行う動画像領域分割装置が、特許文献2に開示されている。この動画像領域分割装置では、不確かさを含む動き情報の信頼度に基づいた処理を行うことによって、不確かさを解消した上で、動き情報を色情報及び位置情報という他の画像の特徴量とともに利用することが可能になる。
特開平8−63601号公報 特開平10−111942号公報
しかしながら、クラスタリングに動き情報を用いた場合、計算量が膨大になるため、処理負荷が高くなるという問題がある。また、時系列画像であっても、神経細胞の活動状況を撮像して得られるような画像内のオブジェクトの動きが比較的少ない時系列画像の場合、上記の従来技術のように動き情報を用いてクラスタリングを実行したとしても、精度良く領域分割を行うことは困難である。
本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、処理負荷の軽減を図りながらも、高精度な領域分割画像を得ることができる領域分割画像生成方法、その方法を実施する領域分割生成装置、及びその方法をコンピュータに実施させるためのコンピュータプログラムを提供することにある。
上述した課題を解決するために、本発明の一の態様の領域分割画像生成方法は、時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするT1次元空間(T1はフレーム数)に配置するステップ(a)と、前記配置された各画素を、それらの画素のT1次元空間における位置関係に基づいて分類するステップ(b)と、前記分類した結果に基づいて、複数の領域に分割された領域分割画像を生成するステップ(c)とを有している。
この態様において、前記ステップ(a)が、時系列的に得られた複数フレームの画像のそれぞれに対してノイズ抑制処理を実行するステップ(a1)と、前記ノイズ抑制処理が施された前記複数フレームの画像を構成する各画素をT1次元空間に配置するステップ(a2)とを有していてもよい。
また、前記の態様において、所定の停止条件を満足するまで、前記ステップ(a)乃至(c)を繰り返し実行してもよく、具体的には、前記ステップ(c)にて生成された領域分割画像における複数の領域が相互に分離する度合いを示す領域分離度が所定値に達するまで、または前記ステップ(a1)にてノイズ抑制処理が施された前記複数フレームの画像と、前記ノイズ抑制処理が施される前の前記複数フレームの画像との画像類似度が所定値に達するまで、前記ステップ(a)乃至(c)を繰り返し実行するようにしてもよい。
この態様における前記ステップ(a1)のノイズ抑制処理において、前記領域分離度に応じてノイズ抑制量が変化するようにしてもよく、また、前記画像類似度に応じてノイズ抑制量が変化するようにしてもよい。
また、前記の態様において、前記ステップ(a)が、時系列的に得られた複数フレームの画像を複数の画像群に時分割するステップ(a3)と、当該画像群毎に、画像群に含まれる画像を構成する各画素をT2次元空間(T2は時分割された後の複数フレームの画像のフレーム数)に配置するステップ(a4)とを有し、前記ステップ(b)が、T2次元空間に配置された各画素を分類するようにしてもよい
この態様において、所定の停止条件を満足するまで、前記ステップ(a)乃至(c)を繰り返し実行してもよく、具体的には、前記ステップ(c)にて生成された領域分割画像における複数の領域が相互に分離する度合いを示す領域分離度が所定値に達するまで、前記ステップ(a)乃至(c)を繰り返し実行するようにしてもよい。また、前記ステップ(a3)において、前記領域分離度に応じて時分割を行う時点が変化するようにしてもよい。
また、前記の態様において、前記複数フレームの画像内のオブジェクトは静止しており、当該画像を構成する各画素の輝度が時間とともに変化するようにしてもよい。また、このオブジェクトが電位依存性の蛍光色素が付与された神経細胞であり、当該神経細胞に対して電気的刺激を与えることによって前記各画素の輝度が時間とともに変化するようにしてもよい。
また、前記の態様において、前記ステップ(b)における前記分類をk-means法によって行ってもよい。
また、前記の態様が、前記ステップ(c)にて生成された領域分割画像の特徴量を抽出するステップ(d)をさらに有していてもよい。
本発明の一の態様の領域分割画像生成装置は、時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするT1次元空間(T1はフレーム数)に配置する画素配置手段と、当該画素配置手段によって前記T1次元空間に配置された各画素を、それらの画素のT1次元空間における位置関係に基づいて分類する画素分類手段と、当該画素分類手段によって分類された結果に基づいて、複数の領域に分割された領域分割画像を生成する領域分割画像生成手段とを備えている。
また、本発明の一の態様のコンピュータプログラムは、コンピュータに、時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするT1次元空間(T1はフレーム数)に配置させる手順と、前記T1次元空間に配置された各画素を、それらの画素のT1次元空間における位置関係に基づいて分類させる手順と、分類した結果に基づいて、複数の領域に分割された領域分割画像を生成させる手順とを実行させるためのものである。
本発明に係る領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラムによれば、神経活動の伝播、細胞内物質の量的変動、細胞外遊離物質の量的変動の測定等に適した領域分割画像を生成することができる。
本発明の実施の形態の領域分割画像生成装置を備える領域分割画像生成システムの構成を示すブロック図。 領域分割画像生成装置が備える制御部の構成を示す機能ブロック図。 前処理の概念を示す図。 ノイズ抑制/時分割器が実行する処理の手順を示すフローチャート。 ノイズ抑制処理前の時系列画像を示す図。 ノイズ抑制処理後の時系列画像を示す図。 時分割処理の概念を示す図。 画像比較器が実行する処理の手順を示すフローチャート。 画像類似度とノイズ抑制の程度との間の関係を説明するための図。 画像類似度とノイズ抑制の程度との間の関係を説明するための図。 画素分類器が実行する処理の手順を示すフローチャート。 各画素のT次元空間への配置の概念を示す図。 クラスタリングの結果を示す図。 画素分類が行われる前の画像と画素分類の結果生成された領域分割画像との対応を示す図。 画素分類器が実行する一連の処理を概念的に示す図。 領域分離度評価器が実行する処理の手順を示すフローチャート。 領域分離度とノイズ抑制との関係を説明するための図。 領域分離度と時分割との関係を説明するための図。 ノイズ抑制/時分割制御器が実行する処理の手順を示すフローチャート ノイズ抑制量、画像類似度及び領域分離度と動作の繰り返し回数との関係を示す図。 ノイズ抑制パラメータと画像類似度及び領域分離度との関係を説明するための図。 波形抽出器が実行する処理の手順を示すフローチャート。 類似領域の代表波形セットの出力画面の一例を示す図。 類似領域の代表波形セットの出力画面の他の例を示す図。 特徴抽出器が実行する処理の手順を示すフローチャート。 特徴量セットの出力画面の一例を示す図。
以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。ここでは、神経活動伝播を組織レベルで測定するために、電位依存性の蛍光試薬により蛍光色素が付与された神経細胞を連続撮像して得られた時系列画像を領域分割の対象とする場合について説明する。ただし、本発明の処理対象はこのような時系列画像に限られるわけではなく、2次元以上の空間内に格子状に配置された測定点から得られる信号全般を処理対象とすることができる。
なお、いくつかの図面には実際の画像を例示している 。特に断りがない場合、この画像のサイズは100画素×100画素であり、フレーム数は512である。
[領域分割画像生成システムの構成]
図1は、本発明の実施の形態の領域分割画像生成装置を備える領域分割画像生成システムの構成を示すブロック図である。図1に示すとおり、領域分割画像生成システム1は、電位変化検出プローブが付与された神経細胞ならびにその集合した組織から検出される、指定された波長領域の光量変化を検出する蛍光検出装置2と、蛍光検出装置2により検出された蛍光に基づいた蛍光画像を時系列的に取得する撮像装置3と、撮像装置3にて取得された時系列画像を用いて領域分割画像を生成する領域分割画像生成装置4と、領域分割画像生成装置4における処理結果を出力する出力装置5と、各種操作を行うための入力装置6とを備えている。領域分割画像生成装置4は、後述する処理を実行する領域分割画像生成プログラム42a及び各種のデータ等を記憶する記憶部42と、当該プログラムを実行するとともに各装置を制御する制御部41とを具備している。
上記の蛍光検出装置2としては蛍光顕微鏡を用いることができる。その他にも、例えば蛍光スキャナ等を用いることも可能である。また、撮像装置3としては、例えば蛍光検出装置2からの画像信号を2次元の画像として取得するビデオカメラ等を用いることができる。
上記の領域分割画像生成装置4としては、CPU、ROM、RAM、ハードディスク及びI/Oポート等で構成されたパーソナルコンピュータを用いることができる。この場合、領域分割画像生成装置4が備える制御部41は上記のCPU等で構成され、記憶部42は上記のROM、RAM及びハードディスク等で構成されることになる。なお、この領域分割画像生成装置4が、撮像装置3から入力された時系列画像に対する処理を行う専用の回路である画像処理回路を備えていてもよい。
この領域分割画像生成装置4は、データ読出装置7と接続されている。データ読出装置7は、フレキシブルディスクドライブ、CD−ROMドライブ、またはDVD−ROMドライブなどによって構成されており、可搬型記録媒体8に記録されたコンピュータプログラムまたはデータを読み出すことができる。そして、可搬型記録媒体8に記録された領域分割画像生成プログラム42aがデータ読出装置7によって読み出されて記憶部42にインストールされることで、パーソナルコンピュータを領域分割画像生成装置4として機能させることが可能になる。なお、領域分割画像生成プログラム42aは、可搬型記録媒体8によって提供されるのみならず、電気通信回線(有線、無線を問わない)によって領域分割画像生成装置4と通信可能に接続された外部の機器から前記電気通信回線を通じて提供することも可能である。例えば、領域分割画像生成プログラム42aがインターネット上のサーバコンピュータのハードディスク内に格納されており、このサーバコンピュータに領域分割画像生成装置4が直接または他の装置を介して間接的にアクセスして、当該領域分割画像生成プログラム42aをダウンロードし、これを記憶部42にインストールすることも可能である。
また、記憶部42には、例えば米マイクロソフト社が製造販売するWindows(登録商標)などのマルチタスクオペレーティングシステムがインストールされている。以下の説明において、本実施の形態に係る領域分割画像生成プログラム42aは当該オペレーティングシステム上で動作するものとする。
上記の出力装置5としてはCRTまたは液晶ディスプレイ等の表示装置若しくはプリンタ等の印刷装置等を、入力装置6としてはキーボード及びマウス等を、それぞれ用いることができる。
図2は、領域分割画像生成装置4が備える制御部41の構成を示す機能ブロック図である。図2に示すように、制御部41は、撮像装置3から入力された時系列画像(以下、「入力画像」という)に対するノイズ抑制処理及び後述する時分割処理を行うノイズ抑制/時分割器41aと、ノイズ抑制/時分割器41aによって得られたノイズ抑制画像と入力画像との画像類似度を求める画像比較器41bと、ノイズ抑制/時分割器41aによって得られたノイズ抑制画像中の画素を分類して領域分割画像を生成する画素分類器41cと、画素分類器41cによって生成された領域分割画像における領域分離度の評価を行う領域分離度評価器41dと、画像比較器41bから入力される画像類似度及び領域分離度評価器41dから入力される領域分離度に基づいてノイズ抑制/時分割器41aで用いられるパラメータを制御するノイズ抑制/時分割制御器41eと、画素分類器41cによって生成された領域分割画像における各類似領域の代表波形を求める波形抽出器41fと、同じく領域分割画像及び波形抽出器41fによって求められた代表波形における特徴量を抽出する特徴抽出器41gとを備えている。これらの、ノイズ抑制/時分割器41a、画像比較器41b、画素分類器41c、領域分離度評価器41d、ノイズ抑制/時分割制御器41e、波形抽出器41f及び特徴抽出器41gは、領域分割画像生成プログラム42aのモジュールとして実現される。
[領域分割画像生成装置の動作]
以下、上述したように構成された領域分割画像生成装置4の動作について説明する。まず、その動作の概要について説明し、その後その詳細について説明する。
領域分割画像生成装置4は、電位依存性の蛍光試薬により蛍光色素が付与された神経細胞を連続撮像して得られた入力画像を撮像装置3から受け取る。この入力画像は、空間軸についてはS次元(S:2または3)であり、時間軸については1次元であるため、S+1次元画像である。領域分割画像生成装置4は、この入力画像に対して、出力として、領域分割画像、代表波形セット、及び特徴量セットを生成する。ユーザによって設定可能なパラメータとしては、ノイズ抑制処理で用いられるアルゴリズム(ガウスフィルタ、中央値フィルタ等)、ノイズ抑制量のステップ幅、後述する時分割点の数及び各点の初期値、画素分類処理で用いられるアルゴリズム(k-means法、自己組織化マップ等)及びそのパラメータ、画像類似度の評価法(画像の相互相関係数等)及びその上限、並びに領域分離度評価法(境界長等)及びその下限等を挙げることができる。
上述したノイズ抑制/時分割器41a、画像比較器41b、画素分類器41c、領域分離度評価器41d、ノイズ抑制/時分割制御器41e、波形抽出器41f及び特徴抽出器41gのうち、ノイズ抑制/時分割器41a、画像比較器41b、画素分類器41c、領域分離度評価器41d及びノイズ抑制/時分割制御器41eは所定の停止条件を満たすまで繰り返し動作する。これらの繰り返し動作を総称して「繰り返し工程」という。この繰り返し工程により、ノイズ抑制の程度及び時分割の範囲の調整がなされる。そして、その繰り返し工程の結果得られた領域分割画像に基づいて、波形検出器41f及び特徴抽出器41gが代表波形セット及び特徴量セットをそれぞれ生成する。なお、上記の繰り返し工程の繰り返し毎に、ノイズ抑制画像、画像類似度、領域分割画像、及び領域分離度が更新され、更新後の内容が出力装置5を介してユーザに呈示される。
以下、領域分割画像生成装置4の動作について詳述する。
上述したように、本実施の形態では、領域分割を行う対象として、蛍光色素が付与された神経細胞を連続撮像して得られる時系列画像を用いる。なお、時系列画像を用いて神経活動伝播を確認するためには、神経細胞に対して電気的な刺激を与えて、その刺激前後に撮像された画像における輝度の変化を捉える必要がある。そこで、領域分割画像生成装置4は、前処理として、撮像装置3から受け取った入力画像について、電気刺激を行う前のフレームの画像における各画素の輝度の時間平均を全フレームの画像における各画素の輝度から差し引く画像サブトラクションを実行する。この前処理の概念を図3に示す。図3における符号tはフレーム数を表しており、t=90、105、135の画像はそれぞれ90フレーム目、105フレーム目、135フレーム目の画像を示している。図中の上段に示されている時系列画像に対して上記の前処理が施され、その結果下段に示されている時系列画像が得られる。上段の画像(原画像)は電位以外に蛍光色素の浸透性等も反映した画像となっているが、下段の画像は主に電位を反映したものとなっている。これ以降の処理は、当該前処理が施された時系列画像に対して行われることになる。
(ノイズ抑制/時分割器41a)
図4は、ノイズ抑制/時分割器41aが実行する処理の手順を示すフローチャートである。まず、ノイズ抑制/時分割器41aは、上述したようにして前処理が施された時系列画像を参照し(S101)、その時系列画像に対してノイズ抑制処理を実行する(S102)。以下、このノイズ抑制処理について詳述する。
撮像装置3により得られた時系列画像には、神経活動を示す信号だけではなく、撮像系等に由来するノイズが含まれている。上記のノイズ抑制処理では、時空間方向に信号を平滑化(例えばガウスフィルタリング)すること等によって、画像の時空間解像度と引き替えに上記のノイズを軽減する。
なお、後述するように、このノイズ抑制処理におけるノイズ抑制の強さ及び傾向に関するノイズ抑制パラメータ(σ,σ,…)は、ノイズ抑制/時分割制御器41eによって制御される。例えば、ノイズ抑制処理において適用されるアルゴリズムにガウスフィルタを用いた場合であれば、ガウス関数の空間軸方向及び時間軸方向の分散(σ及びσ)が、ここでのノイズ抑制パラメータに相当する。なお、繰り返し工程における第1回目のノイズ抑制処理におけるノイズ抑制パラメータは、ノイズ抑制/時分割制御器41eによって制御されることはないため、予め定められたデフォルト値が用いられることになる。
図5Aはノイズ抑制処理前の時系列画像を示す図であり、図5Bはノイズ抑制処理後の時系列画像を示す図である。これらの図5A及び図5Bにおいては、上段に時系列画像が、下段に異なる3つの画素における輝度の時間変化を示すグラフがそれぞれ示されている。図5A及び図5Bを参照すると、ノイズ抑制処理の結果、各画素における輝度の時間変化が滑らかになっているのを確認することができる。
なお、本実施の形態の場合のように、電位変化等の神経活動を捉えることができる蛍光試薬を用いた光学測定では、直接的に電気信号を測定する場合と比べて、シグナル-ノイズ比に関して劣ることが多い。そのため、このような光学測定においては、適切なノイズ抑制処理を実行することが特に重要である。
次に、ノイズ抑制/時分割器41aは、ノイズ抑制処理後の時系列画像に対して時分割点を設定する(S103)。以下、この時分割点の設定を行う時分割処理について詳述する。
実験系によっては、撮像画像に記録されている神経活動の時間変化を複数の時間帯に分けて解析することが有効な場合がある。この場合、時間帯に応じて異なる領域分割を行うことにより、領域分割の結果の妥当性を高めることができ、しかもその領域分割の結果から得られる代表波形及び特徴量の信頼性を向上させることができる。
ステップS103において、ノイズ抑制/時分割器41aは、ノイズ抑制/時分割制御器41eにより決定されたP個の時分割点(t,t,…,t)を、ノイズ抑制処理後の時系列画像の時間軸上に設定する。なお、繰り返し工程における第1回目の時分割処理では、予め設定されたデフォルト値を時分割点として用いる。
図6は、時分割処理の概念を示す図である。図6の上段において、ノイズ抑制処理後の時系列画像上に時分割点t,t,tが設定される様子が図示化されている。また、その下段には、時系列画像中の特定の画素における輝度の時間変化を示すグラフ上に時分割点t,t,tが設定される様子が図示化されている。
上述したようにしてP個の時分割点を設定することにより、ノイズ抑制処理後の時系列画像はP+1個の時系列画像に時分割されたものとみなすことができる。このようにして得られたP+1個の時系列画像を用いて、後述する画素分類等が実行されることになる。
(画像比較器41b)
図7は、画像比較器41bが実行する処理の手順を示すフローチャートである。画像比較器41bはまず、ノイズ抑制処理前の時系列画像を参照し(S201)、次いでノイズ抑制処理後の時系列画像を参照する(S202)。そして、画像比較器41bは、これらのノイズ抑制処理前後の時系列画像の類似性を定量化した尺度である画像類似度を算出する(S203)。この画像類似度としては、例えば画像の相互相関係数等を用いることができる。
図8A及び図8Bは、上記の画像類似度とノイズ抑制の程度(ノイズ抑制量)との間の関係を説明するための図である。より詳細に説明すると、図8Aの(a)にはノイズ抑制処理の際にガウスフィルタをX,Yの2次元の空間軸に対して適用した場合の特定の画素における輝度の時間変化を示すグラフが、(b)にはその場合の画像類似度とノイズ抑制量(σ)との関係を示すグラフがそれぞれ示されている。また、図8Bの(a)には同じくガウスフィルタを時間軸に対して適用した場合の特定の画素における輝度の時間変化を示すグラフが、(b)にはその場合の画像類似度とノイズ抑制量(σ)との関係を示すグラフがそれぞれ示されている。
図8A(a)に示されるように、ガウスフィルタを2次元の空間軸に対して適用した場合は、時間的な信号の推移が保持される一方で、空間的な情報は失われることになる。他方、図8B(a)に示されるように、ガウスルフィルタを時間軸に対して適用した場合では、空間的な情報が保持される一方で、時間的な信号の推移は失われることになる。このように、両者の内容は異なるものの、図8A(b)及び図8B(b)を参照すると分かるように、ノイズ抑制量が大きくなればなるほど画像類似度が小さくなるという関係は共通している。したがって、これらのノイズ抑制量及び画像類似度をいかにバランスさせるかが問題となる。本実施の形態では繰り返し工程によりこのバランスを最適化しているものと考えられる。
(画素分類器41c)
画素分類器41cは、時系列画像における各画素を所定の分類アルゴリズムによって分類し、その分類結果に基づいて領域分割画像を生成する。より具体的に説明すると、本実施の形態における画素分類器41cでは、時系列画像における各画素から抽出される単位時間当たりの信号量の変動パターンの類似した領域をクラスタ化し、その結果得られたクラスタに基づいて領域分割画像を生成する。
図9は、画素分類器41cが実行する処理の手順を示すフローチャートである。まず、画素分類器41cは、上述した時分割処理によりP+1個に時分割された時系列画像の中から、画素分類の処理対象となる時系列画像を決定する(S301)。
次に、画素分類器41cは、処理対象に決定した時系列画像の各画素を、各フレームにおける輝度を軸とするT次元空間に配置する(S302)。ここで、Tはフレーム数を表している。この各画素のT次元空間への配置の概念を図10Aに示す。この図10Aでは、フレーム数が3であり、且つ画像が3画素(A画素、B画素、C画素)で構成されている場合について例示されている。図10Aに示されるように、この場合は、A画素、B画素及びC画素が、各フレームにおける輝度を軸とする3次元空間中に分布する点に相当することになる。これを一般化すると、X画素×Y画素×Tフレームの時系列画像を処理対象とした場合、T次元空間中にX×Y個の点を配置することになる。例えば、本実施の形態で処理対象としている100画素×100画素×512フレームの時系列画像の場合(Pが0、つまり時分割をしない場合)は、512次元空間中に10000個の点を配置することになる。
上記のステップS302の処理は、時系列画像の空間軸に関する各画素の輝度の時間変化を1次元信号とみなした上で、画素分類器41cによって行われる画素分類をM個(入力画像の空間に関する標本数、例えば撮像装置3の画素数)の1次元信号の分類として行うためのものである。この1次元信号は、試料である神経細胞中の各部位における神経活動の時間推移を反映したものになる。なお、上述した時分割処理を実行しない場合であって、時間軸方向のサンプリング回数をTとしたときでは、この1次元信号はT次元ベクトルで表現されることになる。
次に、画素分類器41cは、上述したようにしてT次元空間中に配置された各画素に対してクラスタリングを実行する(S303)。このクラスタリングとしては各種の分類アルゴリズム(例えば各種の樹形図生成アルゴリズム等)を用いることができるが、特にk-means法及び自己組織化マップ法等のようにクラスタリングの開始時に初期のクラスタ群を設定することができるアルゴリズムを用いた場合は、処理時間の短縮化を図ることができる等の利点がある。また、一旦やや強いノイズ抑制を施して領域分割画像を生成し、これをテンプレートとした上で、ノイズ抑制の度合いを緩めて画素分類を行う等の操作が可能となるため、解像度の低下を抑えることができるという利点もある。本実施の形態では、k-means法によってクラスタリングを実行する。
本実施の形態ではクラスタリングにより画素分類を行っているが、本発明はこれに限定されるわけではない。例えば、予め入力画像中の一部の領域についての知見(教師情報)が得られている場合には、該当する領域を教師信号とした教師付き学習を行い、それにより得られた画素分類器によりM個すべての信号を分類する方法を採用してもよい。
なお、クラスタリングにより得られるクラスタ数Kまたは教師付き学習におけるクラス数Kは、採用する分類アルゴリズムによってはユーザが指定または選択する必要がある。このようなユーザによる指定または選択の要否にかかわらず、最終的に生成される領域分割画像はS次元画像であり、その領域分割画像における各画素は1〜Kの何れかの類似領域に属するK値画像となる。後述するノイズ抑制/時分割制御器41eによって適切なノイズ抑制及び時分割がなされている場合、領域分割画像における各類似領域は神経活動のパターンを描出することになる。その一方で、ノイズ抑制が不十分な場合では、各類似領域がほとんどランダムなパターンを示すことになる。また、ノイズ抑制が不十分な場合または時分割が適切でない場合、各類似領域が互いに入り込み、明確な境界を持たないことになる。
図10Bは、上述したクラスタリングの結果を示す図である。この図10Bでは、処理対象の時系列画像のフレーム数が2であり、且つ各画像が56個の画素で構成される場合にk-means法(k=4)でクラスタリングを行った例を示しており、(a)はクラスタリングが行われる前のT次元空間(T=2)を、(b)はクラスタリングが行われた後のT次元空間(T=2)をそれぞれ示している。図10B(b)に示すように、この場合では、56個の各画素が4つのクラスタC1,C2,C3,C4に分類されている。
次に、画素分類器41cは、各画素をT次元空間から実空間へ戻した上で、同一のクラスタに属する画素同士を連結することにより領域分割画像を生成する(S304)。これにより、類似領域(同一のクラスタに属する画素同士を連結することにより得られる領域)が複数設けられた領域分割画像を得ることができる。
図10Cは、画素分類が行われる前の画像と画素分類の結果生成された領域分割画像との対応を示す図である。この図10Cでは、上段に画素分類が行われる前の画像を、下段に画素分類の結果生成された領域分割画像をそれぞれ示している。また、(a)ではノイズ抑制処理が実行されない場合を参考として示しており、(b)乃至(e)はノイズ抑制処理が実行される場合を示している。ここでは、ノイズ抑制処理におけるノイズ抑制量が少ない順に(b)から(e)まで並べて表示されている。
その後、画素分類器41cは、すべての時系列画像を処理したか否かを判定する(S305)。ここで、まだ処理していない時系列画像があると判定した場合(S305でNO)、画素分類器41cはステップS301に戻って上述した処理を繰り返し実行する。そして、すべての時系列画像を処理したと判定した場合(S305でYES)、画素分類器41cは処理を終了する。その結果、P+1個の領域分割画像が生成されることになる。
上述した画素分類器41cによる処理を以下に整理する。
図10Dは、画素分類器41cが実行する一連の処理を概念的に示す図である。この図10D(a)はXY平面×時間軸で表される実空間における時系列画像を模式的に示しており、黒い点で表されているのが画素に相当する。このような実空間における時系列画像に対してステップS302を行うことによって、図10D(b)に示すように各画素がT次元空間に配置される。その後、ステップS303によって、T次元空間に配置された各画素をクラスタリングする。その結果、図10D(c)に示すように、T次元空間に配置された各画素が各クラスタに分けられる。なお、この図10D(c)では、便宜上、画素に相当する点の濃淡によって各画素が異なるクラスタに分けられていることが示されている。そして、図10D(d)に示すように、クラスタリングされた各画素をXY平面で表される実空間上で表示し、同一のクラスタに属する画素同士を連結することによって、領域分割画像が生成される。
ところで、上述したT次元空間には画素の位置情報は含まれていない。このように位置情報が含まれていないT次元空間に各画素を配置した上で分類を行うことによって、位置情報が含まれている各画素に対して分類を行う場合と比べて、処理負荷の軽減を図ることができる。より詳細について説明すると、位置情報が含まれている各画素に対して分類を行う場合では、「位置情報」という長さに関する量と「輝度」という明るさに関する量とが特徴軸として混在する空間について分類を行う必要が生じ、この場合は軸間の重み付けを考慮しなければならなくなるため、処理負荷が増大する。これに対し、位置情報が含まれていない場合では、そのような重み付けが不要であるため、より少ない計算量で分類を行うことができる。
また、本実施の形態で扱う神経細胞の活動状況を撮像して得られるような時系列画像の場合、画像内のオブジェクトの動きはなく、画素の輝度が時間とともに変化するのみであると考えられる。このような時系列画像の場合、従来技術のように動き情報を利用して画素分類を行ったとしても、高精度な領域分割を行うことは困難である。本実施の形態のように、時系列画像の空間軸に関する各画素の輝度の時間変化を1次元信号とみなした上で画素分類を行うことにより、このような時系列画像でも高精度な領域分割を実現することができる。
(領域分離度評価器41d)
図11は、領域分離度評価器41dが実行する処理の手順を示すフローチャートである。まず、領域分離度評価器41dは、画素分類器41cによって生成されたP+1個の領域分割画像を参照し(S401)、そのうちの一つの領域分割画像を処理対象として決定する(S402)。
次に、領域分離度評価器41dは、処理対象とした領域分割画像において各類似領域が相互に分離する度合いである領域分離度を求める(S403)。この領域分離度としては、例えば各類似領域の境界画素数または孔の数の総和(1st Betti number)等を用いることができる。また、予め入力画像中の一部の領域について教師情報が得られている場合では、該当する領域について教師情報と領域分割画像との一致率を求め、これを単独で、または上記の境界画素数若しくは孔の数等と組み合わせたものを領域分離度としてもよい。
その後、領域分離度評価器41dは、すべての領域分割画像について処理を行ったか否かを判定する(S404)。ここで、領域分離度評価器41dは、まだ処理対象となっていない領域分割画像があると判定した場合(S404でNO)はその領域分割画像を処理対象に決定(S402)して以降の処理を繰り返し、すべての領域分割画像を処理したと判定した場合(S404でYES)は処理を終了する。
図12Aは、領域分離度とノイズ抑制との関係を説明するための図である。なお、図10Cの場合と同様に、図12A(a)ではノイズ抑制処理が実行されない場合を参考として示しており、(b)乃至(e)はノイズ抑制処理が実行される場合を示している。この図12Aにおいて、上段には画素分類が行われる前の画像を、中段には画素分類の結果生成された領域分割画像を、下段にはその領域分割画像における各類似領域の境界線を表した境界画像をそれぞれ示している。また、各境界画像の下には、1/境界画素数で求められる領域分離度の値が付されている。図12Aに示されるように、ノイズ抑制が不十分なほど領域分離度の値が小さく、ノイズ抑制が過剰になるほど領域分離度の値が大きくなるという関係が成立する。
また、図12Bは、時分割を行う場合の画素分類と領域分離度との関係を説明するための図である。図12Bを参照すると、2つの時分割点で時分割を行う場合であっても、その時分割点がt1−1及びt2−1である場合の時分割1と、t1−2及びt2−2である場合の時分割2とでは、得られる領域分割画像も、求められる領域分離度の値(境界画像中の数値)も異なることが確認できる。
なお、図12B中の数値「4.32」及び「3.41」はそれぞれ、各時分割画像の領域分離度の平均を示している。領域分離度評価器41dは、ノイズ制御/時分割制御器41eに対してこの平均値を出力する。
(ノイズ抑制/時分割制御器41e)
ノイズ抑制/時分割制御器41eは、画像類似度及び領域分離度に基づいて、次の繰り返し工程において用いるべきノイズ抑制パラメータ及び時分割点の制御を行う。一般に、ノイズ抑制量が少ない場合は、画像類似度が高くなる一方で領域分離度は低くなる。そして、ノイズ抑制量が大きくなるにつれて、画像類似度が低くなる一方で領域分離度は高くなる。このような画像類似度及び領域分離度の性質に着目し、本実施の形態では、これらの少なくとも何れか一方が所定値に達することを停止条件として繰り返し工程が実行されることになる。
図13は、ノイズ抑制/時分割制御器41eが実行する処理の手順を示すフローチャートである。ノイズ抑制/時分割制御器41eは、領域分離度評価器41dによって求められた領域分離度が予め定められている下限値に達したか否かを判定する(S501)。ここで下限値に達していないと判定した場合(S501でNO)、ノイズ抑制/時分割制御器41eは、ノイズ抑制パラメータ及び時分割点の位置を含むパラメータ群を制御する(S502)。このステップS502において、具体的にどのようにしてパラメータ群を制御するかについては後述する。
ステップS501において、下限値に達したと判定した場合(S501でYES)、ノイズ抑制/時分割制御器41eは処理を終了する。その結果、領域分割画像生成装置4における繰り返し工程が終了することになる。
この図13のフローチャートに示す処理手順は、領域分離度が所定の下限値に達したことを停止条件としている場合を例示しているが、本発明はこれに限定されるわけではなく、これに代えてまたはこれと共に画像類似度が所定の上限値に達したこと等を停止条件としてもよい。さらに、これらの停止条件に変えて、またはこれらの停止条件と共に、領域分割画像、領域分離度及び画像類似度の推移を踏まえた上で繰り返し工程を終了するか否かをユーザが判断するようにしてもよい。
上記の停止条件に至るまでの繰り返し工程によって、十分な領域分離度を達成しつつも、時空間解像度を必要以上に損なわない程度のノイズ抑制と、画像中の各部位における波形上の関連性が十分に考慮された時分割とが施されることになる。
以下、上記のステップS502におけるパラメータ群の制御について、詳述する。
ノイズ抑制パラメータが単独の場合、ノイズ抑制/時分割制御器41eは、画像類似度または領域分離度による停止条件が満たされるまで、ノイズ抑制量が漸増するようにノイズ抑制パラメータを制御する。図14Aは、ノイズ抑制パラメータが単独である場合における、ノイズ抑制量、画像類似度及び領域分離度と動作の繰り返し回数との関係を示す図である。この図14Aでは、領域分離度が下限値Dに達することを停止条件として繰り返し工程が行われた場合の各指標の推移が模式的に示されており、S回目の繰り返しにおいて領域分離度が下限値Dに達した例が示されている。図14Aを参照すると、ノイズ抑制量が増すにつれて画像類似度が低下し且つ領域分離度が上昇することが確認できる。
なお、本実施の形態のように、画素分類器41cにおいて初期のクラスタ群を設定可能なk-means法等の分類アルゴリズムを採用した場合、S回目以降、ノイズ抑制パラメータを逆に漸減し、S回目及びそれ以降に得られたクラスタ群を初期クラスタ群として、繰り返し工程を進めるようにしてもよい。これにより、S回目よりノイズ抑制量が小さく(画像解像度が高く)、しかも領域分離度が下限値Dからそれほど低下しない領域分割画像を得ることができる。この2つ目の繰り返し工程における停止条件は、S回目の指標からの差分によって規定する。図14A(b)では、画像類似度の差分ΔMによって2つ目の繰り返し工程の停止条件が定められた場合に、S回目で動作が停止する様子が示されている。図14A(a)乃至(c)には、S回目の各指標を表す点qと、この点qの場合と同じノイズ抑制量を持つ点rとが示されている。点qと点rとでは同じノイズ抑制処理が施されているが、領域分離度については点qの方が点rを上回っている(図14A(c)参照)。これは、S回目以降の画素分類器41cにおいてS回目の領域分割画像による誘導のもとにクラスタリングが実行されているためである。
また、ノイズ抑制パラメータが複数ある場合、ノイズ抑制/時分割制御器41eは、画像類似度及び領域分離度の双方が大きくなるようにノイズ抑制パラメータの制御を行う。例えば、ノイズ抑制パラメータが空間に関するパラメータσ及び時間に関するパラメータσの2つであり、領域分離度が下限値Dに達することを停止条件として繰り返し工程が行われる場合は、図14Bに示すようになる。なお、図14Bにおいて、横軸はσを、縦軸はσを、実線は画像類似度の等高線(左下が高く、右上が低い)を、斜線領域は繰り返し工程の停止条件が満たされているパラメータ空間(領域分離度≧下限値D)をそれぞれ示している。
ノイズ抑制/時分割制御器41eは、停止条件を満たしつつ画像類似度が最大となる点αを検索すること、換言すればσ及びσをαに最適化することを目的として動作する。例えば、ノイズ抑制処理で用いるアルゴリズムをガウスフィルタとして、σをガウス関数の分散(空間軸方向の分散をσ、時間軸方向の分散をσ)とした場合であって、画像類似度として相互相関係数を、領域分離度として境界画素数をそれぞれ用いたとき、図14Bに示すようにパラメータ空間において画像類似度及び領域分離度はほぼ単調となる。そのため、例えば最初に点線部分(領域分離度=下限値D)を検索し、次に画像類似度が最大となる点を検索するという手順を、それぞれ山登り法で行うことができる。なお、上述した2つ目の繰り返し工程による領域分割画像の解像度の改善は、ノイズ抑制パラメータが複数ある場合でも、点α近傍の類似度勾配を登るようにノイズ抑制パラメータを制御することによって実現することができる。
なお、時分割点の数Pが1以上の場合、ノイズ抑制パラメータ群(σ,σ,…)及び時分割点(t,t,…,t)の位置を合わせたパラメータ群について、領域分離度が下限値Dを満たし且つ画像類似度が最大となる点を探索する最適化問題とみなすことができる。これは、図14Bに示されるパラメータ空間の次元を時分割点の数Pだけ広げた場合に相当する。この場合、ノイズ抑制/時分割制御器41eは、粒子群最適化(PSO:Particle Swarm Optimization)等の連続変数の最適化アルゴリズムによって次の繰り返しのときに試すべきノイズ抑制パラメータ群及び時分割点の位置を決定する。
(波形抽出器41f)
波形抽出器41fは、繰り返し工程が終了した後に、画素分類器41cで生成された領域分割画像と波形源画像(撮像装置3からの入力画像またはノイズ抑制処理後の画像)とに基づいて、各類似領域の代表波形を求める。
図15は、波形抽出器41fが実行する処理の手順を示すフローチャートである。まず、波形抽出器41fは、画素分類器41cで生成されたP+1個の領域分割画像の中から特定の領域分割画像を処理対象に決定し(S601)、その処理対象の領域分割画像と、その領域分割画像の元となる波形源画像とを参照する(S602)。次に、波形抽出器41fは、当該領域分割画像における類似領域毎に代表波形を生成する(S603)。このステップS603において、当該領域分割画像の各類似領域の代表波形は、当該波形源画像のうちの当該類似領域に相当する全画素について空間方向の平均値を求めることにより生成される。このとき、重み付け平均を用いて他の類似領域との境界に近い画素については代表波形への寄与を軽くするように調整することによって、代表波形の解像度の改善を図るようにしてもよい。
次に、波形抽出器41fは、すべての領域分割画像が処理対象になったか否かを判定する(S604)。ここで、まだ処理対象となっていない領域分割画像があると判定した場合(S604でNO)、波形抽出器41fはステップS601に戻って以降の処理を繰り返す。他方、すべての領域分割画像が処理対象になったと判定した場合(S604でYES)、波形抽出器41fは処理を終了する。これにより、P+1個の領域分割画像毎に、各類似領域の代表波形が生成されることになる。
上述したようにして波形抽出器41fにて生成された類似領域の代表波形で構成される代表波形セットは、出力装置5にて出力される。図16Aは、類似領域の代表波形セットの出力画面の一例を示す図である。図16Aでは、領域分割画像中に4個の類似領域が含まれており、各類似領域について代表波形が生成された場合について例示されている。また、図16Bは、類似領域の代表波形セットの出力画面の他の例を示す図である。この図16Bでは、時分割された時系列画像のそれぞれを元にして生成された複数の領域分割画像と、それらの領域分割画像毎に生成された各類似領域の代表波形とが対応して示されている。
(特徴抽出器41g)
特徴抽出器41gは、繰り返し工程が終了した後に、複数の試料についての比較及び分類を始めとする様々な自動的な評価を行う際の量的尺度となり得る各種の特徴を含む特徴量セットを、画素分類器41cで生成された領域分割画像及び波形抽出器41fで生成された代表波形セットから抽出する。
図17は、特徴抽出器41gが実行する処理の手順を示すフローチャートである。まず、特徴抽出器41gは、画素分類器41cで生成されたP+1個の領域分割画像の中から特定の領域分割画像を処理対象に決定し(S701)、その処理対象の領域分割画像と、波形抽出器41fにて生成された当該領域分割画像の各類似領域の代表波形とを参照する(S702)。そして、特徴抽出器41gは、これらの領域分割画像及び代表波形から、各種の特徴を含む特徴量セットを抽出する(S703)。この特徴量セットに含まれる特徴としては、例えば(1)個別の類似領域について得られる形状特徴(面積及び円形度等)、(2)類似領域相互の幾何学的関係に関する特徴(領域間の接触境界の周長等)、(3)各代表波形に由来する特徴(最大値、振幅、及び周波数分布等)、(4)代表波形間の比較によって得られる特徴(ピークの時刻及び高さの差異等)等を挙げることができる。このうち(1)及び(2)については、二値化されたブロブ画像を始め領域分割済みの画像に対する各種の特徴抽出法等を用いて抽出することができる。また、(3)及び(4)については、探針による電位測定データ等の時変1次元信号の解析で利用される特徴抽出法等を用いて抽出することができる。
次に、特徴抽出器41gは、すべての領域分割画像が処理対象になったか否かを判定する(S704)。ここで、まだ処理対象となっていない領域分割画像があると判定した場合(S704でNO)、特徴抽出器41gはステップS701に戻って以降の処理を繰り返す。他方、すべての領域分割画像が処理対象になったと判定した場合(S704でYES)、特徴抽出器41gは処理を終了する。これにより、P+1個の領域分割画像毎に特徴量セットが生成されることになる。
上述したようにして特徴抽出器41gにて生成された特徴量セットは、出力装置5にて出力される。図18は、特徴量セットの出力画面の一例を示す図である。この図18では、類似領域a及びbについて、上記(1)及び(2)に係る特徴量セットが示されている。
このような特徴量セットによって、入力画像が有する多次元にわたる膨大且つノイズを多く含む冗長なデータを要約することができる。このような簡潔な出力を得ることにより、多くのサンプル間の比較及び分類等が容易になる。
上述したとおり、本実施の形態における画素分類は、クラスタリングまたは教師付き学習等の分類アルゴリズムにより行うことができるが、これらは何れも、神経活動伝播を捉えた画像中の類似領域における信号が似通っていることにのみ依っており、各信号の測定位置の遠近を考慮していない。すなわち、画素分類器は、画像処理に特化しない単純なモデルの下で動作していると考えることができる。そのため、(1)波形及び伝播パターンに関する事前の知識を必要としない、(2)複数のカテゴリーに信号群を分離するという条件さえ満たせば多種の分類アルゴリズムを利用することができる、(3)得られる領域分割画像の評価(領域分離度及び特徴量セット等)がユーザにより選択されたモデルまたは仮定によるバイアスを被らないため中立性・客観性が高くなる等の利点が得られる。このうち(2)は、(1)と共に汎用性をもたらすだけではなく、目的又は測定方法の性質に応じた分類アルゴリズムを選択する余地を広げることにつながる。そのため、例えば入力画像内に神経活動を行っていない時間帯が多く含まれる場合に、時間軸方向の取捨選択を積極的に行う分類アルゴリズム(例えば、CARTのように下降型の分類木を用いたアルゴリム及びrandom windowを用いたアルゴリズム等)を採用することもできる。また、時間軸方向のシフトに対して不変な領域分割を行うために、クラスタリングを採用した場合の信号間の距離尺度として、代表的なユークリッド距離ではなく、時間相関スペクトルの最大値等を用いることも可能になる。
なお、本発明者等は、電位依存性蛍光試薬を用いたマウスの扁桃体における光学測定データを主なターゲットして種々の検討を行い、その結果上述した手法を発見した。その結果、応答特性の類似性により検出された空間領域が神経核の組織的特徴に合致することがわかり、脳回路における集団類似性に関する知見が新たに得られている。マウスの扁桃体の他にも、神経活動の可視化を介した光学測定が既に行われている対象として海馬、大脳皮質、視床、視床下部、嗅脳及び小脳等があり、これらの部位の神経回路研究にも本発明を適用することが可能である。また、fMRIに代表される異なる測定原理に基づく生体信号についても、例えば脳波測定、光トポグラフィー等のように測定データの構成が格子状に配された多点上の時系列信号である場合には、本発明を適用することができる。
本発明は、神経活動伝播、細胞内物質の量的変動、及び細胞外遊離物質の量的変動等に関する時空間データを客観的且つ簡潔に要約することができるため、特定の一部の領域及びタイミングに対して特異的に働く遺伝子及び薬剤の検索において効果的であると考えられる。したがって、例えば、複雑な神経活動伝播のパターンを示す中枢神経系をターゲットにした遺伝子・薬剤のスクリーニング及び安全性試験への応用が期待できる。
本発明の領域分割画像生成方法、領域分割画像生成装置、及びコンピュータプログラムはそれぞれ、例えば神経活動伝播を組織レベルで測定するための領域分割画像生成方法、領域分割画像生成装置、及びコンピュータプログラム等として有用である。
1 領域分割画像生成システム
2 蛍光検出装置
3 撮像装置
4 領域分割画像生成装置
41 制御部
41a ノイズ抑制/時分割器
41b 画像比較器
41c 画素分類器
41d 領域分離度評価器
41e ノイズ抑制/時分割制御器
41f 波形抽出器
41g 特徴抽出器
42 記憶部
42a 領域分割画像生成プログラム
5 出力装置
6 入力装置
7 データ読出装置
8 可搬型記録媒体

Claims (17)

  1. 時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするT1次元空間(T1はフレーム数)に配置するステップ(a)と、
    前記配置された各画素を、それらの画素のT1次元空間における位置関係に基づいて分類するステップ(b)と、
    前記分類した結果に基づいて、複数の領域に分割された領域分割画像を生成するステップ(c)と
    を有する、領域分割画像生成方法。
  2. 前記ステップ(a)は、時系列的に得られた複数フレームの画像のそれぞれに対してノイズ抑制処理を実行するステップ(a1)と、前記ノイズ抑制処理が施された前記複数フレームの画像を構成する各画素をT1次元空間に配置するステップ(a2)とを有している、請求項1に記載の領域分割画像生成方法。
  3. 所定の停止条件を満足するまで、前記ステップ(a)乃至(c)を繰り返し実行する、請求項2に記載の領域分割画像生成方法。
  4. 前記ステップ(c)にて生成された領域分割画像における複数の領域が相互に分離する度合いを示す領域分離度が所定値に達するまで、前記ステップ(a)乃至(c)を繰り返し実行する、請求項3に記載の領域分割画像生成方法。
  5. 前記ステップ(a1)のノイズ抑制処理において、前記領域分離度に応じてノイズ抑制量が変化する、請求項4に記載の領域分割画像生成方法。
  6. 前記ステップ(a1)にてノイズ抑制処理が施された前記複数フレームの画像と、前記ノイズ抑制処理が施される前の前記複数フレームの画像との画像類似度が所定値に達するまで、前記ステップ(a)乃至(c)を繰り返し実行する、請求項3に記載の領域分割画像生成方法。
  7. 前記ステップ(a1)のノイズ抑制処理において、前記画像類似度に応じてノイズ抑制量が変化する、請求項6に記載の領域分割画像生成方法。
  8. 前記ステップ(a)は、時系列的に得られた複数フレームの画像を複数の画像群に時分割するステップ(a3)と、当該画像群毎に、画像群に含まれる画像を構成する各画素をT2次元空間(T2は時分割された後の複数フレームの画像のフレーム数)に配置するステップ(a4)とを有している、請求項1に記載の領域分割画像生成方法。
  9. 所定の停止条件を満足するまで、前記ステップ(a)乃至(c)を繰り返し実行する、請求項8に記載の領域分割画像生成方法。
  10. 前記ステップ(c)にて生成された領域分割画像における複数の領域が相互に分離する度合いを示す領域分離度が所定値に達するまで、前記ステップ(a)乃至(c)を繰り返し実行する、請求項9に記載の領域分割画像生成方法。
  11. 前記ステップ(a3)では、前記領域分離度に応じて時分割を行う時点が変化する、請求項10に記載の領域分割画像生成方法。
  12. 前記複数フレームの画像内のオブジェクトは静止しており、当該画像を構成する各画素の輝度が時間とともに変化する、請求項1乃至8の何れかに記載の領域分割画像生成方法。
  13. 前記オブジェクトは電位依存性の蛍光色素が付与された神経細胞であり、当該神経細胞に対して電気的刺激を与えることによって前記各画素の輝度が時間とともに変化する、請求項12に記載の領域分割画像生成方法。
  14. 前記ステップ(b)では、k-means法によって前記分類を行う、請求項1乃至13の何れかに記載の領域分割画像生成方法。
  15. 前記ステップ(c)にて生成された領域分割画像の特徴量を抽出するステップ(d)をさらに有する、請求項1乃至14の何れかに記載の領域分割画像生成方法。
  16. 時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするT1次元空間(T1はフレーム数)に配置する画素配置手段と、
    当該画素配置手段によって前記T1次元空間に配置された各画素を、それらの画素のT1次元空間における位置関係に基づいて分類する画素分類手段と、
    当該画素分類手段によって分類された結果に基づいて、複数の領域に分割された領域分割画像を生成する領域分割画像生成手段と
    を備える、領域分割画像生成装置。
  17. コンピュータに、
    時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするT1次元空間(T1はフレーム数)に配置させる手順と、
    前記T1次元空間に配置された各画素を、それらの画素のT1次元空間における位置関係に基づいて分類させる手順と、
    分類した結果に基づいて、複数の領域に分割された領域分割画像を生成させる手順と
    を実行させるためのコンピュータプログラム。
JP2009212291A 2009-09-14 2009-09-14 領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラム Expired - Fee Related JP4696278B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009212291A JP4696278B2 (ja) 2009-09-14 2009-09-14 領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラム
PCT/JP2010/065326 WO2011030756A1 (ja) 2009-09-14 2010-09-07 領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009212291A JP4696278B2 (ja) 2009-09-14 2009-09-14 領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2011060227A JP2011060227A (ja) 2011-03-24
JP4696278B2 true JP4696278B2 (ja) 2011-06-08

Family

ID=43732428

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009212291A Expired - Fee Related JP4696278B2 (ja) 2009-09-14 2009-09-14 領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP4696278B2 (ja)
WO (1) WO2011030756A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6494903B2 (ja) 2013-02-14 2019-04-03 ソニー株式会社 分析システム、分析プログラム及び分析方法
JP6562059B2 (ja) * 2013-02-14 2019-08-21 ソニー株式会社 神経細胞評価装置、神経細胞評価プログラム及び神経細胞評価方法
CN106023224A (zh) * 2016-05-30 2016-10-12 天水师范学院 一种中药材显微图像的pcnn自动分割方法
CN106097303B (zh) * 2016-05-30 2018-11-27 天水师范学院 一种适合处理显微图像pcnn模型的构建方法
JP6970553B2 (ja) * 2017-08-17 2021-11-24 キヤノン株式会社 画像処理装置、画像処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3055423B2 (ja) * 1995-03-23 2000-06-26 富士ゼロックス株式会社 領域分割装置
JP4193168B2 (ja) * 2002-02-01 2008-12-10 株式会社日立メディコ 血流動態解析装置及び方法
JP2003299646A (ja) * 2002-04-11 2003-10-21 Hitachi Medical Corp 画像解析装置
CN101326545B (zh) * 2005-08-19 2012-05-30 松下电器产业株式会社 图像处理方法和图像处理***
JP2009075868A (ja) * 2007-09-20 2009-04-09 Toshiba Corp 画像から対象を検出する装置、方法およびプログラム
JP5063277B2 (ja) * 2007-09-26 2012-10-31 株式会社アイリス 身体装身具の製造方法

Also Published As

Publication number Publication date
WO2011030756A1 (ja) 2011-03-17
JP2011060227A (ja) 2011-03-24

Similar Documents

Publication Publication Date Title
CN110892414B (zh) 用于基于分类器的卷积神经网络的视觉分析***
US10733726B2 (en) Pathology case review, analysis and prediction
CN107924472B (zh) 基于脑部计算机界面的图像分类的方法及***
CN110139597B (zh) 利用神经生理信号进行迭代分类的***和方法
JP4696278B2 (ja) 領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラム
JP2018142097A (ja) 情報処理装置、情報処理方法及びプログラム
JP2006507558A (ja) 階層的視覚化を介しての多次元データのビューイング
CN109858563A (zh) 基于变换识别的自监督表征学习方法及装置
CN108764084A (zh) 基于空域分类网络和时域分类网络融合的视频分类方法
CN111951637A (zh) 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法
Raj et al. Image based bird species identification using convolutional neural network
Wang et al. Classification and extent determination of rock slope using deep learning
Tawhid et al. Textural feature based intelligent approach for neurological abnormality detection from brain signal data
US20180121811A1 (en) Profiling a population of examples in a precisely descriptive or tendency-based manner
CN112274154B (zh) 基于脑电样本权重调整的跨被试疲劳驾驶分类方法
CN110622042A (zh) 分析设备、地层断代设备、分析方法、地层断代方法和程序
de Menezes et al. Classification of mice head orientation using support vector machine and histogram of oriented gradients features
WO2018131723A1 (ja) 画像処理装置及び画像処理方法
Jurjuţ et al. A color-based visualization technique for multielectrode spike trains
Budinska et al. Gene expression-guided selection of histopathology image features
Patil et al. A Comparative Study of Alzheimer Detection Techniques
R Swadi et al. Deep Learning Model For Autism Diagnosing
Loke et al. Human visual cortex and deep convolutional neural network care deeply about object background
O’Driscoll et al. The effect of SOM size and similarity measure on identification of functional and anatomical regions in fMRI data
Kvam The Tweedledum and Tweedledee of dynamic decisions: Discriminating between diffusion and accumulator models

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110125

R150 Certificate of patent or registration of utility model

Ref document number: 4696278

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees