JP4696278B2 - 領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラム - Google Patents
領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JP4696278B2 JP4696278B2 JP2009212291A JP2009212291A JP4696278B2 JP 4696278 B2 JP4696278 B2 JP 4696278B2 JP 2009212291 A JP2009212291 A JP 2009212291A JP 2009212291 A JP2009212291 A JP 2009212291A JP 4696278 B2 JP4696278 B2 JP 4696278B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- noise suppression
- image generation
- divided image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Description
なお、いくつかの図面には実際の画像を例示している 。特に断りがない場合、この画像のサイズは100画素×100画素であり、フレーム数は512である。
図1は、本発明の実施の形態の領域分割画像生成装置を備える領域分割画像生成システムの構成を示すブロック図である。図1に示すとおり、領域分割画像生成システム1は、電位変化検出プローブが付与された神経細胞ならびにその集合した組織から検出される、指定された波長領域の光量変化を検出する蛍光検出装置2と、蛍光検出装置2により検出された蛍光に基づいた蛍光画像を時系列的に取得する撮像装置3と、撮像装置3にて取得された時系列画像を用いて領域分割画像を生成する領域分割画像生成装置4と、領域分割画像生成装置4における処理結果を出力する出力装置5と、各種操作を行うための入力装置6とを備えている。領域分割画像生成装置4は、後述する処理を実行する領域分割画像生成プログラム42a及び各種のデータ等を記憶する記憶部42と、当該プログラムを実行するとともに各装置を制御する制御部41とを具備している。
以下、上述したように構成された領域分割画像生成装置4の動作について説明する。まず、その動作の概要について説明し、その後その詳細について説明する。
領域分割画像生成装置4は、電位依存性の蛍光試薬により蛍光色素が付与された神経細胞を連続撮像して得られた入力画像を撮像装置3から受け取る。この入力画像は、空間軸についてはS次元(S:2または3)であり、時間軸については1次元であるため、S+1次元画像である。領域分割画像生成装置4は、この入力画像に対して、出力として、領域分割画像、代表波形セット、及び特徴量セットを生成する。ユーザによって設定可能なパラメータとしては、ノイズ抑制処理で用いられるアルゴリズム(ガウスフィルタ、中央値フィルタ等)、ノイズ抑制量のステップ幅、後述する時分割点の数及び各点の初期値、画素分類処理で用いられるアルゴリズム(k-means法、自己組織化マップ等)及びそのパラメータ、画像類似度の評価法(画像の相互相関係数等)及びその上限、並びに領域分離度評価法(境界長等)及びその下限等を挙げることができる。
上述したように、本実施の形態では、領域分割を行う対象として、蛍光色素が付与された神経細胞を連続撮像して得られる時系列画像を用いる。なお、時系列画像を用いて神経活動伝播を確認するためには、神経細胞に対して電気的な刺激を与えて、その刺激前後に撮像された画像における輝度の変化を捉える必要がある。そこで、領域分割画像生成装置4は、前処理として、撮像装置3から受け取った入力画像について、電気刺激を行う前のフレームの画像における各画素の輝度の時間平均を全フレームの画像における各画素の輝度から差し引く画像サブトラクションを実行する。この前処理の概念を図3に示す。図3における符号tはフレーム数を表しており、t=90、105、135の画像はそれぞれ90フレーム目、105フレーム目、135フレーム目の画像を示している。図中の上段に示されている時系列画像に対して上記の前処理が施され、その結果下段に示されている時系列画像が得られる。上段の画像(原画像)は電位以外に蛍光色素の浸透性等も反映した画像となっているが、下段の画像は主に電位を反映したものとなっている。これ以降の処理は、当該前処理が施された時系列画像に対して行われることになる。
図4は、ノイズ抑制/時分割器41aが実行する処理の手順を示すフローチャートである。まず、ノイズ抑制/時分割器41aは、上述したようにして前処理が施された時系列画像を参照し(S101)、その時系列画像に対してノイズ抑制処理を実行する(S102)。以下、このノイズ抑制処理について詳述する。
図7は、画像比較器41bが実行する処理の手順を示すフローチャートである。画像比較器41bはまず、ノイズ抑制処理前の時系列画像を参照し(S201)、次いでノイズ抑制処理後の時系列画像を参照する(S202)。そして、画像比較器41bは、これらのノイズ抑制処理前後の時系列画像の類似性を定量化した尺度である画像類似度を算出する(S203)。この画像類似度としては、例えば画像の相互相関係数等を用いることができる。
画素分類器41cは、時系列画像における各画素を所定の分類アルゴリズムによって分類し、その分類結果に基づいて領域分割画像を生成する。より具体的に説明すると、本実施の形態における画素分類器41cでは、時系列画像における各画素から抽出される単位時間当たりの信号量の変動パターンの類似した領域をクラスタ化し、その結果得られたクラスタに基づいて領域分割画像を生成する。
図9は、画素分類器41cが実行する処理の手順を示すフローチャートである。まず、画素分類器41cは、上述した時分割処理によりP+1個に時分割された時系列画像の中から、画素分類の処理対象となる時系列画像を決定する(S301)。
図10Dは、画素分類器41cが実行する一連の処理を概念的に示す図である。この図10D(a)はXY平面×時間軸で表される実空間における時系列画像を模式的に示しており、黒い点で表されているのが画素に相当する。このような実空間における時系列画像に対してステップS302を行うことによって、図10D(b)に示すように各画素がT次元空間に配置される。その後、ステップS303によって、T次元空間に配置された各画素をクラスタリングする。その結果、図10D(c)に示すように、T次元空間に配置された各画素が各クラスタに分けられる。なお、この図10D(c)では、便宜上、画素に相当する点の濃淡によって各画素が異なるクラスタに分けられていることが示されている。そして、図10D(d)に示すように、クラスタリングされた各画素をXY平面で表される実空間上で表示し、同一のクラスタに属する画素同士を連結することによって、領域分割画像が生成される。
図11は、領域分離度評価器41dが実行する処理の手順を示すフローチャートである。まず、領域分離度評価器41dは、画素分類器41cによって生成されたP+1個の領域分割画像を参照し(S401)、そのうちの一つの領域分割画像を処理対象として決定する(S402)。
なお、図12B中の数値「4.32」及び「3.41」はそれぞれ、各時分割画像の領域分離度の平均を示している。領域分離度評価器41dは、ノイズ制御/時分割制御器41eに対してこの平均値を出力する。
ノイズ抑制/時分割制御器41eは、画像類似度及び領域分離度に基づいて、次の繰り返し工程において用いるべきノイズ抑制パラメータ及び時分割点の制御を行う。一般に、ノイズ抑制量が少ない場合は、画像類似度が高くなる一方で領域分離度は低くなる。そして、ノイズ抑制量が大きくなるにつれて、画像類似度が低くなる一方で領域分離度は高くなる。このような画像類似度及び領域分離度の性質に着目し、本実施の形態では、これらの少なくとも何れか一方が所定値に達することを停止条件として繰り返し工程が実行されることになる。
ノイズ抑制パラメータが単独の場合、ノイズ抑制/時分割制御器41eは、画像類似度または領域分離度による停止条件が満たされるまで、ノイズ抑制量が漸増するようにノイズ抑制パラメータを制御する。図14Aは、ノイズ抑制パラメータが単独である場合における、ノイズ抑制量、画像類似度及び領域分離度と動作の繰り返し回数との関係を示す図である。この図14Aでは、領域分離度が下限値DLに達することを停止条件として繰り返し工程が行われた場合の各指標の推移が模式的に示されており、Sp回目の繰り返しにおいて領域分離度が下限値DLに達した例が示されている。図14Aを参照すると、ノイズ抑制量が増すにつれて画像類似度が低下し且つ領域分離度が上昇することが確認できる。
波形抽出器41fは、繰り返し工程が終了した後に、画素分類器41cで生成された領域分割画像と波形源画像(撮像装置3からの入力画像またはノイズ抑制処理後の画像)とに基づいて、各類似領域の代表波形を求める。
特徴抽出器41gは、繰り返し工程が終了した後に、複数の試料についての比較及び分類を始めとする様々な自動的な評価を行う際の量的尺度となり得る各種の特徴を含む特徴量セットを、画素分類器41cで生成された領域分割画像及び波形抽出器41fで生成された代表波形セットから抽出する。
2 蛍光検出装置
3 撮像装置
4 領域分割画像生成装置
41 制御部
41a ノイズ抑制/時分割器
41b 画像比較器
41c 画素分類器
41d 領域分離度評価器
41e ノイズ抑制/時分割制御器
41f 波形抽出器
41g 特徴抽出器
42 記憶部
42a 領域分割画像生成プログラム
5 出力装置
6 入力装置
7 データ読出装置
8 可搬型記録媒体
Claims (17)
- 時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするT1次元空間(T1はフレーム数)に配置するステップ(a)と、
前記配置された各画素を、それらの画素のT1次元空間における位置関係に基づいて分類するステップ(b)と、
前記分類した結果に基づいて、複数の領域に分割された領域分割画像を生成するステップ(c)と
を有する、領域分割画像生成方法。 - 前記ステップ(a)は、時系列的に得られた複数フレームの画像のそれぞれに対してノイズ抑制処理を実行するステップ(a1)と、前記ノイズ抑制処理が施された前記複数フレームの画像を構成する各画素をT1次元空間に配置するステップ(a2)とを有している、請求項1に記載の領域分割画像生成方法。
- 所定の停止条件を満足するまで、前記ステップ(a)乃至(c)を繰り返し実行する、請求項2に記載の領域分割画像生成方法。
- 前記ステップ(c)にて生成された領域分割画像における複数の領域が相互に分離する度合いを示す領域分離度が所定値に達するまで、前記ステップ(a)乃至(c)を繰り返し実行する、請求項3に記載の領域分割画像生成方法。
- 前記ステップ(a1)のノイズ抑制処理において、前記領域分離度に応じてノイズ抑制量が変化する、請求項4に記載の領域分割画像生成方法。
- 前記ステップ(a1)にてノイズ抑制処理が施された前記複数フレームの画像と、前記ノイズ抑制処理が施される前の前記複数フレームの画像との画像類似度が所定値に達するまで、前記ステップ(a)乃至(c)を繰り返し実行する、請求項3に記載の領域分割画像生成方法。
- 前記ステップ(a1)のノイズ抑制処理において、前記画像類似度に応じてノイズ抑制量が変化する、請求項6に記載の領域分割画像生成方法。
- 前記ステップ(a)は、時系列的に得られた複数フレームの画像を複数の画像群に時分割するステップ(a3)と、当該画像群毎に、画像群に含まれる画像を構成する各画素をT2次元空間(T2は時分割された後の複数フレームの画像のフレーム数)に配置するステップ(a4)とを有している、請求項1に記載の領域分割画像生成方法。
- 所定の停止条件を満足するまで、前記ステップ(a)乃至(c)を繰り返し実行する、請求項8に記載の領域分割画像生成方法。
- 前記ステップ(c)にて生成された領域分割画像における複数の領域が相互に分離する度合いを示す領域分離度が所定値に達するまで、前記ステップ(a)乃至(c)を繰り返し実行する、請求項9に記載の領域分割画像生成方法。
- 前記ステップ(a3)では、前記領域分離度に応じて時分割を行う時点が変化する、請求項10に記載の領域分割画像生成方法。
- 前記複数フレームの画像内のオブジェクトは静止しており、当該画像を構成する各画素の輝度が時間とともに変化する、請求項1乃至8の何れかに記載の領域分割画像生成方法。
- 前記オブジェクトは電位依存性の蛍光色素が付与された神経細胞であり、当該神経細胞に対して電気的刺激を与えることによって前記各画素の輝度が時間とともに変化する、請求項12に記載の領域分割画像生成方法。
- 前記ステップ(b)では、k-means法によって前記分類を行う、請求項1乃至13の何れかに記載の領域分割画像生成方法。
- 前記ステップ(c)にて生成された領域分割画像の特徴量を抽出するステップ(d)をさらに有する、請求項1乃至14の何れかに記載の領域分割画像生成方法。
- 時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするT1次元空間(T1はフレーム数)に配置する画素配置手段と、
当該画素配置手段によって前記T1次元空間に配置された各画素を、それらの画素のT1次元空間における位置関係に基づいて分類する画素分類手段と、
当該画素分類手段によって分類された結果に基づいて、複数の領域に分割された領域分割画像を生成する領域分割画像生成手段と
を備える、領域分割画像生成装置。 - コンピュータに、
時系列的に得られた複数フレームの画像を構成する各画素を、各フレームにおける輝度を軸とするT1次元空間(T1はフレーム数)に配置させる手順と、
前記T1次元空間に配置された各画素を、それらの画素のT1次元空間における位置関係に基づいて分類させる手順と、
分類した結果に基づいて、複数の領域に分割された領域分割画像を生成させる手順と
を実行させるためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009212291A JP4696278B2 (ja) | 2009-09-14 | 2009-09-14 | 領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラム |
PCT/JP2010/065326 WO2011030756A1 (ja) | 2009-09-14 | 2010-09-07 | 領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009212291A JP4696278B2 (ja) | 2009-09-14 | 2009-09-14 | 領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011060227A JP2011060227A (ja) | 2011-03-24 |
JP4696278B2 true JP4696278B2 (ja) | 2011-06-08 |
Family
ID=43732428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009212291A Expired - Fee Related JP4696278B2 (ja) | 2009-09-14 | 2009-09-14 | 領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4696278B2 (ja) |
WO (1) | WO2011030756A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6494903B2 (ja) | 2013-02-14 | 2019-04-03 | ソニー株式会社 | 分析システム、分析プログラム及び分析方法 |
JP6562059B2 (ja) * | 2013-02-14 | 2019-08-21 | ソニー株式会社 | 神経細胞評価装置、神経細胞評価プログラム及び神経細胞評価方法 |
CN106023224A (zh) * | 2016-05-30 | 2016-10-12 | 天水师范学院 | 一种中药材显微图像的pcnn自动分割方法 |
CN106097303B (zh) * | 2016-05-30 | 2018-11-27 | 天水师范学院 | 一种适合处理显微图像pcnn模型的构建方法 |
JP6970553B2 (ja) * | 2017-08-17 | 2021-11-24 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3055423B2 (ja) * | 1995-03-23 | 2000-06-26 | 富士ゼロックス株式会社 | 領域分割装置 |
JP4193168B2 (ja) * | 2002-02-01 | 2008-12-10 | 株式会社日立メディコ | 血流動態解析装置及び方法 |
JP2003299646A (ja) * | 2002-04-11 | 2003-10-21 | Hitachi Medical Corp | 画像解析装置 |
CN101326545B (zh) * | 2005-08-19 | 2012-05-30 | 松下电器产业株式会社 | 图像处理方法和图像处理*** |
JP2009075868A (ja) * | 2007-09-20 | 2009-04-09 | Toshiba Corp | 画像から対象を検出する装置、方法およびプログラム |
JP5063277B2 (ja) * | 2007-09-26 | 2012-10-31 | 株式会社アイリス | 身体装身具の製造方法 |
-
2009
- 2009-09-14 JP JP2009212291A patent/JP4696278B2/ja not_active Expired - Fee Related
-
2010
- 2010-09-07 WO PCT/JP2010/065326 patent/WO2011030756A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2011030756A1 (ja) | 2011-03-17 |
JP2011060227A (ja) | 2011-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110892414B (zh) | 用于基于分类器的卷积神经网络的视觉分析*** | |
US10733726B2 (en) | Pathology case review, analysis and prediction | |
CN107924472B (zh) | 基于脑部计算机界面的图像分类的方法及*** | |
CN110139597B (zh) | 利用神经生理信号进行迭代分类的***和方法 | |
JP4696278B2 (ja) | 領域分割画像生成方法、領域分割画像生成装置及びコンピュータプログラム | |
JP2018142097A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2006507558A (ja) | 階層的視覚化を介しての多次元データのビューイング | |
CN109858563A (zh) | 基于变换识别的自监督表征学习方法及装置 | |
CN108764084A (zh) | 基于空域分类网络和时域分类网络融合的视频分类方法 | |
CN111951637A (zh) | 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法 | |
Raj et al. | Image based bird species identification using convolutional neural network | |
Wang et al. | Classification and extent determination of rock slope using deep learning | |
Tawhid et al. | Textural feature based intelligent approach for neurological abnormality detection from brain signal data | |
US20180121811A1 (en) | Profiling a population of examples in a precisely descriptive or tendency-based manner | |
CN112274154B (zh) | 基于脑电样本权重调整的跨被试疲劳驾驶分类方法 | |
CN110622042A (zh) | 分析设备、地层断代设备、分析方法、地层断代方法和程序 | |
de Menezes et al. | Classification of mice head orientation using support vector machine and histogram of oriented gradients features | |
WO2018131723A1 (ja) | 画像処理装置及び画像処理方法 | |
Jurjuţ et al. | A color-based visualization technique for multielectrode spike trains | |
Budinska et al. | Gene expression-guided selection of histopathology image features | |
Patil et al. | A Comparative Study of Alzheimer Detection Techniques | |
R Swadi et al. | Deep Learning Model For Autism Diagnosing | |
Loke et al. | Human visual cortex and deep convolutional neural network care deeply about object background | |
O’Driscoll et al. | The effect of SOM size and similarity measure on identification of functional and anatomical regions in fMRI data | |
Kvam | The Tweedledum and Tweedledee of dynamic decisions: Discriminating between diffusion and accumulator models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110125 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4696278 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |