JP5878756B2 - 画像処理装置、撮像装置、顕微鏡装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、試料のイメージ画像から分子位置を特定する画像処理装置、撮像装置、顕微鏡装置、画像処理方法、及び画像処理プログラムに関する。

従来から、蛍光分子等を含む試料からの光を撮像し、その結果得られた画像データを用いて蛍光分子等の分子の位置を特定することが試みられている。例えば、下記非特許文献１には、試料の光学画像から超解像画像を作成する方法が開示されている。この方法では、光学画像を構成する画素のうち輝度値が最大の画素を候補分子として特定し、その画像に対してモデル分子の輝度分布をフィッティングさせた後、フィットしたモデル分子の輝度分布を画像から減算してから、上記候補分子を記憶する。そして、減算された画像を対象に、再び、候補分子の特定、フィッティング、画像から輝度分布の減算、及び候補分子の記憶を繰り返し、記憶された候補分子を基に超解像度画像を生成する。

Seamus J Holden, Stephan Uphoff & Achillefs N Kapanidis, "DAOSTORM:an algorithm for high density super-resolution microscopy", Nature Methods,vol. 8 no. 4, April 2011

しかしながら、上記非特許文献１に記載の方法では、複数の分子が互いに離れている場合には適用可能であるが、複数の分子間の距離が近い場合には、各分子からの光が重なった状態で光学画像が生成されるため、輝度値に基づいて候補分子を特定する方法では、複数の分子を分離して判別することが困難である。或いは、複数の分子を誤って１つの分子として特定してしまう場合もある。

そこで、本発明は、かかる課題に鑑みて為されたものであり、複数の分子を高精度で特定することが可能な画像処理装置、撮像装置、顕微鏡装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

上記課題を解決するため、本発明の画像処理装置は、撮像素子によって取得された試料のイメージ画像を基に分子位置を特定する画像処理装置であって、分子モデルに対応するＭ行Ｍ列（Ｍは３以上の整数）の画素に含まれるテンプレートから、分子モデルの形状を所定の割合に分割した形状に対応する部分テンプレートを作成するテンプレート作成手段と、イメージ画像中において、選択した注目画素を中心にして所定角度ずつ回転させた形状に対応した部分テンプレートを用いて、イメージ画像と該部分テンプレートとの一致度を評価して複数の注目画素毎に評価値を算出する評価値算出手段と、イメージ画像中の複数の注目画素に対して算出された評価値に基づいて、イメージ画像中の分子位置を特定する分子位置特定手段と、を備える。

或いは、本発明の撮像装置は、上述の画像処理装置と、イメージ画像を取得する撮像素子と、を備える。

或いは、本発明の顕微鏡装置は、上述の画像処理装置と、イメージ画像を取得する撮像素子と、撮像素子に対して試料の像を生成する光学系と、を備える。

或いは、本発明の画像処理方法は、撮像素子によって取得された試料のイメージ画像を基に分子位置を特定する画像処理方法であって、画像処理装置が、分子モデルに対応するＭ行Ｍ列（Ｍは３以上の整数）の画素に含まれるテンプレートから、分子モデルの形状を所定の割合に分割した形状に対応する部分テンプレートを作成するテンプレート作成ステップと、画像処理装置が、イメージ画像中において、選択した注目画素を中心にして所定角度ずつ回転させた形状に対応した部分テンプレートを用いて、イメージ画像と該部分テンプレートとの一致度を評価して複数の注目画素毎に評価値を算出する評価値算出ステップと、画像処理装置が、イメージ画像中の複数の注目画素に対して算出された評価値に基づいて、イメージ画像中の分子位置を特定する分子位置特定ステップと、を備える。

或いは、本発明の画像処理プログラムは、撮像素子によって取得された試料のイメージ画像を基に分子位置を特定する画像処理プログラムであって、コンピュータを、分子モデルに対応するＭ行Ｍ列（Ｍは３以上の整数）の画素に含まれるテンプレートから、分子モデルの形状を所定の割合に分割した形状に対応する部分テンプレートを作成するテンプレート作成手段、イメージ画像中において、選択した注目画素を中心にして所定角度ずつ回転させた形状に対応した部分テンプレートを用いて、イメージ画像と該部分テンプレートとの一致度を評価して複数の注目画素毎に評価値を算出する評価値算出手段、及びイメージ画像中の複数の注目画素に対して算出された評価値に基づいて、イメージ画像中の分子位置を特定する分子位置特定手段、として機能させる。

このような画像処理装置、撮像装置、顕微鏡装置、画像処理方法、及び画像処理プログラムによれば、Ｍ行Ｍ列の画素に含まれるテンプレートから分割された部分テンプレートが作成され、イメージ画像から選択された注目画素を中心に回転させた形状に対応した部分テンプレートを用いて、部分テンプレートとイメージ画像との一致度が評価され、得られた評価値を基に分子位置が特定される。これにより、注目画素を中心に分布する分子像を、その一部が他の分子像と重複した場合であっても分割した画素領域でテンプレートとマッチングさせることで、高精度で特定することができる。

ここで、テンプレートは、円形画像に対応した画素を有し、部分テンプレートは、円形画像の中心角をα倍（αは１より小さく０より大きい数）した中心角を有する扇形の形状に対応した画素を有する、ことが好適である。この場合、分子像の縁部に適合しやすい部分テンプレートを用いて一致度が評価される結果、分子の中心位置をさらに高精度で特定することができる。

また、評価値算出手段は、一致度の評価対象の注目画素の画素値に対応して、部分テンプレートに対応する所定の割合を選択する、ことも好適である。かかる評価値算出手段を備えれば、複数の分子の重複度合いに応じて部分テンプレートの分割割合が調整されるので、分子像と部分テンプレートとの一致度を適切に評価することができる。その結果、分子位置を高精度で特定することができる。

さらに、評価値算出手段は、イメージ画像に含まれる画素のうちから、該画素の画素値に基づいて評価値の算出対象の注目画素を選択する、ことも好適である。かかる構成を備えれば、分子が存在する確率の高い注目画素のみを対象に評価値の計算及び分子位置の特定の処理が行われるので、装置の処理負荷が低減されるとともに高精度で分子位置が特定される。

またさらに、評価値算出手段は、分子位置特定手段によって分子位置として特定された注目画素を複数の分割領域に分割し、複数の分割領域毎に部分テンプレートを用いて評価値を再度算出し、分子位置特定手段は、注目画素中の複数の分割領域に対して算出された評価値に基づいて、イメージ画像中の分子位置を再度特定する、ことも好適である。かかる構成によれば、イメージ画像中の分子位置をより細密に特定することができる。

本発明によれば、イメージ画像中で複数の分子を高精度で特定することができる。

本発明の好適な一実施形態に係る顕微鏡装置１の概略構成図である。 図１のテンプレート作成部１５によって作成されたテンプレートの一例を示す概念図である。 図１の評価値算出部１７による評価値の算出対象の対象エリアにおける列方向の輝度値の分布の一例を示すグラフである。 図１の評価値算出部１７によって再生成された部分テンプレートの一例を示概念図である。 図１の画像処理装置１０のテンプレート作成処理時の動作を示すフローチャートである。 、図１の画像処理装置１０の超解像画像作成処理時の動作を示すフローチャートである。 図１の画像処理装置１０によって処理される対象エリアの画像イメージを示す図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。 本発明の変形例に係る画像処理装置１０の超解像画像作成処理時の動作を示すフローチャートである。

以下、図面を参照しつつ本発明に係る画像処理装置、撮像装置、顕微鏡装置、画像処理方法、及び画像処理プログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。

図１は、本発明の好適な一実施形態に係る顕微鏡装置１の概略構成図である。同図に示す顕微鏡装置１は、生細胞等の試料中の蛍光分子や発光分子等の分子の位置を特定するための装置であり、試料を撮像して取得された２次元の画素からなるイメージ画像を処理する画像処理装置１０と、試料の光学像を得る顕微鏡３０と、顕微鏡３０で得られた光学像を受けるリレーレンズ５０と、リレーレンズ５０によって結像された試料の光学像を撮像して光学画像（イメージ画像）を生成するＣＭＯＳセンサやＣＣＤセンサ等の撮像素子４０とを含んで構成されている。

顕微鏡３０は、試料が載置される試料ステージ３１と、試料に照明光を照射する照明光源３２と、試料の観察用の光学系である対物レンズ３３とを有する。この顕微鏡３０と撮像素子４０との間にリレーレンズ５０が配置される。

画像処理装置１０は、ＣＰＵを具備しソフトウエアによる処理や制御を行なうサーバ装置、パーソナルコンピュータ等のデータ処理装置である画像処理部１１と、画像処理部１１に対して外部からデータを入力する入力部１２と、画像処理部１１によって処理されたデータを出力するディスプレイ等の表示部１３とを含んでいる。この画像処理部１１は、機能的な構成要素として、光学画像記憶部１４、テンプレート作成部（テンプレート作成手段）１５、エリア設定部１６、評価値算出部（評価値算出手段）１７、分子位置特定部（分子位置特定手段）１８、分子位置記憶部１９、差分画像生成部２０、及び出力画像生成部２１を備えている。さらに、このテンプレート作成部１５は、テンプレート設定部１５ａ、テンプレート情報記憶部１５ｂ、及び分割領域設定部１５ｃによって構成されている。

以下、画像処理部１１の各構成要素の機能について詳細に説明する。

光学画像記憶部１４は、撮像素子４０によって生成された光学画像を一時記憶する情報記憶手段である。テンプレート設定部１５ａは、１つの蛍光分子を含むモデル試料を基に撮像素子４０によって得られた１分子光学画像を光学画像記憶部１４から読み出し、この１分子光学画像から、１蛍光分子モデルに対応するＭ行Ｍ列（Ｍは３以上の整数）の画素からなる２次元画像であるテンプレートを作成する。１分子蛍光は一般的には２次元ガウス分布であるため、テンプレート設定部１５ａによって作成されるテンプレートはＭ行Ｍ列の範囲内の円形領域または略円形領域に対応する画素領域における２次元ガウス分布に対応する輝度の画像データとなる。このような円形領域または略円形領域が１蛍光分子モデルの形状に対応している。図２（ａ）には、５行５列で作成されたテンプレートＴ１の一例を示す概念図を示しており、同図中の５行５列の矩形画像において、円形領域Ｃ１に対応する斜線で示す部分が、輝度値として２次元ガウス分布に対応する有意な値が設定された画素であることを示している。ここでいう「有意な値の画素」とは、輝度値として所定の値（例えば、零値）以上の輝度、すなわち発光を示す画素を意味している。テンプレート情報記憶部１５ｂは、テンプレート設定部１５ａによって生成されたテンプレートを記憶する。

分割領域設定部１５ｃは、テンプレート設定部１５ａによって生成されたテンプレートをテンプレート情報記憶部１５ｂから読み出し、そのテンプレートを予め定められた複数の割合に分割した部分テンプレートを作成し、それらの部分テンプレートをテンプレート情報記憶部１５ｂに記憶する。詳細には、分割領域設定部１５ｃは、テンプレートが円形領域Ｃ１に対応して生成された場合には、そのテンプレートを基に、所定の中心角を有する扇形の形状に対応した画素群として部分テンプレートを作成する。なお、所定の中心角とは、テンプレートを構成する円形領域Ｃ１の中心角である３６０°をα倍（αは０より大きく１より小さい数）したα×３６０°の角度の中心角である。分割領域設定部１５ｃは、テンプレート設定部１５ａは、αの値が異なる複数の部分テンプレートを作成する。例えば、図２（ｂ）、（ｃ）、（ｄ）、（ｅ）に示すように、分割領域設定部１５ｃは、円形領域Ｃ１の中心角である３６０°を１／４、１／３、１／２、２／３倍した中心角を持つ扇形領域Ｃ２，Ｃ３，Ｃ４，Ｃ５に対応した画素を有する部分テンプレートＴ２，Ｔ３，Ｔ４，Ｔ５を、それぞれ作成する。このようにして作成された部分テンプレートＴ２，Ｔ３，Ｔ４，Ｔ５は、それぞれ、中心角が９０度、１２０度、１８０度、２４０度に設定された扇形領域Ｃ２，Ｃ３，Ｃ４，Ｃ５に対応したものに設定される。

エリア設定部１６は、光学画像記憶部１４から分子位置特定処理の対象の光学画像を読み出し、その光学画像を対象にテンプレートマッチング処理の対象エリアを設定する。すなわち、エリア設定部１６は、１蛍光分子モデルのサイズであるＭ行Ｍ列の画素サイズに対応して、２×Ｍ行２×Ｍ列の矩形の対象エリアを設定する。そして、エリア設定部１６は、１つの光学画像を対象にテンプレートマッチング処理が繰り返される毎に、その光学画像の対象エリアを変更する。例えば、エリア設定部１６は、光学画像における２×Ｍ行２×Ｍ列の対象エリアを１画素ずつずらして設定する。なお、エリア設定部１６は、テンプレートマッチング処理の対象エリアとして、１蛍光分子モデルのサイズを有する円形領域に対応するエリアを設定してもよく、β×Ｍ行β×Ｍ列（βは１より大きい数）のサイズで設定してもよい。

評価値算出部１７は、エリア設定部１６によって設定された対象エリア中に注目画素を選択し、その注目画素を中心にして所定角度（０度より大きい角度）ずつ回転させた扇形形状に対応した部分テンプレートを用いて、対象エリアに含まれる複数の注目画素ごとに、光学画像と部分テンプレートとの輝度の一致度を評価する評価値を算出する。このとき、評価値算出部１７は、使用する部分テンプレートを注目画素の輝度レベルに基づいて設定する。すなわち、評価値算出部１７は、注目画素の輝度値に応じて部分テンプレートに対応する領域Ｃ２，Ｃ３，Ｃ４，Ｃ５の中心角を選択し、選択した領域Ｃ２，Ｃ３，Ｃ４，Ｃ５に対応する部分テンプレートをテンプレート情報記憶部１５ｂから読み出す。

図３には、評価値算出部１７による評価値の算出対象の対象エリアにおける列方向の輝度値の分布の一例を示す。このように対象エリアにおける輝度値が最小値Ｖ_ＬＭＩＮから最大値Ｖ_ＬＭＡＸまで分布している場合には、評価値算出部１７は、輝度値が最小値Ｖ_ＬＭＩＮから最小値Ｖ_ＬＭＩＮと最大値Ｖ_ＬＭＡＸとの間の３０％までの範囲Ｒ_１の注目画素に対しては、中心角が２４０度の部分テンプレートＴ５（図２（ｅ））を選択する。この最大値Ｖ_ＬＭＡＸは、ノイズ成分を含まないようにするために、対象エリアの全画素の輝度値が高いほうから０．５％を除いた後の最大輝度に設定される。また、評価値算出部１７は、輝度値が最小値Ｖ_ＬＭＩＮと最大値Ｖ_ＬＭＡＸとの間の３０％〜５０％の範囲Ｒ_２の注目画素に対しては、中心角が１８０度の部分テンプレートＴ４（図２（ｄ））を選択する。また、評価値算出部１７は、輝度値が最小値Ｖ_ＬＭＩＮと最大値Ｖ_ＬＭＡＸとの間の５０％〜７０％の範囲Ｒ_３の注目画素に対しては、中心角が１２０度の部分テンプレートＴ３（図２（ｃ））を選択する。さらに、評価値算出部１７は、輝度値が最小値Ｖ_ＬＭＩＮと最大値Ｖ_ＬＭＡＸとの間の７０％から最大値Ｖ_ＬＭＡＸまでの範囲Ｒ_４の注目画素に対しては、中心角が９０度の部分テンプレートＴ２（図２（ｂ））を選択する。このように輝度値に応じて部分テンプレートの中心角の大小を設定するのは、次の理由による。すなわち、輝度が高い位置では分子が重複して存在している可能性が高くテンプレートにマッチングする部位が狭く限定される一方で、輝度が低い位置では分子が重複して存在している可能性が低くテンプレートにマッチングする部位が広く取れるためである。

そして、評価値算出部１７は、注目画素を対象に選択した部分テンプレートを用いて評価値を算出する際には、選択した注目画素を中心にして部分テンプレートを重ね合わせ、注目画素を中心とした対象エリア内の画素と部分テンプレートとの輝度差の二乗和（ＳＳＤ：Sum of Squared Difference）を計算し、その二乗和を注目画素の輝度で正規化した値を評価値として算出する。さらに、評価値算出部１７は、選択した部分テンプレートを所定角度ずつ回転させた形状に対応する部分テンプレートを再生成し、再生成した部分テンプレートを用いて、上記と同様にして評価値を算出する。詳細には、評価値算出部１７は、中心角が９０度の扇形領域Ｃ２に対応する部分テンプレートＴ２（図４（ａ））を選択した場合には、その部分テンプレートを周方向の画素数分で分割した角度（例えば、５行５列のテンプレートでは３６０度／１６画素＝２２．５度）のステップで回転させることで部分テンプレートを再生成する。ただし、部分テンプレートを回転させる角度ステップとしては、周方向の画素数分で分割した角度には限定されず、予め設定された任意の所定角度ステップ（例えば、１度ずつ）であってもよい。図４（ｂ）〜（ｆ）には、それぞれ、扇形領域Ｃ２をその中心を回転中心として２２．５度、４５度、２９２．５度、３１５度、３３７．５度回転された領域Ｃ２１〜２５に対応して再生成された部分テンプレートＴ２１〜Ｔ２５を示している。さらに、評価値算出部１７は、選択及び再生成した複数の部分テンプレートを用いて評価値を算出した後に、一致度が最も高い、すなわち、算出した評価値が最も小さい値をその注目画素の評価値として決定する。なお、評価値算出部１７は、複数の部分テンプレートに対して算出した評価値の平均値をその注目画素の評価値として決定してもよい。

分子位置特定部１８は、光学画像に含まれる複数の対象エリアに対して算出された評価値を対象にして、一致度の高い評価値を特定し、特定した評価値を持つ注目画素の位置を光学画像中の分子位置として特定する。一致度の高い評価値の特定は、予め設定された閾値との比較によって行われてもよいし、対象エリアで一致度の最も高い評価値を選んでもよい。また、分子位置特定部１８は、光学画像中で分子位置を複数同時に特定する場合には、複数の分子位置間の距離が予め定められた距離（例えば、１分子の大きさ）を超えるように分子位置を選び出してもよい。分子位置特定部は、特定した分子位置を、その都度、分子位置記憶部１９に記憶する。

差分画像生成部２０は、エリア設定部１６、評価値算出部１７、及び分子位置特定部１８によって処理された光学画像から、分子位置特定部１８によって特定された分子位置を基準にして、１蛍光分子モデルに対応するテンプレートに対応する輝度値を除外する。具体的には、差分画像生成部２０は、光学画像において、分子位置に対応する画素を中心にして、テンプレートに対応する複数の画素のそれぞれの輝度値から、分子位置を中心にして配置されたテンプレートにおける対応位置の輝度値を減算する。差分画像生成部２０は、減算処理された光学画像をエリア設定部１６に出力し、再度、その光学画像を対象にしたテンプレートマッチング処理および分子位置の特定処理を繰り返させる。

出力画像生成部２１は、分子位置記憶部１９に記憶された分子位置を示す出力画像である超解像画像を生成し、表示部１３に出力する。この超解像画像は、光学画像記憶部１４に記憶された光学画像に重畳させて出力されてもよいし、分子位置を示す画像のみとして出力されてもよい。

以下、画像処理装置１０の動作について説明するとともに、本実施形態に係る画像処理方法について詳述する。図５は、画像処理装置１０のテンプレート作成処理時の動作を示すフローチャート、図６は、画像処理装置１０の超解像画像作成処理時の動作を示すフローチャート、図７は、画像処理装置１０によって処理される対象エリアの画像イメージを示す図である。

図５を参照して、処理対象の試料の光学画像から超解像画像を作成する際には、それに先立って、画像処理装置１０によってテンプレート作成処理が予め実行される。まず、撮像素子４０によって１つの蛍光分子を含むモデル試料を基に１分子光学画像が得られ、得られた１分子光学画像が光学画像記憶部１４に記憶される（ステップＳ０１）。次に、テンプレート設定部１５ａにより、光学画像記憶部１４から１分子光学画像が読み出され、その１分子光学画像からＭ行Ｍ列（Ｍは３以上の整数）の２次元画像であるテンプレートが作成される（ステップＳ０２）。作成されたテンプレートはテンプレート情報記憶部１５ｂに記憶される。さらに、分割領域設定部１５ｃにより、テンプレートから所定の中心角（α（αは０より大きく１より小さい数）×３６０°）を有する扇形の形状に対応した画素群である部分テンプレートが作成される（ステップＳ０３）。部分テンプレートは、中心角が異なる複数の部分テンプレートとして作成され、作成された複数の部分テンプレートはテンプレート情報記憶部１５ｂに記憶される。

図６を参照して、上記テンプレート作成処理の完了後に、画像処理装置１０によって、処理対象の試料の光学画像から超解像画像を作成する超解像画像作成処理が開始される。詳細には、まず、撮像素子４０によって対象試料を基に光学画像が得られ、得られた光学画像が光学画像記憶部１４に記憶される（ステップＳ１０１）。その後、エリア設定部１６により、光学画像中にβ×Ｍ行β×Ｍ列（βは１より大きい数）の対象エリア（図７（ａ））が複数設定され、対象エリア毎の分子輝度マップが作成される（ステップＳ１０２）。この分子輝度マップは、対象エリア内の各画素に対して、各画素を中心にした１分子領域（１分子サイズの正方形領域）の輝度値合計がマッピングされたデータとして作成される。そして、エリア設定部１６により、分子輝度マップを基に、輝度値合計が予め設定された閾値以上の画素が注目画素として選択される（ステップＳ１０３、図７（ｂ））。例えば、エリア設定部１６により、図７（ｂ）に斜線で示す画素が注目画素として絞り込んで選択される。

さらに、評価値算出部１７により、絞り込まれた注目画素の１つが選択される（ステップＳ１０４）。次に、評価値算出部１７により、評価値計算に用いる部分テンプレートの中心角が注目画素の輝度値に応じて設定され、その設定された中心角に対応する部分テンプレートがテンプレート情報記憶部１５ｂから読み出される（ステップＳ１０５）。そして、評価値算出部１７により、読み出された部分テンプレートを使用して注目画素の評価値が算出される（ステップＳ１０６）。さらに、評価値算出部１７により、評価値の算出対象の注目画素が残っているか否かが判定される（ステップＳ１０７）。判定の結果、残りの注目画素が存在する場合には（ステップＳ１０７；ＹＥＳ）、処理がステップＳ１０４に戻され、部分テンプレートの設定及び評価値の算出が繰り返される。一方、残りの注目画素が存在しない場合には（ステップＳ１０７；ＮＯ）、分子位置特定部１８によって、分子位置としての候補である候補画素の位置が特定される（ステップＳ１０８、図７（ｃ））。例えば、分子位置特定部１８によって、図７（ｃ）に斜線で示す画素の位置が候補画素として特定される。

次に、差分画像生成部２０により、分子位置特定部１８によって特定された分子位置を基準にして、光学画像から１蛍光分子モデルの分子像に対応するテンプレートが減算される（ステップＳ１０９、図７（ｄ））。さらに、差分画像生成部２０によって、減算された光学画像中に有意な値を持つ画素（有効画素）が存在するか否かが判定される（ステップＳ１１０）。その結果、有効画素が存在すると判断された場合には（ステップＳ１１０；ＹＥＳ）、処理がステップＳ１０２に戻されて、減算された光学画像を対象に注目画素の絞込処理および分子位置の特定処理が繰り返される（図７（ｅ）、（ｆ））。その一方で、有効画素が存在しないと判断された場合には（ステップＳ１１０；ＮＯ）、分子位置の特定処理が完了され、出力画像生成部２１により、それまで特定された候補画素を基に超解像画像が生成されて出力される（ステップＳ１１１）。

以下、コンピュータを画像処理装置１０として動作させる画像処理プログラムについて説明する。

本発明の実施形態に係る画像処理プログラムは、記録媒体に格納されて提供される。記録媒体としては、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。

図８は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図９は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。コンピュータとして、ＣＰＵを具備しソフトウエアによる処理や制御を行なうサーバ装置、パーソナルコンピュータ等の各種データ処理装置を含む。

図８に示すように、コンピュータ１３０は、フロッピー（登録商標）ディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１１４と、記録媒体１１０に記憶されたプログラムを記憶するメモリ１１６と、ディスプレイといった表示装置１１８と、入力装置であるマウス１２０及びキーボード１２２と、データ等の送受を行うための通信装置１２４と、プログラムの実行を制御するＣＰＵ１２６とを備えている。コンピュータ１３０は、記録媒体１１０が読取装置１１２に挿入されると、読取装置１１２から記録媒体１１０に格納された画像処理プログラムにアクセス可能になり、当該画像処理プログラムによって、本実施形態の画像処理装置１０として動作することが可能になる。

図９に示すように、画像処理プログラムは、搬送波に重畳されたコンピュータデータ信号１４１としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ１３０は、通信装置１２４によって受信した画像処理プログラムをメモリ１１６に格納し、当該画像処理プログラムを実行することができる。

以上説明した顕微鏡装置１によれば、Ｍ行Ｍ列の画素に含まれるテンプレートから分割された部分テンプレートが作成され、対象試料の光学画像から選択された注目画素を中心に回転させた形状に対応した部分テンプレートを用いて、部分テンプレートと光学画像との一致度が評価され、得られた評価値を基に分子位置が特定される。これにより、注目画素を中心に分布する分子像を、その一部が他の分子像と重複した場合であっても分割した画素領域でテンプレートとマッチングさせることで、高精度で特定することができる。具体的には、テンプレートとして円形画像に対応した形状の画像を生成し、部分テンプレートとしてその円形画像から扇形の形状に対応した画像を生成して、分子像の縁部に適合しやすい部分テンプレートを用いて一致度が評価されるので、複数の分子像が重なり合った光学画像を対象にしても分子の中心位置をさらに高精度で特定することができる。すなわち、扇形形状に対応した部分テンプレートを用いることで、単一の分子の縁部を高精度で見つけ出してそれを基に分子の中心位置を特定できる。

また、部分テンプレートは、テンプレートの中心角をα倍（αは１より小さく０より大きい数）した中心角を有する扇形の形状に対応した画素を有することが好ましい。これにより、テンプレートが円形もしくは略円形の場合、適切な形状の部分テンプレートを作成できる。

また、部分テンプレートは、中心角の角度が異なる複数の部分テンプレートとして作成されることが好ましい。これにより、状況に応じて、部分テンプレートを使い分けることができる。

また、評価値算出部１７により、一致度の評価対象の注目画素の画素値に対応して、部分テンプレートの中心角を選択するので、光学画像における複数の分子の重複度合いに応じて部分テンプレートの分割割合が調整される結果、分子像と部分テンプレートとの一致度を適切に評価することができる。その結果、分子位置を高精度で特定することができる。

評価値算出部１７は、選択した注目画素を中心にして所定角度ずつ回転させた形状に対応した部分テンプレートを用いて評価値を算出する際の所定角度としては、テンプレートに対応するＭ行Ｍ列の画素群の周方向の画素数分で分割した角度であることが好ましい。このとき、Ｍ行Ｍ列の画素群の周方向の画素数は、４×Ｍ−４画素となる。これにより、部分テンプレートの重複を低減でき、評価値の算出を効率的に行うことができる。

また、評価値算出部１７により、光学画像に含まれる画素のうちから画素値に基づいて注目画素が選択されるので、分子が存在する確率の高い注目画素のみを対象に評価値の計算及び分子位置の特定の処理が行われる。その結果、装置の処理負荷が低減されるとともに高精度で分子位置が特定される。

評価値算出部１７によって評価される対象エリアは、Ｍ行Ｍ列のテンプレートを用いる場合、β×Ｍ行β×Ｍ列（βは１より大きい数）であるほうが好ましい。高い評価値を持つ注目画素が狭い範囲に複数存在する場合でも、分子位置を高精度で特定できる。

なお、本発明は、前述した実施形態に限定されるものではない。例えば、画像処理装置１０が、撮像素子４０と共に一体化されたカメラユニット等の撮像装置を構成してもよい。

また、テンプレート設定部１５ａ及び分割領域設定部１５ｃにより、テンプレート及び部分テンプレートが作成される際には、入力部１２によって外部から入力された中心角度や、部分テンプレートの中心角度を決定するための輝度範囲等の各種パラメータに基づいて作成されてもよい。

また、画像処理部１１によって光学画像を対象に分子位置を特定した後に、分子位置に対応する候補画素を複数の分割領域に分割した画素を対象にして分子位置を再度特定してもよい。図１０は、この場合の画像処理部１１による超解像画像の作成処理の手順を示すフローチャートである。

同図に示すように、超解像画像作成処理が開始されると、図６のステップＳ１０１〜ステップＳ１０８と同様にして、光学画像中の候補画素の位置が特定される（ステップＳ２０１，Ｓ２０２）。次に、エリア設定部１６によって光学画像の各画素が１０行１０列の副画素（サブピクセル、分割領域）に分割される（ステップＳ２０３）。その後、分割した光学画像中の候補画素に含まれる副画素（サブピクセル）を対象にして、ステップＳ１０２〜ステップＳ１０８と同様にして、評価値が算出され、評価値を基に候補画素の詳細位置が副画素単位で特定される（ステップＳ２０４）。ここで、使用されるテンプレート及び部分テンプレートは、分割した光学画像の解像度及び１蛍光分子モデルのサイズに対応して再作成されたものが使用される。そして、差分画像生成部２０により、光学画像から、１蛍光分子モデルに対応するテンプレートが、特定された候補画素の位置を基準として減算される（ステップＳ２０５）。さらに、差分画像生成部２０によって、減算された光学画像中に有効画素が存在するか否かが判定される（ステップＳ２０６）。その結果、有効画素が存在すると判断された場合には（ステップＳ２０６；ＹＥＳ）、処理がステップＳ２０２に戻されて、減算された分割前の光学画像及び分割後の光学画像を対象に、分子位置の特定処理が繰り返される。その一方で、有効画素が存在しないと判断された場合には（ステップＳ２０６；ＮＯ）、分子位置の特定処理が完了され、出力画像生成部２１により、それまで特定された候補画素を基に超解像画像が生成されて出力される（ステップＳ２０７）。このような超解像画像作成処理によれば、光学画像中の分子位置をより細密に特定することができる。

また、画像処理装置１０の処理対象の光学画像としては、撮像素子４０によって取得された原画像が使用されてもよいし、原画像の解像度が比較的高い場合には原画像の解像度をダウンサンプリング処理によって落とした光学画像が使用されてもよい。

また、画像処理装置１０は、光学画像中の注目画素に対してテンプレートマッチングを行って評価値を算出した後に、対象エリアを設定し、その対象エリア内の中で一致度の最も高い画素を分子位置として特定してもよい。

すなわち、評価値算出部１７は、光学画像を構成する複数の画素の中から注目画素を選択し、その注目画素を中心にして所定角度（０より大きい角度）ずつ回転させた扇形形状に対応した部分テンプレートを用いて、光学画像と部分テンプレートとの輝度の一致度を評価する評価値を算出する。算出された複数の評価値に基づいて、選択された注目画素の比較評価値を算出する。

その後、分子位置特定部１８が、エリア設定部１６で設定された対象エリア中の複数の注目画素のうち、比較評価値の示す一致度が最も高い注目画素の位置を分子位置として記憶する。これにより、一致度の高い注目画素が近接している場合でも、高精度に分子位置を特定できる。

１…顕微鏡装置、１０…画像処理装置、１１…画像処理部、１２…入力部、１３…表示部、１５…テンプレート作成部（テンプレート作成手段）、１７…評価値算出部（評価値算出手段）、１８…分子位置特定部（分子位置特定手段）、３０…顕微鏡、３３…対物レンズ（光学系）、４０…撮像素子、５０…リレーレンズ（光学系）、Ｔ１…テンプレート、Ｔ２，Ｔ３，Ｔ４，Ｔ５…部分テンプレート、Ｔ２１，Ｔ２２，Ｔ２３，Ｔ２４，Ｔ２５…部分テンプレート。

Claims (9)

1. 撮像素子によって取得された試料のイメージ画像を基に分子位置を特定する画像処理装置であって、
   分子モデルに対応するＭ行Ｍ列（Ｍは３以上の整数）の画素に含まれるテンプレートから、前記分子モデルの形状を所定の割合に分割した形状に対応する部分テンプレートを作成するテンプレート作成手段と、
   前記イメージ画像中において、選択した注目画素を中心にして所定角度ずつ回転させた形状に対応した前記部分テンプレートを用いて、前記イメージ画像と該部分テンプレートとの一致度を評価して複数の前記注目画素毎に評価値を算出する評価値算出手段と、
   前記イメージ画像中の複数の前記注目画素に対して算出された前記評価値に基づいて、前記イメージ画像中の前記分子位置を特定する分子位置特定手段と、
   を備えることを特徴とする画像処理装置。
2. 前記テンプレートは、円形画像に対応した画素を有し、
   前記部分テンプレートは、前記円形画像の中心角をα倍（αは１より小さく０より大きい数）した中心角を有する扇形の形状に対応した画素を有する、
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記評価値算出手段は、前記一致度の評価対象の前記注目画素の画素値に対応して、前記部分テンプレートに対応する前記所定の割合を選択する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記評価値算出手段は、前記イメージ画像に含まれる画素のうちから、該画素の画素値に基づいて前記評価値の算出対象の前記注目画素を選択する、
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記評価値算出手段は、前記分子位置特定手段によって前記分子位置として特定された前記注目画素を複数の分割領域に分割し、前記複数の分割領域毎に前記部分テンプレートを用いて前記評価値を再度算出し、
   前記分子位置特定手段は、前記注目画素中の前記複数の分割領域に対して算出された前記評価値に基づいて、前記イメージ画像中の前記分子位置を再度特定する、
   ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 請求項１〜５のいずれか１項に記載の画像処理装置と、
   前記イメージ画像を取得する撮像素子と、
   を備えることを特徴とする撮像装置。
7. 請求項１〜５のいずれか１項に記載の画像処理装置と、
   前記イメージ画像を取得する撮像素子と、
   前記撮像素子に対して前記試料の像を生成する光学系と、
   を備えることを特徴とする顕微鏡装置。
8. 撮像素子によって取得された試料のイメージ画像を基に分子位置を特定する画像処理方法であって、
   画像処理装置が、分子モデルに対応するＭ行Ｍ列（Ｍは３以上の整数）の画素に含まれるテンプレートから、前記分子モデルの形状を所定の割合に分割した形状に対応する部分テンプレートを作成するテンプレート作成ステップと、
   前記画像処理装置が、前記イメージ画像中において、選択した注目画素を中心にして所定角度ずつ回転させた形状に対応した前記部分テンプレートを用いて、前記イメージ画像と該部分テンプレートとの一致度を評価して複数の前記注目画素毎に評価値を算出する評価値算出ステップと、
   前記画像処理装置が、前記イメージ画像中の複数の前記注目画素に対して算出された前記評価値に基づいて、前記イメージ画像中の前記分子位置を特定する分子位置特定ステップと、
   を備えることを特徴とする画像処理方法。
9. 撮像素子によって取得された試料のイメージ画像を基に分子位置を特定する画像処理プログラムであって、
   コンピュータを、
   分子モデルに対応するＭ行Ｍ列（Ｍは３以上の整数）の画素に含まれるテンプレートから、前記分子モデルの形状を所定の割合に分割した形状に対応する部分テンプレートを作成するテンプレート作成手段、
   前記イメージ画像中において、選択した注目画素を中心にして所定角度ずつ回転させた形状に対応した前記部分テンプレートを用いて、前記イメージ画像と該部分テンプレートとの一致度を評価して複数の前記注目画素毎に評価値を算出する評価値算出手段、及び
   前記イメージ画像中の複数の前記注目画素に対して算出された前記評価値に基づいて、前記イメージ画像中の前記分子位置を特定する分子位置特定手段、
   として機能させることを特徴とする画像処理プログラム。

Images