JP5900644B2 - 分析対象領域設定装置 - Google Patents

Description

本発明は、光学顕微鏡等の観察光学系により取得した試料の観察画像中に分析対象領域を設定する装置に関する。

顕微分光分析装置は、試料表面を顕微観察するための観察光学系と、観察された領域のうち、関心のある部分について分光分析を行うための分析系を備えた装置である。例えば、赤外光で分析を行う顕微赤外分光分析装置では、前記分析系として試料に赤外光を照射する照射光学系と、試料に照射された赤外光の反射光又は透過光のうち、ユーザが関心を持った特定の領域（関心領域）からの光のみを通過させるための開口（一般的には、矩形状の開口）を有するアパーチャと、前記開口を通過した反射光又は透過光を検出する赤外検出器と、を有する。以下、顕微赤外分光分析装置を単に赤外顕微鏡と呼ぶ。赤外顕微鏡では、前記観察光学系により試料表面の可視光観察画像を取得し、この可視光観察画像から、関心領域に合わせて、前記アパーチャの開口の位置、大きさ、及び向き（角度）を指定する。そして、前記照射光学系により赤外光を照射して、その反射光又は透過光のうち、前記開口を通過した光を前記検出器により検出する。このようにして取得した赤外光のスペクトル（波長強度分布）から、関心領域の分析を行う。

このような赤外顕微鏡では、関心領域外からの赤外光を遮断しつつ、可能な限り関心領域内における開口の面積が広くなるように、的確にアパーチャの開口の位置、大きさ及び向きを指定することが重要である。従来の赤外顕微鏡では、ユーザが観察画像を見て、逐一、マウス等のポインティングデバイスによりアパーチャの開口の位置、大きさ及び向きを指定していた。しかし、例えば関心領域が複雑な形状を有していると、上記の条件を満たすようにこれらを的確に指定するのが難しかった。

一方、特許文献１には、試料の観察画像にエッジ抽出や二値化等の処理を行うことにより、特徴的な画像情報を有する領域（以下、「特徴画像領域」とする）を抽出する赤外顕微鏡が記載されている。このような、観察画像から特徴画像領域を抽出する装置を備える分析装置では、例えばユーザがポインティングデバイス等により、観察画像内の適当な位置を指定すると、指定した位置の例えば輝度値に基づき、該輝度値を中心とする所定範囲の輝度値を持つ領域が抽出されたり（特許文献２）、指定した位置を含む、エッジにより囲まれた領域が抽出されたりする。
近年では、このように抽出された特徴画像領域に対して更に、アパーチャの開口の位置、大きさ及び向きを、最適化等の計算により自動的に設定する赤外顕微鏡が提供されている。これらの自動化により、ユーザは、アパーチャの開口の位置、大きさ及び向きの設定を迅速に行うことができる。

特開2010-276371号公報 特開2007-127485号公報

ユーザが関心を持った観察画像中の関心領域を、上記処理により装置に特徴画像領域として抽出させる場合、次のような問題がある。例えば試料の表面が３次元的な凹凸を有していると、上記の処理では、この凹凸により生じる陰影を誤って特徴画像領域に含めることがある。そうすると、特徴画像領域は関心領域よりも大きく抽出されてしまうことになる。
一方、このような誤指定を避けるために閾値（例えば上記の「所定範囲」）の設定を調整すると、逆に特徴画像領域が関心領域よりも小さく設定され、それに伴い自動的にアパーチャの開口も小さく設定されてしまい、分析データのＳ／Ｎ比が低下する。
以上のような問題は、赤外顕微鏡に限らず、試料の観察画像に基づき、その中にユーザが分析対象とする領域（以下、「分析対象領域」とする）を設定し、該分析対象領域の分析を行う分析装置において一般的に生じる。

本発明が解決しようとする課題は、光学顕微鏡等で得た試料の観察画像に基づき、その中に分析対象領域を設定する際、煩雑な作業を要することなく、ユーザの意図した通りに迅速且つ的確に分析対象領域を設定することができる装置を提供することである。

上記課題を解決するために成された本発明は、
試料の観察画像中に、分析装置により分析を行う領域である分析対象領域を設定する装置であって、
前記観察画像を複数の領域に分割し、各分割領域における所定の画像特徴量を算出する特徴量算出手段と、
前記分割領域を複数、ユーザに指定させる分割領域指定手段と、
前記ユーザに指定された各分割領域の画像特徴量から、前記分析対象領域として抽出する分割領域の画像特徴量の範囲を定める特徴量範囲算出手段と、
前記観察画像より、画像特徴量が前記範囲内にある分割領域を抽出する領域抽出手段と、
を備えることを特徴とする。

本発明に係る分析対象領域設定装置は、特徴量算出手段により、観察画像を多数の領域（分割領域）に分割し、分割領域毎に所定の画像特徴量（以下、「特徴量」と略称する）を取得する。本発明の分割領域は、観察画像の最小単位である１ピクセルとしても良いし、隣接する複数のピクセルの組を１分割領域としても良い。特徴量には例えば、後述するピクセル特徴量やテクスチャ特徴量を用いることができる。本発明で用いる特徴量は、１種類であっても複数種類であっても良い。これらは、ユーザもしくは装置のメーカが予め設定しておく。

以下、本発明に係る分析対象領域設定装置の一操作例を説明する。ユーザは、まず、観察画像中の分析対象としたい領域（関心領域）の一部を、マウス等により点、線、面等を描画することにより指定する（分割領域指定手段）。この描画により、複数の分割領域（以下、「代表指定領域群」とする）が定まる。

特徴量範囲算出手段は、代表指定領域群の特徴量から、分析対象として抽出すべき分割領域の特徴量の範囲を定める。この特徴量の範囲は、例えば、代表指定領域群の特徴量を統計的に処理し、その大部分（全てであっても良い）を含むように範囲を定めるという方法を用いることができる。
こうして範囲を定めた後、領域抽出手段は、観察画像中の全分割領域に対して、各々の特徴量が前記範囲内にあるか否かを判定し、特徴量が該範囲内にある分割領域を抽出する。このようにして抽出された分割領域が、分析対象領域として設定される。

本発明に係る分析対象領域設定装置では、試料の観察画像を多数の分割領域に分割し、ユーザにその中から複数の分割領域（代表指定領域群）を指定させる。この指定は、代表的な、一部の分割領域だけでよい。そして、代表指定領域群の特徴量データから分析対象領域に設定する範囲を算出し、観察画像より、特徴量が該範囲内にある分割領域を抽出し、分析対象領域に設定する。この構成により、手動のみ又は自動のみで設定する場合に比べて迅速且つ的確に（過不足なく）、分析対象領域を設定することが可能になる。

本発明の一実施例である赤外顕微鏡の要部の構成図。 本実施例の赤外顕微鏡における分析対象領域の設定の手順を示すフローチャート。 表示部の画面上に表示される観察画像の一例を示す図。 観察画像に対して設定される分割領域の一例を示す図。 観察画像上にユーザが指定した線を示す図。 ユーザが指定した線に対応する代表指定領域群を示す図。 代表指定領域群の輝度分布と、該輝度分布に対して設定される範囲を示す説明図。 観察画像に対して設定された分析対象領域を示す図。 表示部の画面上に表示される観察画像の別の一例と、該観察画像上にユーザが指定する線を示す図。 ユーザが指定した線に対応する代表指定領域群の輝度分布と、該輝度分布に対して設定される範囲を示す説明図。 観察画像に対して設定された分析対象領域を示す図。

本発明の一実施例である赤外顕微鏡を、各図を参照して説明する。図１は本実施例の赤外顕微鏡の要部の構成図である。

図１において、赤外干渉計１は、赤外光源、固定鏡、移動鏡、ビームスプリッタ等を含み、複数の異なる波長の赤外光を干渉させた赤外干渉光を放射する。この赤外干渉光はハーフミラー４で反射され、可動ステージ２上に載置されている試料３に照射される。試料３に照射された赤外干渉光は、表面で反射する際に、その箇所に存在する物質に固有の波長（一般に複数）において吸収を受ける。試料３から反射した赤外光はハーフミラー４を通過し、アパーチャ５により特定の領域からの反射光のみに制限されたうえで、反射ミラー６を経て赤外検出器７に入射し、検出される。そのため、赤外検出器７に到達する赤外干渉光は、試料３中の特定の領域における赤外吸収が反映されたものとなる。

赤外検出器７による検出信号はデータ処理部１０に入力され、データ処理部１０においてフーリエ変換演算部１００が検出信号に対してフーリエ変換処理を実行することにより、所定波長範囲の吸光度を示す赤外吸収スペクトルが得られる。このようにして得られたスペクトルデータは制御部１１に送られ、制御部１１に接続された表示部１３の画面上に表示される。一方、可視光源８から放射される可視光は試料３上の広い範囲に当たり、試料３からの可視反射光はＣＣＤカメラ９に導入される。ＣＣＤカメラ９では試料３の表面の観察画像が作成され、該観察画像のデータが制御部１１に送られる。制御部１１に送られた観察画像データは、スペクトルデータと同様に、表示部１３の画面上に表示される。赤外干渉光を照射して反射光を測定する領域は、可動ステージ２及びアパーチャ５を制御部１１が適宜制御することにより変更することができる。制御部１１はまた、赤外干渉計１、可視光源８等の各部の動作を制御する。

データ処理部１０及び制御部１１は、パーソナルコンピュータに予めインストールされた専用の制御・データ処理ソフトウエアを該コンピュータで実行することにより、後述するような各種機能を達成するものとすることができる。

図１の構成は反射赤外測定と反射可視観察を行うものであるが、透過赤外測定を行う構成としたり、透過可視観察を行う構成に変更したりことができる。また、接眼レンズを用いて、ユーザが直接的に目視で試料表面を観察できる機構を組み込んでもよい。

次に、本実施例の赤外顕微鏡において、試料の観察画像から分析対象領域を設定するための手順を、図２のフローチャートを用いて説明する。
可動ステージ２上に測定対象の試料３が載置されると、まずＣＣＤカメラ９により試料３の可視画像が撮影され、取得された画像データが制御部１１に送られ、図３に示すような観察画像が、表示部１３の画面上に表示される（ステップＳ１）。制御部１１はまた、この観察画像を、図４に示すように複数の（図ではＭ×Ｎ個の）領域に分割し、各分割領域の特徴量を算出する（ステップＳ２）。分割領域はピクセル毎としても良いし、隣接する複数のピクセルを１分割領域としても良い。
また、ここで算出する特徴量には、ピクセル特徴量やテクスチャ特徴量を用いることができる。ピクセル特徴量とは、各ピクセルが有する輝度・色・彩度等の画像情報である。テクスチャ特徴量とは、点、線、ざらつき等のテクスチャを構成する要素を数値化したものであり、局所ヒストグラム（注目した領域とその周辺領域のヒストグラム）や、２次ソーベルフィルタ等によりエッジを抽出した画像のヒストグラム等を用いて算出される。なお、テクスチャ特徴量は一般的に多量の情報を含むため、高速化のために、主成分分析等により適宜、次元の削減を行っても良い。この他にも、画像処理で用いられる一般的な特徴量であれば用いることができる。
ステップＳ２で算出された分割領域毎の特徴量データは、図示しない記憶部に格納される。

ユーザは、制御部１１に接続されたマウス等の入力部１２を用いて、表示部１３の画面上に表示される観察画像内に、代表的な、一部の分割領域（代表指定領域群）を指定する（ステップＳ３）。図５は、ユーザが観察画像上に線２１を描画することにより、代表指定領域群の指定を行った例を示したものである。制御部１１は、このようなユーザの描画操作を受け、線２１を含んでいる全ての分割領域を代表指定領域群に定める（図６）。

制御部１１は、ユーザにより指定された代表指定領域群の各特徴量を記憶部から読み出し、その分布を算出する（ステップＳ４、図７）。図７は、説明の簡単化のため、特徴量として輝度値のみを用いた場合の代表指定領域群の１次元分布（輝度分布）を示している。

ステップＳ５では、ステップＳ４で算出された分布に対し、測定対象領域として抽出する分割領域の特徴量の範囲を定める。図７(a)では、輝度分布の平均と標準偏差σを求め、該平均から±３σ内を、測定対象領域として抽出する輝度値の範囲としている。なお、ステップＳ４において、図７(b)のように複数のピークが存在する多ピーク分布が得られた場合、k-means等の手法によりk個（図７(b)の例では2個）の分布に分け、各々の分布に対して上記の手法により輝度値の範囲を求めても良い。ステップＳ６では、記憶部から全ての分割領域の特徴量を読み出し、その各分割領域の特徴量が、ステップＳ５で算出された範囲内に存在するか否かを判定する。そして、該範囲内に特徴量が存在する分割領域を抽出し、分析対象領域に設定する。このようにして分析対象領域を設定すると、制御部１１は、表示部１３の画面上に表示している観察画像において、分析対象領域の色づけを行う（ステップＳ７、図８）。ユーザは、図８の画像を見て、意図した通りに分析対象領域が設定されていれば、処理を終了させる。また、意図した通りに分析対象領域が設定されていなければ、代表指定領域群を適宜増減させる。なお、ステップＳ７において抽出された領域が複数個の独立した領域に分かれた場合、それら全ての領域を画面上に表示するようにしても良いが、例えば、ユーザが指定した代表指定領域群を含む単独領域（分離していない領域のこと）のみを表示するようにしても良い。

以上で分析対象領域の設定に関する処理が終了する。制御部１１はその後、上記の処理によって得られた分析対象領域に対して、アパーチャ５の開口のサイズや可動ステージ２上の試料３の位置を調整する。そうして、赤外干渉計から赤外干渉光を照射することにより、分析対象領域の分析を実行する。

なお、上記実施例では、ステップＳ５で算出する範囲を、輝度分布の平均から±３σ内としたが、該範囲はもちろん、ステップＳ４で算出された分布に基づいてユーザが適宜定めても良い。

以上の説明では、ユーザは、関心を持った領域内に代表指定領域群を設定することにより分析対象領域の抽出を行っていたが、これとは異なる方法で分析対象領域を抽出することもできる。具体的には、一旦、関心領域「以外」の領域内に代表指定領域群を設定し、今度は逆に、該代表指定領域群を「含まない」範囲を分析対象領域として抽出する方法である。以下、この方法について図９〜図１１を参照して説明する。

図９の観察画像において、塊２３がユーザの関心領域である。この観察画像に対し、ユーザは、一旦、関心領域（塊）２３「以外」の領域に線２２を描画し、代表指定領域群の設定を行う（ステップＳ３）。その結果、得られる特徴量分布（輝度分布）が図１０である（ステップＳ４）。この図１０の代表指定領域群の輝度分布は、関心領域２３の輝度分布を含まないものとなる。そこで、逆に、ステップＳ５では代表指定領域群の輝度分布を「含まない」ように、分析対象領域として抽出する分割領域の範囲を設定する（図１０では、平均から±６σ以上の範囲）。そうすることで、ステップＳ６では、代表指定領域群を含まない前記範囲内の分割領域が分析対象領域に設定される。図１１は、この方法により設定された観察画像中の分析対象領域を示す図である。なお、図１１では、関心領域２３だけでなく、それ以外の領域も分析対象領域に設定され、色づけされている。このような場合、関心領域２３を、ユーザがマウスでクリックする等により選択すると、制御部１１は、そのクリックした領域内にアパーチャ５の開口の位置とサイズを自動設定する。また、図１０のように、線２２が閉じた曲線であり、その曲線の内側に抽出された領域が存在する場合、自動的にその閉じた曲線内の領域のみを分析対象領域に設定し、その領域内にアパーチャ５の開口の位置とサイズを自動設定するようにしても良い。

なお、上記実施例では赤外顕微鏡について説明したが、本発明は赤外顕微鏡以外の顕微分光分析装置や、顕微質量分析装置等にも適用することが可能である。

１…赤外干渉計
２…可動ステージ
３…試料
４…ハーフミラー
５…アパーチャ
６…反射ミラー
７…赤外検出器
８…可視光源
９…ＣＣＤカメラ
１０…データ処理部
１００…フーリエ変換演算部
１１…制御部
１２…入力部
１３…表示部
２１、２２…線
２３…関心領域（塊）

Claims (3)

1. 試料の観察画像中に、分析装置により分析を行う領域である分析対象領域を設定する装置であって、
   前記観察画像を複数の領域に分割し、各分割領域における所定の画像特徴量を算出する特徴量算出手段と、
   前記分割領域を複数、ユーザに指定させる分割領域指定手段と、
   前記ユーザに指定された各分割領域の画像特徴量から、前記分析対象領域として抽出する分割領域の画像特徴量の範囲を定める特徴量範囲算出手段と、
   前記観察画像より、画像特徴量が前記範囲内にある分割領域を抽出する領域抽出手段と、
   を備えることを特徴とする分析対象領域設定装置。
2. 前記範囲が、前記ユーザに指定された全て又は一部の分割領域の画像特徴量を含むように設定されることを特徴とする請求項１に記載の分析対象領域設定装置。
3. 前記範囲が、前記ユーザに指定された分割領域の画像特徴量を全て含まないように設定されることを特徴とする請求項１に記載の分析対象領域設定装置。