以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、H&E染色された病理標本である染色標本を被写体とし、この染色標本をマルチバンド撮像して観察する顕微鏡観察システムについて説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態1)
図1は、実施の形態1の顕微鏡観察システム1の全体構成を説明する模式図である。また、図2は、顕微鏡観察システム1の機能構成を示すブロック図である。実施の形態1の顕微鏡観察システム1は、観察部3と、観察システム制御部5と、特性データ記憶部7とを備え、これらの間がデータの授受可能に接続されて構成されている。
観察部3は、染色標本を観察するための染色標本観察部31と、染色標本画像を撮像するための染色標本画像撮像部33とを備える。
染色標本観察部31は、染色標本を透過観察可能な顕微鏡で構成され、照明光を射出する光源や対物レンズ、観察対象の染色標本(以下、観察対象の染色標本を「観察染色標本」と呼ぶ。)を載置して対物レンズの光軸方向およびこの光軸方向と垂直な面内を移動する電動ステージ、電動ステージ上の観察染色標本を透過照明するための照明光学系、対物レンズ、観察染色標本の観察像を結像させるための観察光学系等を備える。この染色標本観察部31は、照明光学系によって光源からの照明光を観察染色標本に照射するとともに、対物レンズと協働し、観察光学系によって観察染色標本の観察像を結像させる。
染色標本画像撮像部33は、観察染色標本の観察像をマルチバンド撮像するマルチバンドカメラで構成され、例えば、チューナブルフィルタや二次元CCDカメラ、チューナブルフィルタを透過する光の波長を調整するフィルタ制御器、二次元CCDカメラを制御するカメラ制御器等で構成される。この染色標本画像撮像部33は、染色標本観察部31によって観察される観察染色標本の観察像をチューナブルフィルタを介して二次元CCDカメラの撮像素子上に投影し、染色標本画像として撮像する。チューナブルフィルタは、透過光の波長を電気的に調整可能なフィルタであって、実施の形態1では、1〔nm〕以上の任意の幅(以下、「選択波長幅」と呼ぶ。)の波長帯域を選択可能なものを用いる。例えば、ケンブリッジリサーチアンドインストルメンテーション社製の液晶チューナブルフィルタ「VariSpec(バリスペック)」等、市販のものを適宜用いることができる。この染色標本画像撮像部33によって、染色標本画像はマルチバンド画像として得られる。ここで、染色標本画像の画素値は、チューナブルフィルタによって任意に選択した波長帯域における光の強度に相当し、観察染色標本の各点について選択した波長帯域の画素値が得られる。なお、観察染色標本の各点とは、投影された撮像素子の各画素に対応する観察染色標本上の各点のことであり、以下では、観察染色標本上の各点が染色標本画像の各画素位置に対応しているものとする。
以上、染色標本画像撮像部33の構成としてチューナブルフィルタを用いた構成を例示したが、これに限定されるものではなく、観察染色標本の各点における光の強度情報が取得できればよい。例えば、特開平7−120324号公報に開示されている撮像方式を用い、所定枚数(例えば16枚)のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式で観察染色標本をマルチバンド撮像する構成としてもよい。
また、観察システム制御部5は、観察部3の染色標本画像撮像部33によって撮像された染色標本画像を医師等が観察・診断するためのものであり、ワークステーションやパソコン等の汎用コンピュータで実現される。この観察システム制御部5は、観察部3を構成する染色標本観察部31および染色標本画像撮像部33に対する動作指示を行い、染色標本画像撮像部33から入力される染色標本画像を処理してディスプレイに表示する。
この観察システム制御部5は、図2に示すように、操作部51と、表示部52と、処理部54と、記憶部55とを備える。
操作部51は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を処理部54に出力する。表示部52は、LCDやELディスプレイ等のフラットパネルディスプレイ、あるいはCRTディスプレイ等の表示装置によって実現されるものであり、処理部54から入力される表示信号に従って各種画面を表示する。
処理部54は、CPU等のハードウェアによって実現される。この処理部54は、操作部51から入力される操作信号や観察部3の染色標本画像撮像部33から入力される染色標本画像の画像データ、記憶部55に記憶されるプログラムやデータ等をもとに観察システム制御部5を構成する各部への指示やデータの転送等を行い、あるいは観察部3の染色標本観察部31や染色標本画像撮像部33に対する各種動作指示を行って、顕微鏡観察システム1全体の動作を統括的に制御する。
この処理部54は、染色標本属性指定部541と、特性データ選択部542と、特性データ解析部543と、システム環境設定部544と、注目対象抽出部545とを含む。
染色標本属性指定部541は、観察染色標本の属性を示す属性値をユーザ操作に従って指定する。ここでは、染色標本の属性(以下、染色標本の属性を「染色標本属性」と呼ぶ。)を、染色種類、臓器、注目対象組織および施設の4つの属性項目で構成されることとし、染色標本属性指定部541は、観察染色標本に関するこれら4つの属性項目の属性値をユーザ操作に従って指定する。また、実施の形態1では、ユーザは、この観察染色標本の染色標本属性の指定と併せて、その観察染色標本を観察する際の顕微鏡(染色標本観察部31)の観察倍率を指定するようになっている。
特性データ選択部542は、染色標本属性指定部541によって指定された染色標本属性をもとに、特性データ記憶部7に記憶されている特性データの中から1つ以上の特性データを選択する。
特性データ解析部543は、特性データ選択部542によって選択された1つ以上の特性データをもとに、観察染色標本、より詳細には注目対象組織について特徴的な波長を特徴波長として決定する。
システム環境設定部544は、特性データ解析部543によって決定された特徴波長を含む所定幅の波長帯域に対して感度が向上するように、観察部3の動作環境(システム環境)を設定するためのシステムパラメータを設定する。例えば、システム環境設定部544は、染色標本観察部31の動作環境を設定するための観察パラメータと、染色標本画像撮像部33の動作環境を設定するための撮像パラメータとをシステムパラメータとして設定する。
注目対象抽出部545は、観察部3の染色標本画像撮像部33が撮像した染色標本画像を画像処理し、この染色標本画像から注目対象組織が映る領域を抽出する。
記憶部55は、更新記憶可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、CD−ROM等の情報記憶媒体およびその読取装置等によって実現されるものである。この記憶部55には、観察システム制御部5を動作させ、この観察システム制御部5が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が記憶される。また、記憶部55には、観察システム制御プログラム551が記憶される。この観察システム制御プログラム551は、観察染色標本の染色標本属性をもとにシステムパラメータを設定して観察部3の動作を制御し、染色標本画像を取得する処理を実現するためのプログラムである。
また、特性データ記憶部7は、染色標本属性の各属性項目の属性値に応じた特性データを記憶する。この特性データ記憶部7は、例えばネットワークを介して観察システム制御部5と接続されるデータベース装置で実現され、観察システム制御部5とは離れた別の場所に設置されて特性データを記憶し、特性データを管理する。なお、この特性データは、観察システム制御部5の記憶部55に記憶しておく構成としてもよい。
図3〜図5は、特性データ記憶部7に記憶される特性データのデータ構成例を説明する図である。ここで、図3は、特性データ記憶部7において、属性項目の1つである染色種類と関連付けられて記憶される特性データの一覧を示している。また、図4は、特性データ記憶部7において、属性項目の1つである注目対象組織と関連付けられて記憶される特性データの一覧を示している。また、図5は、特性データ記憶部7において、属性項目の1つである施設と関連付けられて記憶される特性データの一覧を示している。図3〜図5に示した属性項目毎の特性データの関連付けは、例えば公知のデータベース管理ツールを用いて管理される。ただし、特性データのデータ構成はこれに限定されるものではなく、各属性項目の属性値を指定することによってその属性値に応じた特性データを取得可能な構成であればよい。
具体的には、特性データ記憶部7には、図3に示すように、染色種類についての特性データとして、その属性値毎に、属性項目の1つである施設と、観察パラメータである観察倍率と、測定日付と、観察分光特性とが関連付けられて記憶される。この染色種類と関連付けられる観察分光特性(データセットA−01〜−06,・・・)は、対応する染色種類の染色色素について予め測定した分光特性データ(スペクトルデータ)であって、対応する医療施設で、対応する観察倍率で、対応する測定日に測定した分光特性データを記憶する。ここで、観察分光特性は、光に対する物質の特性を表し、例えば、分光透過率や吸光度、分光反射率等のスペクトル特徴値を用いることができる。
また、特性データ記憶部7には、図4に示すように、注目対象組織についての特性データとして、その属性値毎に、属性項目である染色種類、施設および臓器と、観察パラメータである焦点位置および絞りと、測定日付と、観察分光特性とが関連付けられて記憶される。この注目対象組織と関連付けられる観察分光特性(データセットB−01〜B−09,・・・)は、対応する臓器の注目対象組織について予め測定した分光特性であって、対応する医療施設で、対応する焦点位置および絞りで、対応する測定日に測定した分光特性データを記憶する。なお、図4では、注目対象組織の一例として、弾性線維と膠原線維とが挙げられているが、この他、細胞質や核等の医師が観察・診断時に注目する注目対象組織についての分光特性が予め測定され、特性データ記憶部7に記憶される。
また、特性データ記憶部7には、図5に示すように、施設についての特性データとして、その属性値毎に、属性項目である染色種類および臓器と、観察パラメータである観察倍率と、測定日付と、白色画像信号値、照明分光特性およびカメラ分光特性の各システム分光特性とが関連付けられて記憶される。この施設と関連付けられるシステム分光特性は、対応する施設で測定されたシステムに関する分光特性データを記憶する。詳細には、白色画像信号値(データセットC−01〜C−05,・・・)は、組織が存在していない領域を撮像した画像信号値であって、対応する観察倍率で、対応する測定日に測定された画像信号値を記憶する。また、照明光分光特性(データセットC−11〜C−15,・・・)は、対応する観察倍率で、対応する測定日に分光計等を用いて測定された染色標本観察部31の照明の分光特性である。また、カメラ分光特性(データセットC−21〜C−25,・・・)は、対応する観察倍率で、対応する測定日に測定された染色標本画像撮像部33のカメラ(二次元CCDカメラ)の分光特性である。
なお、線維領域や位相物体等について特殊撮影を行う場合に対応し、例えばNA値やデフォーカス量、光量といった観察パラメータが異なる条件で分光特性を測定し、測定時の条件と対応付けて特性データ記憶部7に記憶しておくこととしてもよい。また、施設によっては、染色過程や染色に用いる試薬等が異なる場合がある。このような場合に対応し、施設毎に対応する条件で分光特性を測定し、測定時の条件と対応付けて特性データ記憶部7に記憶しておくこととしてもよい。
図6は、実施の形態1の観察システム制御部5が行う処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部55に記憶された観察システム制御プログラム551に従って観察システム制御部5の各部が動作することによって実現される。
先ず、染色標本属性指定部541が、染色標本属性指定画面を表示部52に表示して染色標本属性の指定依頼を通知する処理を行い、操作部51を介してユーザによる染色標本属性および観察倍率の指定操作を受け付ける(ステップa1)。
図7は、実施の形態1における染色標本属性指定画面の一例を示す図である。図7に示す染色標本属性指定画面には、染色種類、臓器、注目対象組織および施設の4つの属性項目の属性値を指定するためのスピンボックスB11〜B14、観察倍率を指定するためのスピンボックスB15、これらの各スピンボックスでの操作を確定するOKボタンBTN11、操作をキャンセルするキャンセルボタンBTN12等が配置されている。各スピンボックスB11〜B14は、該当する属性項目について指定可能な属性値の一覧を選択肢として提示し、指定操作を受け付けるものあり、特性データ記憶部7に記憶されている各属性項目の属性値が選択肢として提示される。例えば、染色種類を指定するためのスピンボックスB11では、図3〜図5に例示したHE染色やVB染色、オルセイン染色、MT染色、DAB染色等の染色種類の属性値と、該当する属性値が含まれない場合に指定する「その他」の各選択肢が提示される。臓器、注目対象組織および施設の各スピンボックスB12〜B14も同様に、特性データ記憶部7に記憶されている属性値や、「その他」の各選択肢が提示される。また、スピンボックスB15は、観察倍率の値として指定可能な値を選択肢として提示し、選択を促すものであり、特性データ記憶部7に記憶されている観察倍率の値が選択肢として提示される。
この染色標本属性指定画面においてユーザは、染色種類として、観察染色標本に施されている染色の種類を指定する。また、ユーザは、臓器として、その観察染色標本が採取された臓器を指定する。また、ユーザは、その観察染色標本を観察・診断する際に注目する注目対象の組織(注目対象組織)を指定する。また、ユーザは、施設として、例えばその観察染色標本を採取した医療施設を指定する。また、ユーザは、これら4つの染色標本属性とともに、観察倍率を指定する。
また、染色標本属性指定画面には、メモ欄M11が配置されており、例えばその染色標本を作成した日付や、その染色標本を観察・診断した日付といった事項をユーザが自由に記入できるようになっている。
染色標本属性の属性値が指定されたならば、続いて図6に示すように、特性データ選択部542が、特性データ記憶部7を参照し、指定された染色標本属性の属性値に応じた1つ以上の特性データを選択する(ステップa3)。続いて特性データ解析部543が、ステップa3で選択された特性データをもとに、先ず特徴波長候補決定処理を行い(ステップa4)、続いて特徴波長決定処理を行って(ステップa5)、注目対象組織の特徴波長を決定する。続いてシステム環境設定部544が、ステップa5で決定された特徴波長をもとに、システムパラメータ(観察パラメータおよび撮像パラメータ)を設定する(ステップa7)。システム環境設定部544は、設定したシステムパラメータを染色標本観察部31および染色標本画像撮像部33に出力して各部に対する動作指示を行う。この結果、観察部3は、システム環境設定部544が設定したシステムパラメータに従って動作し、染色標本の観察像をマルチバンド撮像して染色標本画像を取得する(ステップa9)。そして、注目対象抽出部545が注目対象組織抽出処理を行い、染色標本画像を画像処理して染色標本画像中の注目対象組織が映る領域を抽出する(ステップa11)。抽出手法については、公知の手法を適用することができる。
ここで、図7の染色標本属性指定画面においてユーザが、染色種類を「HE染色」、臓器を「腎臓」、注目対象組織を「弾性線維」、施設を「A病院」、観察倍率を「20倍」として指定した場合を例にとり、ステップa3〜ステップa11の各処理を詳細に説明する。
先ず、図6のステップa3について説明する。例示した条件の場合、特性データ選択部542は、特性データ記憶部7を参照し、図3に示した染色種類についての特性データの中から、染色種類が「HE染色」であり施設が「A病院」であり観察倍率が「20倍」であるレコードR11,R12を選択し、対応する観察分光特性のデータセットA−01,A−03を取得する。また、特性データ選択部542は、図4に示した注目対象組織についての特性データの中から、注目対象組織が「弾性線維」であり染色種類が「HE染色」であり施設が「A病院」であり臓器が「腎臓」であるレコードR21〜R23を選択し、対応する観察分光特性のデータセットB−01,B−02,B−03を取得する。また、特性データ選択部542は、図5に示した施設についての特性データの中から、施設が「A病院」であり染色種類が「HE染色」であり臓器が「腎臓」であり観察倍率が「20倍」であるレコードR31を選択し、対応するシステム分光特性のデータセットC−01,C−11,C−21を取得する。取得した観察分光特性のデータセットA−01,A−03,B−01,B−02,B−03およびシステム分光特性(白色画像信号値、照明分光特性およびカメラ分光特性)のデータセットC−01,C−11,C−21は、染色標本属性指定画面において指定された各属性項目の属性値および観察倍率の値とともに記憶部55に記憶しておく。
続いて、図6のステップa4の特徴波長候補決定処理について説明する。この特徴波長候補決定処理では、特性データ解析部543は、前述のようにして取得された観察分光特性(データセット)をもとに、注目対象組織の特徴波長候補Cλ(i)(i=1,2,3,・・・,n)を決定する。実施の形態1では、例えば、観察分光特性の各波長間変化率をもとに、波長間変化率が所定の閾値を超えた波長を特徴波長候補とする。図8は、特徴波長候補決定処理の詳細な処理手順を示すフローチャートである。
図8に示すように、先ず、特性データ解析部543は、図6のステップa3で選択した特性データの観察分光特性(データセット)を読み出して取得する(ステップb11)。続いて、特性データ解析部543は、取得した観察分光特性の各波長間変化率r(λ)を算出する(ステップb13)。波長間変化率r(λ)は、波長λにおける観察分光特性をA(λ)、波長間隔をα〔nm〕とすると、次式(1)で表される。ここでの処理によって、取得された各データセットA−01,A−03,B−01,B−02,B−03の各観察分光特性それぞれの各波長間変化率r(λ)が算出される。
続いて、特性データ解析部543は、特徴波長候補を決定するための閾値Thを算出する(ステップb15)。先ず、特性データ解析部543は、波長間変化率平均Eと、観察分光特性の標準偏差stdとを算出する。ここで、最小波長をλMIN、波長数をSnum、観察分光特性の平均をaveとすると、波長間変化率平均Eは次式(2)で表され、観察分光特性の標準偏差stdは次式(3)で表される。
ただし、波長数Snumは、次式(4)で表される。λMAXは最大波長を表す。
そして、特性データ解析部543は、次式(5)に従って閾値Thを算出する。kは、任意に設定される係数である。
Th=E+k×std ・・・(5)
続いて、特性データ解析部543は、ステップb13で算出した観察分光特性の各波長間変化率r(λ)をステップb15で算出した閾値Thを用いて順次閾値処理する。そして、特性データ解析部543は、波長間変化率r(λ)が閾値Thよりも大きい場合に(ステップb17:Yes)、その閾値Thよりも大きい波長間変化率r(λ)を算出した2つの波長(λ+α,λ)を特徴波長候補Cλ(i)とする(ステップb19)。全ての波長間変化率r(λ)について閾値処理したならば、図6のステップa4にリターンし、その後ステップa5に移行する。ここでの処理によって、各データセットA−01,A−03,B−01,B−02,B−03の各観察分光特性それぞれについて算出した各波長間変化率r(λ)のうち、閾値Th以上である波長間変化率r(λ)を算出した2つの波長λ+α,λがそれぞれ特徴波長候補Cλ(i)として決定される。
続いて、図6のステップa5の特徴波長決定処理について説明する。この特徴波長決定処理では、特性データ解析部543は、ステップa4で決定された特徴波長候補Cλ(i)の中から特徴波長を決定する。染色色素によってどの組織が優先的に染色されるか(染色され易いか)は物理化学的に決まっている。このため、注目対象組織と染色色素との関係(具体的には、注目対象組織を優先的に染色する染色色素および注目対象組織を染色しない染色色素)に従って、特徴波長Kλ(i)(i=1,2,3,・・・,n)を決定する。図9は、特徴波長決定処理の詳細な処理手順を示すフローチャートである。
ここで、染色種類についての観察分光特性(ここではデータセットA−01,A−03)は、対応する染色色素(ここでは色素H,E)の特性を示しているが、これらのうち、注目対象組織を優先的に染色する染色色素についての観察分光特性から得られた特徴波長候補をD1λ(k)(k=1,2,3,・・・,m1)とし、注目対象組織を染色しない染色色素から得られた特徴波長候補をD2λ(j)(j=1,2,3,・・・,m2)とする。例えば、実施の形態1で注目対象組織として例示している弾性線維は色素Eによって優先的に染色される。このため、色素Eに対応する観察分光特性(データセットA−03)から得られた特徴波長候補をD1λ(k)とする。また、色素Hは弾性線維を染色しない染色色素であるため、色素Hに対応する観察分光特性(データセットA−01)から得られた特徴波長候補をD2λ(k)とする。
図9に示すように、先ず、特性データ解析部543は、特徴波長候補Cλ(i)(i=1,2,3,・・・,n)を特徴波長Kλ(i)(i=1,2,3,・・・,n)に登録する(ステップb21)。続いて、特性データ解析部543は、Cλ(i)(i=1,2,3,・・・,n)とD2λ(j)(j=1,2,3,・・・,m2)とを比較し、Cλ(i)の各波長が、D2λ(j)のいずれかの波長と一致しているか判定する。Cλ(i)の波長の中に、D2λ(j)の波長と一致する波長がある場合には(ステップb23:Yes)、特徴波長Kλ(i)(i=1,2,3,・・・,n)から、一致すると判定したCλ(i)の波長を除外する(ステップb25)。
続いて特性データ解析部543は、Cλ(i)(i=1,2,3,・・・,n)とD1λ(k)(k=1,2,3,・・・,m1)とを比較し、D1λ(k)の各波長が、Cλ(i)のいずれかの波長と一致しているか判定する。D1λ(k)の波長の中に、Cλ(i)のいずれの波長とも一致しない波長がある場合には(ステップb27:Yes)、特徴波長Kλ(i)(i=1,2,3,・・・,n)に、一致しないと判定したD1λ(k)の波長を追加する(ステップb29)。そして、特性データ解析部543は、最終的にKλ(i)(i=1,2,3,・・・,n)に登録されたままの波長を特徴波長として決定する。その後、図6のステップa5にリターンし、ステップa7に移行する。
なお、特徴波長を決定した後、特徴波長確認画面を表示部52に表示処理し、決定した特徴波長をユーザに提示する構成としてもよい。図10は、特徴波長確認画面の一例を示す図である。図10に示すように、例えば特徴波長確認画面には、観察染色標本の染色標本属性に応じて選択した特性データの観察分光特性がグラフ化されて表示され、決定した特長波長が破線によって示されて識別表示される。ここで、図10は、注目対象組織を「弾性線維」として選択した特性データの観察分光特性(例えばデータセットB−02)をグラフ化した図であり、観察分光特性として分光透過率を用いた場合を例示している。
また、ここで説明した特徴波長の決定方法は一例であって、これに限定されるものではない。例えば、閾値Thによる閾値処理を行わずに、波長間変化率が最大となる波長を特徴波長としてもよい。また、各データセットの観察分光特性の主成分分析を予め行い、その主成分分析結果を用いて寄与度が高い波長を特徴波長としてもよい。
あるいは、特性データ選択部542によって取得された観察分光特性のデータセット同士を比較し、特徴波長を決定するようにしてもよい。例えば上記のように、観察分光特性のデータセットとして、顕微鏡(観察部3)の焦点位置や絞り等の観察パラメータが異なる複数のデータセットB−01,B−02,B−03が取得された場合には、これらのデータセットB−01,B−02,B−03を比較し、特徴波長を決定するようにしてもよい。例えば、取得されたデータセットの組み合わせ(この場合にはB−01とB−02、B−01とB−03、B−02とB−03の3つの組み合わせ)毎に次の処理を行う。すなわち、各組み合わせそれぞれについて波長毎に観察分光特性の差分を算出する。そして、算出した差分が予め設定される所定の閾値よりも大きい波長を特徴波長として決定する。
続いて、図6のステップa7について説明する。先ず、システム環境設定部544は、前述のようにして決定された特徴波長をもとに観察パラメータおよび撮像パラメータ(システムパラメータ)を設定する。
ここで、撮像パラメータは、マルチバンドカメラの動作に関する値であり、システム環境設定部544は、設定した撮像パラメータの値を染色標本画像撮像部33に通知して染色標本画像撮像部33に対する動作指示を行う。染色標本画像撮像部33は、このシステム環境設定部544による動作指示に応答し、通知された撮像パラメータに従って、例えばゲインの設定、露光時間の設定、チューナブルフィルタによって選択する波長帯域(選択波長幅)の設定等を行ってマルチバンドカメラを駆動する。
実施の形態1では、システム環境設定部544は、この撮像パラメータの1つとして、チューナブルフィルタの選択波長帯域(選択波長幅)を設定する。例えば、特徴波長の前後5〔nm〕の波長帯域における選択波長幅を、チューナブルフィルタによって選択可能な最小の波長幅である1〔nm〕に設定する。また、特徴波長の前後5〔nm〕の波長帯域以外の波長帯域における選択波長幅を、初期値(例えば25〔nm〕)に設定する。染色標本画像撮像部33は、ここで設定される波長帯域毎の選択波長幅に従い、チューナブルフィルタによって選択する波長帯域を順次選択し、選択した波長帯域毎に染色標本画像を撮像する。
また、システム環境設定部544は、2つ目の撮像パラメータとして露光時間を設定する。例えば、システム環境設定部544は、特性データ選択部542が選択した白色画像信号値のデータセット(ここではデータセットC−01)を用い、白色画像信号値の最大値が所定輝度値を持つように露光時間を調整し、特徴波長の前後5〔nm〕の波長帯域以外の波長帯域における露光時間とする。一方、特徴波長の前後5〔nm〕の波長帯域における露光時間については、システム環境設定部544は先ず、観察部3の染色標本観察部31や染色標本画像撮像部33に対する各種動作指示を行い、指定された観察倍率で白色画像信号値を取得する。そして、システム環境設定部544は、取得した白色画像信号値を用い、測定波長毎に露光時間を算出する。これによれば、特徴波長付近について、観察時(染色標本画像の撮像時)の環境に応じて露光時間を設定できる。
なお、ここでは、チューナブルフィルタの選択波長帯域(選択波長幅)および露光時間の2つを撮像パラメータとして設定することとしたが、これ以外の設定に関する値についても、必要に応じて適宜撮像パラメータとして設定することができる。
一方、観察パラメータは、顕微鏡の動作に関する値であり、システム環境設定部544は、設定した観察パラメータの値を染色標本観察部31に通知して染色標本観察部31に対する動作指示を行う。染色標本観察部31は、このシステム環境設定部544による動作指示に応答し、通知された観察パラメータ等に従って例えば対物レンズの観察倍率の切り換えや切り換えた観察倍率等に応じた光源の調光制御、各種光学素子の切り換え、電動ステージの移動等、観察染色標本の観察に伴う顕微鏡各部の調整を行う。
実施の形態1では、システム環境設定部544は、この観察パラメータとして、顕微鏡の観察倍率、焦点位置および絞りのとして各値を設定する。
観察倍率については、指定された観察倍率を設定する。焦点位置および絞りについては、決定した特徴波長(Kλ(i)の波長)を取得する際に用いた観察分光特性(データセット)に対応する値を特性データ記憶部7から読み出して設定する。例えば、特徴波長Kλ(i)が、データセットB−02の観察分光特性から算出された波長間変化率をもとに決定されたのであれば、データセットB−02に対応する図4のレコードR22に示す焦点位置「±ゼロ」および絞り「倍率×0.6」を観察パラメータとして設定する。そして、染色標本観察部31は、ここで設定された観察パラメータを用い、染色標本画像撮像部33がこの特徴波長Kλ(i)を含む波長帯域で染色標本画像を撮像する際の焦点位置および絞りの値を設定する。
なお、複数の観察分光特性(データセット)が取得された場合であって、特徴波長Kλ(i)が、異なるデータセットの観察分光特性をもとに算出された波長間変化率をもとに決定された場合(例えば、特徴波長Kλ(i)が、データセットB−01,B−02,B−03の各観察分光特性からそれぞれ個別に算出された波長間変化率をもとに重複して決定された場合)には、その特徴波長Kλ(i)における各観察分光特性から算出された波長間変化率のうち、値が最も大きい波長間変化率を得た観察分光特性(データセット)に対応する焦点位置および絞りを観察パラメータとして設定する。
また、変形例として上記したように、波長間変化率が最大となる波長を特徴波長とする場合には、この波長間変化率の算出に際して参照したデータセットに対応する焦点位置および絞りを特性データ記憶部7から読み出して設定する。また、各データセットの観察分光特性の主成分分析結果を用い、寄与度が最も高い波長を特徴波長とする場合には、この寄与度が最も高い波長を得た主成分分析結果のデータセットに対応する焦点位置および絞りを特性データ記憶部7から読み出して設定する。
また、複数の観察分光特性(データセット)が取得された場合であって、各データセットの組み合わせそれぞれについて波長毎に観察分光特性の差分を算出することで特徴波長を決定した場合であれば、その特徴波長を決定した際に参照した各データセットに対応する焦点位置および絞りをそれぞれ読み出し、指定された観察倍率と併せて2通りの観察パラメータを設定する。例えば、ある波長におけるデータセットB−01とB−02の観察分光特性の差分が大きくその波長が特徴波長として決定された場合には、「データセットB−01に対応する図4のレコードR21に示す焦点位置「−(マイナス)」および絞り「ゼロ」を読み出し、第1の観察パラメータを設定する。さらに、データセットB−02に対応する図4のレコードR22に示す焦点位置「±ゼロ」および絞り「倍率×0.6」を読み出し、第2の観察パラメータを設定する。
また、ここでは、顕微鏡の観察倍率、焦点位置および絞りの3つを観察パラメータとして設定することとしたが、これ以外の設定に関する値についても、必要に応じて適宜観察パラメータとして設定することができる。
以上のようにして設定したシステムパラメータ(観察パラメータおよび撮像パラメータ)は、染色標本属性と対応付けられたシステム設定ファイルとして記憶部55に記憶しておく。このように設定したシステムパラメータをシステム設定ファイルとして記憶しておくことで、以後同一の染色標本属性および観察倍率の組み合わせが指定された場合に、このシステム設定ファイルを読み出すことでシステムパラメータを設定することが可能となる。
そして、図6のステップa9において、システム環境設定部544は、順次選択波長幅とともに該当する波長帯域における露光時間を染色標本画像撮像部33に出力するとともに、観察パラメータとして設定した観察倍率、焦点位置および絞りの各値を染色標本観察部31に出力し、選択波長幅毎に染色標本画像を取得する。取得した染色標本画像の画像データは、記憶部55に記憶しておく。このとき、変形例として上記したように、観察パラメータとして、第1の観察パラメータおよび第2の観察パラメータの2通りを設定した場合には、システム環境設定部544は、第1の観察パラメータおよび第2の観察パラメータを順次染色標本観察部31に出力し、観察パラメータを異ならせて染色標本画像を2回取得する。すなわち、観察パラメータを第1のパラメータとして染色標本を観察し、マルチバンド撮像した第1の染色標本画像と、観察パラメータを第2のパラメータとして染色標本を観察し、マルチバンド撮像した第2の染色標本画像とを得る。
続いて、図6のステップa11の注目対象抽出処理について説明する。図11は、注目対象抽出処理の詳細な処理手順を示すフローチャートである。図11に示すように、注目対象抽出処理では、注目対象抽出部545は先ず、特徴波長およびこの特徴波長の前後1〔nm〕の波長での染色標本画像(分光画像)をもとに、変化率分光画像を作成する(ステップc1)。「分光画像」とは、染色標本画像のうちの特定の波長における染色標本画像のことをいう。
すなわち先ず、注目対象抽出部545は、特徴波長ω〔nm〕の分光画像と波長ω−1〔nm〕の分光画像とから変化率分光画像を作成する。具体的には、特徴波長ω〔nm〕および波長ω−1〔nm〕における分光画像の画像信号値と白色画像信号値に基づいて、画素毎に対応する染色標本の各点における分光透過率を算出する処理を行う。そして、画素毎に算出した分光透過率を用い、特性データ解析部543による算出手順と同様の要領で、上記した式(1)に従い、分光透過率の分光画像間での波長間変化率r(λ)(すなわち、特徴波長ω〔nm〕,ω−1〔nm〕間の分光透過率の差分の絶対値)を画素毎に算出する。そして、波長間変化率r(λ)が最大となる画素の画素値を“255”、波長間変化率r(λ)がゼロである画素の画素値を“0(ゼロ)”として波長間変化率r(λ)の大きさに応じた画素値を各画素に割り当て、グレースケール画像として変化率分光画像を作成する。また、同様にして特徴波長ω〔nm〕の分光画像と波長ω+1〔nm〕の分光画像とから変化率分光画像を作成する。
そして、注目対象抽出部545は、作成した2枚の変化率分光画像を合成し、変化率合成分光画像を作成する(ステップc3)。図12は、変化率合成分光画像の一例を示す図である。この変化率合成分光画像は、波長間変化率r(λ)の大きい画素が強調された画像として得られる。ここで、図9の特徴波長決定処理によって複数の波長が特徴波長として決定されている場合には、ステップc1〜ステップc3の処理を各特徴波長それぞれについて行い、特徴波長毎に変化率合成分光画像を作成する。そして、作成した特徴波長毎の変化率合成分光画像を合成して1枚の変化率合成分光画像を作成する。また、変形例として上記したように観察パラメータを2通り設定した場合には、第1の染色標本画像および第2の染色標本画像それぞれについて同様の処理を行う。作成した1枚または複数の変化率合成分光画像の画像データは、記憶部55に記憶しておく。
続いて、注目対象抽出部545は、作成した変化率合成分光画像から注目対象組織の領域を抽出し、注目対象画像を作成する(ステップc5)。例えば、変化率合成分光画像に対し、平滑化や2値化、エッジ抽出、モフォロジー(膨張・収縮)といった公知の画像処理を適宜選択的に組み合わせて行い、注目対象組織の領域を抽出する。なお、このとき、注目対象組織が核や赤血球等のような特徴的な形状を有する組織の場合には、変化率合成分光画像に対して粒子解析を行い、面積や円形度等のパラメータを求めることとしてもよい。これによれば、注目対象組織の領域をより精度良く抽出できる。作成した注目対象画像のデータは、記憶部55に記憶しておく。
より詳細には、複数の波長が特徴波長として決定されている場合には、前述のように特徴波長毎の変化率合成分光画像およびこれら特徴波長毎の変化率合成分光画像を1枚に合成した変化率合成分光画像が作成される。また、変形例として上記したように観察パラメータを2通り設定した場合には、2通りの変化率合成分光画像が作成される。このため、注目対象抽出部545は、これら複数の変化率合成分光画像を表示部52に表示処理し、ユーザ操作に従って手動でまたは自動的に1枚の変化率合成分光画像を選択する。そして、注目対象抽出部545は、選択した変化率合成分光画像に対してステップc5の処理を行い、注目対象画像を作成する。
図13は、変化率合成分光画像選択画面の一例を示す図である。この変化率合成分光画像選択画面は、複数の変化率合成分光画像が作成された場合に表示部52に表示される。図13に示すように、変化率合成分光画像選択画面には、複数の変化率合成分光画像I201が例えばサムネイル形式で並べて表示される。この変化率合成分光画像選択画面は、複数の変化率合成分光画像のうちの1枚を選択画像として表示する画像表示部W201を備え、ユーザ操作に従って手動でまたは自動的に選択した1枚の変化率合成分光画像が拡大表示されるようになっている。
また、変化率合成分光画像選択画面には、複数の変化率合成分光画像から1枚の変化率分光合成画像を手動選択するのか自動選択するのかを択一的に選択可能なラジオボタンB201,B202や、操作を確定するOKボタンBTN201、操作をキャンセルするキャンセルボタンBTN202等が配置されている。
例えば、図13においてラジオボタンB201を選択すると、操作部51を介してカーソルCS201を移動させることで複数の変化率合成分光画像のうちの1枚が手動で選択することができるようになっており、カーソルCS201によって選択されている変化率合成分光画像が選択画像として画像表示部W201に拡大表示される。一方、ラジオボタンB202を選択した場合には、複数の変化率合成分光画像のうちの1枚が自動的に選択されて選択された変化率合成分光画像が選択画像として画像表示部W201に拡大表示される。この場合の内部処理としては、注目対象抽出部545が、変化率合成分光画像毎に、それぞれ全画素の画素平均値を算出する。そして、注目対象抽出部545は、算出した画素平均値が最大となる変化率合成分光画像を選択し、画像表示部W201に表示処理する。ユーザは、画像表示部W201において所望の変化率合成分光画像が選択画像として表示された状態でOKボタン201を押下操作する。
なお、分光画像や変化率分光画像、変化率合成分光画像を表示部52に表示して注目対象組織の抽出処理を行うようにしてもよい。そして、変化率合成分光画像に施す2値化処理で用いる閾値の指定や、注目対象組織の領域を抽出するために行う平滑化や2値化、エッジ抽出、モフォロジー(膨張・収縮)等の画像処理の指定を受け付ける構成としてもよい。
図14は、観察対象組織抽出画面の一例を示す図である。図14に示すように、観察対象組織抽出画面は、分光画像、変化率分光画像または変化率合成分光画像と、変化率合成分光画像に対して画像処理を施して得られた注目対象画像とを並べて表示する画像表示部W21を備え、画像表示部W21に向かって左側に表示させる配置分光画像、変化率分光画像または変化率合成分光画像をリストボックスB21で選択できるようになっている。図14では、リストボックスB21によって変化率合成分光画像が選択されており、画像表示部W21の向かって左側にステップc1で作成した変化率合成分光画像I21が表示され、向かって右側に画像処理後の注目対象画像I22が表示される。
また、観察対象組織抽出画面には、コントラストを調整するためのスライダーバーS21や、2値化処理で用いる閾値を指定するためのスライダーバーS22、変化率合成分光画像に施す画像処理を選択するためのチェックボックスC21、操作を確定するOKボタンBTN21、操作をキャンセルするキャンセルボタンBTN22等が配置されている。図14では、チェックボックスC21として、シード設定、膨張、収縮、エッジ抽出および平滑化を個別に選択するための5つのチェックボックスが配置されている。ここで、シード設定のチェックボックスを選択すると、画像表示部W21の注目対象画像I22上にポインタP21が表示されるようになっている。例えば、ユーザが、操作部51を操作して注目対象組織が映る変化率合成分光画像上の位置にポインタP21を移動させ、OKボタンBTN21を押下操作したとする。この場合には、例えば、ポインタP21の位置を始点として設定し、分光画像中で始点の画素値と類似する画素値を探索する処理が行われて注目対象組織の領域が抽出される。
このようにすれば、ユーザは、分光画像や変化率分光画像、変化率合成分光画像を見ながら閾値の設定や変化率合成分光画像に施す画像処理を指定することができる。
続いて、図11に示すように、注目対象抽出部545は、染色標本画像の各画素について求めた分光透過率の値をRGB値に変換し、表示用のRGB画像(染色標本RGB画像)を作成する(ステップc7)。ここで、染色標本画像上の点(画素)xにおける分光透過率をT(x)とするとRGB値GRGB(x)は、次式(6)で表される。
GRGB(x)=HT(x) ・・・(6)
ここで、式(6)のHはシステム行列であり、次式(7)で表される。
H=FSE ・・・(7)
Fは、チューナブルフィルタの分光透過率である。Sは、カメラの分光感度特性であり、観察染色標本の染色標本属性の属性値をもとに選択した施設についての特性データに対応するカメラ分光特性のデータセット(ここでは、データセットC−21)を用いる。Eは、単位時間当たりの照明の分光放射特性であり、選択した施設についての特性データに対応する照明分光特性のデータセット(ここでは、データセットC−01)を用いる。染色標本画像の全ての画素位置xについて分光透過率の値が算出されているので、画像位置xについてT(x)をRGB値に変換する処理を画像全体に亘って反復すれば、撮像したマルチバンド画像と同じ幅と高さを有するRGB画像が得られる。作成した染色標本RGB画像のデータは、記憶部55に記憶しておく。
そして、注目対象抽出部545は、染色標本RGB画像上に注目対象画像を重畳させて仮想特殊染色画像を作成する(ステップc9)。作成した仮想特殊染色画像のデータは、記憶部55に記憶しておく。図15は、仮想特殊染色画像の一例を示す図である。この仮想特殊染色画像は、注目対象組織を染色する特殊染色を標本に施したような画像として得られ、染色標本画像中の注目対象組織の領域を視認性良く判別できる。
なお、ここで説明した領域の抽出方法は一例であって、これに限定されるものではない。例えば、サポートベクターマシン(SVM)等の判別器を用い、観察分光特性を特徴量とした学習判別処理によって注目対象組織の画素を抽出することとしてもよい。例えば、注目対象組織の観察分光特性(ここではデータセットB−01等)をもとに波長ω,ω−1間の波長間変化率および波長ω,ω+1間の波長間変化率をそれぞれ算出し、これらを合成して変化率合成データを得る。そして、ステップc3で作成した変化率合成分光画像に対し、得られた変化率合成データを教師データとして学習判別処理を行うことによって、注目対象組織の画素を抽出することとしてもよい。またこのとき、特徴波長のみを有効波長として用いて学習判別処理を行うこととしてもよい。これによれば、次元数を削減でき、判別精度を向上させることができる。
以上説明したように、実施の形態1によれば、予め染色標本属性の属性値毎に測定した分光特性を含む特性データを特性データ記憶部7に記憶しておくことができる。そして、指定された観察染色標本の属性値に応じた特性データを選択し、選択した特性データを解析することによって注目対象組織の特徴波長を決定し、観察染色標本を観察する際の観察部3の動作環境を設定するためのシステムパラメータを設定することができる。このとき、決定した注目対象組織の特徴波長をもとに、染色標本画像を撮像する際のチューナブルフィルタの選択波長帯域(選択波長幅)を設定することができる。具体的には、特徴波長付近において選択波長幅を狭くし、観察時(染色標本画像の撮像時)の実際の環境に応じてシステムパラメータを設定することができる。
結果的に、注目対象組織のスペクトル特徴を精度良く取得できるので、注目対象組織の領域を高精度に抽出可能な染色標本画像を取得するためのシステムパラメータを適切に設定することができる。したがって、観察対象の標本の特徴を取得するために最適なシステム環境を自動的に設定することができ、注目対象組織の領域を観察し易く、診断がし易い染色観察像を取得することができる。
また、設定したシステムパラメータに従って取得された染色標本画像を画像処理し、注目対象組織が映る領域を抽出することができる。そして、注目対象組織の領域とそれ以外の領域とを識別表示した仮想特殊染色画像を作成することができ、例えば標本に施された染色が不十分な場合や、染色ムラがある場合であっても、注目対象組織の領域をその他の組織と視認性良く識別することができる。
従来、注目対象組織の領域の視認がし難い場合には、観察し易い染色標本画像が得られるまで、直接顕微鏡やマルチバンドカメラを操作しながら染色標本画像を繰り返し取得していた。あるいは、取得された染色標本画像の染色が不十分で視認性が悪い場合には、標本に再度染色を施すよう臨床検査技師に依頼していた。ここで、注目対象組織について特徴的な波長を探す作業は、熟練を要し、ユーザの負担が高い。
これに対し、実施の形態1では、ユーザ(病理医)は、顕微鏡やマルチバンドカメラを操作する必要がなく、観察部3が設置された場所とは別の場所で表示部52に表示された仮想特殊染色画像等を見ながら観察・診断が行える。また、臨床検査技師に再度標本の染色を依頼し、染色をし直すといった工程が必要ない。したがって、ユーザの手間を省き、染色標本画像を取得する際の顕微鏡やマルチバンドカメラの操作といった作業負担を軽減できる。これにより、染色が不十分な場合の診断精度への影響を抑えるとともに、診断に関わる人員の削減や診断時間の短縮化が図れ、コスト削減を実現できる。
なお、上記した実施の形態では、特徴波長を自動的に決定してシステムパラメータを設定し、染色標本画像を取得することとした。これに対し、決定した特徴波長やこの特徴波長を決定する際に用いる上記式(5)の係数kをユーザ操作に従って変更可能に構成することとしてもよい。
図16は、特徴波長変更画面の一例を示す図である。図16に示す特徴波長変更画面には、特徴波長を変更するためのスライダーバーS31や係数kを変更するためのスライダーバーS32、スライダーバーS31やスライダーバーS32での操作を確定するOKボタンBTN31、操作をキャンセルするキャンセルボタンBTN32等が配置されている。また、特徴波長変更画面には、観察染色標本の染色標本属性に応じて選択した特性データの観察分光特性を表す図16のグラフと同様のグラフG31が表示されている。そして、グラフG31と併せて、現在の特徴波長が破線によって示されている。ここで、染色色素について、撮像パラメータの1つとして設定するチューナブルフィルタの選択波長帯域(選択波長幅)として適切ではない波長が予め定められている場合には、図16中に一点鎖線で示すように、変更できない波長または波長帯域選択できない波長をグラフG31と併せて示すようにしてもよい。
なお、このとき、決定した特徴波長(Kλ(i)の波長)を取得する際に用いた観察分光特性(データセット)に応じて例えば破線の色を変更し、異なる観察分光特性から決定した特徴波長を識別可能に表示することとしてもよい。あるいは、線種を変更して識別表示してもよい。
この特徴波長変更画面において、ユーザは、例えばスライダーバーS31を操作して特徴波長を変更する。あるいは、スライダーバーS32を操作して係数kの値を変更する。その後、OKボタンBTN31が押下操作されると、スライダーバーS31が操作された場合であればその値を特徴波長として変更し、変更後の特徴波長に従ってグラフG31における特徴波長を示す破線表示が更新される。一方、スライダーバーS32が操作された場合であれば、その値を係数kの値として閾値Thを変更する。そして、この閾値Thを用いて上記した処理を行い、特徴候補波長を再度取得し、特徴波長を決定し直す。この場合も、変更後の特徴波長に従ってグラフG31における特徴波長を示す破線表示が更新される。
本変形例によれば、ユーザは、観察分光特性のグラフを確認しながら直接特徴波長を調整したり、係数kの値を修正することによって特徴波長を調整するといったことが可能となり、システム環境の設定をより適切に行うことができる。
(実施の形態2)
図17は、実施の形態2の顕微鏡観察システム1bの機能構成を示すブロック図である。なお、図17において、実施の形態1で説明した顕微鏡観察システム1bと同一の構成については同一の符号を付して示している。
図17に示すように、実施の形態2の観察システム制御部5bは、操作部51と、表示部52と、処理部54bと、記憶部55bとを備える。
処理部54bは、染色標本属性指定部541bと、特性データラベリング部546bと、特性データ解析部543bと、システム環境設定部544bと、染色標本画像解析部547bとを含む。
染色標本属性指定部541bは、観察染色標本についての染色標本属性の属性値および観察倍率をユーザ操作に従って指定する。実施の形態2では、属性項目の1つである注目対象組織として複数の注目対象組織が指定可能に構成されている。注目対象組織として1つの組織が選択された場合については実施の形態1で説明した。以下では、注目対象組織として2以上の組織が指定された場合に着目して説明する。
特性データラベリング部546bは、指定された染色標本属性をもとに、特性データ記憶部7に記憶されている特性データの中から1つ以上の特性データを選択するとともに、指定された2つ以上の注目対象組織に応じて選択した特性データをラベリングする。
特性データ解析部543bは、特性データラベリング部546bによって選択された1つ以上の特性データをもとに、各注目対象組織の特徴波長を決定する。
システム環境設定部544bは、特性データ解析部543bによって決定された各注目対象組織の特徴波長を比較し、特徴波長を含む所定の波長帯域に対して感度が向上するように、システムパラメータを設定する。
染色標本画像解析部547bは、染色標本画像撮像部33が撮像した染色標本画像を画像処理し、この染色標本画像から指定された各注目対象組織が映る領域を個別に抽出する。
また、記憶部55bには、観察染色標本の染色標本属性をもとにシステムパラメータを設定して観察部3の動作を制御し、染色標本画像を取得する処理を実現するための観察システム制御プログラム551bが記憶される。
図18は、実施の形態2の観察システム制御部5bが行う処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部55bに記憶された観察システム制御プログラム551bに従って観察システム制御部5bの各部が動作することによって実現される。
先ず、染色標本属性指定部541bが、染色標本属性指定画面を表示部52に表示して染色標本属性の指定依頼を通知する処理を行い、操作部51を介してユーザによる染色標本属性および観察倍率の指定操作を受け付ける(ステップd1)。
図19は、実施の形態2における染色標本属性指定画面の一例を示す図である。図19に示す染色標本属性指定画面には、染色種類、臓器、施設の各属性項目の属性値を指定するためのスピンボックスB41,B42,B44や、注目対象組織の数(注目対象組織数)を指定するためのスピンボックスB43、スピンボックスB43で指定された数の注目対象組織を個別に指定するためのスピンボックスB431,B432等、観察倍率を指定するためのスピンボックスB45、これらの各スピンボックスでの操作を確定するOKボタンBTN41、操作をキャンセルするキャンセルボタンBTN42、メモ欄M41等が配置されている。実施の形態2では、ユーザは、この染色標本属性指定画面において対象注目組織として指定する組織の数を指定するとともに、指定した数の注目対象組織を指定する。なお、図19では、最大4つの注目対象組織が指定できるようになっているが、指定可能な注目対象組織の数は特に限定されない。
染色標本属性の属性値が指定されたならば、続いて図18に示すように、特性データラベリング部546bが、特性データ記憶部7を参照し、染色標本属性指定部541bによる指定依頼の通知に応答して指定された染色標本属性に応じた1つ以上の特性データを選択する(ステップd3)。特性データの選択は、実施の形態1と同様にして行うことができる。
そして、特性データラベリング部546bは、指定された2つ以上の注目対象組織に例えば通し番号を割り振ってラベルを割り当て、各注目対象組織それぞれについて選択した特性データをラベリングする(ステップd5)。具体的には、特性データラベリング部546bは、注目対象組織に応じて選択した特性データに対し、注目対象組織に割り当てたラベルLn(n=1,2,3,・・・,注目対象組織数)を付与する。例えば、図19に例示したように、スピンボックスB431で1つ目の注目対象組織1として“弾性線維”を選択し、スピンボックスB432で2つ目の注目対象組織2として“細胞質”を指定した場合には、“弾性線維”をもとに選択した特性データに対してラベルL1、“細胞質”をもとに選択した特性データに対してラベルL2を付与する。
続いて特性データ解析部543bが、ステップd3で選択された特性データをもとに、注目対象組織の特徴波長を決定する(ステップd7)。特性波長の決定手法については、実施の形態1と同様にして行うことができる。ただしこのとき、注目対象組織毎に特徴波長を決定する。決定した特徴波長は、該当する注目対象組織にラベルLnと対応付けて記憶部55bに記憶しておく。
続いてシステム環境設定部544bが、ステップd7で決定された特徴波長をもとに、システムパラメータ(観察パラメータおよび撮像パラメータ)を設定する(ステップd9)。システムパラメータの設定手法については、実施の形態1と同様にして行うことができる。ただし、このとき、注目対象組織毎にシステムパラメータを設定する。この結果、注目対象組織毎に決定された特徴波長に従ってチューナブルフィルタの選択波長帯域(選択波長幅)が設定される。設定したシステムパラメータは、該当する注目対象組織を表すラベルLnと対応付けて記憶部55bに記憶しておく。
そして、システム環境設定部544bは、設定したシステムパラメータを観察部3の染色標本観察部31や染色標本画像撮像部33に出力して各部に対する動作指示を行う。この結果、観察部3は、システム環境設定部544bが設定したシステムパラメータに従って動作し、染色標本の観察像をマルチバンド撮像して染色標本画像を取得する(ステップd11)。
続いて、染色標本画像解析部547bが、染色標本画像解析処理を行い、染色標本画像を画像処理して染色標本画像中の注目対象組織が映る領域を抽出する(ステップd13)。具体的には、染色標本画像解析部547bは、各注目対象組織に共通する特徴波長での染色標本画像および異なる特徴波長での染色標本画像をもとに注目対象組織の領域を抽出する。
図20は、染色標本画像解析処理の詳細な処理手順を示すフローチャートである。図20に示すように、染色標本画像解析処理では、染色標本画像解析部547bは、注目対象組織を順次処理対象とし、各注目対象組織それぞれについてループAの処理を行う(ステップe1〜ステップe9)。
ループAでは、染色標本画像解析部547bは先ず、処理対象の注目対象組織の特徴波長およびこの特徴波長の前後1〔nm〕の波長での染色標本画像(分光画像)をもとに、特徴波長毎の変化率分光画像を作成する(ステップe3)。変化率分光画像の作成は、実施の形態1と同様にして行うことができる。
続いて、染色標本画像解析部547bは、作成した特徴波長毎の変化率分光画像を合成し、変化率合成分光画像を作成する(ステップe5)。変化率合成分光画像を作成は、実施の形態1と同様にして行うことができる。そして、染色標本画像解析部547bは、特徴波長毎に得られた変化率合成分光画像を合成して全波長変化率合成分光画像を作成する(ステップe7)。
例えば、上記のように“弾性線維”および“細胞質”の2つの注目対象組織が指定され、各注目対象組織にラベルL1,L2が付与された場合を例にとって説明する。ここで、ラベルL1が付与された注目対象組織“弾性線維”について決定された特徴波長をΛ1n(n=1,2,3,・・・)、ラベルL2が付与された注目対象組織“細胞質”について決定された特徴波長をΛ2n(n=1,2,3,・・・)とする。この場合には、ラベルL1の注目対象組織“弾性線維”の特徴波長Λ1n(n=1,2,3,・・・)およびこの特徴波長の前後1〔nm〕の波長Λ1n±1(n=1,2,3,・・・)での染色標本画像(分光画像)をもとに、変化率分光画像を作成し、この変化率分光画像をもとに変化率合成分光画像を作成し、全波長変化率合成分光画像を得る。同様に、ラベルL2の注目対象組織“細胞質”の特徴波長Λ2n(n=1,2,3,・・・)およびこの特徴波長の前後1〔nm〕の波長Λ2n±1(n=1,2,3,・・・)での染色標本画像(分光画像)をもとに、変化率分光画像を作成し、この変化率分光画像をもとに変化率合成分光画像を作成し、全波長変化率合成分光画像を得る。
続いて、図20に示すように、染色標本画像解析部547bは、注目対象組織毎に得た全波長変化率合成分光画像をもとに、論理差分光画像を作成する(ステップe11)。図21は、論理差分光画像の作成工程を説明する図である。図21(a)は、ラベルL1の注目対象組織“弾性線維”について得た全波長変化率合成分光画像の一例を示している。また、図21(b)は、ラベルL2の注目対象組織“細胞質”について得た全波長変化率合成分光画像の一例を示している。そして、図21(c)は、(a)の全波長変化率合成分光画像および(b)の全波長変化率合成分光画像を合成して得た論理差分光画像の一例を示す図である。
ここでは、染色標本画像解析部547bは、ラベルL1の注目対象組織“弾性線維”について得た全波長変化率合成分光画像の各画素から、ラベルL2の注目対象組織“細胞質”について得た全波長変化率合成分光画像において画素値が予め設定される閾値T以上である画素の画素値を例えば“0(ゼロ)”とし、論理差分光画像とする。ラベルL2の注目対象組織“細胞質”について得た全波長変化率合成分光画像についても、同様に論理差分光画像を作成する。この論理差分光画像を作成することによって、他の注目対象組織の全波長変化率合成分光画像と共通する特徴を除去することによって、各注目対象組織の特徴をより正確に再現できる。この論理差分光画像は、他の注目対象組織で重複しない波長間変化率の大きい画素が強調された画像として得られる。
続いて、染色標本画像解析部547bは、作成した注目対象組織毎の論理差分光画像から対応する注目対象組織の領域を抽出し、注目対象画像を作成する(ステップe13)。例えば、論理差分光画像に対し、実施の形態1と同様にして平滑化や2値化、エッジ抽出、モフォロジー(膨張・収縮)といった公知の画像処理を適宜選択的に組み合わせて行い、注目対象組織の領域を抽出する。その後、染色標本画像解析部547bは、実施の形態1と同様にして染色標本RGB画像を作成し(ステップe15)、染色標本RGB画像と注目対象画像とを重畳して仮想特殊染色画像を作成する(ステップe17)。例えば、染色標本RGB画像と“弾性線維”についての注目対象画像とを重畳した仮想特殊染色画像は、“弾性線維”を染色する特殊染色を標本に施したような画像として得られ、染色標本画像中の“弾性線維”の領域を視認性良く判別できる。“細胞質”についても、同様の仮想特殊染色画像が得られ、染色標本画像中の“細胞質”の領域を視認性良く判別できる。
以上説明したように、実施の形態2によれば、実施の形態1と同様の効果を奏するとともに、複数の注目対象組織が指定された場合であっても、染色標本画像から各注目対象組織が映る領域を個別に抽出し、各注目対象組織の領域とそれ以外の領域とを識別表示した論理差分光画像を作成することができる。そして、この論理差分光画像によって、各注目対象組織の領域を、他の注目対象組織やその他の組織と視認性良く識別することができる。