JP5581690B2 - 厚み情報取得装置、厚み情報取得方法、厚み情報取得プログラム及び顕微鏡 - Google Patents

厚み情報取得装置、厚み情報取得方法、厚み情報取得プログラム及び顕微鏡 Download PDF

Info

Publication number
JP5581690B2
JP5581690B2 JP2009295380A JP2009295380A JP5581690B2 JP 5581690 B2 JP5581690 B2 JP 5581690B2 JP 2009295380 A JP2009295380 A JP 2009295380A JP 2009295380 A JP2009295380 A JP 2009295380A JP 5581690 B2 JP5581690 B2 JP 5581690B2
Authority
JP
Japan
Prior art keywords
image
correlation
thickness
thickness information
phase difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009295380A
Other languages
English (en)
Other versions
JP2011133438A5 (ja
JP2011133438A (ja
Inventor
隆司 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009295380A priority Critical patent/JP5581690B2/ja
Priority to US12/970,088 priority patent/US9127931B2/en
Priority to CN2010105931177A priority patent/CN102109329A/zh
Publication of JP2011133438A publication Critical patent/JP2011133438A/ja
Publication of JP2011133438A5 publication Critical patent/JP2011133438A5/ja
Application granted granted Critical
Publication of JP5581690B2 publication Critical patent/JP5581690B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/04Measuring microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/14Condensers affording illumination for phase-contrast observation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Microscoopes, Condenser (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は厚み情報取得装置、厚み情報取得方法、厚み情報取得プログラム及び顕微鏡に関し、例えば生体サンプルを拡大して観察する分野に適用して好適なものである。
病理診では、組織切片などの生体サンプルはスライドガラスに固定され、染色過程及び封入過程を経てプレパラートとして作製される。一般に、プレパラートの保管期間が長期間となると、生体サンプルの劣化や退色等によりプレパラートに対する顕微鏡での視認性が悪くなる。また、プレパラートはそれを作製した病院等の施設以外の施設で鏡検されることもあるが、該プレパラートの受け渡しは一般に郵送であり、一定の時間を要する。
このような実情等に鑑み、生体サンプルを画像データとして保存する装置が提案されている(例えば特許文献1参照)。
特開2009−175334公報
ところで生体サンプルは厚みを有するものである。このため、例えば、生体サンプルの厚み方向の全領域を撮像する場合、該生体サンプルに集光する光学レンズの被写体深度と生体サンプルの厚みに基づいて、厚み方向の撮像する枚数を決定する。
このような場合、撮像枚数に応じてデータ量と撮像時間が決定するという観点から、生体サンプルの厚みに関する情報(以下、これを厚み情報とも呼ぶ)を取得することが望まれる。
そこで、例えば、生体サンプルの厚み方向へ所定間隔ごとに光学レンズの焦点をずらしていき、それぞれの位置で生体サンプルの像を撮像して生体サンプルの有無を判断することにより、生体サンプルの厚み情報を取得する方法が考えられる。
この方法では、例えば光学レンズの被写体深度が1[μm]で、生体サンプルの厚み方向に100[μm]を検索する場合、100枚の撮像画像から生体サンプルの厚み情報を取得することになり、その検出精度は1[μm]単位となる。
一方、例えば光学レンズの被写体深度が2[μm]で、生体サンプルの厚み方向に100[μm]を検索する場合、50枚の撮像画像から生体サンプルの厚み情報を取得することになり、その検出精度は2[μm]単位となる。
従って、この方法では、被写体深度を浅くすれば検出精度は高くなるが処理時間が長くなり、被写体深度を深くすれば検出精度は低くなるが処理時間は短くなるといったように、検出時間を短時間にして検出精度を高くすることが困難である。
本発明は以上の点を考慮してなされたもので、サンプルの厚み情報を短時間で精度よく取得し得る厚み情報取得装置、厚み情報取得方法及び厚み情報取得プログラムを提案しようとするものである。
かかる課題を解決するため本発明においては、厚み情報取得装置であって、内部で発生した光が透過するサンプルの位相差像を取得する像取得部と、位相差像における一方の像の各画素に対する他方の像の相関分布を算出する算出部と、相関分布における相関が最大となる位置での曲率を算出し、該曲率の程度に応じてサンプルの厚みに関する情報を取得する厚み情報取得部とを有する。
また本発明においては、厚み情報取得方法であって、内部で発生した光が透過するサンプルの位相差像を取得する像取得ステップと、位相差像における一方の像の各画素に対する他方の像の相関分布を算出する算出ステップと、相関分布における相関が最大となる位置での曲率を算出し、該曲率の程度に応じてサンプルの厚みに関する情報を取得する厚み情報取得ステップとを有する。
さらに本発明においては、厚み情報取得プログラムであって、コンピュータに対して、内部で発生した光が透過するサンプルの位相差像を取得する像取得ステップと、位相差像における一方の像の各画素に対する他方の像の相関分布を算出する算出ステップと、相関分布における相関が最大となる位置での曲率を算出し、該曲率の程度に応じてサンプルの厚みに関する情報を取得する厚み情報取得ステップとを実行させる。
さらに本発明においては、顕微鏡であって、対物レンズから入射する光を直進又は反射させるミラーと、対物レンズに結像され、ミラーの直進側又は反射側の一方に投影される被写体像を撮像するための第1の撮像素子と、ミラーの直進側又は反射側の他方の後方に一対を単位として設けられ、対物レンズの被写体深度よりも広い被写体深度となる大きさとされる開口と、開口の後方にそれぞれ設けられ、ミラーの透過側又は反射側の他方に投影される被写体像の予定結像面に対して位相差像を形成するためのセパレータレンズと、予定結像面を撮像面として設けられる第2の撮像素子と、第2の撮像素子から、内部で発生した光が透過するサンプルの位相差像を取得する像取得部と、位相差像における一方の像の各画素に対する他方の像の相関分布を算出する算出部と、相関分布における相関が最大となる位置での曲率を算出し、該曲率の程度に応じてサンプルの厚みに関する情報を取得する厚み情報取得部とを有する。
これにより、取得した位相差像の基準像に対する相関分布を算出し、該相関分布における相関が最大となる位置での曲率の程度に応じてサンプルの厚み情報を取得するようにしたことにより、1つの位相差像から撮像範囲におけるサンプルの厚みを取得できると共に、サンプルの厚さを反映した相関分布に応じた厚み情報を取得することができる。
以上のように本発明によれば、取得した位相差像の基準像に対する相関分布を算出し、該相関分布における相関が最大となる位置での曲率の程度に応じてサンプルの厚み情報を取得するようにしたことにより、1つの位相差像から撮像範囲におけるサンプルの厚みを取得できると共に、サンプルの厚さを反映した相関分布に応じた厚み情報を取得することができ、かくして厚み情報を短時間で精度よく取得することができる。
顕微鏡の構成を示す概略図である。 組織切片の撮影対象像と位相差像を示す写真である。 統括制御部の機能的構成を示す概略図である。 検出窓及び検出範囲の設定を示す概略図である。 組織切片における検出面の位置を示す概略図である。 組織切片の厚みに応じた相関分布を示す概略図である。 相関値の分布及び相関値が最大となる位置での2次曲線を示す概略図である。 演算結果を示す概略図である。 厚み情報処理手順を示すフローチャートである。 一般的なステレオカメラを示す概略図である。
以下、発明を実施するための形態について説明する。なお、説明は以下の順序とする。
<1.実施の形態>
<2.他の実施の形態>
<1.実施の形態>
[1−1.顕微鏡の構成]
図1において、本一実施の形態による顕微鏡1を示す。この顕微鏡1は、プレパラートPRTが配される板状のステージ11を有する。
プレパラートPRTは、血液等の結合組織、上皮組織又はそれらの双方の組織などの組織切片TSを、所定の固定手法によりスライドガラスに固定し封入したものであり、該組織切片TSには必要に応じて染色が施される。この染色には、HE(ヘマトキシリン・エオジン)染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色と呼ばれる染色のみならず、FISH(Fluorescence In-Situ Hybridization)や酵素抗体法等の特殊染色と呼ばれる染色が含まれる。
ステージ11にはステージ駆動機構12が設けられる。このステージ駆動機構12は、ステージ面に対して平行となる方向(X軸−Y軸方向)と、直交する方向(Z軸方向)にステージ11を駆動するものとされる。ちなみに、プレパラートPRTが配される側のステージ面(以下、これをプレパラート配置面とも呼ぶ)には、一般に、プレパラートPRTを定位置に抑止する抑止部(図示せず)が設けられる。
ステージ11のプレパラート配置面とは逆の面側には光源13が配される。光源13は、一般染色が施された組織切片TSを照明する光(以下、これを明視野照明光とも呼ぶ)と、特殊染色が施された組織切片TSを照明する光(以下、これを暗視野照明光とも呼ぶ)とを切り換えて照射可能なものとされる。ただし、明視野照明光又は暗視野照射光のいずれか一方だけが照射可能なものであってもよい。光源13とステージ11との間には、プレパラート配置面における基準位置の法線を光軸とするコンデンサレンズ14が配される。
ステージ11のプレパラート配置面側には、ステージ面における基準位置の法線を光軸とする所定倍率の対物レンズ15が配される。この対物レンズ15の後方には、該対物レンズ15の主結像面となる面を撮像面とする撮像素子16が配される。
また顕微鏡1には、プレパラート配置面側における基準位置の法線上の対物レンズ15と撮像素子16との間にハーフミラー17が設けられる。ハーフミラー17は、対物レンズ15から入射する光を透過光と反射光とに分割する。
フィールドレンズ18は、ハーフミラー17の例えば反射側に投影される対物レンズ15の被写体像を後方(予定される結像面)にリレーする。このフィールドレンズ18では、ハーフミラー17で反射される被写体光が集められるため、視野周辺における明度の低下が抑制される。
絞りマスク19は、フィールドレンズ18の後方に配され、該フィールドレンズ18の光軸と直交する面のうちその光軸を境界として対称となる位置に一対の開口19A、19Bを有する。これら開口19A、19Bの大きさは、対物レンズ15の被写体深度よりもセパレータレンズ20A、20Bの被写体深度が広くなるよう調整される。
絞りマスク19は、これら開口19A、19Bによって、フィールドレンズ18から入射する被写体光束を分割する。分割光束は、被写体光束の結像面で交差し、該結像面の前後で位置関係が入れ換わる光束となる。
セパレータレンズ20A、20Bは、一対の開口19A、19Bの後方にそれぞれ個別に配される。このセパレータレンズ20A、20Bは、対応する開口19A、19Bによって分割される分割光束をアオリ結像(シフト)させ、フィールドレンズ18によってリレーされる予定結像面に対して1組の被写体像(以下、これを位相差像とも呼ぶ)を形成する。
なお、セパレータレンズ20A、20Bがフィールドレンズ18の口径蝕(ケラレ)に掛かると、分割光束の一部が欠損する。このためセパレータレンズ20A、20Bは、口径蝕に掛からないようフィールドレンズ18の中央側に寄せて配置される。
撮像素子21は、ラインセンサではなく、フィールドレンズ18によってリレーされる被写体像の予定結像面を撮像面とするエリアセンサとされる。
ここで、対物レンズ15の主結像面に配される撮像素子16で撮像される明視野像(撮影対象像)と、該対物レンズ15の予定結像面に配される撮像素子21で撮像される位相差像との写真を図2に示す。この図2からも分かるように、撮像素子16の撮像面(主結像面)に結像される明視野像は、セパレータレンズ20A、20Bによって位相差像として撮像素子21の撮像面(予定結像面)に結像される。
この顕微鏡1における制御系として、ステージ駆動機構12にはステージ駆動制御部31が、光源13には照明制御部32が、撮像素子16には撮像制御部33が、撮像素子21には位相差像撮像制御部34がデータ通信路を介して接続される。
これら制御系は、CPU(Central Processing Unit)、ROM(Read Only Memory)、CPUのワークメモリとなるRAM(Random Access Memory)及び演算回路などを含むコンピュータとされる。
ステージ駆動制御部31は、ステージ駆動機構12を駆動制御し、コンデンサレンズ14によって集められる集光部分にプレパラートPRTの組織切片TSが割り当てられるようステージ面方向(X軸−Y軸方向)にステージ11を移動させる(走査させる)。
またステージ駆動制御部31は、ステージ駆動機構12を駆動制御し、集光部分に割り当てられる組織切片TSの部位が対物レンズ15の焦点に合うようステージ面の直交方向(Z軸方向(つまり組織切片の奥行方向))にステージ11を移動させる。
照明制御部32は、明視野像を取得すべきモード(以下、これを明視野モードとも呼ぶ)又は暗視野像を取得すべきモード(以下、これを暗視野モードとも呼ぶ)に応じたパラメータを光源13に設定し、該光源13から照明光を照射させる。このパラメータは例えば照明光の強度や光源種類の選択などである。
なお、明視野モードにおける照射光は一般に可視光とされる。一方、暗視野モードにおける照射光は、特殊染色で用いられる蛍光マーカを励起する波長を含む光とされる。また暗視野モードでは蛍光マーカに対する背景部分はカットアウトされる。
光源13から照明光が照射された場合、その照明光はコンデンサレンズ14によって、ステージ11におけるプレパラート配置面の基準位置に集められる。対物レンズ15の結像面には、プレパラートPRTにおける組織切片TSのうち、コンデンサレンズ14によって集光される集光部分の像が拡大されて結像され、その拡大像が対物レンズ15によって撮像素子16の撮像面に被写体像として結像される。またハーフミラー17により反射された被写体像は、セパレータレンズ20A、20Bによって位相差像として撮像素子21の撮像面(予定結像面)に結像される。
撮像制御部33は、明視野モード又は暗視野モードに応じたパラメータを撮像素子16に設定し、該撮像素子16の撮像面に結像される被写体像のデータを取得する。このパラメータは例えば露光の開始タイミング及び終了タイミングなどである。
位相差像撮像制御部34は、明視野モード又は暗視野モードに応じたパラメータを撮像素子21に設定し、該撮像素子21の撮像面に結像される位相差像のデータを取得する。このパラメータは例えば露光の開始タイミング及び終了タイミングなどである。
ところでこの顕微鏡1には、該顕微鏡1の全体の制御を司る制御部(以下、これを統括制御部とも呼ぶ)30があり、これはステージ駆動制御部31、照明制御部32、撮像制御部33及び位相差像撮像制御部34それぞれにデータ通信路を介して接続される。この統括制御部30は、CPU、ROM、RAM、演算回路及びHDD(Hard Disc Drive)などを含むコンピュータとされる。
統括制御部30は、明視野モード又は暗視野モードの開始命令を待ち受け、該開始命令を受けた場合、その開始命令に対応するモードで制御を開始すべき指令をステージ駆動制御部31、照明制御部32、撮像制御部33及び位相差像撮像制御部34に与える。
また統括制御部30は、ステージ駆動制御部12においてプレパラートPRTの組織切片TS部位が割り当てられるたびに、撮像素子16によって取得される組織切片TS部位における拡大像のデータを記憶媒体に記憶する。
そして統括制御部30は、表示命令を待ち受け、該表示命令を受けた場合、その表示命令で指定される拡大像に対応するデータを記憶媒体から読み出し、これを表示命令の送出元に与える。
このようにこの顕微鏡1は、プレパラートPRTの組織切片TSを鏡検状態の画像として記憶することで、プレパラートPRT自体を保存する場合に比べて、固定や染色等の状態を劣化させることなく長期にわたって組織切片TSに関する情報を保存できるようになされている。
[1−2.厚み情報取得処理]
統括制御部30は、組織切片TSの厚み情報を取得するプログラム(以下、これを厚み情報取得プログラムとも呼ぶ)がHDDに格納されている。
統括制御部30は、厚み情報取得プログラムを実行する指示を受けた場合、該厚み情報取得プログラムをHDDに展開して厚み情報取得処理を実行する。
統括制御部30は、厚み情報取得プログラムに従って、図3に示すように、位相差像取得部41、相関分布算出部42及び厚み情報取得部43として機能する。
位相差像取得部41は、ステージ駆動制御部31を介して、プレパラートPRTの組織切片TS部位が撮像範囲として割り当てられるようステージ面方向(X軸−Y軸方向)にステージ11を移動させる。また位相差像取得部41は、組織切片TS部位が対物レンズ15の焦点に合うようZ軸方向にステージ11を移動させる。
位相差像取得部41は、照明制御部32を介して、明視野モード又は暗視野モードに応じたパラメータを光源13に設定し、該光源13から照明光を照射させる。
位相差像取得部41は、位相差像撮像制御部34を介して、組織切片TS部位の拡大像が撮像素子21に結像された位相差像のデータを取得する。
ここで顕微鏡1では、セパレータレンズ20A、20Bの被写体深度がプレパラートPRTに固定される組織切片TSの厚みより十分に厚くなるよう、開口19A、19Bが設定される。従って位相差像取得部41は、組織切片TS部位における厚み方向の全体に合焦された状態の位相差像を取得する。
相関分布算出部42は、図4に示すように、位相差像のうち基準とすべき一方の像(以下、これを基準像とも呼ぶ)SGにおける各画素を順に注目対象の画素(以下、これを注目画素と呼ぶ)NPとして選択する。
相関分布算出部42は、所定の画素(例えば、注目画素NP)を中心として該画素周辺の輝度平均値を算出する際に用いられる画素群を抽出するため、所定の横幅WX及び縦幅WYの比較窓CWを設定する。
また相関分布算出部42は、基準像SGにおける注目画素NPの位置と対応する比較像CGの画素(以下、これを比較画素と呼ぶ)CPを中心としてX軸方向の所定の検索範囲Dを設定する。
因みに、検索範囲Dは、基準像SGの注目画素NPに対する比較像CGの視差を検出する範囲であり、最大でも100[μm]未満の視差しか発生しないと仮定し、また視差が5[μm/pixel]で検出される場合、比較画素CPを中心としてX軸方向に±20[pixel]に設定される。
相関分布算出部42は、正規化相関の演算式
により注目画素NPに対する検出範囲D内における各画素の相関値Cを算出する。
ところで半透明で厚みのある組織切片TSの像に対して正規化相関を算出する場合、該組織切片TSの奥行方向(厚み方向)において明瞭な部分、すなわち明瞭に染色された部分が基準像SG及び比較像CGにおいて明瞭な像として写るため、その明瞭な部分が正規化相関の検出対象となる。
従って例えば組織切片TSがHE染色されている場合、図5に示すように、正規化相関では、明瞭に染色された細胞核CRを通る面(以下、これを検出面と呼ぶ)DPが検出対象になる。
また組織切片TSの奥行方向に複数の細胞核CRが並ぶ場合、正規化相関では、基準像SG及び比較像CGにより明瞭な特徴として写る奥行方向に並ぶ複数の細胞核CRの重心が検出対象となるため、検出面DPがその重心を通ることになる。
図6(A)に示すように、組織切片TSの奥行方向に細胞核CRが1つのみ存在する位置(x=x1)と、奥行方向に細胞核CRが2つ存在する位置(x=x2)では、基準像SG及び比較像CGがそれぞれ図6(B)及び(C)に示すように撮像される。
x=x1における正規化相関は、図6(D)に示すように、基準像SG及び比較像CGに細胞核CRが1つだけ写っているため、基準像SGの細胞核CRに対して比較像CGの細胞核CRが写る位置において相関値Cが高くなり、他の部分において相関値Cが低くなる。従ってこのような場合、検出範囲(−D/2〜D/2)の各画素に対する相関値Cの分布形状は、相関値Cが最大となる位置の前後で急激に変化する。
一方x=x2では、基準像SGにおいて2つの細胞核CRがほぼ重なっているのに対して比較像CGにおいては2つの細胞核CRが若干ずれて撮像される。このような場合、基準像SGの細胞核CRが写る位置に対する相関値Cは、図6(E)に示すように、比較像CGにおける2つの細胞核CRの中間で最大となる。また2つの細胞核CRが若干離れて写るために相関値Cが最大となる位置の前後でも相関値Cが高くなるため、各画素に対する相関値Cの分布形状は、相関値Cが最大となる位置の前後で緩やかに変化する。
因みに、実際の組織切片TSの厚みは概ね数[μm]から20[μm]程度であり、仮に視差が5[μm/pixel]で検出される場合、視差が最大で4[pixel]程度となる。従って、奥行方向に2つの細胞核CRが離れて並んでいる場合であっても、各画素に対する相関値Cの分布形状は、2山波形のような変化特性は表れない。
相関分布算出部42は、図7に示すように、(1)式により算出された相関値Cが最大となる点(C(k))とその前後の点(C(kn−1)及びC(kn+1))を抽出する。
そして相関分布算出部42は、抽出した3点(C(kn−1)、C(k)、C(kn+1))を通る2次曲線LFを次式
により算出する。因みに、「a」は2次の定数、すなわち曲率に相当し、「b」は1次の定数を示し、「c」は0次の定数を示す。
ここで相関値Cが最大となる位置(kmax)は(2)式の極値となることから、相関分布算出部42は、次式
を満たす次式
により(2)式の極値を算出する。相関分布算出部42は、注目画素NPに対応する比較画素CPの中心から極値までの距離を該注目画素NPの視差として算出する。
相関分布算出部42は、注目画素NPが選択されるたびに、(1)式、(2)式及び(4)式を用いて該注目画素NPの視差を算出し、視差情報として取得する。
この視差は大きいほど組織切片TSが対物レンズ15側(前方)に位置し、これに対して小さいほど後方に位置する関係にある。したがって、基準像SGの各画素に対する視差は、プレパラートPRTにおける組織切片TSのうち、撮影範囲(対物レンズ15の結像面に映る領域)の凹凸状態を示す情報に相当するものとなる。
ところで(1)式により算出される相関値Cは、注目画素NPに対して検索範囲D内の画素に対して計算されるので、画素単位の離散的な値をとる。従って(1)式により算出された相関値Cが最大となる画素を注目画素NPに対応する位置として決定した場合、注目画素NPに対する相関値Cが最大となる画素の距離(視差)が画素単位で検出されることになる。仮に視差が5[μm/pixel]で検出される場合、注目画素NPに対する相関値Cが最大となる画素の距離(視差)の検出間隔が5[μm]単位となる。
これに対して例えば2次曲線LFの極値から注目画素NPの視差を算出する場合、(1)式の正規化相関により注目画素NPの視差を算出する場合と比して、検出精度が約100倍となり、より精度よく視差を算出することができる。
因みに視差が5[μm/pixel]で検出される場合、2次曲線LFの極値から注目画素NPの視差を算出すると、注目画素NPに対する視差の検出間隔が0.05[μm]程度となる。
次に厚み情報取得部43は、(2)式における曲率aを次式
により算出する。
ここで、上述したように、組織切片TSの厚みに応じて相関値Cが最大となる位置での曲率が変化する。従って相関値Cが最大となる位置での曲率aは、組織切片TSの厚みを反映するものである。
そこで厚み情報取得部43は、相関値Cが最大となる点(C(k))とその前後の点(C(kn−1)及びC(kn+1))を通る2次曲線LFは必ず2次の定数(曲率a)が負の値をとることから、基準像SGにおける注目画素NPの厚み係数θを次式
により算出する。
厚み情報取得部43は、注目画素NPが選択されるたびに、(5)式及び(6)式を用いて該注目画素NPの厚み係数θを算出し、基準像SGの各画素に対する厚み係数θを厚み情報として取得する。
この厚み係数θは、組織切片TSが厚いほど小さくなり、該組織切片TSが薄くなるほど大きくなる。
ここで図8(A)に示すようなX軸方向の所定の2箇所で折れ重なった組織切片TSの位相差像と、該位相差像に対して算出されたデフォーカスマップ、y=yにおけるデフォーカス量変化及び厚み係数マップを図8(B)に示す。
図8(B)におけるデフォーカスマップは、基準像SGの各画素に対する(4)式を用いて算出された視差を、所定位置からの距離に応じて色付けして示したものであり、色が濃くなるにつれZ軸方向(手前側)に検出面があることを示す。図8(B)におけるy=yにおけるデフォーカス量変化は、y=yにおけるX軸に沿った視差を示したものである。図8(B)における厚み係数マップは、基準像SGの各画素に対する(6)式により算出された厚み係数θを示したものであり、色が濃くなるにつれて厚み係数θが小さくなることを示す。
図8(B)からも分かるように、組織切片TSが折り重なっている位置では該組織切片TSが厚いため、検出面が手前側に移動していると共に、厚み係数θも小さな値となる。
このように顕微鏡1は、(4)式及び(6)式を用いることで、位相差像における基準像SGの各画素での視差(デフォーカス量)及び厚み係数θを、1枚の位相差像から取得することができる。
因みに図8(B)において、デフォーカスマップでの外側の黒色の部分は、エラーにより視差が算出されなかった領域であり、厚み係数マップにおいても対応する部分はエラーにより厚み係数θは算出されていない。
統括制御部30は、視差情報に基づいて、検出面に対する対物レンズ15の焦点を合わせるべき位置(以下、これを合焦位置とも呼ぶ)を決定する。
統括制御部30は、合焦位置をステージ駆動制御部31に与え、該ステージ駆動制御部31によって、合焦位置に対する対物レンズ15の焦点の移動量が計算されステージ11が移動される。
また統括制御部30は、厚み情報に基づいた、例えば撮像範囲における組織切片TSの厚みに応じて、対物レンズ15の被写体深度に納まる複数の層(以下、これを撮影層とも呼ぶ)を決定する。
統括制御部30は、撮影層をステージ駆動制御部31に与え、該ステージ駆動制御部31によって、撮影層のそれぞれに対する対物レンズ15の焦点の移動量が計算されステージ11が移動される。
統括制御部30は、ステージ駆動制御部31によって撮影層のそれぞれに対物レンズ15の焦点が移動されるたびに、撮像制御部33を介して組織切片TS部位を撮像する。
従って統括制御部30は、厚み情報に基づいて撮影範囲における撮像枚数を決定するので、その位置での組織切片TSが厚い場合には撮像枚数を増やし、薄い場合には撮像枚数を減らす。これにより統括制御部30は、組織切片TSの厚みに応じて該組織切片TSを取りこぼすことなく、かつ不必要に多く撮像することない最適な撮像枚数を決定することができるので、撮像時間を高速化することができると共に、データ量を圧縮することができる。
[1−3.厚み情報取得処理手順]
次に、上述した厚み情報取得処理の手順について、図9に示すフローチャートに従って説明する。
実際上、統括制御部30は、ルーチンRT1の開始ステップから入って次のステップSP1へ移る。ステップSP1において統括制御部30は、撮像素子21により撮像された位相差像を位相差撮像制御部34を介して取得し、次のステップSP2に移る。
ステップSP2において統括制御部30は、位相差像から、基準像SGの各画素に対する相関値Cを(1)式を用いて算出し、次のステップSP3に移る。
ステップSP3において統括制御部30は、(1)式により算出された相関値Cが最大となる点(C(k))とその前後の点(C(kn−1)及びC(kn+1))を抽出し、次のステップSP4に移る。
ステップSP4において統括制御部30は、抽出した3点を通る2次曲線LF((2)式)を算出し、ステップSP5に移る。ステップSP5において統括制御部30は、2次曲線LFの極値を(4)式を用いて算出し、該極値を視差情報として取得し、次のステップSP6に移る。
ステップSP6において統括制御部30は、2次曲線LFの曲率aを(5)式を用いて算出し、次のステップSP7に移る。ステップSP7において統括制御部30は、2次曲線LFの曲率aから、厚み係数θを(6)式を用いて算出し、該厚み係数θを厚み情報として取得し、次のステップに移って処理を終了する。
[1−4.動作及び効果]
以上の構成において、顕微鏡1は、撮像素子21により撮像された組織切片TSの位相差像における基準像SGの各画素に対する比較像CGの検出範囲Dの相関値Cを算出し、該相関値Cの分布状態に基づいて組織切片TSの厚み情報を取得する。
これにより顕微鏡1は、例えばHE染色された組織切片TSの場合、奥行方向に存在する染色された組織に応じた厚み情報を、1つの位相差像、すなわち1回の撮像で取得できる。従って顕微鏡1は、組織切片TSの厚み情報を短時間で取得することができる。
また顕微鏡1は、染色された組織の分布を反映した厚み情報を取得することができるので、精度よく厚み情報を取得することができる。
この顕微鏡1は、組織切片TSの奥行方向へ光学レンズの焦点をずらして該組織切片TSの厚み情報を取得する場合と比して、離散的な値をとることないため、精度よく厚み情報を取得することができる。
ところで一般的なステレオカメラでは、図10に示すように、一方のカメラで撮像することができる物体(障害物)でも、他方のカメラでは手前にある物体(障害物)の陰になって撮像することができない場合がある。
このような場合、一方のカメラで撮像された像と、他方のカメラで撮像された像とで異なる像が写り、これら像を用いて相関を算出したとしても精度よく相関が取れない。また一般的なステレオカメラでは、該ステレオカメラから物体(障害物)までの距離(視差)は取得できるものの、物体(障害物)の厚み情報を取得することができない。
これに対して顕微鏡1では、組織切片TSが半透明であるため、位相差像における基準像SGと比較像CGには同一の対象が写るので相関が精度よく取れ、また組織切片TSの厚み情報も取得できる。
また顕微鏡1は、正規化相関によって得られた相関値Cが最大となる点とその前後の点を通る2次曲線LFを算出し、その2次曲線LFの曲率aに応じた厚み情報を取得するようにした。
従って顕微鏡1は、2次曲線LFを算出したことにより相関値Cの分解能が高くなり、その分解能が高い2次曲線LFの曲率aに応じた厚み情報を取得するので、より精度よく厚み情報を取得することができる。
以上の構成によれば、取得した位相差像の基準像に対する相関分布を算出し、該相関分布に応じて組織切片TSの厚み情報を取得するようにした。これにより、1つの位相差像から組織切片TSの厚み情報が取得でき、またサンプルの厚み方向の分布を反映した厚み情報を取得することができ、かくして厚み情報を短時間で精度よく取得することができる。
<2.他の実施の形態>
上述の実施の形態においては、組織切片TSがサンプルとされた。しかしながらサンプルはこの実施の形態に限定されるものではない。例えば生物に関するサンプル(生体サンプル)として細胞や染色体等が適応されてもよい。但しサンプルは、可視光を透過する半透明なものであるか、蛍光染色された生体サンプルのように、サンプル内で発生した光が該サンプル内を透過するものである。
上述の実施の形態においては、2枚のセパレータレンズ20A、20Bが用いられた。しかしながらセパレータレンズ20の数はこの実施の形態に限定されるものではない。1対のセパレータレンズ20A、20Bを単位(組)として、複数枚のセパレータレンズ20を用いることができる。なおこの場合、絞りマスク19に対して各組のセパレータレンズ20に対応する開口を設けることを要する。
上述した実施の形態においては、撮像素子21により撮像された位相差像のデータを取得するようにした場合について述べた。本発明はこれに限らず、位相差像のデータを、例えばインターネットを介して取得したり、所定の記憶媒体を介して取得するようにしてもよい。
上述した実施の形態においては、HE染色が施された組織切片TSの厚み情報を取得するようにした場合について述べた。この場合、(1)式により相関値Cが算出される際、明瞭に染色された組織が検出対象になる。本発明はこれに限らず、例えば細胞膜が明瞭に染色された組織切片TSにおいて該細胞膜を検出対象として相関値Cを算出するようにしてもよい。すなわち、染色の種類を選択的に決定することにより、検出対象を選択的に決定することができる。
上述した実施の形態においては、変曲点の前後で曲率が一致する2次曲線LFの曲率aを用いて厚み情報を取得するようにした場合について述べた。本発明はこれに限らず、正規化相関により得られた相関値Cを通る他の近似曲線を算出し、該近似曲線における極値の前後でそれぞれ独立した曲率を算出し、該曲率に応じて検出面の前方向及び後方向の厚み情報をそれぞれ独立に取得するようにしてもよい。
上述した実施の形態においては、正規化相関により得られた相関値Cが最大となる点及びその前後の点を通る2次曲線LFの曲率aに応じた厚み情報を取得するようにした場合について述べた。本発明はこれに限らず、正規化相関により得られた点を他の近似曲線で補間し、その曲率に応じた厚み情報を取得するようにしてもよい。
上述した実施の形態においては、相関演算として正規化相関を用いるようにした場合について述べた。本発明はこれに限らず、相関演算としてSAD(Sum of Absolute Difference)、SSD(Sum of Squared Difference)などの相関演算を用いるようにしてもよい。
上述した実施の形態においては、厚み情報に基づいて撮像範囲における撮像層を決定し、該撮像層ごとに組織切片像を撮像するようにした場合について述べた。本発明はこれに限らず、厚み情報に基づいて、撮像範囲における組織切片TSの厚みを算出し、該組織切片TSの全てが収まるように、対物レンズ15の被写体深度を調節して、1枚の組織切片像を撮像するようにしてもよい。
上述した実施の形態においては、所定倍率の対物レンズ15が1つ設けられている場合について述べた。本発明はこれに限らず、倍率の異なる複数の対物レンズが設けられ、複数の対物レンズのなかからレンズ切換機構又は手動により選択するようにしてもよい。
上述した実施の形態においては、対物レンズ15から入射する光をハーフミラー17により透過光と反射光とに分割し、撮像素子16及び21にそれぞれ透過光と反射光を導くようにした場合について述べた。本発明はこれに限らず、ハーフミラー17の代わりにミラー及びミラーアップ機構が設けるようにしてもよい。
この場合、撮像素子21に位相差像を結像する際には、ミラーを対物レンズ15と撮像素子16との間の光路上に配置し、ミラーで反射した反射光を撮像素子21に導く。一方、撮像素子16に被写体像を結像する際には、ミラーアップ機構によりミラーを対物レンズ15と撮像素子16との間の光路から外して対物レンズ15からの光を撮像素子16に導く。
上述した実施の形態においては、統括制御部30がHDDに格納されている厚み情報取得処理プログラムに従い、上述した厚み情報取得処理を行うようにした場合について述べた。本発明はこれに限らず、厚み情報取得処理プログラムがROMに格納されていてもよく、また記憶媒体からインストールしたり、インターネットからダウンロードした厚み情報取得処理プログラムに従って上述した厚み情報取得処理を行うようにしても良い。またその他種々のルートによってインストールした厚み情報取得処理ログラムに従って上述した厚み情報取得処理を行うようにしても良い。
上述した実施の形態においては、像取得部として位相差像取得部41、算出部として相対状態算出部42、厚み情報取得部として厚み情報取得部43が設けられるようにした場合について述べた。本発明はこれに限らず、その他種々の構成でなる像取得部、算出部、厚み情報取得部を設けるようにしても良い。
本発明は、生物実験、医薬の創製又は患者の経過観察などのバイオ産業上において利用可能である。
1……顕微鏡、11……ステージ、12……ステージ駆動機構、13……光源、14……コンデンサレンズ、15……対物レンズ、16、21……撮像素子、17……ハーフミラー、18……フィールドレンズ、19……絞りマスク、19A,19B……開口、20A、20B……セパレータレンズ、30……統括制御部、31……ステージ駆動制御部、32……照明制御部、33……撮像制御部、34……位相差像撮像制御部、41……位相差像取得部、42……相関分布算出部、43……厚み情報取得部、CG……比較像、PRT……プレパラート、SG……基準像。

Claims (6)

  1. 内部で発生した光が透過するサンプルの位相差像を取得する像取得部と、
    上記位相差像における一方の像の各画素に対する他方の像の相関分布を算出する算出部と、
    上記相関分布における相関が最大となる位置での曲率を算出し、該曲率の程度に応じて上記サンプルの厚みに関する情報を取得する厚み情報取得部と
    を有する厚み情報取得装置。
  2. 上記厚み情報取得部は、
    上記位相差像における上記画素の整列方向に関し、上記相関分布における相関が最大となる位置の前後での曲率をそれぞれ算出し、該曲率に応じた該相関値が最大となる位置の前後の厚みに関する情報を別々に算出する
    請求項1に記載の厚み情報取得装置。
  3. 上記位相差像は、生体サンプルの像である
    請求項1又は2に記載の厚み情報取得装置。
  4. 内部で発生した光が透過するサンプルの位相差像を取得する像取得ステップと、
    上記位相差像における一方の像の各画素に対する他方の像の相関分布を算出する算出ステップと、
    上記相関分布における相関が最大となる位置での曲率を算出し、該曲率の程度に応じて上記サンプルの厚みに関する情報を取得する厚み情報取得ステップと
    を有する厚み情報取得方法。
  5. コンピュータに対して、
    内部で発生した光が透過するサンプルの位相差像を取得する像取得ステップと、
    上記位相差像における一方の像の各画素に対する他方の像の相関分布を算出する算出ステップと、
    上記相関分布における相関が最大となる位置での曲率を算出し、該曲率の程度に応じて上記サンプルの厚みに関する情報を取得する厚み情報取得ステップと
    を実行させる厚み情報取得プログラム。
  6. 対物レンズから入射する光を直進又は反射させるミラーと、
    上記対物レンズに結像され、上記ミラーの直進側又は反射側の一方に投影される被写体像を撮像するための第1の撮像素子と、
    上記ミラーの直進側又は反射側の他方の後方に一対を単位として設けられ、上記対物レンズの被写体深度よりも広い被写体深度となる大きさとされる開口と、
    上記開口の後方にそれぞれ設けられ、上記ミラーの直進側又は反射側の他方に投影される被写体像の予定結像面に対して位相差像を形成するためのセパレータレンズと、
    上記予定結像面を撮像面として設けられる第2の撮像素子と、
    上記第2の撮像素子から、内部で発生した光が透過するサンプルの位相差像を取得する像取得部と、
    上記位相差像における一方の像の各画素に対する他方の像の相関分布を算出する算出部と、
    上記相関分布における相関が最大となる位置での曲率を算出し、該曲率の程度に応じて上記サンプルの厚みに関する情報を取得する厚み情報取得部と
    を有する顕微鏡。
JP2009295380A 2009-12-25 2009-12-25 厚み情報取得装置、厚み情報取得方法、厚み情報取得プログラム及び顕微鏡 Expired - Fee Related JP5581690B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009295380A JP5581690B2 (ja) 2009-12-25 2009-12-25 厚み情報取得装置、厚み情報取得方法、厚み情報取得プログラム及び顕微鏡
US12/970,088 US9127931B2 (en) 2009-12-25 2010-12-16 Thickness-information acquisition apparatus, thickness-information acquisition method, thickness-information acquisition program and microscope
CN2010105931177A CN102109329A (zh) 2009-12-25 2010-12-16 厚度信息获取装置、方法和程序以及显微镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009295380A JP5581690B2 (ja) 2009-12-25 2009-12-25 厚み情報取得装置、厚み情報取得方法、厚み情報取得プログラム及び顕微鏡

Publications (3)

Publication Number Publication Date
JP2011133438A JP2011133438A (ja) 2011-07-07
JP2011133438A5 JP2011133438A5 (ja) 2012-12-20
JP5581690B2 true JP5581690B2 (ja) 2014-09-03

Family

ID=44173550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009295380A Expired - Fee Related JP5581690B2 (ja) 2009-12-25 2009-12-25 厚み情報取得装置、厚み情報取得方法、厚み情報取得プログラム及び顕微鏡

Country Status (3)

Country Link
US (1) US9127931B2 (ja)
JP (1) JP5581690B2 (ja)
CN (1) CN102109329A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5468178B2 (ja) * 2011-03-31 2014-04-09 富士フイルム株式会社 撮像装置、撮像装置の制御方法及びプログラム
US10567378B2 (en) 2015-08-10 2020-02-18 Nec Corporation Mount, authentication device, authentication method, and program
CN109764817A (zh) * 2019-01-14 2019-05-17 南京信息工程大学 非接触式透镜中心厚测量***及方法
EP3941333A1 (en) * 2019-03-20 2022-01-26 Carl Zeiss Meditec, Inc. A patient tuned ophthalmic imaging system with single exposure multi-type imaging, improved focusing, and improved angiography image sequence display
CN110261320B (zh) * 2019-06-28 2020-10-30 浙江大学 一种荧光交错差分显微成像的方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3037961B2 (ja) * 1990-05-15 2000-05-08 オリンパス光学工業株式会社 電子カメラ装置および画像データの符号化装置
JPH05127068A (ja) * 1991-10-09 1993-05-25 Fuji Photo Optical Co Ltd 双眼実体顕微鏡
JPH05181056A (ja) * 1992-01-06 1993-07-23 Canon Inc 焦点検出装置
JPH06265349A (ja) * 1993-03-16 1994-09-20 Nissan Motor Co Ltd 車間距離検出装置
JPH11133309A (ja) * 1997-10-29 1999-05-21 Nippon Telegr & Teleph Corp <Ntt> 顕微鏡装置、寸法測定方法及びその装置
US6661571B1 (en) * 1999-09-21 2003-12-09 Olympus Optical Co., Ltd. Surgical microscopic system
US20080002878A1 (en) * 2006-06-28 2008-01-03 Somasundaram Meiyappan Method For Fast Stereo Matching Of Images
JP4214160B2 (ja) * 2006-08-31 2009-01-28 フジノン株式会社 監視カメラシステム
JP4558047B2 (ja) 2008-01-23 2010-10-06 オリンパス株式会社 顕微鏡システム、画像生成方法、及びプログラム

Also Published As

Publication number Publication date
CN102109329A (zh) 2011-06-29
US20110157348A1 (en) 2011-06-30
JP2011133438A (ja) 2011-07-07
US9127931B2 (en) 2015-09-08

Similar Documents

Publication Publication Date Title
JP5504881B2 (ja) 演算装置、演算方法、演算プログラム及び顕微鏡
JP5672688B2 (ja) 合焦装置、合焦方法、合焦プログラム及び顕微鏡
US11156823B2 (en) Digital microscope apparatus, method of searching for in-focus position thereof, and program
JP5577885B2 (ja) 顕微鏡及び合焦点方法
JP6208681B2 (ja) ラベルを使用しない高コントラストの細胞イメージングのための定量位相顕微鏡法
KR102411099B1 (ko) 실시간 오토포커스 스캐닝
JP6146265B2 (ja) 顕微鏡システムおよびオートフォーカス方法
JP5581851B2 (ja) ステージ制御装置、ステージ制御方法、ステージ制御プログラム及び顕微鏡
JP5581690B2 (ja) 厚み情報取得装置、厚み情報取得方法、厚み情報取得プログラム及び顕微鏡
JP5696396B2 (ja) 顕微鏡及びゴースト除去方法
JP5471715B2 (ja) 合焦装置、合焦方法、合焦プログラム及び顕微鏡
US9575305B2 (en) Digital microscope apparatus, information processing method, and information processing program
JP2018017970A (ja) 光シート顕微鏡、及び、光シート顕微鏡の制御方法
JP2009186508A (ja) 光学顕微鏡の長焦点深度観察方法と光学顕微鏡
CN117233947B (zh) 显微镜照明***、控制方法及显微成像检测***
JP2011158273A (ja) 色収差測定方法、色収差測定装置及び色収差測定プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140617

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140630

R151 Written notification of patent or utility model registration

Ref document number: 5581690

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees