JP6503221B2 - ３次元情報取得装置、及び、３次元情報取得方法 - Google Patents

Description

本発明は、３次元情報取得装置、及び、３次元情報取得方法の技術に関する。

蛍光顕微鏡の分野では、試料の３次元情報を生成するための手段として共焦点顕微鏡が良く知られているが、近年では、標本に検出光学系の光軸方向と直交する方向からシート状の光（以降、光シートと記す）を照射する光シート照明を採用した顕微鏡（以降、光シート顕微鏡と記す）も知られている（特許文献１参照）。この技術は、試料に与えるダメージを抑えることができる、検出光学系の光軸（ｚ軸）方向に高い解像力を実現できるなどのメリットがあり、注目を集めている。

特表２００６−５０９２４６号公報

光シート顕微鏡は、照明光学系の開口数を大きくして光シートの厚さ（ｚ軸方向の厚さ）を薄くするほど、小さなｚ分解能（即ち、ｚ軸方向の高い解像力）を実現することができる。このため、高精度な３次元情報を取得することが可能となる。しかしながら、試料の３次元情報を取得する場合、光シートの厚さが薄いほど、必要なｚスタック画像の枚数が増加する。また、開口数が大きくなるほど、検出光学系の光軸と直交する方向の所定の厚さの光シートとなる照明範囲が狭くなってしまう。このため、試料の３次元情報の生成に時間がかかってしまう。
以上のような実情を踏まえ、本発明では、高精度の３次元情報を高速に取得する技術を提供することを課題とする。

本発明の一態様は、光シートで試料を照明する照明光学系と、２次元撮像素子を有し、前記照明光学系に照明された前記試料を撮像する撮像装置と、複数の異なる方向から観察した前記試料の複数の光学像を前記２次元撮像素子上に形成する観察光学系と、前記撮像装置で生成された前記試料の複数の画像データから前記試料の３次元情報を算出する演算装置と、を備え、ＰＰを前記２次元撮像素子の画素サイズ、λを前記試料からの観察光の波長、βを前記観察光学系によって前記撮像素子上に形成される前記複数の光学像の倍率、ＮＡを前記観察光学系の物体側の開口数とし、ＰＰ＞λ・β／（４・ＮＡ）を満たすとき、前記光シートの厚さＤは、以下の条件式
Ｄ ≦ ８・ＰＰ／β／ＮＡ
を満たし、
ＰＰ≦λ・β／（４・ＮＡ）を満たすとき、前記光シートの厚さＤは、以下の条件式
Ｄ ≦ ２・λ／ＮＡ ^２
を満たすことを特徴とする３次元情報取得装置。

本発明の別の態様は、試料を光シートで照明し、前記光シートで照明された前記試料の複数の光学像であって、各々が異なる方向から前記試料を観察した光学像である前記複数の光学像を、２次元撮像素子上に形成し、前記複数の光学像が形成された前記２次元撮像素子を備える撮像装置で前記試料の複数の画像データを生成し、前記複数の画像データから前記試料の３次元情報を算出し、前記光シートの厚さＤは、ＰＰを前記２次元撮像素子の画素サイズ、λを前記試料からの観察光の波長、βを前記２次元撮像素子上に形成される前記複数の光学像の倍率、ＮＡを前記観察光学系の物体側の開口数とし、ＰＰ＞λ・β／（４・ＮＡ）を満たすとき、以下の条件式
Ｄ ≦ ８・ＰＰ／β／ＮＡ
を満たし、
ＰＰ≦λ・β／（４・ＮＡ）を満たすとき、前記光シートの厚さＤは、以下の条件式
Ｄ ≦ ２・λ／ＮＡ ^２
を満たすことを特徴とする３次元情報取得方法。

本発明によれば、高精度の３次元情報を高速に取得する技術を提供することができる。

焦点深度について説明するための図である。 デフォーカス量が光学的焦点深度相当のときの周波数応答特性を示した図である。 デフォーカス量が画素焦点深度相当のときの周波数応答特性を示した図である。 デフォーカス量が画素焦点深度の２倍相当のときの周波数応答特性を示した図である。 デフォーカスによる点像強度分布が形成される位置の変化を説明するための図である。 移動量Δと焦点位置からのずれ量δｚの間の関係を説明するための図である。 実施例１に係る３次元情報取得装置１００の構成を例示した図である。 実施例１に係る３次元情報取得装置１００が行う３次元情報取得処理の流れを示したフローチャートである。 変形例に係る３次元情報取得装置２００の構成を例示した図である。 実施例２に係る３次元情報取得装置３００の構成を例示した図である。 ３次元情報取得装置３００に含まれる絞り２４を光軸方向から見た図である。 小領域の設定について説明するための図である。 実施例３に係る３次元情報取得装置４００の構成を例示した図である。 実施例４に係る３次元情報取得装置５００の構成を例示した図である。

後述する実施例に係る３次元情報取得装置は、いずれも光シート照明を採用した光シート顕微鏡装置である。これらの３次元情報取得装置は、従来に比べてｚ軸方向の厚さが厚い光シートで試料を照明し、複数の異なる方向から試料を撮像し、その結果得られた複数の画像データから試料の３次元情報を算出する。これにより、高精度の３次元情報を高速に取得するというものである。なお、各実施例に係る光シート顕微鏡装置は、蛍光観察に好適であり、蛍光観察に適用されることで、生体試料から発生した蛍光を検出して、生体試料の内部構造を３次元情報として取得することができる。以降では、光シートの厚さ方向、即ち、撮像素子の受光面に直交する方向をｚ軸方向と記し、ｚ軸方向と直交する方向をｘｙ軸方向と記す。また、光シートの厚さは、例えば、光束中のピーク強度の１／ｅ^２以上の強度となる領域の厚さで定義されてもよい。

各実施例について具体的に説明する前に、試料に照射する光シートの厚さを決定する方法と、試料の画像データから試料の３次元情報を算出する方法について説明する。

＜光シートの厚さ＞
光シートが照射された試料の領域内の３次元情報は、後述する方法により算出することができる。このため、光シートの厚さを厚くして一度に広い範囲を照明するほど、試料全体の３次元情報をより速く取得することができる。しかしながら、光シートの厚さが厚くなりすぎると、試料の光学像がボケてしまい、像コントラストが低下する。その影響により後述する方法で算出した３次元情報の精度が劣化することがある。従って、光シートの厚さは、３次元情報の精度劣化が発生しない範囲内で、厚く設定されることが望ましい。

ボケの影響が許容できるか否かの基準として焦点深度が知られている。図１は、焦点深度について説明するための図である。ｄは焦点深度、ＮＡ´は観察光学系の像側の開口数である。なお、網掛けで示す領域Ｉは点像強度分布の広がりを示している。図１（ａ）には、焦点深度内において点像強度分布がほぼ一定の広がりを有している様子が示されている。図１（ａ）に示すように、点像強度分布の半径をＲとすると、幾何学的な関係から、下式が導かれる。
Ｒ＝（ｄ／２）・ＮＡ´ ・・・（１）

ここで、Ｒに観察光学系の分解能（λ／（２・ＮＡ´））を代入すると、焦点深度は下式で表わされる。この式は、最も一般的に知られた焦点深度の式である。なお、λは検出波長である。
ｄ＝λ／ＮＡ´^２ ・・・（２）

ところで、撮像装置による撮像では、分解能は、観察光学系だけではなく撮像装置が有する撮像素子にも依存する。撮像素子の分解能は、ナイキスト周波数の逆数であり、２画素分のサイズで定義される。このため、撮像装置では、サンプリングにより得られた４×４画素を一単位としたデータによって２点が分解される。なお、図１（ｂ）に示すように、点像強度分布の半径Ｒが２画素分のサイズに一致している状態（Ｒ＝２・ＰＰ）では、観察光学系の分解能が撮像素子の分解能に一致する。ここで、ＰＰは、１画素分のサイズである。

観察光学系の分解能が撮像素子の分解能以上の場合（即ち、λ／（２・ＮＡ´）≧２・ＰＰ）には、図１（ｃ）に示すように点像強度分布が４×４画素の領域以上に広がるため、観察光学系の分解能によって装置全体の分解能が制限されることになる。従って、焦点深度は、式（２）で示される。

一方、観察光学系の分解能が撮像素子の分解能よりも小さい場合（即ち、λ／（２・ＮＡ´）＜２・ＰＰ）には、図１（ｄ）に示すように点像強度分布が４×４画素の領域内に収まっているため、撮像素子の分解能によって装置全体の分解能が制限されることになる。この場合、デフォーカスによって点像強度分布が４×４画素の領域からはみだすまでは、像コントラストに変化は生じない。焦点深度は、式（１）のＲに撮像素子の分解能を代入することで導かれ、式（３）で示される。式（３）は、焦点深度ｄは撮像素子の受光面上に形成される点像強度分布が４×４の画素の領域内に収まる焦点面前後の範囲の幅で定義されることを表わしている。
ｄ＝４・ＰＰ／ＮＡ´ ・・・（３）

なお、観察光学系の分解能が撮像素子の分解能よりも小さいという条件下では、式（３）に示す焦点深度は、式（２）に示す焦点深度よりも広い。このような状況は、観察光学系の倍率が低く像側の開口数ＮＡ´が大きいときに生じやすい。このため、観察倍率が低いときには、装置の焦点深度は、一般的に知られている式（２）の焦点深度ではなく、式（３）の焦点深度が適当である。以降では、式（２）の焦点深度を光学的焦点深度と記し、式（３）の焦点深度を画素焦点深度と記す。

光シートで照明された領域の像が焦点深度内に投影されれば、ボケの影響は無視することができる。このため、ＰＰ≦λ／４ＮＡ´の条件下で式（４）を満たす場合、及び、ＰＰ＞λ／４ＮＡ´の条件下で式（５）を満たす場合には、ボケの影響を無視して３次元情報を算出することができる。ここで、Ｄは光シートの厚さであり、ＮＡは観察光学系の物体側の開口数であり、βは観察光学系の倍率である。
Ｄ≦λ／ＮＡ^２ ・・・（４）
Ｄ≦４・ＰＰ／β／ＮＡ ・・・（５）

式（４）及び（５）は、光シートはβ^２倍の厚さで像面に投影されること、及び、ＮＡ´とＮＡの間にＮＡ´＝ＮＡ／βの関係があることを考慮することで、式（２）及び（３）から導出される。

なお、後述する方法で３次元情報を算出する場合、光シートで照明された領域の像が焦点深度内に収まらない場合でも、３次元情報を精度良く算出することができる場合がある。以下では、この点について説明する。

図２は、デフォーカス量が光学的焦点深度相当のときの周波数応答特性を示した図である。図３は、デフォーカス量が画素焦点深度相当のときの周波数応答特性を示した図である。図４は、デフォーカス量が画素焦点深度の２倍相当のときの周波数応答特性を示した図である。ここで、Ｌ１は無収差の観察光学系のＭＴＦ（以降、単にＭＴＦ_０と記す）を示し、Ｌ２はデフォーカスしているときの観察光学系のＭＴＦ（以降、ＭＴＦ_ＤＥＦと記す）を示す。Ｌ３は撮像素子の画素サイズによって制限される開口関数ＡＰを示す。Ｌ４は開口関数ＡＰとＭＴＦ_０の積を示し、Ｌ５はＡＰとＭＴＦ_ＤＥＦの積を示す。Ｌ４、Ｌ５は、それぞれ観察光学系と撮像素子を含む装置の周波数応答特性であり、撮像素子によって取り込まれた画像データには、Ｌ４、Ｌ５で正の値を有する周波数成分が含まれ得る。なお、図２から図４に示す特性は、いずれも以下の条件で算出されたものである。
ＰＰ＝６．４５μｍ、β＝２、ＮＡ＝０．０８、λ＝０．５５μｍ

後述する３次元情報を算出する方法は、いずれも相関計測法の一種である。相関計測法を用いて像の移動を検出して３次元情報を算出する場合、像コントラストの低下がないことが望ましい。ただし、相関計測法は、物体の空間周波数分布を比較して像の移動を検出するため、像コントラストが低い場合であっても３次元情報を精度良く算出することができる。しかしながら、物体が小さい場合など物体の空間周波数分布が高周波領域に存在する場合には、デフォーカスによってＭＴＦが過度に劣化すると、高周波領域に存在する空間周波数分布が十分に伝達されず、その結果、像の移動を検出することが困難になってしまう。このため、ナイキスト周波数ｆ_ｎまで周波数応答特性ＭＴＦ_ＤＥＦ・ＡＰが正の値を有するように、Ｌ２で示されるＭＴＦ_ＤＥＦがナイキスト周波数ｆ_ｎにおいて正の値を有することが本来的には望ましい。なお、図２から図４に示すｆ_ｃは、観察光学系のカットオフ周波数である。

しかしながら、撮像素子では、画素毎にランダムにノイズが発生し得る。この様なランダムに発生するノイズの影響を小さくするため、撮像装置では、画像を生成する際に２×２画素の平均化処理等が行われる。相関計測で空間周波数分布の比較を行う場合、ナイキスト周波数の画像信号は、画素毎に生じたノイズの影響を受ける可能性があり、また、平均化処理により欠落した情報の影響を受ける可能性もある。

このため、これらの影響を避けるためには、比較に用いる空間周波数成分はナイキスト周波数よりも低く、且つ、ナイキスト周波数に最も近い空間周波数成分まで相関計測に用いられることが望ましい。画像の空間周波数成分は、１／（画素サイズＰＰの偶数倍）で表わされる離散的な空間周波数を有する。従って、相関計測では、ナイキスト周波数の１／２の空間周波数（１／（４・ＰＰ））まで用いることが望ましい。この場合、デフォーカスで応答周波数特性が劣化しても、その応答周波数特性（ＭＴＦ_ＤＥＦ・ＡＰ）がナイキスト周波数の１／２の空間周波数（１／（４・ＰＰ））まで正の値を有する限り、相関計測は可能である。また、余裕を見ると、応答周波数特性（ＭＴＦ_ＤＥＦ・ＡＰ）が１／（３・ＰＰ）の空間周波数まで正の値を有することがより望ましい。

応答周波数特性（ＭＴＦ_ＤＥＦ・ＡＰ）がナイキスト周波数の１／２の空間周波数まで正の値を有するデフォーカス量は、焦点深度の２倍相当と考えることができる。つまり、デフォーカスによって広がる点像強度分布が８×８の画素の領域内に収まっている範囲であると考えることができる。これは、図４からも確認することができる。図４には、画素焦点深度の２倍相当（８・ＰＰ／β／ＮＡ）のときのデフォーカス量が与えられたときの周波数応答特性が示されていて、ナイキスト周波数の１／２の空間周波数でも応答周波数特性（ＭＴＦ_ＤＥＦ・ＡＰ）が正の値を有している。

以上のように、焦点深度の２倍相当までデフォーカスしても３次元情報を精度良く算出することができる。このため、光シートは、焦点深度の２倍相当のデフォーカス量の範囲まで広げることが可能である。従って、後述する各実施例に係る３次元情報取得装置は、３次元情報を精度良く算出するため、ＰＰ≦λ・β／（４・ＮＡ）の条件下では、式（６）を満たすように構成されればよく、ＰＰ＞λ・β／（４・ＮＡ）の条件下では、式（７）を満たすように構成さればよい。
Ｄ≦２・λ／ＮＡ^２ ・・・（６）
Ｄ≦８・ＰＰ／β／ＮＡ ・・・（７）

なお、３次元情報を高速に取得するためには、光シートの厚さが厚い方が有利である。従って、高精度の３次元情報を高速に取得するためには、例えば、Ｐ≦λ・β／（４・ＮＡ）の条件下では、式（８）を満たすように構成されることが望ましく、ＰＰ＞λ・β／（４・ＮＡ）の条件下では、式（９）または、式（９）’を満たすように構成されることが望ましい。
λ／ＮＡ^２≦Ｄ≦２・λ／ＮＡ^２ ・・・（８）
４・ＰＰ／β／ＮＡ≦Ｄ≦８・ＰＰ／β／ＮＡ ・・・（９）
λ／ＮＡ^２≦Ｄ≦８・ＰＰ／β／ＮＡ ・・・（９）’

＜３次元情報の算出＞
次に、試料の画像データから試料の３次元情報を算出する方法について説明する。
前側焦点位置をｚ軸方向に移動させても、試料中の物点の投影位置が焦点深度内に収まっている場合には、その物点に対応する像強度に変化は生じず、画素の階調値も変化しない。このため、同一物点に対応する階調値の変化から、焦点深度相当よりも高い精度で３次元情報、特に、深さ情報（ｚ軸方向の情報）を得ることは困難である。そこで、後述する実施例に係る３次元情報取得装置では、複数の異なる方向から試料を撮像し、その結果得られた複数の試料の画像データから相関計測法を用いて像の移動量を算出する。そして、算出された移動量に基づいて試料の３次元情報を算出する。

まず、像の移動を検出する方法について概説する。図５は、デフォーカスによる点像強度分布が形成される位置の変化を説明するための図である。図５（ａ）には、撮像素子に角度ωで開口数ＮＡ´の光束が入射する例が示されている。図５（ｂ）、図５（ｃ）、図５（ｄ）には、それぞれ、試料中の同一物点がデフォーカスにより図５（ａ）のＢＢ’断面、ＣＣ’断面、ＤＤ’断面に投影されるときに撮像素子に形成される点像強度分布が示されている。

デフォーカスにより前側焦点位置をｚ軸方向に移動させると、点像強度分布が撮像素子上で横方向（ｘｙ軸方向）に移動する。即ち、前側焦点位置からのずれ量に応じて同一物点が撮像素子上の異なる位置に投影される。図５（ｃ）、図５（ｄ）には、それぞれ、図５（ｂ）を基準として、点像強度分布が横方向に２画素分移動した様子が示されている。また、デフォーカスの方向により点像強度分布が移動する方向が異なることも示されている。さらに、後述する算出方法によれば、点像強度分布の１画素未満の移動量も検出することができる。

次に、像の移動量に基づいて３次元情報を取得する方法について説明する。なお、像の移動量の算出方法については後述する。観察光学系の瞳面内で光束を透過させる領域を限定することで、図５（ａ）に示すような角度を持った光束が撮像素子に入射する。この状態で試料を撮像して第１の画像データを生成する。次に、瞳面内で光束を透過させる領域を光軸に対して回転対称な位置に移動させる。これにより、撮像素子に入射する光束の入射角度を維持したまま、光軸（ｚ軸）に対して対称な方向から撮像素子に光束が入射する。この状態で再び試料を撮像して第２の画像データを生成する。第１の画像データと第２の画像データは、同一の検出波長で形成された試料像のデータである。以降では、第１の画像データに基づいて表示される画像を第１の画像と記し、第２の画像データに基づいて表示される画像を第２の画像と記す。

第１の画像と第２の画像では、前側焦点位置からのずれ量δｚに応じて、試料中の同一物点の像が基準値からそれぞれ±Δだけ横方向（ｘｙ方向）に移動した位置に投影される。これを利用して、第１の画像データと第２の画像データから、像の移動量Δに依存する像強度を有する試料の微分画像データを算出する。以降では、差演算の結果として得られる画像データを差演算画像データと記す。

最後に、差演算画像データから３次元情報を取得する。例えば、像強度が０となる部分は像の移動量Δが０である部分であり、δｚ＝０、即ち、焦点位置上に位置する部分である。従って、差演算画像データの画素値（階調値）が０近傍の値となる部分を抽出することで、試料中の焦点位置上にある部分を特定することができる。これにより、試料の３次元情報のうち焦点位置上にある部分の３次元情報が特定される。さらに、試料と観察光学系の相対的な位置関係を変化させて差演算画像データを生成することで、試料中の他の部分の３次元情報も特定することができる。差演算画像データそのものの代わりに、差演算画像データの絶対値を取った画像データ、又は、ソーベルフィルタで差演算画像データにフィルタ処理を行った画像データの画素値が０近傍の値となる部分を抽出して試料中の焦点位置上にある部分を特定してもよい。なお、移動量Δと焦点位置からのずれ量δｚの間には所定の関係がある。このため、移動量Δが０となる部分以外についても、移動量Δに基づいて焦点位置からのずれ量δｚを特定することで、当該部分の３次元情報を特定することができる。

図６は、移動量Δと焦点位置からのずれ量δｚの間の関係を説明するための図である。図６には、対物レンズ１と、瞳面に配置された瞳領域制限素子２と、結像レンズ３とからなる観察光学系４が示されている。図６に示すように、観察光学系４の瞳面内で瞳領域制限素子２によって光束を透過させる領域を限定した結果、開口数ＮＡの光束が試料Ｓから角度Ωで観察光学系４に入射し、開口数ＮＡ´の光束が観察光学系４から角度ωで撮像素子の受光面５に入射する例について検討する。

図６に示すように、試料Ｓと観察光学系４の相対的な位置関係がδｚだけ変化することは、物点が光軸と直交する方向にｈだけ移動することと等価である。物点の移動量ｈは式（１０）で表わされる。
ｈ＝δｚ・ｔａｎΩ ・・・（１０）

δｚが焦点深度程度の大きさである場合には、観察光学系４の倍率をβとすると、物点からの光は、撮像素子の受光面５上において光軸から式（１１）に示すｈ´だけ離れた位置に集光する。
ｈ´＝β・ｈ
＝β・δｚ・ｔａｎΩ ・・・（１１）

ｈ´＝Δの関係から、像の移動量Δは式（１２）で表わされる。
Δ＝β・δｚ・ｔａｎΩ ・・・（１２）

従って、撮像素子の受光面５上での像の移動量Δを算出することで、式（１２）に基づいてδｚを算出することができる。このため、試料Ｓ中の物点の３次元情報（ｘ、ｙ、δｚ）を特定することができる。

次に、像の移動量Δを算出する方法について説明する。試料の画像の像強度分布
は、式（１３）で表わされる。なお、式（１３）は説明を簡略するため、１次元モデルを示している。ここで、
は試料から発生する蛍光の発光分布であり、
はそのフーリエ変換である。
は観察光学系のＭＴＦである。

焦点位置からのずれ量δｚによって像の移動が発生した第１の画像、第２の画像の像強度分布をそれぞれ
とすると、差演算画像の像強度分布は式（１４）で表わされ、また、和演算画像の像強度分布は式（１５）で表わされる。

そして、差演算画像をフーリエ変換すると式（１６）が導かれ、和演算画像をフーリエ変換すると式（１７）が導かれる。ここで、
はフーリエ変換を示す演算子である。

さらに、式（１６）の虚部と式（１７）の実部の比をとると、式（１８）が導かれる。

式（１８）のアークタンジェントを算出すると、式（１９）が導かれる。

式（１９）に基づいて、移動量Δを算出する。なお、式（１９）から像の移動量Δを算出する場合、撮像素子で生じる電気的なノイズなどの影響を低減するために、空間周波数ｆ_ｘが低い帯域から移動量Δを算出することが望ましい。このため、０周波数近傍の複数点での値を直線近似して、その傾きからΔを算出することが望ましい。

第１の画像データと第２の画像データを用いた以上の一連の処理が差演算処理であり、相関計測法に分類される。差演算処理により移動量Δを算出することで、式（１２）からδｚも算出することができる。また、差演算処理では１画素未満の移動量Δも算出することが可能であるので、差演算処理を用いることで、画素サイズに相当するｚ分解能よりも小さなｚ分解能（即ち、大きな解像力）で３次元情報を取得することができる。

なお、従来から知られている相関計測法の一種である位相限定相関法でも、２つの画像データから像間の距離を算出することができる。ただし、像が移動した方向については特定することができないため、位相限定相関法により像の移動量Δを算出した場合、その移動量Δからδｚを算出しても、像が焦点位置から前側にδｚの位置の物点の像か、後側にδｚの位置の物点の像かは特定できない。このため判定処理が必要になる。これに対して、差演算処理ではδｚの方向（つまり、焦点位置よりも前側または後側）によって、差演算画像の像コントラストは反転する。このため、差演算画像データから符号付の移動量Δを算出し符号付きのδｚを算出することで、像に対応する試料の物点の３次元情報を特定することが容易にできる。

以上の方法によって、試料の画像データから光シートが照射された領域に関する試料の３次元情報を算出することができる。さらに、光シートを照射する位置を光シートの厚さ方向に少しずつ移動させて各位置で３次元情報を取得することで、試料全体の３次元情報を取得することができる。厚さ方向への光シートの移動量Δｚは、光シートの厚さＤ以下であればよく、例えば、下式を満たすように設定されてもよい。ここで、ｍは任意の整数値である。ＰＰ／β／ｔａｎωは、物点の像が横方向に１画素分移動するときの、物点のｚ方向への移動量である。
Δｚ＝（ＰＰ／β／ｔａｎω）・ｍ ・・・（２０）

移動前後の光シートが照射される試料の領域が重なるように、光シートを移動させることで、重なった領域については２重に３次元情報を取得することができる。従って、３次元情報に異常値が含まれている場合であっても、異常値を容易に特定して除去することができる。また、２重に取得した３次元情報を補間することにより、より高い精度で３次元情報を得ることも可能である。
以下、各実施例に係る３次元情報取得装置について具体的に説明する。

図７は、本実施例に係る３次元情報取得装置１００の構成を例示した図である。図８は、３次元情報取得装置１００が行う３次元情報取得処理の流れを示したフローチャートである。図７に示す３次元情報取得装置１００は、光シート顕微鏡装置であり、光源１０と、照明光学系１１と、試料ホルダ１２と、観察光学系（観察光学系１３ａ、観察光学系１３ｂ）と、撮像装置（撮像装置１４ａ、撮像装置１４ｂ）と、試料回転機構（試料回転機構１５、試料回転機構１６）と、ｚ駆動機構１７と、コンピュータ１８と、モニタ１９を備えている。

光源１０は、例えば、レーザ光源である。照明光学系１１は、光源１０からの照明光からｚ軸方向に所定の厚さを有する光シートＬＬを形成し、光シートＬＬで試料Ｓを照明する。照明光学系１１は、例えば、シリンドリカルレンズによって光シートを形成する光学系であってもよく、また、スキャナを備え、スキャナで光を振ることによって光シートを形成する光学系であってもよい。

試料Ｓは、試料ホルダ１２に保持されている。試料ホルダ１２は、試料回転機構１５によりｚ軸周りに回転し、試料回転機構１６によりｘ軸周りに回転する。試料回転機構１５及び／または試料回転機構１６が試料ホルダ１２を回転させて試料Ｓの向きを変えることで、影ができにくい方向から光シート照明を入射させることができる。

撮像装置１４ａ及び撮像装置１４ｂは、それぞれ２次元撮像素子を有し、光シートＬＬで照明された試料Ｓを撮像する撮像装置であり、例えば、ＣＣＤカメラである。撮像装置の２次元撮像素子の受光面の法線は、ｚ軸方向に向けられている。

観察光学系１３ａは、試料Ｓの光学像を撮像装置１４ａの２次元撮像素子上に形成する光学系であり、観察光学系１３ｂは、試料Ｓの光学像を撮像装置１４ｂの２次元撮像素子上に形成する光学系である。即ち、２つの異なる方向から観察した試料Ｓの２つの光学像が、観察光学系１３ａ及び観察光学系１３ｂによって、撮像装置１４ａ及び撮像装置１４ｂの２次元撮像素子上に形成される。観察光学系１３ａ、観察光学系１３ｂは、それぞれ、例えば対物レンズと結像レンズからなる。また、観察光学系１３ａ、観察光学系１３ｂの光軸は、ｚ軸方向に対してそれぞれ角度ωだけ傾斜していて、それらの光軸間の角度（内向角）は２ωである。また、それらの光軸の交点は、観察光学系１３ａ、観察光学系１３ｂの焦点位置に略一致し、光シートが形成される照明光学系１１の光軸上の位置に略一致することが望ましい。さらには、それらの光軸の交点は、照明光学系１１の焦点位置に略一致することが望ましい。

ｚ駆動機構１７は、試料ホルダ１２をｚ軸方向に移動させることで、光シートＬＬが照射される試料Ｓ上の領域を光シートＬＬの厚さ方向に移動させる駆動装置である。ｚ駆動機構１７は、コンピュータ１８に接続されていて、コンピュータ１８からの制御信号に従って試料ホルダ１２をｚ軸方向に移動させる。なお、ｚ駆動機構１７は、試料ホルダ１２を介して試料Ｓを移動させる代わりに、光シートＬＬを移動させるように構成されてもよい。この場合、ｚ駆動機構１７は、光シートの移動に合わせて観察光学系の焦点位置を移動させることが望ましい。または、他の駆動機構が観察光学系の焦点位置を移動させてもよく、その場合、光シートの移動と観察光学系の焦点位置の移動が同期するように、ｚ駆動機構１７と他の駆動機構を制御することが望ましい。

コンピュータ１８は、撮像装置が生成した複数の画像データから試料Ｓの３次元情報を算出する演算装置であり、また、撮像装置やｚ駆動機構１７の動作を制御する制御装置である。モニタ１９は、試料Ｓの画像などを表示する。

３次元情報取得装置１００では、まず、照明光学系１１が３次元情報取得装置１００の焦点深度相当以上であり焦点深度の２倍相当以下の厚さの光シートで試料Ｓを照明する（ステップＳ１）。即ち、ＰＰ≦λ・β／（４・ＮＡ）の条件下では、式（８）を満たすように構成され、ＰＰ＞λ・β／（４・ＮＡ）の条件下では、式（９）を満たすように、試料Ｓを照明する。

そして、観察光学系１３ａ及び観察光学系１３ｂは、光シートで照明された試料Ｓを２つの異なる方向から観察し、観察した試料Ｓの２つの光学像を２次元撮像素子上に形成する（ステップＳ２）。撮像装置１４ａ及び撮像装置１４ｂは、試料Ｓの２つの画像データを生成し、コンピュータ１８に出力する（ステップＳ３）。

コンピュータ１８は、撮像装置５で生成された２つの画像データに対して上述した差演算処理を実行し、試料Ｓのうちの光シートＬＬで照明された領域の３次元情報を算出する（ステップＳ４）。さらに、コンピュータ１８は、試料Ｓをｚ軸方向に走査するため、光シートＬＬがｚ軸方向に光シートＬＬの厚さＤ以下の所定距離移動するようにｚ駆動機構８を制御して、光シートＬＬの照射位置をｚ軸方向に移動させる。これにより、光シートＬＬが照射される試料Ｓ上の領域がｚ軸方向に移動する。光シートＬＬが移動する毎に、撮像装置５が２つの画像データを生成し、コンピュータ１８は、２つの画像データが生成される毎に、３次元情報を算出することで、試料Ｓ全体の３次元情報を取得することができる。

３次元情報取得装置１００によれば、焦点深度よりも厚い光シートを試料Ｓに照射して取得した画像データから光シートが照射された試料Ｓの領域の３次元情報を取得することができる。このため、少ないｚスタック回数で試料Ｓ全体を走査することができるため、高速に試料Ｓの３次元情報を取得することができる。また、光シートの厚さを厚くすることで従来よりもｘｙ方向に広い領域を一度に照明することができる点も高速に試料Ｓの３次元情報を取得することに寄与する。さらに、差演算処理によってサブピクセルレベルの移動量、即ち、１画素未満の移動量も検出することができるため、光シートが照射された領域の３次元情報を高い精度で算出することができる。

コンピュータ１８は、さらに、試料Ｓの画像データ（第１の画像データ、第２の画像データ）と試料Ｓの３次元情報から試料Ｓの３次元画像データを生成して、モニタ１９に表示させてもよい（ステップＳ５）。

この場合、まず、リフォーカス処理を行って、第１の画像データと第２の画像データから、ボケの影響が除去された画像データを生成する。具体的には、３次元情報を取得する際に算出された像の移動量に基づいて第１の画像データと第２の画像データに生じている像の移動を補正し、像の移動が補正された第１の画像データと第２の画像データを合成する。なお、リフォーカス処理によって生成された画像データに基づいて表示される試料の画像は、いわゆる全焦点画像である。その後、全焦点画像データと３次元情報から３次元画像データを生成する。なお、３次元画像データは、３次元位置に各位置の輝度（蛍光画像であれば蛍光強度）を割り当てた画像データである。

図７では、完全に独立した２つの光学系を備えたいわゆるグリノー型の構成を有する３次元情報取得装置１００を例示したが、３次元情報取得装置は、図９に示すように、対物レンズが共有されるいわゆるガリレオ型の構成を有してもよい。図９に示す３次元情報取得装置２００は、観察光学系１３ａの代わりに対物レンズ２０と結像レンズ２１ａからなる観察光学系を備え、観察光学系１３ｂの代わりに対物レンズ２０と結像レンズ２１ｂからなる観察光学系を備える点が、３次元情報取得装置１００と異なっている。３次元情報取得装置２００によっても、３次元情報取得装置１００と同様の効果を得ることができる。

図１０は、本実施例に係る３次元情報取得装置３００の構成を例示した図である。図１１は、３次元情報取得装置３００に含まれる絞り２４を光軸方向から見た図である。図１２は、小領域の設定について説明するための図である。図１０に示す３次元情報取得装置３００は、実施例１に係る３次元情報取得装置１００と同様に、光シート顕微鏡装置である。ただし、３次元情報取得装置３００は、観察光学系と撮像装置をそれぞれ１つずつ有する点が、３次元情報取得装置１００とは異なっている。その他の構成は、３次元情報取得装置１００と同様である。

観察光学系２５は、対物レンズ２２と、結像レンズ２３と、対物レンズ２２の瞳面に配置された絞り２４とを備えている。絞り２４は、光軸に対して偏心した位置に配置された開口２４ａを有している。絞り２４は、光軸を中心に回転自在に構成されていて、絞り２４を回転させることで、瞳面における開口２４ａの位置が変化する。これにより、撮像装置２６に到達する光束が通過する瞳面内の領域を変化させることができるため、異なる方向から観察した観察像を撮像装置２６の受光面上に形成することができる。

以下、図１１に示すように、絞り２４を９０度ずつ回転させて、０°、９０°、１８０°、２７０°の各位置に開口２４ａが位置するときに試料Ｓを撮像する場合を例に、像の移動量を算出する方法について具体的に説明する。

まず、０°、９０°、１８０°、２７０°の各位置に開口２４ａが位置するときに試料Ｓを撮像し、４枚の画像データを取得する。取得した画像データは、コンピュータ１８の記録装置に記録される。

次に、光軸に対して対称な開口位置で取得した画像データの像強度分布から、像の移動量を算出する。具体的には、０°の位置で取得した画像データの像強度分布Ｉ_０と、１８０°の位置で取得した画像データの像強度分布Ｉ_１８０から、差演算画像データの像強度分布Ｉ_{０−１８０}と、和演算画像データの像強度分布Ｉ_{０＋１８０}を算出する。さらに、それぞれの画像データ（差演算画像データ、和演算画像データ）に、図１２に示すように、中心座標（Ｘｍ、Ｙｍ）で、ｘ方向に幅Ｗｘ、Ｙ方向に幅Ｗｙを有する小領域Ｒｍを設定する。なお、図１２には差演算画像Ｉｍ上で小領域を設定した様子が示されている。そして、式（１９）から設定した領域毎に移動量Δを算出する。ここで算出される移動量はｙ方向の移動量Δｙである。これは、０°の位置と１８０°の位置は、ｙ方向に異なる位置であるためである。その後、小領域を設定する位置を少しずつ移動させて小領域で領域全体を走査することで、各領域における移動量Δｙが算出される。さらに、９０°の位置で取得した画像データの像強度分布Ｉ_９０と、２７０°の位置で取得した画像データの像強度分布Ｉ_２７０を用いて同様の処理を行うことで、各領域におけるΔｘが算出される。

その後、各小領域のΔｘとΔｙを比較する。そして、それらの差が所定の範囲内にあるなど比較的近い値を示すときには、その平均値またはいずれか一方の値を当該領域の移動量Δとして採用する。それらの差が所定の範囲を超えている場合には、いずれかの値が異常値であると想定されるため、いずれの値が異常値であるかを判定し、異常値ではない値を当該領域の移動量Δとして採用する。そして、領域毎に採用された移動量Δを用いて、式（１２）から、領域毎に焦点位置からのずれ量δｚを算出する。

３次元情報取得装置３００によっても、実施例１に係る３次元情報取得装置１００と同様に、高精度の３次元情報を高速に取得することができる。具体的な数値例を挙げる。３次元情報取得装置３００の仕様がβ＝２、ＰＰ＝６．５μｍ、ＮＡ＝０．０８、内向角ｔａｎω＝０．０６である場合、試料Ｓ上における焦点深度相当の厚さは、１６３μｍ（＝４×６．５／２／０．０８）となる。この場合、３次元情報取得装置３００は、例えば、光シートの厚さＤを焦点深度の約１．５倍に相当する２５０μｍに設定し、且つ、ｚ分解能を１／４画素相当の１３μｍ（＝６．５／２／０．０６／４）に設定することができる。

また、３次元情報取得装置３００は、試料Ｓの３次元情報を用いて試料Ｓの３次元画像データを生成し、３次元画像を表示することができる点も、３次元情報取得装置１００と同様である。

図１３は、本実施例に係る３次元情報取得装置４００の構成を例示した図である。図１３に示す３次元情報取得装置４００は、実施例２に係る３次元情報取得装置３００と同様に、光シート顕微鏡装置であり、観察光学系と撮像装置をそれぞれ１つずつ有する点についても３次元情報取得装置３００と同様である。３次元情報取得装置４００は、観察光学系２５の代わりに観察光学系２８を含む点が、３次元情報取得装置３００とは異なっている。その他の構成は、３次元情報取得装置３００と同様である。

観察光学系２８は、対物レンズ２２とレンズアレイ２７からなり、レンズアレイ２７は対物レンズ２２の光軸に対して対称な２つのレンズ要素（レンズ要素２７ａ、レンズ要素２７ｂ）を備えている。なお、レンズ要素の数は２つに限られず、例えば、４つであってもよい。この構成では、レンズ要素毎に像が形成されるため、撮像装置２６の受光面上に異なる方向から観察した試料の複数の像が形成される。

３次元情報取得装置４００は、撮像装置２６の受光面上の領域をレンズ要素数で分割し、分割された領域毎に画像データを生成することで、複数の画像データを同時に生成することができる。

３次元情報取得装置４００によっても、実施例２に係る３次元情報取得装置３００と同様に、高精度の３次元情報を高速に取得することができる。具体的な数値例を挙げる。３次元情報取得装置４００の仕様がβ＝１、ＰＰ＝３．５μｍ、ＮＡ＝０．０６、内向角ｔａｎω＝０．０６である場合、試料Ｓ上における焦点深度相当の厚さは、２３３μｍ（＝４×３．５／１／０．０６）となる。この場合、３次元情報取得装置４００は、例えば、光シートの厚さＤを焦点深度の約２倍に相当する４６０μｍに設定し、且つ、ｚ分解能を１／４画素相当の１５μｍ（＝３．５／１／０．０６／４）に設定することができる。

また、３次元情報取得装置４００は、試料Ｓの３次元情報を用いて試料Ｓの３次元画像データを生成し、３次元画像を表示することができる点も、３次元情報取得装置３００と同様である。

図１４は、本実施例に係る３次元情報取得装置５００の構成を例示した図である。図１４に示す３次元情報取得装置５００は、実施例２に係る３次元情報取得装置３００と同様に、光シート顕微鏡装置であり、観察光学系と撮像装置をそれぞれ１つずつ有する点についても３次元情報取得装置３００と同様である。３次元情報取得装置５００は、観察光学系２５の代わりに観察光学系３１を含む点が、３次元情報取得装置３００とは異なっている。その他の構成は、３次元情報取得装置３００と同様である。

観察光学系３１は、対物レンズ２２と、結像レンズ２９と、マイクロレンズアレイ３０とを含んでいる。マイクロレンズアレイ３０は、結像レンズ２９の後側焦点位置近傍に配置され、撮像装置２６はマイクロレンズアレイ３０によって形成される像位置に受光面が位置するように配置される。なお、このようなマイクロレンズアレイを用いる構成によるイメージングは、ライトフィールドイメージング（Light Field Imaging）と呼ばれ、例えばM.Levoy, R.Ng, A.Adams, M.Footer, and M.Horowitz, ”Light Field Microscopy”, in Proceedings of ACM SIGGRAPH（2006）,924-934．等に記載されている。

観察光学系３１では、マイクロレンズアレイ３０が異なる方向から観察した試料Ｓの像を異なる位置に投影するように作用する。このため、３次元情報取得装置５００は、試料Ｓの複数の画像データであって、それぞれ異なる方向から試料Ｓを観察した画像データを同時に生成することができる。

３次元情報取得装置５００によっても、実施例２に係る３次元情報取得装置３００と同様に、高精度の３次元情報を高速に取得することができる。具体的な数値例を挙げる。３次元情報取得装置５００の仕様がβ＝２、ＰＰ＝４μｍ、ＮＡ＝０.０６、マイクロレンズアレイ３０の周期８×８ピクセルである場合、試料Ｓ上における焦点深度相当の厚さは、１３３μｍ（＝４×４／２／０．０６）となる。この場合、３次元情報取得装置４００は、例えば、光シートの厚さＤを焦点深度相当の１４０μｍに設定することができる。

また、３次元情報取得装置５００は、試料Ｓの３次元情報を用いて試料Ｓの３次元画像データを生成し、３次元画像を表示することができる点も、３次元情報取得装置３００と同様である。

上述した各実施例は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施例に限定されるものではない。３次元情報取得装置は、特許請求の範囲により規定される本発明の思想を逸脱しない範囲において、さまざまな変形、変更が可能である。この明細書で説明される個別の実施例の文脈におけるいくつかの特徴を組み合わせて単一の実施例としてもよい。

１、２０、２２・・・対物レンズ、２・・・瞳領域制限素子、３、２１ａ、２１ｂ、２３、２９・・・結像レンズ、４、１３、１３ａ、１３ｂ、２５、２８、３１・・・観察光学系、５・・・受光面、１０・・・光源、１１・・・照明光学系、１２・・・試料ホルダ、１４ａ、１４ｂ、２６・・・撮像装置、１５、１６・・・試料回転機構、１７・・・ｚ駆動機構、１８・・・コンピュータ、１９・・・モニタ、２４・・・絞り、２４ａ・・・開口、２７・・・レンズアレイ、２７ａ、２７ｂ・・・レンズ要素、３０・・・マイクロレンズアレイ、１００、２００、３００、４００、５００・・・３次元情報取得装置、ＬＬ・・・光シート、Ｓ・・・試料

Claims (11)

1. 光シートで試料を照明する照明光学系と、
   ２次元撮像素子を有し、前記照明光学系に照明された前記試料を撮像する撮像装置と、
   複数の異なる方向から観察した前記試料の複数の光学像を前記２次元撮像素子上に形成する観察光学系と、
   前記撮像装置で生成された前記試料の複数の画像データから前記試料の３次元情報を算出する演算装置と、を備え、
   ＰＰを前記２次元撮像素子の画素サイズ、λを前記試料からの観察光の波長、βを前記観察光学系によって前記２次元撮像素子上に形成される前記複数の光学像の倍率、ＮＡを前記観察光学系の物体側の開口数とし、ＰＰ＞λ・β／（４・ＮＡ）を満たすとき、前記光シートの厚さＤは、以下の条件式
   Ｄ ≦ ８・ＰＰ／β／ＮＡ
   を満たし、
   ＰＰ≦λ・β／（４・ＮＡ）を満たすとき、前記光シートの厚さＤは、以下の条件式
   Ｄ ≦ ２・λ／ＮＡ ^２
   を満たすことを特徴とする３次元情報取得装置。
2. 請求項１に記載の３次元情報取得装置において、さらに、
   前記光シートが照射される前記試料上の領域を前記光シートの厚さ方向に移動させる駆動装置を備え、
   前記撮像装置は、前記光シートが照射される前記試料上の領域が前記駆動装置により前記光シートの厚さＤ以下の所定距離Δｚだけ移動する毎に、前記複数の画像データを生成する
   ことを特徴とする３次元情報取得装置。
3. 請求項２に記載の３次元情報取得装置において、
   ２ωを前記複数の異なる方向のうちの２つの方向の間の角度とし、ｍを整数値とするとき、以下の条件式
   Δｚ＝（ＰＰ／β／ｔａｎω）・ｍ
   を満たすことを特徴とする３次元情報取得装置。
4. 請求項１乃至請求項３のいずれか１項に記載の３次元情報取得装置において、
   前記演算装置は、
   前記複数の画像データに基づいて、相関計測法によって像の移動量を算出し、
   算出した像の移動量に基づいて、前記試料の３次元情報を算出する
   ことを特徴とする３次元情報取得装置。
5. 請求項４に記載の３次元情報取得装置において、
   前記演算装置は、
   前記複数の画像データに基づいて、差演算処理によって像の移動量を算出し、
   算出した像の移動量に基づいて、前記試料の３次元情報を算出する
   ことを特徴とする３次元情報取得装置。
6. 請求項１乃至請求項５のいずれか１項に記載の３次元情報取得装置において、
   前記観察光学系は、それぞれ異なる方向から前記試料を観察する複数の観察光学系を備え、
   前記撮像装置は、それぞれ異なる方向から観察した前記試料を撮像する複数の撮像装置を備える
   ことを特徴とする３次元情報取得装置。
7. 請求項１乃至請求項５のいずれか１項に記載の３次元情報取得装置において、
   前記観察光学系は、
   対物レンズと、
   前記対物レンズからの光を前記２次元撮像素子上に集光させる結像レンズと、
   光が通過する前記対物レンズの瞳面内の領域を限定する遮光手段であって、当該領域の位置を変更する機構を備える遮光手段と、を備える
   ことを特徴とする３次元情報取得装置。
8. 請求項１乃至請求項５のいずれか１項に記載の３次元情報取得装置において、
   前記観察光学系は、
   対物レンズと、
   それぞれ前記対物レンズの瞳面の異なる領域を通過した光が入射する複数のレンズ要素からなるレンズアレイであって、前記対物レンズからの光を前記２次元撮像素子上に集光させるレンズアレイと、を備える
   ことを特徴とする３次元情報取得装置。
9. 請求項１乃至請求項５のいずれか１項に記載の３次元情報取得装置において、
   前記観察光学系は、
   対物レンズと、
   前記対物レンズからの光を集光させる結像レンズと、
   前記結像レンズと前記撮像装置との間であって、前記結像レンズの後側焦点位置近傍に配置されたマイクロレンズアレイと、を備える
   ことを特徴とする３次元情報取得装置。
10. 請求項１乃至請求項９のいずれか１項に記載の３次元情報取得装置において、
    前記演算装置は、算出した前記試料の３次元情報と前記複数の画像データとに基づいて、前記試料の３次元画像データを生成する
    ことを特徴とする３次元情報取得装置。
11. 試料を光シートで照明し、
    前記光シートで照明された前記試料の複数の光学像であって、各々が異なる方向から前記試料を観察した光学像である前記複数の光学像を、２次元撮像素子上に形成し、
    前記複数の光学像が形成された前記２次元撮像素子を備える撮像装置で前記試料の複数の画像データを生成し、
    前記複数の画像データから前記試料の３次元情報を算出し、
    前記光シートの厚さＤは、ＰＰを前記２次元撮像素子の画素サイズ、λを前記試料からの観察光の波長、βを前記２次元撮像素子上に形成される前記複数の光学像の倍率、ＮＡを前記観察光学系の物体側の開口数とし、ＰＰ＞λ・β／（４・ＮＡ）を満たすとき、以
    下の条件式
    Ｄ ≦ ８・ＰＰ／β／ＮＡ
    を満たし、
    ＰＰ≦λ・β／（４・ＮＡ）を満たすとき、前記光シートの厚さＤは、以下の条件式
    Ｄ ≦ ２・λ／ＮＡ ^２
    を満たすことを特徴とする３次元情報取得方法。