JP5543863B2

JP5543863B2 - 撮像装置

Info

Publication number: JP5543863B2
Application number: JP2010154928A
Authority: JP
Inventors: 宜瑞坂本; 雅之小林; 善朗岡崎
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2010-07-07
Filing date: 2010-07-07
Publication date: 2014-07-09
Anticipated expiration: 2030-07-07
Also published as: JP2012018264A

Description

本発明は、撮像装置に関するものである。

従来、複数台の撮像素子を備えることにより、試料の画像を深さ方向に異なる焦点位置で同時に撮像することができる装置が知られている（例えば、特許文献１および２参照。）。

特開平１１−２９５８２６号公報特開２００９−１８８６９７号公報

しかしながら、特許文献１および２の装置を用いて、例えば、細胞などの生体試料を観察しようとすると、高画素・高感度な撮像素子が複数必要となるため、装置のコストが高騰してしまうという問題がある。

本発明は、上述した事情に鑑みてなされたものであって、焦点位置の異なる複数の画像を１つの撮像素子で同時に撮像することができる撮像装置を提供することを目的とする。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、観察対象からの観察光束を複数に分割する光束分割手段と、前記観察光束を受光する撮像素子と、前記光束分割手段により分割された各分割光束を前記撮像素子に導光する光路長の異なる複数の光路と、前記分割光束を、前記撮像素子の互いに異なる画素からなる画素群に受光させる光束選択手段と、前記撮像素子の前記各画素群から複数の画像を生成する画像生成部とを備え、前記光束選択手段が、前記各光路の途中位置に配置され、前記分割光束から互いに偏光方向の異なる直線偏光光束を生成する偏光光束生成部と、前記撮像素子の前段に設けられ、偏光方向の異なる前記直線偏光光束を透過させる偏光子が交互に繰り返し配列されてなり、各偏光方向の直線偏光光束を前記画素群に受光させる偏光子アレイとを備える撮像装置を提供する。

本発明によれば、観察対象からの観察光束が、光束分割手段によって分割された後に各光路を介して再び同一の撮像素子に導光させられることにより、観察対象を撮像することができる。
この場合に、各分割光束によって光路長が異なるので、光束選択手段によって分割光束毎に撮像素子の異なる画素群に受光させ、画像生成部により各画素群から画像を生成することにより、焦点位置の異なる複数の画像を１つ撮像素子で同時に撮像することができる。

また、焦点位置によって偏光方向の異なる直線偏光光束を、アレイ状に配列された画素からなる各画素群によって受光させることができる。

また、上記発明においては、前記光束選択手段が、各光路に配置され各分割光束から互いに波長の異なる単色光束を生成する単色光束生成部と、前記撮像素子の前段に設けられ、波長の異なる前記単色光束を透過させる色フィルタが交互に繰り返し配列されてなり、各波長の単色光束を前記画素群に受光させる色フィルタアレイとを備えることとしてもよい。
このようにすることで、焦点位置によって波長の異なる単色光束を、アレイ状に配列された画素からなる各画素群によって受光させることができる。

また、上記発明においては、前記光束選択手段は、前記各光路が、前記分割光束を前記撮像素子の互いに区切られた撮像領域の前記画素群に導光してなることとしてもよい。
このようにすることで、焦点位置によって撮像素子の異なる撮像領域において分割光束を受光させることができる。

また、上記発明においては、前記光路の光路長を変更する光路長変更手段を備えることとしてもよい。
このようにすることで、焦点位置を変更することができる。

また、上記発明においては、前記光路長変更手段が、前記複数の光路のうち少なくとも２の光路の光路長を同一に変更可能であることとしてもよい。
このようにすることで、焦点位置の基準合わせが必要な場合に、２つの光路の光路長を同一に調整した状態で焦点位置の基準合わせをし、その後で各光路の光路長を所望の焦点位置に応じて長くまたは短くする。これにより、基準合わせ用の光路が不要となり、構成を簡略にすることができる。

また、上記発明においては、前記各光路の光路長の差が一定であることとしてもよい。
このようにすることで、一定の幅で焦点位置のずれた画像を撮像することができる。
また、上記発明においては、前記光束分割手段が、前記観察光束を３以上に分割することとしてもよい。
このようにすることで、焦点位置の基準合わせが必要な場合に、撮像される複数の画像のうち１つを焦点位置の基準合わせに使用しても、焦点位置の異なる画像を２つ以上撮像することができる。

また、本発明は、観察対象に照明光束を照射する光源と、前記照明光束が前記観察対象において反射させられた反射光または透過させられた透過光を集光して観察光束を形成する対物光学系と、上記いずれかに記載の撮像装置とを備える顕微鏡システムを提供する。
本発明によれば、１台の撮像装置のみで、観察対象の深さ方向に異なる焦点位置の画像を同時に複数撮像することができる。

本発明によれば、焦点位置の異なる複数の画像を１つの撮像素子で同時に撮像することができるという効果を奏する。

本発明の第１の実施形態に係る撮像装置の全体構成図である。図１の撮像装置の画像処理を説明する図であり、（ａ）受光素子により受光された元画像、（ｂ），（ｃ）元画像から分割光束の偏光方向別に画素群を抽出した状態、（ｄ），（ｅ）空いた画素を補完した状態を示す図である。本発明の第２の実施形態に係る撮像装置の全体構成図である。本発明の第３の実施形態に係る撮像装置の全体構成図である。本発明の第４の実施形態に係る撮像装置の全体構成図である。図５の撮像装置の画像処理を説明する図であり、（ａ）撮像素子によって撮像された元画像、（ｂ）〜（ｄ）元画像から分割光束の色別に画素群を抽出した状態、（ｅ）〜（ｇ）空いた画素を補完した状態を示す図である。

以下に、本発明の第１の実施形態に係る撮像装置１および顕微鏡システムについて、図１および図２を参照して説明する。
本実施形態に係る顕微鏡システムは、本実施形態に係る撮像装置１と生体試料観察用の顕微鏡とを備え、撮像装置１により取得した生体試料、例えば、細胞の焦点位置の異なる少なくとも２枚の画像から、細胞の３次元形状を測定するものである。

撮像装置１は、図１に示されるように、観察対象である細胞からの観察光束Ｌを３つの分割光束に分割するビームスプリッタ２ａ，２ｂと、各分割光束を導光する３つの光路Ｌ０，Ｌ１，Ｌ２と、該光路Ｌ１，Ｌ２の途中位置に配置された偏光フィルタ３ａ，３ｂと、受光面に偏光子アレイ４が設けられた撮像素子５と、該撮像素子５の所定の画素群毎に画像を生成する画像生成部６とを備えている。

ビームスプリッタ２ａ，２ｂは、入射された観察光束の一部分を反射させ、観察光束の他の部分を透過させるキューブ型ビームスプリッタであり、直列に配列されている。なお、このビームスプリッタ２ａ，２ｂの構成は一例であり、ビームスプリッタとして、１つで観察光束を３つに分割するものや、プレート型を用いてもよい。

光路Ｌ０，Ｌ１，Ｌ２は、各光路長ｄ０，ｄ１，ｄ２がｄ１＜ｄ０＜ｄ２の大小関係を満たすように、かつ、ｄ０−ｄ１＝ｄ２−ｄ０＝Δｚを満たすように、ミラーＭ１〜Ｍ４が配置されている。以下、Ｌ０を基準光路、Ｌ１を短光路、Ｌ２を長光路という。各光路Ｌ０，Ｌ１，Ｌ２を導光された分割光束は、合成プリズム７によって１つに合成されてから撮像素子５へ射出されるようになっている。

偏光フィルタは３ａ，３ｂは短光路Ｌ１と長光路Ｌ２に配置され、互いに直交する偏光方向の直線偏光を選択的に透過させる。これにより、短光路Ｌ１および長光路Ｌ２において偏光方向が互いに直交する直線偏光光束が生成される。以下、説明を簡単にするため、短光路Ｌ１に配置された偏光フィルタ３ａの偏光方向を０°、長光路Ｌ２に配置された偏光フィルタ３ｂの偏光方向を９０°とする。

撮像素子５は、例えば、ＣＣＤイメージセンサ（電荷結合素子）やＣＭＯＳイメージセンサなどの、受光素子がアレイ状に配列された受光面を有する撮像素子である。偏光子アレイ４は、微小な偏光子が受光素子と同一の間隔幅で配列されてなり、各偏光子が一の受光素子と一致するように配置されている。

また、偏光子アレイ４は、偏光フィルタ３ａと同一の０°の直線偏光を透過させる偏光子と、偏光フィルタ３ｂと同一の９０°の直線偏光を透過させる偏光子とが、交互に配列されている。これにより、短光路Ｌ１からの０°の直線偏光光束と、長光路Ｌ２からの９０°の直線偏光光束とが、撮像素子５の互いに異なる受光素子群によって受光されるようになっている。

画像生成部６は、図２（ａ）に示されるように、撮像素子５によって撮像された元画像の全画素から、一つ置きに選択された画素からなる画素群を抽出する。これにより、図２（ｂ），（ｃ）に示されるように、０°の直線偏光光束によって結像された像と、９０°の直線偏光光束によって結像された像とが別々に抽出される。次に、画像生成部６は、抽出した画素同士間の空いた画素を画像処理によって補完する。画像処理は、バイリニア法などの周知の方法を用いることができる。これにより、画像生成部６は、図２（ｄ），（ｅ）に示されるように、光路Ｌ１，Ｌ２毎に別々の画像を生成する。生成された２つの画像は、焦点位置が２Δｚだけ異なる。

このように構成された撮像装置１を備えた顕微鏡システムについて、以下に説明する。
本実施形態に係る顕微鏡システムは、顕微鏡の光源から観察対象である細胞に照明光束を照明し、細胞を透過した照明光束を顕微鏡の対物レンズ（対物光学系）によって集光することにより、観察光束を形成する。ここで、光源は、無偏光の照明光束を放射するものが用いられる。観察光束は、ビームスプリッタ２ａ，２ｂによって分割された後、顕微鏡内に設けられた光路Ｌ０，Ｌ１、Ｌ２を介して、顕微鏡のカメラ用ポートに接続された共通の撮像素子５に導光される。これにより、顕微鏡システムは、焦点位置が２Δｚだけ異なる２つの画像を生成することができる。

観察者は、例えば、光路Ｌ１，Ｌ２を遮断することにより、基準光路Ｌ０を導光してきた分割光束によって結像される画像の焦点位置を基準焦点位置として細胞に合わせる。その後、光路Ｌ１，Ｌ２を遮断から開放し、撮像素子５に各光路Ｌ１，Ｌ２からの光束を照射させる。このときに、画像生成部６により生成される２つの画像は、基準焦点位置よりも鉛直下方および鉛直下方にそれぞれΔｚだけ焦点がずれたデフォーカス画像になる。顕微鏡システムは、得られた２つのデフォーカス画像中の各位置における輝度の差から位相を算出し、さらに算出した位相から各位置における細胞の厚みを算出し、細胞の３次元画像を構築する。顕微鏡システムは、２つのデフォーカス画像および構築した３次元画像を表示装置に表示させてもよい。

この場合に、本実施形態によれば、各分割光束の光路長ｄ１，ｄ２を異ならせ、さらに、偏光によって各分割光束を区別して撮像素子５に受光させることにより、焦点位置の異なる２つの画像を１つの撮像素子５で同時に撮像することができるという利点がある。さらに、これにより、高価な撮像装置が１つで済むので、コストの低減を図ることができるという利点がある。

また、対物レンズを上下に移動させることにより焦点位置をずらしながら複数のデフォーカス画像を撮像する従来の撮像方法の場合、２つのデフォーカス画像の撮像時刻に時間差が生じる。したがって、例えば、生細胞中の生体分子の動態など比較的高速で移動するものを観察しようとしたり、観察中に視野内に浮遊物などが移動してきたりしたときに、２つのデフォーカス画像から正しい位相の算出結果を得ることができないという問題がある。しかしながら、本実施形態によれば、焦点の異なる２つの画像を同時に撮像可能であるので、正確に３次元形状を測定することができるという利点がある。

なお、上記実施形態においては、生体試料の３次元形状を構築するために少なくとも２つのデフォーカス画像が必要であるため、光路長の異なる光路Ｌ０，Ｌ１，Ｌ２を３つ設け、観察光束を３つに分割することとしたが、光路および分割光束の数は適宜変更することができる。

次に、本発明の第２の実施形態に係る撮像装置１について、図３を参照して以下に説明する。なお、本実施形態においては、第１の実施形態と異なる点について主に説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る撮像装置１は、図３に示されるように、短光路Ｌ１および長光路Ｌ２の各光路長ｄ１，ｄ２が可変であり、基準光路Ｌ０が省略されている点において、第１の実施形態と異なる。

ビームスプリッタ２ａは、観察光束を２つに分割する。符号２ｃは、ビームスプリッタ２ａを透過してきた分割光束を偏向するプリズムである。
各光路Ｌ１，Ｌ２は、ミラーＭ１〜Ｍ４が平行移動することによって光路長ｄ１，ｄ２が変更されるようになっている。ここで、各ミラーＭ１〜Ｍ４は、各光路Ｌ１，Ｌ２の光路長ｄ１，ｄ２がｄ１＝ｄ２＝ｚを満たす基準位置（図３の２点鎖線参照。）と、各光路Ｌ１，Ｌ２の光路長ｄ１，ｄ２がそれぞれｄ１＝ｚ−Δｚ、ｄ２＝ｚ＋Δｚを満たす撮像位置（図３の実線参照）との間で移動可能になっている。

これにより、各ミラーＭ１〜Ｍ４が基準位置に配置されているときは、各光路Ｌ１，Ｌ２を導光してきた分割光束により、同一の基準焦点位置の画像が生成される。一方、各ミラーＭ１〜Ｍ４が観察位置に配置されているときは、各光路Ｌ１，Ｌ２を導光してきた分割光束によって、基準焦点位置よりも鉛直上方および鉛直下方にΔｚだけ焦点位置がずれた画像が生成される。

偏光フィルタ３ａ，３ｂは、ミラーＭ１〜Ｍ４が観察位置に配置されているときの各光路Ｌ１，Ｌ２の途中位置に固定されていてもよいし、ミラーＭ１〜Ｍ４と同期して平行移動してもよい。

このように構成された撮像装置１および該撮像装置１を備えた顕微鏡システムによれば、ミラーＭ１〜Ｍ４を基準位置に配置させて基準焦点位置を細胞に合わせた後、ミラーＭ１〜Ｍ４を撮像位置に移動させてデフォーカス画像を撮像する。これにより、基準焦点位置を決めるための基準光路が不要にすることができる。また、ミラーＭ１〜Ｍ４の移動量を調節することにより、観察対象の厚みに応じてデフォーカス画像の基準焦点位置からの焦点位置のずれ量Δｚを容易に変更し、より正確な３次元画形状を測定することができるという利点がある。

次に、本発明の第３の実施形態に係る撮像装置１について、図４を参照して説明する。なお、本実施形態においては、第１および第２の実施形態と異なる点について主に説明し、第１および第２の実施形態と共通する構成については同一の符号を付して説明を省略する。

本実施形態に係る撮像装置１は、図４に示されるように、短光路Ｌ１および長光路Ｌ２を導光されてきた各分割光束が、撮像素子５上の互いに区切られた撮像領域Ａ，Ｂに照射される点において、第１および第２の実施形態と異なる。本実施形態においては、第２の実施形態と同様に、ミラーＭ１〜Ｍ４が移動することにより、各光路Ｌ１，Ｌ２の光路長ｄ１，ｄ２が可変になっていてもよい。

撮像素子５は、互いに区切られた２つの撮像領域Ａ，Ｂを有している。
各光路Ｌ１，Ｌ２を導光されてきた分割光束はそれぞれ独立に偏向素子、例えば、ミラーＭ５，Ｍ６によって撮像素子５に向かって偏向され、短光路Ｌ１からの分割光束は撮像領域Ａに、長光路Ｌ２からの分割光束は撮像領域Ｂに照射される。ここで、各光路Ｌ１，Ｌ２からの分割光束が意図しない撮像領域Ａ，Ｂにも照射されるのを防ぐために、例えば、撮像領域Ａ，Ｂの間に遮光板などが適宜設けられてもよい。
画像生成部６は、各撮像領域Ａ，Ｂ内の画素群から別々に画像を生成する。

このように構成された撮像装置１および該撮像装置１を備えた顕微鏡システムによれば、上述した第１の実施形態と同様に、１つの撮像素子５で焦点位置の異なる画像を同時に撮像することができる。また、偏光フィルタや偏光子アレイなどが不要であり、比較的安価な光学素子のみで構成されるので、コストをさらに低減することができるという利点がある。

次に、本発明の第４の実施形態に係る撮像装置１について、図５および図６を参照して以下に説明する。本実施形態においても、第１の実施形態と異なる点について主に説明し、第１の実施形態と共通する構成については同一の符号を付して説明を省略する。
本実施形態に係る撮像装置１は、図５に示されるように、各光路Ｌ１，Ｌ２に偏光フィルタ３ａ，３ｂに代えて波長フィルタ（単色光束生成部）８ａ，８ｂ，８ｃが配置されている点、および、撮像素子５の受光面に偏光子アレイ４に代えて色フィルタアレイ９が設けられている点において、第１の実施形態と異なる。

波長フィルタ８ａ，８ｂ，８ｃはそれぞれ、各分割光束に含まれる光のうち、緑色（Ｇ）、青色（Ｂ）または赤色（Ｒ）の領域の特定の波長の光を選択的に透過させる。これにより、各分割光束から、Ｇ、Ｂ、Ｒの単色光束が生成される。
色フィルタアレイ９は、各色の単色光束をそれぞれ選択的に透過させる微小な色フィルタが、交互にアレイ状に配列されてなる。各色フィルタは受光素子と同一の間隔幅で配列され、各色フィルタが一の受光素子と一致するように色フィルタアレイ９は配置されている。これにより、各光路Ｌ０，Ｌ１，Ｌ２からの単色光束は、その色によって撮像素子５の異なる受光素子に受光される。

画像生成部６は、図６（ａ）に示されるように、撮像素子５によって撮像された元画像の全画素のうち、図６（ｂ）〜（ｄ）に示されるように、色フィルタの色別に画素群を抽出する。つぎに、画像生成部６は、図６（ｅ）〜（ｇ）に示されるように、空いた画素を画像処理によって補完する。これにより、光路Ｌ０，Ｌ１，Ｌ２別に３つの画像が生成される。

ここで、一般的にＣＣＤなどの撮像素子５の受光面に設けられている色フィルタアレイ９は、各色フィルタが透過させる光の波長に幅が存在する。すなわち、例えば、緑色の光であっても、波長によっては色フィルタアレイ９の青色または赤色の色フィルタを透過し、意図しない位置の受光素子に受光されてしまう。したがって、各色の波長フィルタ８ａ，８ｂ，８ｃは、異なる色の色フィルタが透過させる光の波長領域と干渉しない波長領域の波長を透過させるものが選択される。

このように構成された本実施形態に係る撮像装置１および該撮像装置１を備えた顕微鏡システムによれば、第１の実施形態と同様に、１つの撮像素子５で焦点位置の異なる画像を同時に撮像することができるという利点がある。また、基準光路Ｌ０を導光された分割光束の画像も生成されるので、デフォーカス画像と同時にフォーカス画像を表示装置に表示させることができるという利点がある。

１撮像装置
２ａ，２ｂビームスプリッタ（光束分割手段）
２ｃプリズム
３ａ，３ｂ偏光フィルタ（偏光光束生成部、光束選択手段）
４偏光子アレイ（光束選択手段）
５撮像素子
６画像生成部
７合成プリズム
８ａ〜８ｃ波長フィルタ（単色光束生成部、光束選択手段）
９色フィルタアレイ（光束選択手段）
Ｌ０，Ｌ１，Ｌ２光路
Ｍ１〜Ｍ６ミラー

Claims

観察対象からの観察光束を複数に分割する光束分割手段と、
前記観察光束を受光する撮像素子と、
前記光束分割手段により分割された各分割光束を前記撮像素子に導光する光路長の異なる複数の光路と、
前記分割光束を、前記撮像素子の互いに異なる画素からなる画素群に受光させる光束選択手段と、
前記撮像素子の前記各画素群から複数の画像を生成する画像生成部とを備え、
前記光束選択手段が、
前記各光路の途中位置に配置され、前記分割光束から互いに偏光方向の異なる直線偏光光束を生成する偏光光束生成部と、
前記撮像素子の前段に設けられ、偏光方向の異なる前記直線偏光光束を透過させる偏光子が交互に繰り返し配列されてなり、各偏光方向の直線偏光光束を前記画素群に受光させる偏光子アレイとを備える撮像装置。