JP2013542468A - 走査型投影レンズレス顕微鏡システム - Google Patents

Abstract

試料面、光素子を有する走査照明源、試料面の外部にある光検出器及びプロセッサを有する走査型投影レンズレス顕微鏡装置を提供する。走査照射源は、上記光素子を複数の走査位置に走査させて、上記試料面の試料に対して照射を行う。光検出器は、上記複数の走査位置に対応してサブピクセルシフトされた、オブジェクトの投影画像列をサンプリングする。プロセッサは、上記のサブピクセルシフトされた投影画像列と投影の関心平面での動きベクトルとに基づいて、上記オブジェクトの高解像度画像を構築する。

Description

本発明の実施形態は概して、高解像度(HR)(例えば、サブピクセル解像度)の顕微鏡装置及びその他のHR撮像装置に関する。特に、いくつかの実施形態は、二次元(2D)モノクロHR撮像、2DHRカラー撮像、三次元(3D)モノクロHR撮像及び/又は3DカラーHR撮像のための走査型投影レンズレス顕微鏡(SPLM)装置、SPLMシステム及びSPLM方法に関する。

[関連出願の相互参照]
本出願は、2010年10月26日に「Scanning Projective Microscopy System for 2D and 3D Imaging」とのタイトルで出願された米国特許仮出願第61/406,916号及び2011年5月4日に「ePetri: An On-Chip Cell Imaging Platform based on Sub-Pixel Perspective Sweeping Microscopy」とのタイトルで出願された米国特許仮出願第61/482,531号に基づく優先権を主張する非仮特許出願である。これらの仮特許出願の全内容は、あらゆる目的で参照により本明細書に組み入れられる。

また、本非仮特許出願は、以下の、同時係属の同一人に譲渡された米国仮特許出願に関連しており、以下の米国仮特許出願の全内容は、あらゆる目的で参照により本明細書に組み入れられる。
・2009年3月4日に「Optofluidic Microscope Device with Photosensor Array」とのタイトルで出願された米国特許出願第12/398,050号。
・2011年3月23日に「Super Resolution Optofluidic Microscopes for 2D and 3D Imaging」とのタイトルで出願された米国特許出願第13/069,651号。

生体撮像装置の小型化は、医療診断及び科学研究の方法を著しく変化させる可能性を有する。具体的に言えば、コンパクトかつ低コストな顕微鏡は、受診可能な医療診断を大幅に広げ、大量の細胞を精査し自動的に特徴付けるための手段を提供し得る。このことは、Psaltis, D.らによる論文「Developing optofluidic technology through the fusion of microfluidics and optics」、Nature、第442巻、381-386頁(2006年)に記載されており、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。従来の光学顕微鏡は、大きくて扱いにくいレンズを有しており、高コストで小型化が困難であった。

相補型金属酸化膜半導体(CMOS)撮像センサ技術の急速な進歩及び商用化努力により、安価かつ高ピクセル密度の撮像センサチップが広く利用可能となった。そうした撮像センサチップにより、大きくて扱いにくいレンズを有する従来の顕微鏡の設計に比べて、極めてコンパクトかつ低コストな新たな顕微鏡の実施形態がここ数年間の間に開発された。そうした新たな開発の例としては、流体光学顕微鏡及びデジタルインラインホログラフィック顕微鏡の2つが挙げられる。流体光学顕微鏡技術のいくつかの例は、Heng, X.らによる論文「Optofluidic microscopy- method for implementing a high resolution optical microscope on a chip」、Lab Chip、第6巻、1274-1276頁、Cui, Xiquanらによる論文「Lensless high-resolution on-chip optofluidic microscopes for Caenorhabditis elegans and cell imaging」、 Proceedings of the National Academy of Science、第105巻、10670頁(2008年)並びにZheng, G.、Lee, SA.、Yang, S.及びYang, C.による論文、「Sub-pixel resolving optofluidic microscope for on-chip cell imaging.」、Lab Chip、第10巻、3125-3129頁(2010年)(「Zheng」と呼称する)に見ることができ、それらの全内容は、あらゆる目的で参照により本明細書に組み入れられる。デジタルインラインホログラフィック顕微鏡のいくつかの例は、Repetto, L.、Piano, E.及びPontiggia, C.による論文、「Lensless digital holographic microscope with light-emitting diode illumination」、Opt. Lett.、第29巻、1132-1134頁(2004年)(「Repetto」と呼称する)、Mudanyali, O.らの論文、「Compact, light-weight and cost-effective microscope based on lensless incoherent holography for telemedicine applications」、Lab Chip、第10巻、1417-1428頁(2010年)(「Mudanyali」と呼称する)、Xu, W.、Jericho, M.、Meinertzhagen, I.及びKreuzer, H.による論文、「Digital in-line holography for biological applications」、Proc Natl Acad Sci USA、第98巻、11301-11305頁(2001年)(「Xu」と呼称する)、Garcia-Sucerquia, J.らによる論文、「Digital in-line holographic microscopy」、Appl. Opt.、第45巻、836-850頁(2006年)(「Garcia-Sucerquia」と呼称する)、Malek M.、Allano, D.、Coetmellec, S.及びLebrun, D.による論文、「Digital in-line holography: Influence of the shadow density on particle field extraction」、Opt. Express、第12巻、2270-2279頁(2004年)(「Malek」と呼称する)並びにIsikman, S.O.らによる論文、「Lens-free optical tomographic microscope with a large imaging volume on a chip」、Proc Natl Acad Sci USA、第108巻、7296-7301頁(2011年)に見ることができる。上記の論文の全内容は、あらゆる目的で参照により本明細書に組み入れられる。

流体光学顕微鏡及びインラインホログラフィック顕微鏡の技術はいずれも、レンズを必要としないため、例えば、収差及び色度といった光学的限界を回避することができる。どちらの技術も分散性の試料(例えば、血液、流体細胞培養及びその他の細胞又は微生物の懸濁液)の撮像に適している。しかし、いずれの技術も、コンフルエントな細胞培養又は細胞が相当な長さスケールで密接に結合している何らかの試料の場合は上手く機能しない。

流体光学顕微鏡装置の場合は、撮像を行うために、走査領域全体に試料の流体的(例えば、マイクロ流体的)な流れが必要とされる。粘着性の、コンフルエントな又は近接配置された試料は通常、流体モードの撮像と相容れない。さらに、実視野は、流体チャネルの構成により制限され得る。

デジタルインラインホログラフィック顕微鏡の場合は、制御された光下の対象物の干渉強度分布が計測され、それから、画像再構築アルゴリズムを適用して上記対象物の顕微鏡画像がレンダリングされる。アルゴリズムの2つの例は、Liu, G.及びScott, P.による論文、「Phase retrieval and twin-image elimination or in-line Fresnel holograms」、J Opt Soc Am A、第4巻、159-165頁(1987年)(「Liu」と呼称する)、Fienup, JR.の論文、「Reconstruction of an object from the modulus of its Fourier transform」、Opt Lett、第3巻、27-29頁(1978年)(「Fienup」と呼称する)並びにKoren, G.、Polack, F.及びJoyeux, D.による論文、「Iterative algorithms for twin-image elimination in in-line holography using finite-support constraints」、J Opt Soc Am A、第10巻、423-433頁(1993年)に見ることができ、それらの全内容は、あらゆる目的で参照により本明細書に組み入れられる。画像品質は、対象物の大きさ、散乱特性及び計測プロセスの信号対雑音比(SNR)に大きく依存する。このことは、「Mudanyali」、「Garcia-Sucerquia」、「Malek」、「Fienup」、Lai, S.、King, B.及びNeifeld, MAによる論文、「Wave front reconstruction by means of phase -shifting digital in-line holography」、Opt Commun.、第173巻、155-160頁(2000年)(「Lai」と呼称する)並びにRodenburg, J.、Hurst, A.及びCullis, A.による論文、「Transmission microscopy without lenses for objects of unlimited size」、Ultramicroscopy、第107巻、227-231頁(2007年)(「Rodenburg」と呼称する)に記載されており、それらの全内容は、あらゆる目的で参照により本明細書に組み入れられる。上記方法は、十分に分離された対象物(例えば、希釈血液の塗抹標本)には上手く機能する。しかし、こうした方法は、サブミクロン解像度で連続領域全体が0.1mm²より大きな面積を占める対象物には恐らく適用されていなかった。このことは、「Repetto」、「Madanyali」、「Xu」、「Garcia-Sucerquia」及びBiener, G.らの論文、「Combined reflection and transmission microscope for telemedicine applications in field settings」、Lab Chip、第11巻、2738-2743頁(2011年)に見ることができ、この全内容は、あらゆる目的で参照により本明細書に組み入れられる。

上述した制限の理由は公知である。つまり、強度記憶プロセスにおける位相情報の消失である。「Liu」に記載されているように、位相情報を回復するためには、オブジェクトサポートを反復的位相回復アルゴリズムにおいて用いる必要があり、そのためには、撮像領域(強度データが適用される領域)とオブジェクト領域(アプリオリなオブジェクト拘束が適用される領域)との間で光照射野が交互に伝播される。「Liu」に記載されているように、テストオブジェクトが実数又は非負である場合は、強力な非負サポートを適用して記憶された回折強度から位相情報を抽出することは容易である。しかし、デジタルインライン顕微鏡では、オブジェクト領域の光照射野は複素数であるため、オブジェクトのサポートが十分に隔離されている場合(すなわち、まばらな拘束)又は縁が明確に規定されている場合(真の境界)のみ位相回復が可能である。このことは、「Rodenburg」、「Fienup」、Denis, L.、Lorenz, D.、Thiebaut, E.、Fournier, C及びTrede, D.による論文、「Inline hologram reconstruction with sparsity constraints」、Opt Lett、第34巻、3475-3477頁(2009年)、並びにZhang, R.、Pedrini, G.及びOsten, W.による論文、「Phase retrieval of arbitrary complex-valued fields through aperture-plane modulation」、Phys Rev A、第75巻、043805頁(2007年)に記載されており、それらの全内容は、あらゆる目的で参照により本明細書に組み入れられる。また、上記技術の干渉性は、コヒーレンスベースの雑音源(例えば、スペックル及び相互干渉)が存在し、対処されなければならない可能性を意味する。このことは、「Garcia-Sucerquia」、「Malek」並びにXu, L.、Miao, J.及びAsundi, A.による論文、「Properties of digital holography based on in-line configuration」、Opt Eng、第39巻、3214-3219頁(2000年)に記載されており、この全内容は、あらゆる目的で参照により本明細書に組み入れられる。デジタルインラインホログラフィック顕微鏡の問題を緩和するための方法が、「Lai」、「Rodenburg」並びにMico, V.、Garcia, J.、Zalevsky, Z.及びJavidi, B.による論文、「Phase-Shifting Gabor Holographic Microscopy」、J Disp Technol、第6巻、484-489頁(2010年)に報告されており、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。そうした緩和方法に基づいて生成された画像は、干渉により生じ得るアーティファクトを有し、干渉に起因する雑音源により、従来の顕微鏡を用いて得られる画像に比べて、同一性が低く低品質である。

本発明の実施形態は、HR(例えば、サブピクセル解像度の)モノクロ2D画像、HRモノクロ3D画像、HRカラー2D画像及び/又はHRカラー3D画像の生成のためのSPLM装置、SPLMシステム及びSPLM方法に関する。SPLM装置は、撮像されるオブジェクトのための試料面、走査型照明源、検出面を有する光検出器(例えば、CMOS撮像センサ)及びプロセッサを有する。走査型照明源は、光素子(例えば、ピクセルセット)をオブジェクト上の様々な位置に掃照させて、異なる角度から照射を行う。照射は、オブジェクトのサブピクセルシフトされた複数の投影を光検出器の検出面に生成する。光検出器は、オブジェクトの1つ又は複数のサブピクセルシフトされた低解像度(LR)の投影画像列を記憶する。プロセッサは、超解像アルゴリズムを用いて、サブピクセルシフトされた投影画像列に基づくオブジェクトのHR画像を構築することができる。

発明を解決するための手段

一実施形態は、SPLM装置であって、試料面と、光素子を有する走査照射源と、上記試料面の外部にある光検出器と、プロセッサとを有するSPLM装置に関する。走査照射源は、上記光素子を複数の走査位置に走査させて、様々な照射角度から上記試料面の試料に対して照射を行う。光検出器は、サブピクセルシフトされた投影画像列をサンプリングする。サブピクセルシフトされた投影画像列は、上記複数の走査位置に対応している。プロセッサは、上記のサブピクセルシフトされた投影画像列と動きベクトルとに基づいて、上記試料の高解像度画像を構築することができる。

別の実施形態は、SPLM装置とプロセッサとを有するSPLMシステムに関する。SPLM装置は、試料面と、光素子を有する走査照射源と、上記試料面の外部にある光検出器とを有する。走査照射源は、上記光素子を複数の走査位置に走査させて、様々な照射角度から上記試料面の試料に対して照射を行う。光検出器は、サブピクセルシフトされた投影画像列をサンプリングする。サブピクセルシフトされた投影画像列は、上記複数の走査位置に対応している。プロセッサは、上記のサブピクセルシフトされた投影画像列と動きベクトルとに基づいて、上記試料の高解像度画像を構築することができる。

さらに別の実施形態は、試料面、照射ディスプレイ、上記試料面の外部にある光検出器及びプロセッサを有するSPLM装置を用いてオブジェクトの高解像度画像を生成する方法に関する。方法は、前記試料面上に前記オブジェクトを載置するステップを含む。方法はさらに、上記照射ディスプレイの1つ又は複数のピクセルを複数の走査位置で連続的に照射して、様々な照射角度から前記オブジェクトに対して照射を行うステップを含む。方法はさらに、上記複数の走査位置に対応するサブピクセルシフトされた投影画像の列を撮影するステップを含む。方法はさらに、上記投影画像の平面での動きベクトルを特定するステップと、上記一連の投影画像と上記動きベクトルとに基づいて、上記オブジェクトの高解像度画像を構築するステップとを含む。
以下、本発明のこれら又はその他の実施形態について、より詳細に説明する。

本発明の実施形態に従った、SPLMの構成部品及び部分構成部品を示す概略図である。 本発明の実施形態に従った、SPLM装置の構成部品及び部分構成部品を示す斜視図である。 (a)〜(c)は、本発明の実施形態に従った、撮像ランの走査サイクルにおけるSPLM装置の構成部品及び部分構成部品を示す斜視図である。 (a)及び(b)は、本発明の実施形態に従った、照射ディスプレイの走査パターンを示す図である。 (a)は、本発明の実施形態に従った、あるサンプリング時間にSPLMシステムの光検出器で撮影されたLR投影画像を示す図であり、(b)は、本発明の実施形態に従った、SPLMシステムにより再構築されたHR画像を示す図である。 (a)は、本発明の実施形態に従った、1つのサンプリング時間にSPLMシステムの光検出器で撮影されたヒーラ(HeLa)細胞試料の一部のLR投影画像を示す図であり、(b)は、本発明の実施形態に従った、SPLMシステムにより再構築されたHR画像を示す図である。 (a)は、本発明の実施形態に従った、SPLMシステムにより構築されたコンフルエントなヒーラ細胞試料の広視野なカラーHR画像を示す図であり、(b1)は、本発明の実施形態に従った、SPLMシステムの光検出器で撮影された、図7(a)の小領域のLR投影画像を示す図であり、(c1)は、本発明の実施形態に従った、SPLMシステムの光検出器で撮影された、図7(b1)の小領域のLR投影画像を示す図であり、(b2)本発明の実施形態に従った、SPLMシステムで構築された、図7(a)の同一の小領域の再構築HR画像を示す図であり、(c2)は、本発明の実施形態に従った、SPLMシステムで構築された、図7(b2)の小領域の再構築HR画像を示す図であり、(d)は、対物レンズ(40X、NA=0.66)を有する顕微鏡を用いた、同様の細胞の従来の顕微鏡画像を示す図である。 (a)は、本発明の実施形態に従った、SPLMシステムで構築された、500nmの微粒子を有する試料(Polysciences社)のHR画像を示す図であり、(b)は、本発明の実施形態に従った、SPLMシステムで構築された、図7の染色ヒーラ細胞試料の微小特徴を拡大して示すHR画像を示す図である。 本発明の実施形態に従った、SPLM装置の例示的な動作を示す流れ図である。 本発明の実施形態に従った、3つの異なる照射角度θ₁、θ₂及びθ₃から得られる光検出器での3つの投影を概略的に示す図である。 本発明の実施形態に従った、SPLMシステムにおいて存在し得るサブシステムを示すブロック図である。

以下、本発明の実施形態について、添付の図面を参照しながら説明する。いくつかの実施形態は、撮像されるオブジェクトが置かれる試料面、走査型照明源(例えば、スマートフォン)、検出面を有する光検出器(例えば、CMOS撮像センサ)、検出面と試料面との間の薄厚の透過層及びプロセッサを有する。走査サイクル中に、走査型照明源は、光素子(例えば、LCDの1つ又は複数のピクセル)を様々な走査位置に走査(掃照)又はそうでなければ並進させて、様々な照射角度からオブジェクトを照射する。例えば、LCDの異なるピクセルのセットが、連続的に照射され得る。光素子からの照射は、オブジェクトのサブピクセルシフトされた投影を光検出器の検出面に生成する。光検出器は、走査サイクルの様々な時間における光素子の位置に関連するサブピクセルシフトされたLR投影画像列を記憶する。プロセッサは、適切な超解像度(SR)アルゴリズムを用いて、上記サブピクセルシフトされたLR投影画像列及び投影の動きベクトルに基づくオブジェクトのHR画像を構成することができる。様々な撮像方法の下で、SPLM装置は、HRモノクロ2D画像、HRモノクロ3D画像、HRカラー2D画像及び/又はHRカラー3D画像を生成することができる。デジタルフォーカス方法においては、SPLM装置は、オブジェクトを通る平面での動きベクトルを用いることにより、その平面でオブジェクトのHR画像のピントを合わせて、HR画像を構築することができる。

本発明の実施形態は、1つ又は複数の技術的効果を実現する。実施形態によるSPLMシステムにおいては、走査型照明源は、オブジェクトと検出面との間の距離に比べて、検出面から遠い距離に置かれている。したがって、光素子のわずかな並進が、検出面における投影の大きな並進に対応する。このような構成により、走査型照明源は、投影のサブピクセルシフトを容易かつ正確に制御及び維持することができる。これにより、オブジェクトのサブピクセルの動きを制御するためのアクチュエータ及びコントローラ又はオブジェクトを保持するためのプラットフォームを用いるその他のシステム(例えば、従来のマイクロ走査システム)に比べて、効果を実現することができる。実施形態の他の効果としては、上記方法は、コンフルエントな試料及びオブジェクト(例えば、細胞)が相当な長さにわたって密接に結合しているその他の試料の高解像度撮像のための自律的、費用効果的及び高品質な顕微鏡の解決方法を提供することができる、という点が挙げられる。

I.走査型投影レンズレス顕微鏡(SPLM)システム

図1は、本発明の実施形態に従った、SPLMシステム10の構成部品及び部分構成部品を示す概略図である。SPLMシステム10は、SPLM装置100及びホストコンピュータ200を有する。

SPLM装置100は、試料(例えば、コンフルエントな試料)が置かれる試料面140を有する。SPLMシステム10は、試料150の少なくとも一部を撮影することができる。図示された例においては、5つのオブジェクト152(例えば、細胞)を有する試料150が試料面140に置かれている。5つのオブジェクト152が示されているが、試料150は、任意の適切な数(例えば、1、2、10、100及び1000等)のオブジェクト152又はオブジェクト152の1つまたは複数の部分を有していてもよい。

SPLM装置100はさらに、走査照明源110を有し、当該走査照明源110は、第一プロセッサ112、第一のコンピュータ読み取り可能な媒体(CRM)114及び照射ディスプレイ116(例えば、LCD及び発光ダイオード(LED)ディスプレイ等)を有する。第一プロセッサ112は、照射ディスプレイ116及び第一CRM114と電子通信状態にある。照射ディスプレイ116は、照射118(例えば、コヒーレント光)を生成することが可能な光素子117(例えば、LCD又はLEDの1つ又は複数のピクセル)を有する。照射ディスプレイ116はさらに、ディスプレイ面119を有する。光素子117は、図示された例では、ディスプレイ面119上に位置する。他の実施形態においては、ディスプレイ面119と光素子117との間に透過層を置くことができる。また、透過層は、いくつかの実施形態においては、ディスプレイ面119の外部に置くことができる。また、走査照明源110は、x軸、y軸(図示しない)及びz軸を有する。x軸及びy軸は、ディスプレイ面119と同一平面に在る。z軸は、上記平面に直交している。

走査照明源110は、試料150に対して様々な照射角度から照射118を行うため、光素子117をディスプレイ面119の様々な走査位置に走査(掃照)又はそうでなければ並進させることができる。照射118のためのシフト光素子117(源)は、試料150の(図3に示されているような)シフトされた投影170を検出面162に生成する。図1において、光素子117は、撮像ランの走査サイクルにおけるある時間tの走査位置で示されている。各走査サイクルとは、例えば、その走査サイクルにおいて、走査照明源110が、光素子117を走査位置に走査又はそうでなければ並進させる時間間隔のことを言う。撮像ランとは、例えば、SPLMシステム10の1つ又は複数の動作により、1つ又は複数の走査サイクルにおいて収集された光データに基づくHR画像が生成される時間間隔のことを言う。実施形態において、光素子117は、走査サイクル中に、ディスプレイ面119上の走査位置:(x_{i=1 to n}, y_{j= 1 to m})の二次元(n x m)アレイにおけるn x m個の走査位置にシフトすることができる。

また、SPLM装置100は、投影画像を撮影するための光検出器160を有する。光検出器160は、検出領域164を備えた検出面162を有する。検出面162は、ディスプレイ面119から距離dの位置に位置している。光検出器160はさらに、試料面140と検出面162との間に置かれた透過層165(例えば、薄厚の透過保護膜)を有する。走査サイクル中に、光素子117からの照射118は、試料150の(図3に示されているような)投影170を検出面162に生成する。光検出器160は、走査サイクル中に、試料150の1つ又は複数のサブピクセルシフトされたLR投影画像列をサンプリング(撮影)することができる。サブピクセルシフトされたLR投影画像とはそれぞれ、例えば、その画像列における一つのLR投影画像からサブピクセル分の距離だけシフトされた、隣接するLR投影画像のことを言う。画像列における隣接するLR投影画像とは、例えば、距離が近い2つのLR投影画像のことを言う。いくつかの場合において、隣接するLR投影画像は、走査サイクル中に時間的に連続して撮影された投影画像のことを示すこともある。

点線で示されているように、光検出器160は、任意選択的に、第一プロセッサ112と電子通信させて、光検出器160によるサンプリングを走査照明源110による走査と同期させることができる。光検出器160はさらに、x'軸、y'軸(図示しない)及びz'軸を有する。x'軸及びy'軸は、光検出器160の検出面162と同一平面に在る。z'軸は、上記平面に直交している。

さらに、SPLM 10は、ホストコンピュータ200を有し、当該ホストコンピュータ200は、第二プロセッサ210、第二プロセッサ210と電子通信状態にある第二CRM220及び第二プロセッサ210と電子通信状態にある画像ディスプレイ230を有する。第二プロセッサ210は、光検出器150からの1つ又は複数のサブピクセルシフトされたLR投影画像列に関連するデータを受信することができる。第二プロセッサ210はさらに、上記データに基づいて、投影170の検出面162での動きベクトルを特定することができる。第二プロセッサ210はそれから、適切な超解像アルゴリズム(SRアルゴリズム)を用いて、上述した動きベクトル及び1つ又は複数のサブピクセルシフトされたLR投影画像列データに基づく試料150の1つ又は複数のHR(例えば、サブピクセル解像度の)画像を生成することができる。第二プロセッサ210は、上記HR画像及び/又はその他の画像を表示するために、画像ディスプレイ230と電子通信状態にある。

図1のSPLMシステム10の例示的な撮像ラン(imaging run)において、走査照明源110は、ディスプレイ面119上の座標(x_{i=1 to n}, y_{j= 1 to m})を有するn x m個の走査位置の二次元(n x m)アレイに光素子117を走査又はそうでなければ並進させることができる。走査照明源110は、走査パターンに応じて、光素子117を走査位置に走査(掃照)又はそうでなければ並進させる。光素子117からの様々な走査位置への照射118は、試料150のシフトされた投影170を光検出器160の検出面162に生成する。走査中に、光検出器160は、1つ又は複数のサブピクセルシフトされたLR投影画像列を検出領域164で撮影する。第二プロセッサ210は、光検出器160から、上記の1つ又は複数の画像列のうち少なくとも1つの画像列のデータを受信する。第二プロセッサ210は、上記データから、サブピクセルシフトされた投影170の検出面162での動きベクトルを特定する。第二プロセッサ210はさらに、上述した試料150の少なくとも1つのサブピクセルシフトされたLR投影画像列からのデータ及び/又は特定された動きベクトルと共に、適切な超解像アルゴリズムを用いて、試料150の1つ又は複数のHR画像を構築することができる。

図2は、本発明の実施形態に従った、SPLM装置100の構成部品及び部分構成部品を示す斜視図である。SPLM装置100は、携帯通信装置(例えば、携帯電話及びタブレット等)の形態の走査照明源110と、光検出素子166の二次元アレイ(例えば、CMOS撮像センサ)の形態の光検出器160とを有する。光検出器160は、検出面162及び薄厚の透過層165を有する。1つのオブジェクト152(例えば、細胞)を有する試料150が試料面140(図示しない)に置かれている。薄厚の透過層165は、検出面162と試料面140との間に在る。この例において、走査照射装置110は、LCDの形態の照射ディスプレイ116(図示しない)を有する。LCDは、発光素子(例えば、ピクセル)の二次元アレイを有する。走査された光素子117は、走査パターンに応じて照射118を行う、連続するLCD116の発光素子のセットの形態である。各セットは、1つ又は複数の発光素子を有する。連続する発光素子のセットは、ディスプレイ面119上の(x_{i=1 to n}, y_{j= 1 to m})に位置するn x m個の走査位置の二次元(n x m)アレイで照射118を行う。図2において、光素子117は、走査サイクルの1つの走査位置で示されている。光素子117からの照射118は、オブジェクト152の1つの投影170を光検出器160の検出面162に生成する。

図3(a)、(b)、(c)は、本発明の実施形態に従った、撮像ランの走査サイクルにおけるSPLM装置100の構成部品及び部分構成部品を示す斜視図である。SPLM装置100は、照射118を行う走査照明源110と、光検出素子166の二次元アレイの形態の光検出器160を有する。光検出器160は、検出面162及び薄厚の透過層165を有する。1つのオブジェクト152(例えば、細胞)を有する試料150が試料面140に置かれている。薄厚の透過層165は、検出面162と試料面140との間に在る。また、SPLM装置100は、x軸、y軸及びz軸を有する。x軸及びy軸は、光検出器160の検出面162と同一平面に在る。z軸は、上記平面に直交している。光素子117(図示しない)は、照射118を行い、光検出器160の光点を生成する。

図3(a)、(b)、(c)において、光素子117(図示しない)はそれぞれ、時間t = t_a、t_b及びt_c (a>b>c)において、x'軸に沿った3つの走査位置に位置する。照射118は、3つの異なる走査位置から行われ、3つのシフトされた投影170(a)、170(b)及び170(c)がそれぞれ検出面162に生成されている。光素子117がいくらかシフトすると、オブジェクトの投影(影)は、光検出器アレイの光検出素子166(例えば、センサピクセル)でサブピクセル(すなわち、ピクセルサイズより小さい)単位でシフトされ得る。時間t = t₁、t₂及びt₃において、光検出器160は、3つの投影170(a)、170(b)及び170(c)にそれぞれ対応する3つのLR投影画像の列を撮影する。任意の適切な数のサブピクセルシフトされた投影が、時間t_aと時間t_bとの間又は時間t_bと時間t_cとの間の走査時間に撮影されていてもよい。投影170(a)、170(b)及び170(c)の検出面162での動きベクトルは、サブピクセルシフトされたLR投影画像列からのデータに基づいて特定され得る。光検出器160により撮影されたサブピクセルシフトされたLR投影画像列からのデータに基づいて、適切なSRアルゴリズムを用いて、オブジェクト152のHR画像が構築され得る。

任意の適切な試料150がSPLMシステム10又はSPLM装置100より撮像され得る。殆どの場合において、試料150は走査サイクルにおいて移動しない。適切な試料150の例としては、1つ又は複数のオブジェクト152(例えば、細胞)を有するコンフルエントな試料(例えば、コンフルエントな細胞培養)が挙げられる。適切な試料150の別の例としては、オブジェクト152が密接に結合している試料が挙げられる。撮像される試料150には、あらゆる適切なタイプのオブジェクト150が含まれ、任意の適切な数(例えば、1、10、100及び1000等)のオブジェクト150又はオブジェクト150の1つ又は複数の部分が含まれ得る。適切なタイプのオブジェクト150は、生物学的又は無機性の実体物であり得る。生物学的実体には、細胞全体、細胞成分、微生物(例えば、バクテリア又はウイルス)及び細胞構成体(例えば、蛋白質)が含まれる。無機性の実体物も本発明の実施形態により撮像され得る。

本明細書中で用いられる走査照明源110とは、例えば、光素子117をn個の走査位置に走査又はそうでなければ並進させて、撮像される試料150のサブピクセルシフトされた投影170を光検出器160の検出面162に生成することが可能な任意の適切な装置又は装置の組み合わせのことを言う。任意の数nの走査位置を用いることができる(n = 1、2、3、4、5、10、20及び100等)。光素子117を移動させることにより、走査照明源110は、試料150に対して行う照射118の照射角度を変化させる。実施形態において、走査照明源110は、検出面又はその他の関心平面の法線周囲のX/Y方向の小さな照射角度範囲(例えば、+/- 2度)を生じさせるような走査位置に光素子117を移動させる。

適切な走査照明源110の例としては、携帯通信装置(例えば、携帯電話及びタブレット等)が挙げられる。適切な走査照明源110は、市販されている。図2及び図4には、適切な走査照明源110として、スマートフォンの形態のものが例示されている。適切な走査照明源110の別の例としては、空間光変調器を用いて照射を走査させるトモグラフィック位相顕微鏡が挙げられる。

実施形態において、走査照明源110は、光素子117を走査させて、サブピクセルシフトされた投影170を検出面162に生成するための照射ディスプレイ116を有することができる。照射ディスプレイ116とは、例えば、光素子117をディスプレイ面119の少なくとも一部にわたって走査位置に並進させることが可能な任意の適切なディスプレイのことを言う。適切な照射ディスプレイ116は、市販されている。適切な照射ディスプレイ116のいくつかの例としては、モノクロ、カラー又はグレースケールのLCD、LEDディスプレイ(例えば、ディスプレイパネル)、テレビ画面及びLCDマトリクス等が挙げられる。そうした実施形態においては、照射ディスプレイ116は発光素子(例えば、ピクセル)の二次元アレイを有することができる。発光素子のアレイは、任意の適切な寸法(例えば、1000 x 1000、1000 x 4000及び3000 x 5000等)を有することができる。ディスプレイ面119とは、例えば、照射118を行う照射ディスプレイ116の面のことを言う。例えば、走査照明源110は、図2及び図4に示されているように、LCD画面の形態の照射ディスプレイ116を有するスマートフォンの形態とすることができる。他の実施形態においては、走査照明源110は、光素子117を走査させて、サブピクセルシフトされた投影170を検出面162に生成することが可能な別の装置又は装置の組み合わせを有することができる。

いくつかの実施形態において、走査照明源110は、走査中は光検出器160及び透過層165に対して固定位置に保持され得る。そうした実施形態において、SPLM100は、走査照明源110及び光検出器160を固定位置に保持するための適切な構造体(例えば、プラットフォーム及びフレーム等)を1つ又は複数有することができる。例えば、図1の例のようないくつかの場合においては、走査中に、ディスプレイ面119が光検出器160の検出面162に略平行かつ当該検出面162から距離dの位置で保たれるように、走査照明源110を保持することができる。そうした場合には、照射ディスプレイ116は、ディスプレイ面119に垂直に照射118を行うことができる。他の場合においては、ディスプレイ面119が法線に対してある角度で傾き得るように、走査照明源110を保持することができる。その角度で、より極端な照射角度からの投影170が撮影されると、さらに完全な3D再構築が得られる場合もある。一実施形態において、走査照明源110は、照射ディスプレイ116(例えば、LCDアレイ)が法線に対してある角度で傾くよう当該照射ディスプレイ116の位置を変化させるためのアクチュエータ、コントローラ又はその他の機構を有することができる。

光素子117とは、例えば、照射118を行うことが可能な適切な装置のことを言う。光素子117により生成される照射118の特性としては、任意の適切な値を有することができる。照射118のいくつかの特性には、強度、波長、周波数、偏光、位相、スピン角運動量及び光素子117により生成される照射118に関連するその他の光特性が含まれる。実施形態において、照射118は、コヒーレント光である。

発光コンポーネント(例えば、ピクセル)の二次元アレイの形態の照射ディスプレイ116を有する実施形態において、ある走査時間tにおける光素子117は、二次元アレイ(例えば、LCDアレイ)における適切な数(例えば、1、5、10及び100等)の照射された発光コンポーネント(例えば、LCD点灯/ピクセル)のセットとすることができる。各発光コンポーネントは、(x_i, y_j)で表される走査位置を有することができ、ここで、i = 1…N及びj = 1…Nである。光素子117は、走査サイクル中のある走査時間に照射されたアレイのピクセルであり得る。光素子117の走査位置とは、この場合は、例えば、照射された発光素子のセットの中心座標のことを言う。そうした実施形態において、連続的に照射された照射ディスプレイ116の発光コンポーネントのセットは、走査サイクル中に、様々な走査位置に光素子117を生成することができる。

光素子117の特性(例えば、サイズ、照射118の特性及び形状等)としては、任意の適切な値を有することができる。実施形態において、光素子117の1つ又は複数の特性は、走査サイクル中の様々な走査位置に応じて変化し得る。他の実施形態において、光素子117の特性は、走査サイクル中に一定とすることができる。光素子117の適切な形状のいくつかの例としては、矩形、円形、点状及び棒状等が挙げられる。発光素子の二次元アレイの形態の照射ディスプレイ116を有する実施形態において、光素子117の特性は、当該発光素子117を形成する発光コンポーネント(例えば、ピクセル)のセットにおける発光コンポーネントの数を変更することにより変化させることができる。例えば、光素子117により生成される照射118の強度は、発光コンポーネント(例えば、ピクセル)の数を変更することにより変化させることができる。実施形態において、光素子117により生成される照射118の1つ又は複数の特性は、様々な走査位置によって変化させることができる。

実施形態において、光素子117により生成される照射118は、光素子117のサイズを変更することにより制御できる。一実施形態において、検出面162の平面上の一点で略同一の強度の光が生成されるよう、光素子117のサイズは、様々な走査位置によって変化し得る。そうした実施形態において、走査位置の光素子117のサイズSは、その走査位置から適当な位置までの距離Lに比例し得る。適当な位置としては、例えば、a)走査位置のアレイの中心又はb)照射ディスプレイ116の中心(例えば、スマートフォンのLCDの中心)が挙げられる。例えば、走査位置の光素子117のサイズSは、S = S_center x (1 + L)として規定され得る。ここで、S_centerは、走査位置のアレイの中心における光素子117のサイズである。このように、いくつかの場合において、ディスプレイ面119の走査位置の中心に垂直な検出面162の位置で受光される光強度は、略一定に保つことができる。別の例としては、走査サイクル中の走査位置の光素子117のサイズSは、S = S_A x (1+A)として規定され得る。ここで、S_Aは、照射ディスプレイ116の位置Aでの光素子117のサイズであり、Aは、その走査位置から位置Aまでの距離である。

一実施形態において、光素子117は、走査サイクル中の様々な走査時間において、n個の異なる波長λ₁, …, λ_nの照射118を行うことができる。いくつかの例においては、光素子117は走査サイクル中に走査位置を移動するため、照射118は、一連の異なる波長を連続的に繰り返す形とすることができる。一実施形態において、光素子117は、赤色、緑色及び青色にそれぞれ対応する3つの波長λ₁,λ₂,及びλ₃のRGB照射を行うことができる。光素子117は、走査サイクルの複数の走査時間に、3つの波長λ₁,λ₂,及びλ₃の照射118を行うことができる。一例において、照射118は、走査時間t₁には波長λ₁を有し、走査時間t₂には波長λ₂を有し、走査時間t₃には波長λ₃を有し、走査時間t₄には波長λ₁を有し、走査時間t₅には波長λ₂を有することにしてもよい。

走査位置とは、例えば、光素子117の中心のことを言う。任意の適切な数(例えば、1、100及び1000等)の走査位置を走査サイクルで用いることができる。集合として、走査サイクルの走査位置は、任意の適切な領域を覆うことができる。ディスプレイ面119を有する実施形態において、走査位置は、ディスプレイ面119全体又はディスプレイ面119の一部を覆うことができる。

試料152の検出面162での投影170をシフトするために、走査照明源110は、異なる照射角度を生じさせる様々な走査位置に光素子117を並進することができる。いくつかの実施形態においては、試料152のサブピクセルシフトされた一連の投影170を検出面162に生成するために、走査照明源110は、サブピクセルシフトされた投影170を生成するよう設計された複数の走査位置に光素子117を移動させることができる。こうした場合において、複数の走査位置における一つの走査位置とそれに隣接する走査位置とが、投影画像列の隣接する投影画像170間のサブピクセルシフトに対応する。隣接する走査位置とは、例えば、距離が近い2つの走査位置のことを言う。いくつかの場合において、隣接する走査位置とは、走査サイクル中の連続する走査時間を有する時間において連続する位置のことであってもよい。

走査位置は、任意の適切な配置(例えば、アレイ、円、正方形及び三角形等)を形成することができる。実施形態において、走査位置は、走査位置のアレイ(例えば、一次元のアレイ、二次元のアレイ又は一次元及び二次元のアレイの組み合わせ)の形態とすることができる。そうした実施形態において、走査位置のアレイは、任意の適切な寸法(例えば、1 x 100、1 x 10、100 x 100、3000 x 20及び400 x 300等)を有することができる。例えば、走査位置は、n x m個の走査位置の二次元(n x m)アレイの(x_{i=1 to n}, y_{j= 1 to m})に配することができる。

発光素子(例えば、ピクセル)の二次元アレイの形態の照射ディスプレイ116(例えば、LCDディスプレイ)を有する実施形態において、光素子117の走査位置とは、例えば、二次元アレイにおいて連続的に照射される発光素子のことを言う。そうした実施形態において、光素子117の走査位置は、ディスプレイ面119に位置付けることができる。例えば、走査位置は、ディスプレイ面119のn x m個の走査位置の二次元(n x m)アレイの(x_{i=1 to n}, y_{j= 1 to m})に配することができる。

実施形態において、走査照明源110は、走査サイクル中に光素子117を走査パターンに応じて走査させる。走査パターンとは、例えば、走査サイクル中の様々な時間の走査位置(すなわち、光素子117の位置)の記述及び走査サイクルにおける各走査位置の光素子117の特性(例えば、サイズ及び形状等)のことを言う。例えば、走査パターンは、走査位置の二次元アレイ及び光素子117が各列を一定の速度で連続的に移動するための記述を含むことができる。別の例において、走査パターンは、走査位置の二次元アレイ及び光素子117が各列を一定の速度で連続的に移動するための記述を含むことができる。さらに別の例において、走査パターンは、走査位置の二次元アレイ及び光素子117がアレイをランダムに移動するための記述を含むことができる。また、走査パターンは、連続するLR画像に所望されるサブピクセルシフト量を含むことができる。走査パターンはさらに、所望されるLR投影画像及び/又はHR画像の総数を含むことができる。 また、走査パターンは、第一CRM114又は第二CRM220のコードとして記憶することができる。図4の場合のようなスマートフォンの形態の走査照明源110を有する実施形態においては、走査パターンは、スマートフォンのメモリに記憶されたアプリケーション(App)であってもよい。

例えば、図1に例示されているような実施形態において、SPLM装置100はさらに、試料面140と検出面162との間に置かれた透過層165を有する。透過層165は、光検出器160の感光領域から試料150を隔離することができる。透過層165は、例えば、ポリジメチルシロキサン(PDMS)といった任意の適切な材料から作ることができる。透過層165は、任意の適切な厚み(例えば、数百ナノメートル〜数百ミクロンの範囲の厚み)を有することができる。いくつかの場合において、透過層165は、光検出器160に載置された層とすることができる。例えば、透過層165は、撮像センサチップの上にコーティング又は配置された不活性化層とすることができる。他の場合においては、透過層165は、光検出器160から隔離することができる。さらに他の実施形態においては、SPLM装置100は、透過層165を有さず、検出面162が試料面140と一致する。

隣接する投影170同士の距離は、透過層165の厚み及び光素子117の傾斜/シフトの大きさに比例する。光素子117の傾斜/シフトの大きさとは、例えば、隣接する走査位置間の距離又は照射角度の変化のことを言う。いくつかの実施形態において、走査サイクルの複数の走査位置の隣接する走査位置間の距離は、サブピクセルシフトされた投影170を生成するように設計され得る。そうした場合において、隣接する走査位置間の距離は、透過層165の厚み及び隣接する投影170間の所望の増加サブピクセルシフトに基づいて決定され得る。

一実施形態において、複数の走査位置の隣接する走査位置間の距離は、投影画像列の隣接する投影170間にサブピクセルシフトを生じさせるよう決定され得る。そうした実施形態において、複数の走査位置の隣接する走査位置間の決定された距離は、検出面162の投影170のサブピクセルシフトに正に対応する。そうした実施形態において、複数の走査位置は、サブピクセルシフトされた投影画像列に正に対応する。

実施形態において、隣接する走査位置間の距離は、適切な値とすることができる。いくつかの場合において、ある走査サイクルにおける隣接する走査位置間の距離は、一定とすることができる。他の場合においては、上記距離は変化させることができる。

走査速度とは、例えば、走査サイクルにおける連続する走査位置間の時間単位当たりのシフトの変化量のことを言う。サンプリング速度とは、例えば、光検出器160により撮影される時間単位当たりの投影画像(フレーム)(例えば、秒当たりのフレーム)の変化量のことを言う。サンプリング/走査速度は、いくつかの実施形態においては一定とし、他の実施形態においては変化させることができる。実施形態において、走査速度とサンプリング速度とは同期されている。

図4(a)及び(b)は、本発明の実施形態に従った、照射ディスプレイ116の走査パターンを示す図である。この例において、走査照明源110は、スマートフォンの形態であり、照射ディスプレイ116は、スマートフォンのLCD画面の形態である。LCD画面は、ピクセルサイズ640 x 640のピクセルの二次元アレイを有する。走査中は、スマートフォンは、光検出器160(例えば、画像センサチップ)から適切な距離dだけ上方の位置に置くことができる。照射ディスプレイ116のディスプレイ面119及び光検出器160の検出面162は、略平行の状態に保つことができる。スマートフォンは、照射ディスプレイ116のディスプレイ面119の中心が光検出器160の検出面162の検出領域164の上方に来るよう位置付けられる。照射ディスプレイ116は、x軸及びy軸を有する。x軸及びy軸は、照射ディスプレイ116のディスプレイ面119と同一平面上に在る。

図4(a)は、照射ディスプレイ116上の直径約1cmの円形の輝点の形態の約640個のピクセルのセットを有する光素子117を示す。走査サイクル中のある走査時間のある走査位置における光素子117が示されている。光素子117は、照射ディスプレイ116のディスプレイ面119に位置付けることができる。

図4(b)において、走査パターン図は、走査サイクルにおける光素子117の走査位置(ステップ)の15 x 15個のアレイを有する。走査位置は、照射ディスプレイ116のディスプレイ面119の平面上のx軸及びy軸に沿った位置に示されている。図示された例において、走査パターンは、x軸方向における15個の走査位置及びy軸方向における15個の走査位置を有する。この例において、光検出器160は、走査パターンの225個の走査位置に基づいて225個のLR投影画像を撮影することができる。走査位置のアレイは、照射ディスプレイ116内の中央に位置付けることができる。図4(b)の矢印は、走査サイクル中の走査位置の順序を示す。この場合において、光素子117は、走査パターンにおける走査位置の二次元アレイの各行を連続的に移動する。光素子117がディスプレイ面119の中央から遠ざかる形で移動しながらも一定のサイズのまま保たれると、入射角が大きくなるため、光検出器160(例えば、画像センサチップ)からの読み出し強度は減少する。一実施形態において、より一定な読み出し強度を維持するために、光素子117が照射ディスプレイ116(例えば、スマートフォン画面)の中央から遠ざかる形で移動するにつれて当該光素子117のサイズ(例えば、輝点のサイズ)を線形に増加させることが可能である。

図1を再び参照すると、走査照明源110は、照射ディスプレイ116と電子通信状態にある第一プロセッサ112と、第一プロセッサ112と通信状態にある第一CRM114とを有する。第一プロセッサ112(例えば、マイクロプロセッサ)は、第一CRM114(例えば、メモリ)に記憶されたコードを実行して、走査照明源110のいくつかの機能を実行することができる。例えば、第一プロセッサ112は、第一CRM114に記憶された走査パターンでコードを実行することができる。CRM114は、例えば、走査パターンを有するコード、光素子117を走査するための他のコード及び走査照明源110の他の機能のための他のコードを有することができる。第一CRM114はさらに、当業者により作成することが可能な信号処理機能又はその他のソフトウェア関連機能のいずれかを実行するためのコードを有することができる。コードは、C、C++及びパスカルを含む任意の適切なプログラミング言語とすることができる。

実施形態において、光検出器160を、走査照明源110の第一プロセッサ112と電子通信させて、光検出器160によるサンプリングを走査位置の光素子117と同期させることができる。そうした実施形態において、光検出器160のサンプリング速度は、走査照明源110の走査速度と同期させて、各走査位置の少なくとも1つの投影画像170を撮影することができる。一実施形態において、電気的サンプリング開始信号が、走査照明源110から光検出器160に送られて、光素子117が走査位置に来るとLR投影画像が撮影される。

SPLM装置100はさらに、光検出器160(例えば、CMOS撮像センサ)を有する。光検出器160とは、例えば、投影画像170を撮影して、撮影された投影画像170に関連するデータ又は撮像に関連するその他のデータを含む1つ又は複数の信号を生成することが可能な任意の適切な装置又は装置の組み合わせのことを言う。また、データを含む信号は、光電効果に基づく電流の形態とすることができる。

光検出器160は、検出面162を有する。検出面162とは、例えば、光検出器160の能動検出層のことを言う。検出面162は、検出領域164を有する。検出領域164とは、例えば、走査サイクル中に投影170を能動的に撮影する検出面162の適切な領域のことを言う。いくつかの場合においては、検出面162の全領域が検出領域164である。実施形態において、撮像される試料150は、検出領域162に近い試料面140のある領域に置かれ得る。光検出器160はさらに、検出面162と同一平面上に局所的なx'軸及びy'軸を有する。

実施形態において、図2及び図3に示されているように、光検出器160は、光検出素子166の二次元アレイの形態の個々の検出素子166(例えば、ピクセル)を有する。光検出素子166は、光検出器160の表面層の上又は内部の検出面162に置くことができる。図2及び図3に示されているように、光検出素子166の二次元アレイは、x'軸が照射ディスプレイ116のx軸に平行になるよう方向付けられているが、二次元アレイは、他の実施形態においては任意の適切な角度に方向付けることができる。

任意の適切な光検出器160が用いられ得る。光検出素子166の二次元アレイを有する適切な光検出器160のいくつかの例としては、電荷結合素子(CCD)アレイ、CMOS撮像センサアレイ、アバランシェフォトダイオード(APD)アレイ、フォトダイオード(PD)アレイ及び光電子増倍管(PMT)アレイが挙げられる。これらの光検出器160等は、市販されている。さらに、光検出器160は、モノクロ検出器又はカラー検出器(例えば、RGB検出器)とすることができる。

光検出素子166は、任意の適切なサイズ(例えば、1〜10μｍ)及び任意の適切な形状(例えば、円形、矩形及び正方形等)にすることができる。例えば、CMOS又はCCDの光検出素子166は、1〜10μｍにすることができ、APD又はPMTの光検出素子166は、1〜4mmまで大きくすることができる。

撮像される試料150を通過する光118の散乱角により、試料150が光検出器160の検出面162から遠く離れた位置に在る場合は、投影画像品質が劣化し得る。実施形態において、光検出器160は、カラーフィルタ及びマイクロレンズ層を有さない。これは、各光検出素子の受光角及びオブジェクト152と検出面120(すなわち、能動的検出層)との間の距離を減少させるためである。光検出器160(例えば、CMOS撮像センサチップ)が、カラーフィルタ及びマイクロレンズ層と共に予め製造された場合は、これらの構成部品を除去して、各ピクセルの受光角及びオブジェクト152と表面層との間の距離を減少させることができる。

実施形態において、透過層165は、製造中に光検出器160に載置することができる。透過層165を光検出器160に載置するために、半導体及び/又はマイクロ/ナノ製造方法が用いられ得る。いくつかの場合において、透過層165は、カラーフィルタ及びマイクロレンズ層が除去された後に光検出器160に載置することができる。一つの場合において、カラーフィルタ及びマイクロレンズ層は、予め製造された撮像センサを酸素プラズマ下で一定時間(例えば、80Wで10分間)処理することにより除去可能である。透過層165は、カラーフィルタ及びマイクロレンズ層の除去後に撮像センサに載置するか、又はマイクロレンズ層を有する光検出器に載置することができる。一つの場合において、透過層165は、主剤と硬化剤とを1:10に混合して、それから、3インチのシリコンウェハ上でスピンコートし、その後80℃でベーキングすることにより準備することができる。

光データとは、例えば、光検出器160の光検出素子166により撮影された1つ又は複数の投影170に関連する任意の適切な情報のことを言う。例えば、光データは、投影光の特性に関する情報(例えば、光強度、光の波長、光の1つ又は複数の周波数、光の偏光、光の位相、光の角運動量及び/又は光検出素子166により受光される光に関連するその他の光特性を含むことができる。光データはさらに、受光する光検出素子166の位置、光が受光された時間(サンプリング時間又は走査時間)又は受信された投影170に関連するその他の情報を含むことができる。実施形態において、各光検出素子166は、投影170に関連しており、光検出素子166により受光された光に基づく光データを含む信号を生成することができる。

LR投影画像(フレーム)とは、例えば、走査サイクル中に生じるサンプリング時間に、光検出器160によりサンプリング(撮影)されたスナップショット画像のことを言う。実施形態において、光検出器160は、各走査時間にLR投影画像を撮影する。光検出器160によりサンプリングされた各LR投影画像は、2DのLR投影画像を表示するために用いることができる。カラー光検出器160を有する実施形態において、LR投影画像は、カラー画像とすることができる。モノクロ光検出器160を有する実施形態において、LR投影画像は、白黒画像とすることができる。

サブピクセルシフトされたLR投影画像列とはそれぞれ、例えば、n回のサンプリング回数でサンプリングされたLR投影画像のことを言う。ここで、時間的に隣接する投影画像同士の間には、ピクセルサイズより小さな間隔が空けられている(すなわち、サブピクセルシフト)。走査サイクル中に、n個のLR投影画像(I₁,…,I_n)がn個のサンプリング時間(t₁,…t_n)に撮影され得る。任意の適切な数n(例えば、1、3、5、10及び100等)のLR投影画像が走査サイクル中に撮影され得る。また、任意の適切な数n(例えば、1、3、5、10及び100等)のサブピクセルシフトされたLR投影画像列が走査サイクル中に光検出器160により撮影され得る。複数の画像列が撮影される場合は、当該画像列は、異なるLR画像グループを含むか、又は、1つ又は複数のLR投影画像を重複する形で共有することができる。一例において、9つのLR画像(I₁, I₂, I₃, I₄, I₅, I₆, I₇, I₈, I₉)を9つのサンプリング時間(t₁, t₂, t₃, t₄, t₅, t₆, t₇, t₈, t₉)に撮影することができる。上記例の画像が重複する場合においては、画像列は、1)I₁, I₂, I₆及びI₈並びに2)I₆, I₇, I₈及びI₉であり得る。上記例の画像が重複しない場合においては、画像列は、1)I₁, I₂, I₃及びI₈並びに2)I₅, I₆, I₇及びI₈であり得る。他の例においては、サブピクセルシフトされたLR投影画像列は、非連続的なサンプリング時間に基づくものとすることができる。例えば、9つのLR画像(I₁, I₂, I₃, I₄, I₅, I₆, I₇, I₈, I₉)が9つのサンプリング時間(t₁, t₂, t₃, t₄, t₅, t₆, t₇, t₈, t₉)に撮影され、投影画像列は(I₆, I₂, I₉, I₁)であり得る。

実施形態において、光検出器160は、走査サイクルにおける各走査時間にLR投影画像を撮影する。例えば、光検出器160は、図4(b)に示されているような走査パターンで各走査位置に関連するLR投影画像を撮影することができる。この例においては、光素子117が走査位置の二次元アレイの各行を上記走査パターンで連続的に移動すると、光検出器160は、各走査時間にLR投影画像を撮影することができる。各行の走査位置がサブピクセルシフトされた投影170に関連付けられている場合は、光検出器160は走査サイクル中に15個のサブピクセルシフトされた投影画像列を撮影することができる。こうした場合において、各画像列は、走査パターンにおける走査位置の1つの行に関連する。

動きベクトルとは、例えば、LR投影画像列における投影画像の並進のことであり、LR投影画像列の動きベクトルを集合的に呼称している。動きベクトルは、平面上の投影画像のシフト量に基づく。サブピクセルシフトされたLR投影画像列の動きベクトルは、光検出器160により撮影された関連先の投影画像から算出され得る。動きベクトルは、任意の関心平面で算出され得る。例えば、動きベクトルは、検出面162の平面で特定され得る。この例において、動きベクトルは、光検出器160の検出面162の局所的なx'軸及びy'軸に関して特定される。別の例においては、動きベクトルは、観察されるオブジェクト152を通る他の平面で算出され得る。オブジェクト152を通る平面は、いくつかの場合においては、検出面162の平面と平行であってもよい。

実施形態において、サブピクセルシフトされたLR投影画像列及び当該画像列のサブピクセルシフトされたLR投影の動きベクトルに関連するデータに基づいて、適切な超解像度(SR)アルゴリズムを用いて、試料150のHR画像を構築することができる。SPLMシステム10の実施形態により実現可能な画像解像度の一例としては、約0.66μｍが挙げられる。

SRアルゴリズムとは、例えば、サブピクセルシフトされたLR投影画像列からHR画像(例えば、サブピクセル解像度画像)を構築する画像処理技術のことを言う。任意の適切なSRアルゴリズムをSPLMシステム10の実施形態で用いることができる。適切なSRアルゴリズムの例としては、シフト加算ピクセルSRアルゴリズムが挙げられる。また、適切なSRアルゴリズムのいくつかの例は、Lange, D.、Storment, C. W.、Conley, C. A.及びKovacs, G. T. A.による論文、「A microfluidic shadow imaging system for the study of the nematode Caenorhabditis elegans in space」、Sensors and Actuators B Chemical、第107巻、904-914頁(2005年)(「Lange」と呼称する)、Wei, L.、Knoll, T.及びThielecke, H.による論文、「On-chip integrated lensless microscopy module for optical monitoring of adherent growing mammalian cells」、Engineering in Medicine and Biology Society (EMBC), 2010 Annual International Conference of the IEEE、1012-1015頁(2010年)(「Wei」と呼称する)、Milanfar, P.による著書、「Super-Resolution Imaging」(CRC Press、2010年)(「Milanfar」と呼称する)及びHardie, R.、Barnard, K.及びArmstrong, E.による論文、「Joint MAP registration and high-resolution image estimation using a sequence of undersampled images」、IEEE Transactions on Image Processing 6、1621-1633頁(1997年)(「Hardie」と呼称する)に見ることができ、それらの全内容は、あらゆる目的で参照により本明細書に組み入れられる。適切な超解像アルゴリズムは、一般的なピクセルの超解像度モデルであり、セクションVで説明される解である。

また、図1のSPLMシステム10は、光検出器160に通信可能に接続されたホストコンピュータ200を有する。ホストコンピュータ200は、第二プロセッサ210(例えば、マイクロプロセッサ)、第二CRM220及び画像ディスプレイ230を有する。画像ディスプレイ230及び第二CRM220は、第二プロセッサ210に通信可能に接続されている。あるいは、ホストコンピュータ200は、SPLMシステム10とは別個の装置とすることもできる。また、ホストコンピュータ200は、任意の適切なコンピュータ装置(例えば、スマートフォン、ラップトップ及びタブレット等)とすることができる。

第二プロセッサ230は、第二CRM220に記憶されたコードを実行して、SPLM10のいくつかの機能を実行する。それらの機能とは、例えば、光検出器160からの1つ又は複数の信号の形態で撮影及び通信される1つ又は複数のサブピクセルシフトされたLR投影画像列からのデータを解釈する機能、サブピクセルシフトされた投影列の動きベクトルを特定する機能、サブピクセルシフトされたLR投影画像に関連するデータから2DのHR画像を構築する機能、サブピクセルシフトされたLR投影画像に関連するデータから3DのHR画像を構築する機能及び1つ又は複数のHR画像を画像ディスプレイ230に表示する機能等である。

第二プロセッサ210は、光データ及びその他のデータを含む1つ又は複数の信号を光検出器160から受信することができる。例えば、プロセッサ210は、対応するn個の走査時間列(t₁, t₂, t₃, …t_n)にサンプリングされた1つ又は複数のサブピクセルシフトされたLR投影画像列に関連する光データを含む1つ又は複数の信号を受信することができる。第二プロセッサ210はさらに、サブピクセルシフトされたLR投影画像に基づいて、動きベクトルを特定することができる。第二プロセッサ210はさらに、特定された動きベクトル及び少なくとも1つのサブピクセルシフトされたLR投影画像列に基づいて、HR画像及び関連する画像データを構築することができる。いくつかの場合において、構築されたオブジェクト150のHR画像は、白黒の2D/3D画像である。他の場合においては、構築されたオブジェクトのHR画像は、カラーの2D/3D画像である。

一実施形態において、異なる照射118の波長を様々なサンプリング時間に用いて、複数のサブピクセルシフトされたLR投影画像列を光検出器160に生成することにより、HRカラー画像を生成することができる。各画像列は、異なる波長に関連付けられている。第二プロセッサ210は、異なる波長に関連するそれぞれの画像列に基づいて、HRカラー画像及び関連する画像データを生成することができる。例えば、光素子117により3つの光の波長(例えば、赤色、緑色及び青色(RGB)に関連する波長)を連続的に生成して、当該3つの光の波長に関連する3つのサブピクセルシフトされた投影画像列を生成することができる。プロセッサ210は、それぞれの波長に関連する投影画像列からの画像データを結合して、多重波長又はカラーの画像データ(例えば、RGBカラー画像データ)を生成することができる。多重波長又はカラーのHR画像データは、多重波長又はカラーのHR画像を画像ディスプレイ230に生成するために用いることができる。

第二CRM(例えば、メモリ)220は、SPLMシステム10のいくつかの機能を実行するためのコードを記憶することができる。上記コードは、第二プロセッサ210により実行可能である。例えば、実施形態による第二CRM220は、a)SRアルゴリズムを用いたコード、b)トモグラフィーアルゴリズムを用いたコード、c)光検出器160から1つ又は複数の信号の形態で受信される光データを解釈するためのコード、d)3DのHR画像を生成するためのコード、e)カラーサブピクセル画像を構築するためのコード、f)SRの二次元及び/又は三次元の画像を表示するためのコード及び/又はg)SPLMシステム10の機能を実行するための任意のその他の適切なコードを有することができる。第二CRM220はさらに、当業者により作成することが可能な信号処理機能又はその他のソフトウェア関連機能のいずれかを実行するためのコードを有することができる。コードは、C、C++及びパスカルを含む任意の適切なプログラミング言語とすることができる。

また、SPLMシステム10は、プロセッサ210に通信可能に接続されており、データを受信して、例えばHR画像等の出力をSPLMシステム10のユーザに対して行うディスプレイ230を有する。任意の適切なディスプレイを用いることができる。例えば、画像ディスプレイ230は、カラーディスプレイ又は白黒ディスプレイとすることができる。また、画像ディスプレイ230は、二次元ディスプレイ又は三次元ディスプレイとすることができる。一実施形態において、画像ディスプレイ230は、オブジェクト150の複数視点画像を表示することが可能であってもよい。

本発明の範囲から逸脱することなく、変形、追加又は置換をSPLMシステム10又はSPLM装置100に加えることが可能である。また、SPLMシステム10又はSPLM装置100の構成部品は、特定の用途に応じて、一体化又は分離することが可能である。例えば、いくつかの実施形態においては、第二プロセッサ210を光検出器160に一体化させて、光検出器160が第二プロセッサ160の1つ又は複数の機能を実行することにしてもよい。別の例としては、第二プロセッサ160、第二CRM220及び画像ディスプレイ230は、SPLMシステム10とは別個のコンピュータの構成要素であり、SPLMシステム10と通信状態にあるものとすることができる。さらに別の例としては、第二プロセッサ160、第二CRM220及び/又は画像ディスプレイ230は、SPLM装置100の一部として一体化させることができる。例えば、画像ディスプレイ230を照射ディスプレイ116の一部とするか、第一プロセッサ112及び第二プロセッサ210を単一のプロセッサとして一体化するか、又は第一CRM114及び第二CRM220を単一のCRMとして一体化することができ、これらの組み合わせを行うこともできる。

II. 走査投影レンズレス顕微鏡の原理及び解像度

ナイキスト判別法の考察によると、画像センサ(例えば、CMOS画像センサ)からの原投影(影)画像の解像度は、ピクセルサイズの2倍にすぎない。実施形態によるSPLMシステム10は、時間領域における高いサンプリング速度を用いて、投影画像の空間領域におけるサブナイキスト速度でのサンプリングを相殺し、超解像撮像において得られる効果を高度なセンサ(例えば、CMOS)技術と結合して、著しく解像度を向上させた低コストのHR顕微鏡装置を提供する。

実施形態において、SPLM装置100は、光検出器160と撮像されるオブジェクト152との間に薄厚の透過層165を有する。透過層165は、オブジェクト152(例えば、細胞)を光検出器160(例えば、センサチップ)の実際の感光領域から隔離する。走査時は、走査照明源110は光素子117を走査位置にシフト/走査して、試料150上方の様々な照射角度から照射118(例えば、インコヒーレント光照射)を行う。光検出器160は、1つ又は複数のLR投影画像列を得る。照射118の移動により、投影画像は、図3に示すように、光検出素子166(例えば、センサピクセル)でシフトされる。影のシフト量は、透過層165の厚み及び光素子117の傾斜/シフトの大きさに比例する。各LR投影画像列におけるそれぞれの原投影画像同士のシフトが光検出素子の物理サイズ(例えば、ピクセルサイズ)未満でありさえすれば、複数のサブピクセルシフトされたLR影画像の情報を用いて、適切な超解像アルゴリズムにより1つのHR画像を生成することが可能である。

従来の超解像度顕微鏡システムにおいては、試料がステージに載置され、ステージがサブピクセル単位で走査された。こうした従来の方法においては、ステージの位置をサブピクセル単位で厳密に制御する必要があった。一般的に、所望の正確なステージ位置を制御するために、コントローラ及びアクチュエータが用いられた。高度に正確であることは、これらのシステムで高コストなセットアップ及び位置合わせが必要であることを意味していた。

従来の超解像度流体光学システムにおいては、LR投影画像からHR画像を高スループットに生成できるように、流体光学が組み込まれている。こうしたシステムにおいては、CMOS撮像センサ(ピクセル)アレイを並進する試料の画像列を撮影するために、流体光学による試料移動方法が用いられる。システムは、超解像度処理技術を用いて、LR投影画像列からHR画像を取得する。このことは、米国特許出願第13/069,651号に記載されており、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。また、「Zheng」にも記載されている。この方法は、オブジェクト(例えば、細胞)が光検出器(例えば、CMOS撮像センサアレイ)を通過する形で流体チャネルを流れると、当該オブジェクト(例えば、細胞)のLR投影画像列が撮影される、というものである。しかし、このシステムの撮像は、走査領域において試料の流体(例えば、マイクロ流体)の流れを必要とする。粘着性、コンフルエント又は密接に配置された試料は断じて、流体モードの撮像と相容れない。例えば、流体チャネルにオブジェクトの流れを生じさせるためには、オブジェクトが画像ピクセルの面に付着することはない(すなわち、オブジェクトと画像ピクセルとの間には距離が置かれている)。そうした距離により、オブジェクト画像にぼけが生じる。さらに、実視野は、流体チャネルの構成により制限され得る。

SPLMシステム10及びSPLM装置100は、走査照明源110を用いて、光素子117を試料150の上で走査させる。この方法においては、正確な位置合わせは不必要であり得る。走査照明源110は、オブジェクト152に比べて、検出面162からより大きな距離を空けた位置に置かれている。そのため、光素子117のわずかなシフトが、検出面162における投影170の大きなシフトに対応する。走査照明源110は、走査照明源110における光素子117の、より制御可能な大きなシフトにより、検出面162での投影のサブピクセルシフトを直接制御することができる。このように、走査照明源110は、従来のシステム(例えば、マイクロ走査システム及び流体光学システム等)よりも容易かつ正確に投影シフトをサブピクセル値で維持することができる。さらに、機械的走査又はマイクロ流体の流れを必要とすることがなく、走査速度が大幅に速い。走査照明源110は、kHz域の範囲の速度で光を走査することができる。これは、従来の機械的なマイクロ走査方法に比べて、2桁高い速度である。さらに、SPLM装置100は、例えば、LED画面又はLEDマトリクスといった走査照明源110を用いるため、そのコストは大幅に低減され得る。

図5(a)は、本発明の実施形態に従った、ある1つのサンプリング時間にSPLMシステム10の光検出器160で撮影されたLR投影画像を示す図である。この例において、SPLMシステム10により撮像された試料150は、3μmの微小球の集合を含む。図5(b)は、本発明の実施形態に従った、SPLMシステムに10より再構築されたHR画像を示す図である。SPLMシステム10が、図5(a)に示されているLR投影画像を含むサブピクセルシフトされたLR投影画像列からのデータに基づいて、HR画像を再構築したものである。

図6(a)は、本発明の実施形態に従った、ある1つのサンプリング時間にSPLMシステム10の光検出器160で撮影されたヒーラ細胞試料の一部のLR投影画像を示す図である。図6(b)は、本発明の実施形態に従った、SPLMシステムに10より再構築されたHR画像を示す図である。SPLMシステム10が、図6(a)に示されているLR投影画像を含む225個のサブピクセルシフトされたLR投影画像の列からのデータに基づいて、HR画像を再構築したものである。

図7(a)は、本発明の実施形態に従った、SPLMシステム10により構築されたコンフルエントなヒーラ細胞試料150の広視野なカラーHR画像を示す図である。試料150は、染色ギムザであった。再構築においては、LR投影画像レベルにおける各ピクセル(2.2μm)が、再構築されたHR画像においては13*13のピクセルブロックに高精度化された。カラーHR画像は、約8.45 x 10⁸個のピクセルを有する。検出領域164(画像領域)は、6 mm x 4 mmであった。15 x 15個の走査位置のアレイが、各カラー照射118について用いられた。図7(b1)、(c1)は、本発明の実施形態に従った、SPLMシステム10の光検出器160で撮影された画像であり、図7(b1)は、図7(a)の小領域からのLR投影画像を示す図であり、図7(c1)は、図7(b1)の小領域のLR投影画像を示す図である。図7(b2)、(c2)は、本発明の実施形態に従った、SPLMシステム10で構築された画像であり、図7(b2)は、図7(a)の小領域から再構築されたHR画像を示す図であり、図7(c2)は、図7(b2)の小領域から得られる再構築されたHR投影画像を示す図である。図7(d)は、対物レンズ(40X、NA = 0.66)を有する顕微鏡を用いた、同様の細胞の従来の顕微鏡画像を示す図である。図7(b2)及び(c2)の再構築されたHR画像から、ヒーラ細胞の細胞器官が、例えば、複数の核の微粒(赤色の矢印で示されている)及び核等として識別され得る。また、再構築されたHR画像は、同様の細胞から得られた従来の顕微鏡画像に緊密に対応していた。

図8(a)は、本発明の実施形態に従った、SPLMシステム10で構築された、500nmの微粒子を有する試料150(Polysciences社)のHR画像を示す図である。HR画像の構築に用いた撮像プロセスは、図7のHR画像の構築に用いたものと同一であった。ある500nmの微小球について、図8(a)に示されているように、微小球の輝点が明確に解像され、半値幅は690nmであった。図8(b)は、本発明の実施形態に従った、SPLMシステム10で構築された、図7の染色ヒーラ細胞試料150の微小特徴を拡大して示すHR画像を示す図である。

顕微鏡の解像度は、いくつかの場合においては、所定の顕微鏡の性能、すなわち、2つの位置的に近接する特徴点の解像性能に基づくため、2つの位置的に近接する微小球を分析して、実施形態によるSPLMシステム10の解像度を設定することができる。図8(a)は、中心から中心までの距離が660nmである2つの密接する500nmの微小球の再構築画像を示す図である。図8(a)のデータ追跡は、2つのピーク間の谷を示しており、したがって、解像度は、いくつかの実施形態において、660nm以上であり得ることを実証している。この点をさらに確認するために、図8(b)は、図7のヒーラ細胞試料の微小特徴を拡大して示す図であり、当該特徴の半値幅は、約710nmであると評価された。

III.コンセプト

例えば、図1に例示されているような実施形態において、試料150は、検出面162の能動検出領域164のわずかに上方に位置する試料面140に置かれる。走査照射装置110(例えば、携帯通信装置)の照射ディスプレイ116(例えば、モノクロ又はカラーのLCD)は、検出面162から距離d(例えば、約5〜10mm)の位置に置かれている。照射ディスプレイ117の光素子117(例えば、1つ又は複数の発光素子(例えば、ピクセル))は、照射118(例えば、インコヒーレント光照射)を行う。照射118は、投影170(影)を光検出器162に生成する。光検出器160は、LR投影画像を撮影することができる。このLR投影画像は、(例えば、図2に示されている)光検出素子166のサイズ制限(例えば、ピクセルのサイズ制限)が与えられた時に達成できる最善のものではあるが、試料150の特徴サイズが光検出素子166のサイズ(例えば、ピクセルサイズ)よりも大幅に小さい場合があるという点で「低解像度」である。

実施形態においては、解像度の向上のために、サブピクセルシフトされたLR投影画像列が撮影され、そのために、照射ディスプレイ116(例えば、LCD)の発光素子(例えば、ピクセル)が照射118を行う。それらのLR投影画像はそれぞれ、試料150のサブピクセルシフトされた投影画像である。サブピクセルシフトされたLR投影画像列は、例えば、走査サイクル中の光素子117の走査位置に基づいている。公知のサブピクセル移動として、それらのサブピクセルシフトされたLR投影画像を用いて、ピクセル超解像度技術を用いたHR(例えば、サブピクセル解像度)の2D画像を作成することができる。HR画像はさらに、ピクセルの点像分布関数及び試料の焦点画像を回復するための光学システムを用いて解析することができる。SPLMシステム10は、ピクセル超解像度画像処理技術を用いた光素子117の正確な走査を可能とした。

さらに、このような撮像のコンセプトは、二次元を超えて拡張可能である。複数の投影を生成する様々な光の入射角を用いたコンピュータ断層撮影は、オブジェクトの三次元の再構築を生成するために用いることができる。断層撮影を用いて3D画像が生成される一例は、Miao, J. R. R. Qin、Tourovskaia, Anna、Meyer, Michael G.、Neumann, Thomas、Nelson, Alan C.及びSeibel, Eric J.による論文、「Dual-modal three-dimensional imaging of single cells with isometric high resolution using an optical projection tomography microscope」、J. Biomed., Opt.、第14巻、064034(2009年12月21日)に見ることができ、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。本発明の方法においては、照射ディスプレイ119(例えば、LC)にわたってシフトされる光素子117(例えば、ピクセルのセット)は、3D撮像に必要な異なる入射光角を提供することができる。

IV. 動作原理

一動作において、試料150は、光検出器160(例えば、CMOS撮像センサアレイ)の検出面162(例えば、外表面)のわずかに(例えば、数百nm〜μmの範囲で)上方に置かれる。照射ディスプレイ(例えば、LCD)上の発光素子166(例えば、ピクセル)の個々又は小さなセットが連続的に点灯されて、ある距離(例えば、5mm〜10mm)だけ離れた試料150に照射を行い、光検出器160が1つ又は複数のサブピクセルシフトされたLR投影画像列を記憶することを可能にする。なお、これらの画像は「ピクセル化」されている。1つ又は複数のサブピクセルシフトされたLR投影画像列は、超解像度技術を用いて処理され、多数のLR投影画像が結合されて、より小さなHR画像列が生成され得る。超解像度技術の一例は、Richard, L.M.、Shultz, R.及びStevenson, Robert L.による論文、「Subpixel motion estimation for superresolution image sequence enhancement」、Journal of Visual Communication and Image Representation(1998年)に見ることができ、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。

超解像又は超解像技術とは、低解像度画像列から一つのHR画像を生成する画像処理に関する多数の有望な新技術を示す一般名称のことを言う。いくつかの超解像技術は、Park, Sung Cheol、Park, Min Kyu及びKang, Moon Giによる論文、「Super-resolution image reconstruction: a technical overview」、IEEE Signal Processing Magazine、21-36頁(2003年5月)(「Park」と呼称する)に見ることができ、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。一般的な原理としては、対象物がナイキスト速度未満でサンプリングされ、LR投影画像列が撮影されるが、そのために、続くフレームにおいてはわずかなサブピクセル並進シフトが行われる。この原理は、Russell, K.J. B.、Hardie, C.、Bognar, John G.、Armstrong, Ernest E.及びWatson Edward A.による論文、「High resolution image reconstruction from a sequence of rotated and translated frames and its application to an infrared imaging system」、Optical Engineering(1997年)に見ることができ、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。こうした並進シフトが分かれば、一つのHR画像を生成するためのサブピクセル値を求める連立行列方程式を、低解像度画像列から立てることができる。一般的には、HRの原画像は、理論的には著しい損傷、ぼけ、並進及び回転を有する低解像度画像列からでさえ回復され得る。つまり、「Park」に記載されているように、解像度は、回折限界及び雑音のみにより制限される。

図9は、本発明の実施形態に従った、SPLM装置100の例示的な動作を示す流れ図である。SPLM装置100は、光素子117を撮影されるオブジェクト152にシフト又はそうでなければ走査させるための走査照明源110を有する。SPLM装置100はさらに、試料面140、検出面162を有する光検出器160、検出面162と試料面140との間の薄厚の透過層165及びプロセッサ(第一プロセッサ112及び/又は第二プロセッサ210)を有する。走査照明源110は、検出面162から距離dの位置に置かれている。本例示的動作は、1つの走査サイクルを含む撮像ランを有する。他の実施形態は、複数の走査サイクルを含む撮像ランを有することとしてもよい。

ステップ310において、オブジェクト152がSPLM装置100の試料面140に置かれる。オブジェクト152は、光検出器160の能動層での検出面162の検出領域164に近い位置に置くことができる。

ステップ320において、プロセッサは、走査パターンを決定する。図4(a)及び(b)は、走査パターンの一例を示す。走査パターンは、走査のサイクルの様々な時間に異なる走査位置を有することができ、さらに、異なる走査位置で光素子117の様々な特性(例えば、使用される光の波長、光素子のサイズ及び形状並びに光素子の1つ又は複数の強度等)を有することができる。走査パターンはさらに、連続するLR投影画像とLR投影画像との間に所望されるサブピクセルシフト量、走査及び/又はLR投影画像列において所望されるLR投影画像の総数、撮像ランにおいて所望されるHR画像の総数並びにSPLMシステム10の動作に関するその他の適切な情報を有する。プロセッサは、所定の走査パターンをCRM(第一CRM114あるいは第二CRM220)から読み出すか、又は、走査パターンをSPLMシステム10のユーザからの入力に基づいて決定することができる。例えば、ユーザは、光素子の特性、連続するLR投影画像とLR投影画像との間に所望されるサブピクセルシフト量、所望されるHR画像の総数及びその他の適切な入力等の情報を提供することができる。

走査パターンの走査位置は、サブピクセルシフトされた投影列を検出面162に生成するよう決定され得る。投影170のシフト量は、透過層165の厚み及び傾斜/シフトの大きさ(すなわち、隣接する走査位置同士の間の距離又は照射角度の変化)に比例する。投影170のサブピクセルシフトを生じさせる、隣接する走査位置間での光素子170の並進量は、透過層165の厚み及び所望のサブピクセルシフト値に基づいて決定され得る。走査パターンの走査位置は、隣接する走査位置間での光素子170の並進量に基づくものとすることができる。

ステップ330において、走査照明源110は、走査パターンに従って、光素子117を走査させて光素子117の特性を変化させる。一実施形態において、走査照射源110(例えば、スマートフォン)は、LCDの形態の照射ディスプレイ116を有する。この例において、走査パターンは、走査位置の二次元アレイ及び当該走査位置に関連付けられた走査時間を有する。走査中、光素子117は、連続的に照射されるLCDの発光コンポーネント(例えば、ピクセル)のセットとし、光素子１１７を走査位置の二次元アレイの各行をシフトさせることができる。光素子117の特性は、位置によって変化させることができる。例えば、光素子117のサイズ(発光コンポーネントの数)は、検出面162のある位置においては実質的に同じ強度レベルが維持されるように、変化させることができる。

一実施形態において、光素子117は、走査サイクル中の異なる走査時間において、n個の異なる波長λ₁, …, λ_nの照射118を行い、各波長毎の投影画像列を取得することができる。任意の適切な数の波長(例えば、n =1, 2, 3, 4, 5,…, 20)を用いることができる。一実施形態において、光素子117は、異なるサンプリング時間に、赤色、緑色及び青色に対応する3つの波長λ₁、λ₂及びλ₃の照射118を行うことができる。いくつかの場合において、照射118は、ある走査位置と隣接する走査位置とで異なる波長を有することができる。他の場合においては、照射118は、走査位置の第一シリーズ（列）では第一波長を有し、走査位置の第二シリーズ（列）では第二波長を有し、同様に、n個の異なる波長に対応するn個の投影画像列を撮影するまでそれを繰り返すことができる。

ステップ340において、光素子117が異なる走査位置に並進されると、光検出器160は、オブジェクト152の1つ又は複数のサブピクセルシフトされたLR画像列を撮影する。光検出器160は、各走査位置に対するLR投影画像を撮影する。各画像列は、任意の適切な数の画像(例えば、3、5、10、50及び100等)を有するものとすることができる。一例において、走査位置は、二次元アレイの形態とすることができ、ここで、走査位置の各行/列毎に、サブピクセルシフトされた一連の投影170を生成することができる。この例において、サブピクセルLR画像列は、光素子117が走査位置の二次元アレイの各行/列をシフトする際に撮影することができる。

ステップ350において、プロセッサは、検出面162での投影170の動きベクトルを特定する適切な方法を利用する。いくつかの場合においては、プロセッサは、オブジェクト152を通る他の平行平面での投影170の動きベクトルを特定することができる。任意の動きベクトル特定方法が用いられ得る。一例において、投影の検出面162での動きベクトル、隣接する走査位置間の距離及び透過層165の厚みに基づいて特定され得る。別の例においては、検出面162に平行な平面での投影の動きベクトルが、隣接する走査位置間の距離、透過層165の厚み及び上記平面と検出面162との距離に基づいて特定され得る。

ステップ360において、プロセッサは、サブピクセルシフトされたLR投影画像列からのデータ及び対応する1つ又は複数の動きベクトルに基づいて、適切なSRアルゴリズムを用いて、オブジェクト152のHR画像を構築する。例えば、プロセッサは、オブジェクト152を通る平面での動きベクトルを用いることにより、オブジェクト152の2D画像を、その平面に構築する。一例において、プロセッサは、動きベクトルに基づいて構築された複数の2DのHR画像を異なる平面にスタックすることにより、3DのHR画像を生成することができる。光検出器160がモノクロ光検出器の場合は、HR画像は、モノクロのHR画像(白黒のHR画像)となる。光検出器160がカラー光検出器(例えば、カラーCMOS撮像センサ)の場合は、再構築により得られる画像はカラー画像となる。

一実施形態において、サブピクセルシフトされたLR投影画像列からのデータと共に、シフト−加算SRアルゴリズムを用いて、HR画像を構築することができる。そうした実施形態においては、HR画像グリッドは、増大因子nで形成され、ここで、HR画像グリッドのそれぞれのn x nのピクセル領域は、LRフレームグリッドの1x1のピクセル領域に対応する。この時、HR画像グリッドには、サブピクセルシフトされたLR投影画像列からの対応するピクセル値で満たされる。n x nグリッドにおけるピクセルのマッピングは、特定された動きベクトルから既知である各画像の推定サブピクセルシフト量に基づいて決定される。すなわち、各LR投影画像はその原位置から、オブジェクト152の対応するサブピクセルシフト量だけシフトされ、それから加算されて1つのHR画像を形成する。最後に、ウィーナデコンボリューション法によるぼけ除去を用いて、最終的なHR画像のぼけ及び雑音を除去することができる。

一実施形態において、光素子117は、走査サイクル中の様々な走査時間において、n個の異なる波長λ1, …, λnの照射118を行い、各波長毎の投影画像列を取得することができる。そうした実施形態において、プロセッサは、サブピクセルシフトされたLR投影画像の各列及び動きベクトルに基づいて、適切なSRアルゴリズムを用いて、それぞれの波長又は色についてHR画像を再構築することができる。SPLM装置100は、異なる波長又は色のHR画像を結合して、計算されたカラーHR画像を取得することができる。例えば、RGB照射を用いたSPLM装置100を、計算されたカラー(RGB)HR画像の構築に用いることができる。

ステップ370において、プロセッサは、1つ又は複数のHR画像を適切な画像ディスプレイ230(例えば、二次元ディスプレイ(カラー又はモノクロ)、三次元ディスプレイ(カラー又はモノクロ))に表示することができる。SPLM装置100により生成された任意の適切な画像が表示され得る。適切な画像のいくつかの例には、LR投影画像、2D白黒HR画像、2DカラーHR画像、3D白黒HR画像及び/又は3DカラーHR画像が含まれる。

V. 超解像モデル及び解法

SPLMシステム10の実施形態は、SRアルゴリズムを用いてHR画像を再構築する。SRアルゴリズムの一例は、セクションVで説明される一般的なピクセルの超解像度モデルおよび解法である。こうした一般的なピクセルの超解像度モデル及び解法は、最大尤度の観点で推定最適性を保持する単純かつ高速な非繰り返し法を含む。超解像度モデル及び解法の詳細は、Hardie, Elad, M.及びHel-Or, Y.による論文、「A fast super-resolution reconstruction algorithm for pure translational motion and common space-invariant blur」、IEEE Transactions on Image Processing、第10巻、1187-1193頁(2001年)(「Elad」と呼称する)、Farsiu, Sinaらによる論文、「Fast and robust multiframe super resolution」、IEEE Trans Image Process、第13巻、1327-1344頁(2004年)、並びにFarsiu S.らによる論文、「Multiframe demosaicing and super-resolution of color images」、IEEE Trans Image Process、第15巻、141-159頁(2006年)に見ることができ、それらの全内容は、あらゆる目的で参照により本明細書に組み入れられる。

走査サイクルにおいて、N個の撮影されたLR投影画像の列Y_k（ｋ＝1，2・・・N）を用いて、向上されたHR画像Xを再構築することができる。画像は、辞書順の列ベクトルにより表すことができる。LR投影画像は、次式によりモデル化することができる。
Ｙ_k＝ＤＨＦ_kＸ+Ｖ_k（ｋ＝1,２・・・Ｎ） （１）
行列F_kは、画像Xのサブピクセルシフト動作を表す。行列Hは、光検出器160(例えば、CMOS画像センサ)のピクセル並進関数である。行列Dは、デシメーション動作を表し、計測された画像において観測されるピクセル数の減少を示す。V_kは、平均がゼロであり、自己相関行列

を持つ付加的ガウス測定雑音を表す。

Xの最大尤度評価は、次式のように規定することができる。

の閉形式解は、以下のようになる。

ここで、

である。Rは、対角行列とすることができ、この方法の計算量は、O(n×log(n))とすることができる。

VI. 別の方法
A. 方法1-2DモノクロSPLMシステム
第一の方法においては、実施形態によるSPLMシステム10は、LR投影画像列及び動きベクトルに基づいて、適切なSRアルゴリズムを用いて、試料150の2DのモノクロHR画像を構築するよう構成されたものとすることができる。この場合は、既知の並進シフト量及びシステムの空間不変の点拡がり関数Hのみが存在し、関数Hも既知である。したがって、「Elad」で提案されているような以下に示すより効果的かつ計算効率の優れた超解像度技術を適用することができる。SPLMシステム10の所望の出力である試料150の原HR画像Xについて、以下のような試料の低解像度の画像列が得られる。
Ｙ_k＝ＤＨＦ_kＸ+Ｖ_k（ｋ＝1,２・・・Ｎ） （４）
ここで、F_k は並進シフト、Hは光学システムの点拡がり関数、D_kは原LR投影画像のダウンサンプリング、そしてV_k は自己相関

を持つ白色雑音である。したがって、最小二乗誤差を最小化することにより、N個のLR投影画像列から以下のような計算された高解像度画像

が得られる。

こうした最適化は、「Elad」に記載された繰り返し法によりコンピュータで行うことができる。この最適化の最終結果は、光検出器160(例えば、CMOS画像センサ)により撮影された原LR投影画像から生成された試料の合焦点HR画像又はHR画像列とすることができる。

実施形態において、SPLMシステム10は、ピクセルアレイ(例えば、矩形のピクセルアレイ)の形態の照射ディスプレイ116を有することができる。例えば、照射ディスプレイ116は、LCDの矩形のピクセルアレイであってもよい。そうした実施形態において、画像列の連続するLR投影画像間のサブピクセルシフトは、試料150と照明源110との間の距離はdとすることができ、これは、透過層140の上面とディスプレイ面119との間の距離である。試料150と光検出器160との間の距離は、透過層165の厚みとすることができる。

光検出器160の検出面162及び試料面140に平行なディスプレイ面119を備えた照射ディスプレイ116を有するSPLMシステム10について、試料面140の平面上のある点の検出平面(すなわち、検出面162の平面)への投影は、sin θに関連する単位でシフトされる。上記角度θは、光素子117(例えば、LCDの照射されたピクセルのセットの中心)から試料150の上記点へと延びる直線の、試料面の平面の法線ベクトルに対する角度である。角度が小さい場合は、サブピクセルシフトは等しいと近似することができ、LR列の動きベクトルの解は、単純なαの一次元最適化により得ることができる。照射(LCD)の平面と検出器の平面が平行である場合は、サブピクセルシフトは、「厳密に」等しくなるはずである。

B. 方法2-2DカラーSPLMシステム
第二の方法においては、実施形態によるSPLMシステム10は、カラー光検出器160により撮影されたLRカラー投影画像列に基づいて、適切なSRアルゴリズムを用いて、試料150の2DカラーHR画像を生成するよう構成されたものとすることができる。この方法において、SPLMシステム10は、サブピクセルシフトされたカラーLR投影画像列を撮影することが可能なカラー光検出器112(例えば、カラーCMOSセンサ)を有する。プロセッサ210は、サブピクセルシフトされたカラーLR投影画像と共に、適切なカラー超解像度技術を用いて、1つ又は複数のSRカラー画像を生成することができる。最も簡単な技術としては、色成分それぞれに対して個別にモノクロ超解像度技術を用いるものが挙げられる。別の例においては、異なる色空間への変換を伴う、より複雑な超解像度技術を用いることもできる。このことは、例えば、Farsiu, Sinaらの論文、「Advances and challenges in super-resolution」、Wiley Periodicals(2004年)に見ることができ、その全内容は、あらゆる目的で参照により本明細書に組み入れられる。

C. 方法3-2Dの計算されたカラーSPLMシステム
第三の方法においては、実施形態によるSPLMシステム10は、それぞれが異なる照射118の波長又は色に関連付けられた複数のLRフレーム列に基づいて、適切なSRアルゴリズムを用いて、試料150の2DカラーHR画像を生成するよう構成されたものとすることができる。SPLMシステム10は、異なる波長/色に関連付けられたそれぞれの列に基づいて、2DのカラーHR画像を構築することができる。SPLMシステム10は、異なる波長に関連付けられた複数の2DのカラーHR画像を結合して、試料150の2DのマルチカラーHR画像を作成することができる。そうした実施形態のSPLMシステム10は、カラー照射ディスプレイ116(例えば、カラーLCD)又はカラー照射118を生成することが可能なその他の装置を備えた走査照明源100を有する。任意の適切な波長及び波長の数を用いることができる。一例において、可視色の範囲が最も大きな光の波長を選ぶことができる。いくつかの例においては、異なる波長/色を用いた個別の走査を用いて、RGBのLR投影画像列を別々に撮影することができる。別の場合において、光素子117は、単一の走査において異なる波長/色を連続的に切り替える。

一実施形態において、SPLMシステム10は、RGB照射ディスプレイ116(例えば、RGBのLCD)を備えた走査照明源100を有することができる。そうした実施形態においては、赤色、緑色及び青色(RGB)の走査を個別に用いて、LR投影画像のRGB列(すなわち、赤色の列、緑色の列及び青色の列)を別々に撮影することができる。そうした実施形態のSPLMシステム10は、それぞれの列に基づいて、HRのRGB画像を生成することができる。SPLMシステム10は、各列に基づく2DのカラーHR画像を結合させて、RGB画像を生成することができる。

D. 方法4-3Dディスプレイを有する3DのSPLMシステム
第四の方法においては、実施形態によるSPLMシステム10は、3Dディスプレイ230上での3D撮像のために構成されたものとすることができる。この方法において、SPLMシステム10は、n個の異なる入射角でn個の2DのHR画像を生成して、異なる光素子117の位置に基づくオブジェクト152の様々な視点画像を生成することができる。

上記方法において、走査照明源110は、n個の異なる関心入射角度それぞれの周辺範囲の照射角度からの照射118を生成する位置に光素子117を走査させる。例えば、30度からのオブジェクト152の視点画像が所望される場合は、走査照明源110は、X/Y方向の30 +/- 2度の範囲の照射角度から照射118が生じるように光素子117を走査させることができる。別の例として、-30度からのオブジェクト152の視点画像が所望される場合は、走査照明源110は、X/Y方向の-30 +/- 2度の範囲照射角度から照射118が生じるように光素子117を走査させることができる。1つのHR画像を得るための「角度」の走査範囲は、3D撮像で様々な視点画像を得るために用いられる大きな角度変化に対して一定かつ小さく(この例においては、4度)することができる。この場合も、HR画像はそれぞれ、照射を走査させて撮影されたLR画像列からの再構築により得ることができる。ただし、撮影ははるかに大きな角度だけずらして行われる。

異なる入射角から得られた上記の2DのHR画像は、結合されて、3Dディスプレイ230(例えば、3Dモニタ)上に又は、回転GIF又は動画ファイルとして表示することができる。このことは、照射LCDの様々な領域を用いて、様々な角度からの試料の高解像度投影画像を生成することにより実現できる。

検出面に平行な平面での視点画像が所望される撮像方法においては、走査照明源110は、当該検出面の法線の周辺範囲の照射角度から照射118が生じるような位置に光素子117を走査することができる。例えば、走査照明源110は、X/Y方向の+/- 2度の領域の照射角度から照射118が生じるように光素子117を走査させることができる。

D. 方法5-3D焦点SPLMシステム
第五の方法においては、実施形態によるSPLMシステム10は、試料150を通る様々な関心平面で2DのHR画像の「ピントを合わせる」をよう構成されたものとすることができる。また、SPLMシステム10は、「ピント合わせ」された複数の2DのHR画像を様々な平面にスタックして3DのHR画像を生成することができる。三次元の試料について、当該三次元の試料の様々な面での「ピント合わせ」を実現するために、SPLMシステム10は、サブピクセルシフトされたLR画像列から、それぞれのサブピクセルシフトに関連する異なる動きベクトルに基づいて、HR画像を構築することができる。

そうした方法においては、SPLMシステム10は、撮影済みの、サブピクセルシフトされたLR投影画像列及び特定された、ある平面での動きベクトルに基づいて、当該平面でピント合わせされた1つの2D画像を構築することができる。例えば、SPLMシステム10は、試料150のスライスの2DのHD画像をある平面で作成することができる。この例において、SPLMシステム10は、LR投影画像の上記平面での動きベクトルを特定する。SPLMシステム10は、特定された関心平面での動きベクトル及び光検出器160により撮影されたサブピクセルシフトされたLR投影画像列に基づいて、ピント合わせされた2DのHD画像を構築する。SPLMシステム10はさらに、複数の動きベクトル及び同一のサブピクセルシフトされたLR投影画像列を用いてHR画像を構築することにより、複数平面でピントを合わせることもできる。

再構築された画像の焦点品質は、LR投影画像のサブピクセルシフトの正確な評価に依存しており、サブピクセルシフトは、光検出器160と照射面との間の試料150の距離に依存しているため、再構築のステップにおける様々なサブピクセルシフト(すなわち、様々な動きベクトル)の利用は、光検出器160上方の特定の試料平面へのピント合わせを可能にする。これにより、様々な角度からの投影画像を用いた三次元データを提供する(先述した方法)だけでなく、特定の三次元平面でピントを合わせるための、1つの広範囲な走査LR投影画像列が効果的に得られる。

一実施形態において、走査照射装置110は、広範囲な走査LR投影画像列を生成するために、広範囲の照射角度から照射118を行うように光素子117を掃照させる。図10は、本発明の実施形態に従った、3つの広範囲に及ぶ入射角度θ₁、θ₂及びθ₃から得られる、光検出器160上への3つの投影を概略的に示す図である。光素子117からの光118の照射角度を変化させることにより、オブジェクト152の3つの異なる視点画像1、視点画像2、視点画像3に関連する3つの投影の列を生成することができる。図10において、θ₁は0度であり、z軸の負の方向に在る。光検出器160は、シフトする投影に関連するLR投影画像列を撮影することができる。また、光検出器160は、広範囲の入射角度で掃照された照射に関連する複数のサブピクセルLR投影画像列を撮影することができる。この広範囲な走査LR投影画像列は、様々な視点画像からの投影画像を用いて3Dデータを生成する(先述した方法)だけでなく、特定の3D平面でピントを合わせるためにも用いることができる。

VI. サブシステム
図11は、本発明の実施形態に従った、SPLMシステム10において存在し得るサブシステムを示すブロック図である。例えば、SPLMシステム10は、プロセッサ410を有する。プロセッサ410は、第一プロセッサ112及び/又は第二プロセッサ210を有することができる。プロセッサ410は、いくつかの場合においては、光検出器160の構成部品とすることができる。プロセッサ410は、いくつかの場合においては、走査照明源100の構成要素とすることができる。

ここまで説明してきた図中の様々な構成部品は、本明細書に記載の機能を容易にするため、サブシステムの1つ又は複数を用いて動作することができる。図中の構成部品は、任意の適切な数のサブシステムを用いて本明細書に記載の機能を容易にすることができる。図11は、そうしたサブシステム及び/又は構成部品の例を示す。図11に示されているサブシステムは、システムバス425により相互接続されている。例えば、プリンタ430、キーボード432、固定ディスク434(又はコンピュータ読み取り可能な媒体を有するその他のメモリ)及びディスプレイアダプタ438に結合されたディスプレイ436等の追加的なサブシステムが示されている。ディスプレイ436は、照射ディスプレイ116及び/又は画像ディスプレイ230を有することができる。当技術分野で公知の任意数の手段により、周辺機器及びI/Oコントローラ440に結合された入力/出力(I/O)装置を、コンピュータシステムに接続することができる。例えば、シリアルポート442又は外部インタフェース444を用いて、コンピュータ装置を広域ネットワーク(例えば、インターネット)、マウス入力装置又はスキャナに接続することができる。システムバスを介した相互接続は、サブシステム間の情報交換を可能にするだけでなく、プロセッサ410が各サブシステムと通信を行い、システムメモリ446又は固定ディスク434からの命令の実行を制御することを可能にする。システムメモリ446及び/又は固定ディスク434は、第一CRM114及び/又は第二CRM220を具現化することができる。また、上記部品はいずれも、先に説明した構成において存在することができる。

いくつかの実施形態において、SPLMシステム10の出力装置(例えば、プリンタ430又はディスプレイ436)は、様々な形態のデータを出力することができる。例えば、SPLMシステム10は、2D/3DのHRカラー/モノクロ画像、当該画像に関連するデータ又はSPLMシステム10により行われる分析に関連するその他のデータを出力することができる。

なお、上述した本発明は、モジュール又は統合された形のコンピュータソフトウェアを用いた制御ロジックの形態で実装され得る。当業者であれば、本明細書に記載の内容及び教示に基づいて、ハードウェア及びハードウェアとソフトウェアの組み合わせを用いて本発明を実施するための他の手段及び/方法を理解及び認識するだろう。

本明細書に記載されたソフトウェアの要素又は機能はいずれも、例えば、従来技術又はオブジェクト指向技術を用いた適切なコンピュータ言語(例えば、Java(登録商標)、C++及びパール)を用いたプロセッサにより実行されるソフトウェアコードとして実装することができる。ソフトウェアコードは、例えば、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、磁気媒体(例えば、ハードドライブあるいはフロッピーディスク(登録商標))あるいは光学媒体(例えば、CD-ROM)といったCRM上の一連の命令又はコマンドとして記憶されてもよい。このようなCRMは、単一のコンピュータ装置上又は装置内に存在してもよく、システム又はネットワーク内の異なるコンピュータ装置上又は装置内に存在してもよい。

「１つの（a）」、「１つの（an）」又は「その（the）」との記載は、特に逆に示されない限り、「１つ又は複数の」を意味する。

上述した記載は一例であり、これに限定されるものではない。開示された多くの変形例は、本発明を参照した当業者にとって自明である。したがって、本発明の範囲は、上述した記載について確定されるものではなく、係属中の特許請求の範囲の全ての範囲又はその均等物について確定されるものである。

1つ又は複数の実施形態の1つ又は複数の特徴は、本発明の範囲から逸脱しない限り、他の実施形態の1つ又は複数の特徴と組み合わせてもよい。さらに、各実施形態には、本発明の範囲から逸脱することなく、変形、追加又は削除を加えることが可能である。本発明の範囲から逸脱することなく、いずれかの実施形態の構成要素は、特定の要求に応じて集約又は分離することが可能である。

上述された全ての特許、特許出願、刊行物及び記載の全内容は、あらゆる目的で参照により本明細書に組み入れられる。これらは、先行技術として認められるものではない。

Claims (17)

1. 走査型投影レンズレス顕微鏡装置であって、
   試料面と、
   光素子を有し、当該光素子を複数の走査位置に走査させて、前記試料面の試料に照射を行うよう構成された走査照明源と、
   前記試料面の外部にあり、前記複数の走査位置に対応してサブピクセルシフトされた投影画像列をサンプリングするよう構成された光検出器と、
   前記投影画像列と動きベクトルとに基づいて、前記試料の高解像度画像を構築するよう構成されたプロセッサと
   を有する走査型投影レンズレス顕微鏡装置。
2. 請求項１記載の走査型投影レンズレス顕微鏡装置において、当該装置はさらに、前記試料面と前記光検出器との間に置かれた透過層を有する走査型投影レンズレス顕微鏡装置。
3. 請求項1記載の走査型投影レンズレス顕微鏡装置において、前記照射の光は、インコヒーレント光である走査型投影レンズレス顕微鏡装置。
4. 請求項１記載の走査型投影レンズレス顕微鏡装置において、
   前記走査照射源はさらに、ピクセルの二次元アレイを有し、
   前記光素子は、前記ピクセルの二次元アレイにおける連続的に照射されるピクセルセットの形態である
   走査型投影レンズレス顕微鏡装置。
5. 請求項４記載の走査型投影レンズレス顕微鏡装置において、前記二次元アレイはLCDである走査型投影レンズレス顕微鏡装置。
6. 請求項１記載の走査型投影レンズレス顕微鏡装置において、前記照射の強度は、走査位置によって変化する走査型投影レンズレス顕微鏡装置。
7. 請求項１記載の走査型投影レンズレス顕微鏡装置において、前記光素子からの前記照射の各走査位置での強度は、その走査位置と全走査位置のアレイの中心との間の距離に基づく走査型投影レンズレス顕微鏡装置。
8. 請求項１記載の走査型投影レンズレス顕微鏡装置において、前記光素子の各走査位置でのサイズは、その走査位置と全走査位置のアレイの中心との間の距離に基づく走査型投影レンズレス顕微鏡装置。
9. 請求項１記載の走査型投影レンズレス顕微鏡装置において、前記試料は、コンフルエントな試料である走査型投影レンズレス顕微鏡装置。
10. 請求項１記載の走査型投影レンズレス顕微鏡装置において、
    前記光検出器はカラーセンサアレイであり、
    前記高解像度画像はカラー画像である
    前記走査型投影レンズレス顕微鏡装置。
11. 請求項１記載の走査型投影レンズレス顕微鏡装置において、
    前記光素子は、走査位置によって複数の波長の照射を発生するよう構成されており、
    前記光検出器はさらに、それぞれが前記複数の波長のうち異なる波長と関連付けられた複数の投影画像列をサンプリングするよう構成されており、
    前記プロセッサはさらに、前記複数の投影画像列に基づいて複数の高解像度画像を生成し、当該複数の高解像度画像を結合してカラー高解像度画像を生成するよう構成されている
    走査型投影レンズレス顕微鏡装置。
12. 請求項１記載の走査型投影レンズレス顕微鏡装置において、前記プロセッサはさらに、前記複数のサブピクセルシフトされた投影の関心平面での前記動きベクトルを特定するよう構成されている走査型投影レンズレス顕微鏡装置。
13. 請求項１記載の走査型投影レンズレス顕微鏡装置において、
    前記動きベクトルは、前記試料を通過するピント面に関連しており、
    前記高解像度画像は、前記ピント面でピントが合う
    走査型投影レンズレス顕微鏡装置。
14. 請求項１記載の走査型投影レンズレス顕微鏡装置において、前記複数の走査位置における隣接する走査位置間の距離は、前記投影画像列におけるサブピクセルシフトに対応する走査型投影レンズレス顕微鏡装置。
15. 走査型投影レンズレス顕微鏡システムであって、
    試料面と、
    光素子を有し、当該光素子を複数の走査位置に走査させて、前記試料面の試料に照射
    を行うよう構成された走査照明源と、
    前記試料面の外部にあり、前記複数の走査位置に対応してサブピクセルシフトされた
    投影画像列をサンプリングするよう構成された光検出器と
    を有する走査型レンズレス顕微鏡装置と、
    前記投影画像列と動きベクトルとに基づいて、前記試料の高解像度画像を構築するよ
    う構成されたプロセッサと
    を備える
    走査型投影レンズレス顕微鏡システム。
16. 請求項１５記載の走査型投影レンズレス顕微鏡システムにおいて、当該システムはさらに、前記プロセッサと電子通信状態にあり、前記高解像度画像を表示するよう構成されているディスプレイを有する走査型投影レンズレス顕微鏡システム。
17. 試料面、照射ディスプレイ、前記試料面の外部にある光検出器及びプロセッサを有する走査型投影レンズレス顕微鏡装置を用いてオブジェクトの高解像度画像を生成する方法であって、
    前記試料面上に前記オブジェクトを載置するステップと、
    前記照射ディスプレイの1つ又は複数のピクセルを複数の走査位置で順次照射して、異なる照射角度から前記オブジェクトに対して照射を行うステップと、
    前記複数の走査位置に対応するサブピクセルシフトされた投影画像列を撮影するステップと、
    前記投影画像の平面での動きベクトルを特定するステップと、
    前記投影画像列と前記動きベクトルとに基づいて、前記オブジェクトの高解像度画像を構築するステップと
    を含む方法。

Images