WO2007043382A1 - 顕微鏡装置及び画像生成方法 - Google Patents

顕微鏡装置及び画像生成方法 Download PDF

Info

Publication number
WO2007043382A1
WO2007043382A1 PCT/JP2006/319717 JP2006319717W WO2007043382A1 WO 2007043382 A1 WO2007043382 A1 WO 2007043382A1 JP 2006319717 W JP2006319717 W JP 2006319717W WO 2007043382 A1 WO2007043382 A1 WO 2007043382A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
optical system
microscope apparatus
correction
light
Prior art date
Application number
PCT/JP2006/319717
Other languages
English (en)
French (fr)
Inventor
Yumiko Ouchi
Hisao Osawa
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to JP2007539877A priority Critical patent/JPWO2007043382A1/ja
Priority to EP06811065A priority patent/EP1933186A1/en
Priority to US11/885,185 priority patent/US20080158668A1/en
Publication of WO2007043382A1 publication Critical patent/WO2007043382A1/ja

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration

Definitions

  • the present invention relates to a microscope apparatus and an image generation method.
  • Patent Document 1 a super-resolution technique has been proposed that observes a specimen with a resolution higher than that of a microscope optical system.
  • Patent Document 1 a modulated image is generated by structured illumination of a specimen, a plurality of modulated images are acquired while changing the phase of the structured illumination, and the plurality of modulated images are demodulated by a linear operation.
  • a method for obtaining a super-resolution image is disclosed.
  • linear operations can be performed at higher speed than non-linear operations, so real-time observation or close observation is possible.
  • Patent Document 1 JP-A-11 242189
  • an object of the present invention is to provide a microscope apparatus and an image generation method using structured illumination that can obtain a good super-resolution image even if an optical system in which distortion aberration remains is used.
  • the microscope apparatus of the present invention includes an illumination optical system that illuminates a specimen with light having a light source power, a modulation unit that is disposed in the illumination optical system and spatially modulates light from the light source, and the spatially modulated light source.
  • An imaging optical system that forms a modulated image from the sample illuminated by the reflected light, an imaging means that captures the modulated image, and the modulation by at least one of the illumination optical system and the imaging optical system A correction means for correcting image distortion, and a modulated image corrected by the correction means.
  • an image generation device for generating an image of the specimen.
  • the modulation means includes a diffraction grating and a diffraction grating modulation means for modulating the diffraction grating by moving the diffraction grating.
  • the correction unit performs the correction based on distortion aberration data of at least one of the illumination optical system and the imaging optical system.
  • the correction means perform the correction based on at least one of the measured data and the design data of the distortion aberration.
  • any one of the microscope apparatuses according to the present invention preferably further includes a re-correction unit that corrects distortion of the image of the specimen.
  • the re-correction unit performs the correction based on distortion aberration data of the imaging optical system.
  • the re-correction means performs the correction based on at least one of the measured data and the design data of the distortion aberration.
  • the image generation method of the present invention illuminates the specimen with spatially modulated illumination light, forms an image of the light from the specimen illuminated with the illumination light, and performs image computation processing from the acquired image.
  • an image generation method for generating a sample image a correction procedure for correcting distortion of the acquired image due to an illumination optical system and an imaging optical system, and generating the sample image from the corrected image And an image generation procedure to be performed.
  • a microscope apparatus and an image generation method capable of obtaining a good super-resolution image even when an optical system in which distortion aberration remains are used are realized.
  • FIG. 1 is a configuration diagram of a microscope apparatus according to an embodiment.
  • FIG. 2 is an operation flowchart of the control / arithmetic unit 13.
  • FIG. 3 is a diagram illustrating each process of the control / arithmetic apparatus 13.
  • the present embodiment is an embodiment of a microscope apparatus to which a structured illumination technique is applied. First, the configuration of the microscope apparatus will be described.
  • FIG. 1 is a configuration diagram of the microscope apparatus.
  • the microscope apparatus has an optical fiber 1, a collector lens 2, a diffraction grating (a diffraction grating with a uniform grating pitch) 3, a lens 4, an optical path bending mirror 5, a lens 6, a lens 7, and a half.
  • a mirror 8, an objective lens 9, a specimen 10, a second objective lens 11, an imaging device (CCD camera, etc.) 12, a control / arithmetic device (circuit, computer, etc.) 13, and an image display device 14 are arranged.
  • the collector lens 2, the diffraction grating 3, the lens 4, the optical path bending mirror 5, the lens 6, the lens 7, the half mirror 8, and the objective lens 9 constitute an illumination optical system LS I that illuminates the specimen 10 in structure.
  • the objective lens 9, the half mirror 8, and the second objective lens 11 constitute an imaging optical system LS2 that forms an image of the specimen 10.
  • the diffraction grating 3 is a phase type or amplitude type one-dimensional transmission type diffraction grating. Incidentally, the phase type is preferable because the diffraction efficiency of the ⁇ first-order diffraction component is increased.
  • the diffraction component of each order generated in the diffraction grating 3 generates a spot on the surface that shares the pupil of the objective lens 9 by the lens 4. After removing unnecessary diffraction components other than ⁇ 1st order diffracted components on this surface, only ⁇ 1st order diffracted components are deflected 90 ° by optical path bending mirror 5, and sample conjugate plane on field stop surface FS by lens 6 Then, a spot is formed on the pupil of the objective lens 9 through the lens 7 and the half mirror 8.
  • the ⁇ first-order diffraction components form spots at positions on the pupil that are substantially opposite each other on the outermost periphery.
  • the first-order diffraction components emitted from these spots become parallel beams when exiting from the objective lens 9, and form an angle near the maximum NA of the objective lens 9.
  • the ⁇ 1st-order diffraction component illuminates the specimen 10 with an illumination pattern that also has an interference fringe force with a substantially uniform spatial frequency (structure illumination).
  • the diffraction components of each order of the light further diffracted in the sample 10 are converted into parallel light through the objective lens 9, and then the image of the sample 10 by the second objective lens 11 through the half mirror 8. Form.
  • the imaging device 12 captures this image, generates image data, and sends it to the control / calculation device 13. Since the sample 10 is modulated by the structure illumination, the image of the sample 10 is a “modulated image”. This modulated image is 0% of the light emitted from the specimen 10.
  • the pattern formed by the ⁇ 1st order diffraction component is superimposed on the pattern formed by the next order diffraction component as a spatial frequency pattern that is lower than the actual structure by the spatial frequency of illumination.
  • the microscope apparatus is equipped with a function of acquiring a plurality of image data while changing the phase of the structure illumination (that is, the phase of the illumination pattern on the specimen 10).
  • an actuator 3A for moving the diffraction grating 3 in a direction orthogonal to the grating lines is provided.
  • the control 'arithmetic device 13 can acquire a plurality of image data while changing the phase of the illumination pattern by synchronously controlling the actuator 3A and the imaging device 12.
  • the control / arithmetic unit 13 performs an operation on the acquired N pieces of image data I ′ to acquire image data of a demodulated image of the sample 10 (details of the calculation will be described later).
  • This demodulated image data represents a super-resolution image of sample 10.
  • This image data is sent to the image display device 14 and displayed.
  • the control / arithmetic unit 13 is preinstalled with a program for control and computation. Part or all of this program is installed in the computing device 13 via, for example, a storage medium or the Internet.
  • FIG. 2 is an operation flowchart of the control / arithmetic unit 13.
  • the distortion of the illumination pattern includes the aberration (mainly distortion aberration) when the illumination optical system LS I projects the diffraction grating 3 onto the specimen 10, and the imaging optical system LS2 captures the specimen 10. Due to both aberrations (mainly distortion aberrations) when projected onto the device 12 (on the imaging surface). Occur.
  • M the projection magnification at which the illumination optics LSI projects the diffraction grating 3 onto the specimen 10.
  • M be the projection magnification at which the imaging optical system LS2 projects the specimen 10 onto the imaging device 12. Also,
  • the relationship between the coordinate X on the diffraction grating 3 and the coordinate X on the imaging device 12 is ideally g
  • X MM (l + (a + a) X 2 + (a + c + ac) X 4 + (a + c + ac + ac) ⁇ 6 + ... 1 2 1 2 g 2 2 1 1 g 3 3 1 2 2 1 g
  • Equation (1) the coefficients M 1, M 2, d, d, d 1,... In Equation (1) are the illumination optical system LSI and the imaging optical system L
  • At least one force of S2 design data and measured data is obtained in advance.
  • the coefficient d is the greater the number of coefficients d 1, d 2, d 3,..., The higher the correction accuracy.
  • the device 13 stores in advance.
  • kj 0 1, 2, 3, ..., N).
  • the data expressed in real space is attached with a subscript “r” indicating the coordinate r in the real space
  • the data expressed in the wave number space is attached with the subscript “coordinate“ k ”in the wave number space. “k” is attached.
  • step S2 The concept of the processing in step S2 is shown in Fig. 3 (S2).
  • Image data I (j l, 2, 3, ..., kj
  • the spectrum of the ⁇ 1st order diffraction component is superimposed on the spectrum of the 0th order diffraction component of the light emitted from the specimen 10 so as to be shifted to the lower frequency side (center side) than the actual one.
  • the spatial frequency of the illumination pattern is represented by K (constant).
  • the wave number representation of the actual pattern O (r) of the sample 10 is O (k), and the transfer function (OTF;
  • phase (phase change amount) of the illumination pattern corresponding to the phase number j is expressed as follows regardless of the coordinates on the image.
  • I (k) ⁇ m ⁇ (2 ⁇ / ⁇ ) 0 (k + LK) Pk (k) ⁇ ' ⁇ (2)
  • m is the diffraction intensity m of the Lth order diffraction fraction I.
  • equation (3) may be used instead of equation (2).
  • the control / calculation unit 13 calculates the extracted diffraction components 0 (k) P (k), O (k + K) P (k), O (k— k k k k k k k
  • Image data I (k) of the demodulated image of sample 10 is obtained.
  • the concept of the processing in step S4 is illustrated in Fig. 3 (k
  • the control / arithmetic unit 13 performs inverse Fourier transform on the image data I (k) to obtain the image data I (r) is obtained.
  • the concept of the process in step S5 is shown in Fig. 3 (S5).
  • This image data (r) represents the demodulated image of the sample 10 in real space.
  • the distortion correction in step S1 described above is a distortion correction for eliminating the distortion of the illumination pattern on the image, that is, a combination of the distortion correction of the illumination optical system LSI and the distortion correction of the imaging optical system LS2. It was. On the other hand, the distortion of the specimen 10 on the image is not related to the distortion aberration of the illumination optical LSI, but is caused only by the distortion aberration of the imaging optical system LS2. For this reason, the distortion correction in step S1 described above is “overcorrection” for the distortion of the specimen 10 only by the distortion correction of the illumination optical system LSI.
  • control / arithmetic unit 13 uses the following equation (4) to perform coordinate conversion of the image data I (r) and reversely correct the overcorrection.
  • This equation (4) is expressed as follows: coordinate X on diffraction grating 3 and g on sample 10
  • step S6 The concept of the processing in step S6 is shown in Fig. 3 (S6). On the image data (r) after reverse correction, the super-resolution image of the specimen 10 is projected without distortion.
  • Equation (4) the coefficients M, a, a, a, ... in Equation (4) are the illumination optical system LSI design data and actual measurements.
  • At least one force of data is determined in advance. Incidentally, the number of coefficients a, a, a,... is large.
  • step S6 it is desirable to perform pixel interpolation processing as necessary so that the conversion error becomes as small as possible during coordinate conversion (step S6).
  • the spatial frequency of the illumination pattern can be regarded as uniform (and therefore the phase variation can also be regarded as uniform).
  • the image data of the demodulated image acquired in the present embodiment includes not only the information of the pattern O of the sample 10 but also the information of the transfer function of the imaging optical system LS2 (the point image distribution function of the imaging optical system LS2). Information) is also included, the control 'arithmetic unit 13 may deconvolve the image data of the demodulated image as necessary to eliminate the transfer function information.
  • the transfer function force coupling is used instead of the transfer function. It is recommended to use a function that can be obtained by eliminating the distortion aberration component of the image optical system LS2. Incidentally, the super-resolution image of specimen 10 appears sharply on the image data after deconvolution.
  • the type of the specimen 10 was not mentioned, but a specimen labeled with a fluorescent material may be used.
  • replace the half mirror 8 with a dichroic mirror insert an excitation filter on the light source side of the dichroic opening mirror, and insert a barrier filter on the imaging device 12 side than the half mirror 8! /.
  • the one-dimensional diffraction grating 3 may be replaced with a two-dimensional diffraction grating (a diffraction grating provided with a grid in a grid shape). According to the two-dimensional diffraction grating, Information can be acquired simultaneously.
  • demodulation calculation in steps S2 to S5 in Fig. 2 another demodulation calculation based on the same assumption may be applied.
  • the demodulation operation disclosed in Japanese Patent Application Laid-Open No. 11 242189 may be applied.
  • the demodulation calculation in Japanese Patent Laid-Open No. 11-242189 is performed in real space for the demodulation calculation in steps S2 to S5 in FIG. 2, and applies three image data with different phases to a linear calculation formula. is there.
  • the arithmetic expression corresponds to the expression (2) described above in real space.
  • a demodulation error mainly occurs due to the nonuniformity of the phase change amount of the illumination pattern at the center of the image, and the spatial frequency of the illumination pattern mainly varies at the periphery of the image.
  • a demodulation error due to the characteristics.
  • these demodulation errors do not occur.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

 本発明は、ディストーション収差の残存する光学系を利用しても良好な超解像画像を得ることのできる構造化照明による顕微鏡装置を提供することを目的とする。そのために本発明の顕微鏡装置は、光源(1)からの光で標本(10)を照明する照明光学系(LS1)と、前記照明光学系(LS1)に配置され、前記光源(1)からの光を空間変調する変調手段(3)と、前記空間変調された光で照明された前記標本からの変調像を結像する結像光学系(LS2)と、前記変調像を撮像する撮像手段(12)と、前記照明光学系(LS1)及び前記結像光学系(LS2)の少なくとも一方による前記変調像の歪みを補正する補正手段(13)と、前記補正手段で補正された変調像から前記標本の画像を生成する画像生成装置(13)とを有する。

Description

明 細 書
顕微鏡装置及び画像生成方法
技術分野
[0001] 本発明は、顕微鏡装置及び画像生成方法に関する。
背景技術
[0002] 近年、顕微鏡光学系の分解能よりも高!、分解能で標本を観察する超解像技術が提 案された (特許文献 1など)。特許文献 1には、標本を構造化照明して変調像を生成 し、その構造ィ匕照明の位相を変化させながら複数の変調画像を取得し、これら複数 の変調画像を線形演算で復調し、超解像画像を得る方法が開示されている。一般に 、線形演算は非線形演算と比較すると高速ィ匕可能なので、リアルタイム観察、又はそ れに近 、観察が可能である。
特許文献 1 :特開平 11 242189号公報
発明の開示
発明が解決しょうとする課題
[0003] ところが、この演算は構造ィ匕照明の空間周波数や位相変化量が均一であることを 前提としている。それに対し、現実の顕微鏡光学系は収差を持つので、構造化照明 の空間周波数や位相変化量を均一にすることは困難である。このため、従来の方法 では復調誤差が生じ、超解像画像上にノイズの発生する可能性があった。
そこで本発明は、ディストーション収差の残存する光学系を利用しても良好な超解 像画像を得ることのできる構造化照明による顕微鏡装置及び画像生成方法を提供す ることを目的とする。
課題を解決するための手段
[0004] 本発明の顕微鏡装置は、光源力 の光で標本を照明する照明光学系と、前記照明 光学系に配置され、前記光源からの光を空間変調する変調手段と、前記空間変調さ れた光で照明された前記標本からの変調像を結像する結像光学系と、前記変調像 を撮像する撮像手段と、前記照明光学系及び前記結像光学系の少なくとも一方によ る前記変調像の歪みを補正する補正手段と、前記補正手段で補正された変調像か ら前記標本の画像を生成する画像生成装置とを有することを特徴とする。
[0005] なお、前記変調手段は、回折格子と、前記回折格子を移動させて変調する回折格 子変調手段とからなることが望まし 、。
また、前記補正手段は、前記照明光学系及び前記結像光学系の少なくとも一方の ディストーション収差のデータに基づき前記補正を行うことが望ましい。
また、前記補正手段は、前記ディストーション収差の実測データ及び設計データの 少なくとも一方に基づき前記補正を行うことが望ましい。
[0006] また、本発明の何れかの顕微鏡装置は、前記標本の画像の歪みを補正する再補 正手段を更に備えることが望ましい。
また、前記再補正手段は、前記結像光学系のディストーション収差のデータに基づ き前記補正を行うことが望ま ヽ。
また、前記再補正手段は、前記ディストーション収差の実測データ及び設計データ の少なくとも一方に基づき前記補正を行うことが望ましい。
[0007] また、本発明の画像生成方法は、空間変調された照明光により標本を照明し、前記 照明光により照明された前記標本からの光を結像させ、取得した画像から画像演算 処理により標本像を生成する画像生成方法にお!、て、前記取得した画像の照明光 学系及び結像光学系による歪みを補正する補正手順と、前記補正された画像から前 記標本の画像を生成する画像生成手順とを有することを特徴とする。 発明の効果
[0008] 本発明によれば、ディストーション収差の残存する光学系を利用しても良好な超解 像画像を得ることのできる顕微鏡装置及び画像生成方法が実現する。
図面の簡単な説明
[0009] [図 1]実施形態の顕微鏡装置の構成図である。
[図 2]制御 ·演算装置 13の動作フローチャートである。
[図 3]制御 ·演算装置 13の各処理を説明する図である。
発明を実施するための最良の形態
[0010] 以下、本発明の実施形態を説明する。本実施形態は、構造化照明の手法が適用さ れた顕微鏡装置の実施形態である。 先ず、顕微鏡装置の構成を述べる。
図 1は、顕微鏡装置の構成図である。図 1に示すとおり、顕微鏡装置には、光フアイ バ 1、コレクタレンズ 2、回折格子 (格子ピッチが均一な回折格子) 3、レンズ 4、光路折 り曲げミラー 5、レンズ 6、レンズ 7、ハーフミラー 8、対物レンズ 9、標本 10、第 2対物レ ンズ 11、撮像装置 (CCDカメラなど) 12、制御 ·演算装置(回路やコンピュータなど) 1 3、画像表示装置 14が配置される。このうち、コレクタレンズ 2、回折格子 3、レンズ 4、 光路折り曲げミラー 5、レンズ 6、レンズ 7、ハーフミラー 8、対物レンズ 9は、標本 10を 構造ィ匕照明する照明光学系 LS Iを構成しており、対物レンズ 9、ハーフミラー 8、第 2 対物レンズ 11は、標本 10を結像する結像光学系 LS2を構成して 、る。
[0011] 不図示の光源からの光は、光ファイバ 1に導光され、そのファイバ端に二次光源を 生成する。その二次光源から射出した照明光は、照明光学系 LS I内のコレクタレン ズ 2によって平行光に変換された後、回折格子 3へ入射して各次数の回折成分を生 起させる。この回折格子 3は、位相型又は振幅型の 1次元の透過型回折格子などで ある。因みに位相型の方が ± 1次回折成分の回折効率が高くなるので好ましい。
[0012] 回折格子 3にて発生した各次数の回折成分は、レンズ 4により対物レンズ 9の瞳と共 役な面にスポットを生成する。この面において ± 1次回折成分以外の不要な回折成 分を取り除いたのち、 ± 1次回折成分のみが、光路折り曲げミラー 5で 90° 偏向され 、レンズ 6により視野絞り面 F.S.上に標本共役面を形成したのち、レンズ 7、ハーフミラ 一 8を介して対物レンズ 9の瞳上にスポットを形成する。特に、 ± 1次回折成分は、瞳 上の概ね最外周部の互いに対向する位置にスポットを形成する。これらのスポットか ら射出した士 1次回折成分は、対物レンズ 9から射出する際にそれぞれ平行光束とな り、対物レンズ 9の最大 NA近傍の角度を成す。 ± 1次回折成分は、略均一な空間周 波数の干渉縞力もなる照明パターンで標本 10上を照明 (構造ィ匕照明)する。
[0013] この標本 10においてさらに回折した光の各次数の回折成分は、対物レンズ 9を通 つて平行光に変換された後、ハーフミラー 8を介して第 2対物レンズ 11によって標本 1 0の像を形成する。撮像装置 12は、この像を撮像して画像データを生成し、制御'演 算装置 13へ送出する。なお、標本 10は構造ィ匕照明によって変調されているので、そ の標本 10の像は「変調像」となっている。この変調像は、標本 10から射出した光の 0 次回折成分が形成するパターン上に、 ± 1次回折成分が形成するパターンを、実際 よりも構造ィ匕照明の空間周波数だけ低い空間周波数のパターンとして重畳させたも のである。
[0014] ここで、本顕微鏡装置には、構造ィ匕照明の位相(つまり標本 10上の照明パターン の位相)を変化させながら複数の画像データを取得する機能が搭載される。そのため に、例えば、回折格子 3を格子線と直交する方向へ移動させるァクチユエータ 3Aが 備えられる。
制御'演算装置 13は、このァクチユエータ 3Aと撮像装置 12とを同期制御すること により、照明パターンの位相を変化させながら複数の画像データを取得することがで きる。ここでは、回折格子 3を等量ずつ合計格子 1ピッチ分変化させながら N個の画 像データ I ' (jは位相番号であり、 j = l, 2, 3, 〜N)を取得することとする。
rj
[0015] 制御 ·演算装置 13は、取得した N個の画像データ I 'に対し演算を施し、標本 10の 復調像の画像データを取得する(その演算の詳細は後述)。この復調像の画像デー タカ 標本 10の超解像画像を表す。この画像データは、画像表示装置 14へ送出さ れ、表示される。なお、制御 ·演算装置 13には、予め、制御や演算に関するプロダラ ムカインストールされている。このプログラムの一部又は全部は、例えば、記憶媒体や インターネット経由で演算装置 13にインストールされる。
[0016] 次に、制御 ·演算装置 13による演算の詳細を述べる。
図 2は、制御.演算装置 13の動作フローチャートである。
(ステップ S1)
先ず、制御 ·演算装置 13は、 N個の画像データ I, (j = l, 2, 3, · · ·, N)をそれぞれ 歪み補正し、 N個の画像データ I (j = l, 2, 3, · · ·, N)を得る。このステップ S1の処
rj
理の概念を、図 3 (S1)に示した。この歪み補正は、画像データ I, (j = l, 2, 3, · · ·, rj
N)に投影されている照明パターンの歪みが無くなるような補正であり、 N個の画像デ ータ I, (j = l, 2, 3, · · ·, N)の間で共通の補正である。
rj
[0017] ここで、照明パターンの歪みは、照明光学系 LS Iが回折格子 3を標本 10上へ投影 するときの収差 (主にディストーション収差)と、結像光学系 LS2が標本 10を撮像装 置 12上 (撮像面上)に投影するときの収差 (主にディストーション収差)との双方によ つて生じる。
いま、照明光学系 LSIが回折格子 3を標本 10上へ投影する投影倍率を Mとおき、
1 結像光学系 LS2が標本 10を撮像装置 12上へ投影する投影倍率を Mとおく。また、
2
回折格子 3上の座標 Xが標本 10上の座標 Xへ投影され、標本 10上の座標 Xが撮 像装置 12上の座標 Xへ投影されたとする。
[0018] このとき、回折格子 3上の座標 Xと撮像装置 12上の座標 Xとの関係は、理想的に g
は、以下の式で表される。
X=MX=MMX
2 s 1 2 g
しかし、実際の照明光学系 LSI,結像光学系 LS2にはそれぞれディストーション収 差があるために、座標 X , X , Xの関係は、以下の通りとなっている。
[0019] X=M (l + aX2 + aX4 + aX6+---)X,
s 1 1 g 2 g 3 g g
X=M (l + cX2 + cX4 + cX6+---)X
2 I s 2 s 3 s s
したがって、回折格子 3上の座標 Xと撮像装置 12上の座標 Xとの関係は、下式(1 g
)で表される。
X=MM {l+(a +a)X2+(a +c +ac)X4+(a +c +a c +a c )Χ6+···} 1 2 1 2 g 2 2 1 1 g 3 3 1 2 2 1 g
X
g
=MM (l + dXg2 + dX4+dX6+---)X
1 2 1 2 g 3 g g …ひ)
そこで、本ステップ SIの歪み補正では、制御'演算装置 13は、画像データ I, (j = l rj
, 2, 3, ···, N)の各々を、式(1)を用いて座標変換すればよい。
[0020] なお、式(1)の係数 M , M , d, d, d ,…は、照明光学系 LSI及び結像光学系 L
1 2 1 2 3
S2の設計データ及び実測データの少なくとも一方力 予め求められる。因みに、係 数 d , d , d ,…の個数が多いほど、補正の精度を高めることができる。また、係数 d ,
1 2 3 1 dの 2つのみに限定しても、或る程度の効果は得られる。これらの係数は、制御'演算
2
装置 13が予め記憶している。
[0021] また、座標変換の際には、変換誤差がなるべく小さくなるよう、必要に応じて画素補 間処理を行うことが望ましい。例えば、補正後の画像データ I (j = l, 2, 3, ···, N)上 に、実際の変調像には生じていな力つた段差 (輝度の段差)が生じてしまうと、後述す る復調像の画像データにノイズパターンが現れてしまうからである。 以上の本ステップ SIによると、図 3 (SI)に示すとおり、画像データ I (j = l, 2, 3, rj
· ··, N)上に投影された照明パターンの空間周波数は、それぞれ画像上で均一にな る。よって、その照明パターンの位相変化量も画像上で均一とみなせる。
[0022] (ステップ S 2)
制御 ·演算装置 13は、画像データ I (j = l, 2, 3, · ··, N)をそれぞれ 2次元フーリエ rj
変換し、波数空間で表現された画像データ I
kj 0 = 1, 2, 3, · ··, N)を得る。なお、実 空間で表現されたデータには、実空間上の座標 rを示す添え字「r」を付し、波数空間 で表現されたデータには、波数空間上の座標 kを示す添え字「k」を付すこととする。
[0023] なお、 2次元フーリエ変換には、 2次元 FFT法を用いるのが望ましい。 2次元 FFT 法であれば、 1000 X 1000ピクセルといったデータ量の多い画像データであっても 現実的な時間内に変換が終わるからである。
本ステップ S2の処理の概念を、図 3 (S 2)に示した。画像データ I (j = l, 2, 3, · ··, kj
N)の各々は、変調像のフーリエ変換を表すので、それら画像データ I (j = l, 2, 3, kj
· ··, N)上では、標本 10から射出した光の 0次回折成分のスペクトルに、 ± 1次回折 成分のスペクトルが、実際よりも低周波側(中心側)にずれて重畳している。因みに、 図 3 (S2)には表さなかったが、画像データ I (j = l, 2, 3, · ··, N)の間では、照明パ kj
ターンの位相が異なるので、各次数の回折成分のスペクトルの現れ方が異なる。
[0024] (ステップ S3)
制御'演算装置 13は、画像データ I (j = l, 2, 3, · ··, N)を所定の演算式に当ては kj
めて、画像データ I 0 = 1, 2, 3, · ··, N)に共通して含まれる 0次回折成分 I 、 + 1次 kj k0 回折成分 I 、 一 1次回折成分 I を分離して抽出する。このステップ S3の処理の概 k+1 k-1
念を、図 3 (S3)に示した。
[0025] ここで、「照明パターンの空間周波数が画像上で均一である」と仮定すると、以下の ことが成り立つ。
照明パターンの空間周波数は、 K (定数)で表される。このとき、標本 10が有する実 際のパターン O (r)の波数表現を O (k)とおき、結像光学系 LS2の伝達関数 (OTF;
r k
Optical Transfer Function)を P (k)とおくと、 L次回折成分 I は、以下のとおり表され k kL
る。 [0026] O (k+LK)Pk(k)
k
また、位相番号 jに対応する照明パターンの位相 (位相変化量)は、画像上の座標 に依らず以下のとおり表わされる。
2π]/Ν
したがって、位相番号 jに対応する画像データ Iは、以下の式(2)で表される。
kj
[0027] I (k) =∑ m Θχρ(2πϋ/Ν)0 (k+LK)Pk(k) ·'·(2)
kj L L k
但し、 mは、 L次回折成 ί分み I の回折強度 mである。
し kし し
〜 .
このとき、画像データ Iの個数 Nを 3とすれば、 3つの方程式が得られるので、 3つの kj
回折成分 O (k)P (k), O (k+K)P (k), O (k-K)P (k)がそれぞれ求まる。
k k k k k k
[0028] さらに、 N> 3とした上で最小自乗法を適用すれば、それらの回折成分が求まるだ けでなぐ画像データ I (j = l, 2, 3, ···, N)の「 ί各々に含まれるノイズの影響を小さく kj
- .
抑えることもできる。最小二乗法では、式(2)に代えて式(3)を用いればよい。
[0029] [数 1]
,Α ( ) Ok{k-K)Pk{k)
∑ 。 ( Ok{k)Pk{k) (3)
Ok(k + K)Pk(k)
[0030] 但し、式(3)では、 b =m exp(L()j)とおいた。
Lj L
本ステップ S3の制御.演算装置 13は、このシンプルな式(2)又は式(3)に対し画像 データ I (j = l, 2, 3, ···, N)を当てはめることにより、回折成分 0(k)P (k), O (k kj k k k
+K)P (k), O (k-K)P (k)を分離して抽出する。
k k k
(ステップ S4)
制御 ·演算装置 13は、抽出した回折成分 0(k)P (k), O (k+K)P (k), O (k— k k k k k
K)P (k)を、照明パターンの空間周波数 Kだけ波数空間上でずらして並べなおし、 k
標本 10の復調像の画像データ I (k)を得る。このステップ S4の処理の概念を、図 3( k
S4)に示した。
[0031] (ステップ S 5)
制御 ·演算装置 13は、画像データ I (k)に対し逆フーリエ変換を施し、画像データ I (r)を得る。このステップ S5の処理の概念を、図 3 (S5)に示した。この画像データ (r )は、標本 10の復調像を実空間で表現するものである。
但し、この画像データ I (r)上には、標本 10の超解像画像が歪んで投影されている 。理由は以下のとおりである。
[0032] 上述したステップ S1の歪み補正は、画像上の照明パターンの歪みを無くすための 歪み補正、つまり、照明光学系 LSIのディストーション補正と結像光学系 LS2のディ ストーシヨン補正との合成であった。それに対し、画像上の標本 10の歪みは、照明光 学系 LSIのディストーション収差には関係せず、結像光学系 LS2のディストーション 収差のみによって生じるものである。このため、上述したステップ S1の歪み補正は、 標本 10の歪みに対しては、照明光学系 LSIのディストーション補正の分だけ「過補 正」となっている。
[0033] (ステップ S6)
そこで、制御 ·演算装置 13は、下式 (4)を用いて画像データ I (r)を座標変換し、過 補正となった分を逆補正する。この式 (4)は、回折格子 3上の座標 Xと標本 10上の g
座標 Xとの関係を示す式である。この式を Xについて解くことで Xを Xの関数として s g g s 求めておき、等間隔の Xに対して Xを計算して逆補正を行う。
s g
[0034] X =M (l + a X 2 + a X 4 + a X 6+ - --)X · ,· (4)
s 1 1 g 2 g 3 g g
このステップ S6の処理の概念を、図 3 (S6)に示した。逆補正後の画像データ (r) 上には、標本 10の超解像画像が歪まずに投影されている。
なお、式 (4)の係数 M , a , a , a ,…は、照明光学系 LSIの設計データ及び実測
1 1 2 3
データの少なくとも一方力 予め求められる。因みに、係数 a , a , a ,…の個数が多
1 2 3
いほど、補正の精度を高めることができる。また、係数 a , aの 2つのみに限定しても、
1 2
或る程度の効果は得られる。これらの係数は、制御 ·演算装置 13が予め記憶してい る。
[0035] また、座標変換の際には、変換誤差がなるべく小さくなるよう、必要に応じて画素補 間処理を行うことが望ま Uヽ(以上、ステップ S6)。
次に、本顕微鏡装置の効果を述べる。
以上説明したとおり、本顕微鏡装置では、位相の異なる複数の画像データ I ' 0 = 1 , 2, 3, · ··, N)に対し歪み補正(図 2ステップ SI)を施す。補正後の画像データ I (j
rj
= 1, 2, 3, · ··, N)上では、照明パターンの空間周波数を均一とみなせる(したがつ て位相変化量も均一とみなせる)。
[0036] したがって、本顕微鏡装置では、その歪み補正さえ高精度に行われれば、復調演 算(図 2ステップ S2〜S5)にシンプルな演算式(式(2)又は式(3) )しか使用して!/、な いにも拘わらず、復調誤差は殆ど発生せず、ノイズの抑えられた良好な超解像画像 を得ることができる。
(その他)
なお、本実施形態で取得される復調像の画像データには、標本 10のパターン Oの 情報だけでなく結像光学系 LS2の伝達関数の情報 (結像光学系 LS2の点像分布関 数の情報)も含まれているので、制御'演算装置 13は、必要に応じて復調像の画像 データに対しデコンボリューシヨンを施し、伝達関数の情報を排除してもよい。
[0037] 但し、復調像の画像データの情報からは、結像光学系 LS2のディストーション収差 の情報が既に排除されているので、そのデコンボリューシヨンでは、伝達関数の代わ りに、伝達関数力 結像光学系 LS2のディストーション収差成分を排除してできる関 数を用いるとよい。因みに、デコンボリューシヨン後の画像データ上には、標本 10の 超解像画像がシャープに現れる。
[0038] また、上述した説明では、標本 10の種類に言及しな力つたが、蛍光物質で標識さ れた標本としてもよい。その場合、ハーフミラー 8をダイクロイツクミラーに代え、ダイク 口イツクミラーの光源側に励起フィルタを挿入し、ハーフミラー 8よりも撮像装置 12側 にバリアフィルタを挿入するとよ!/、。
また、上述した説明では、超解像の方向について言及しな力 た力 回折格子 3の 格子方向を固定したまま上述した情報を取得すれば、その格子に垂直な方向に亘り 解像度の高められた超解像画像を取得することができる。また、回折格子 3の格子方 向を複数に変化させて同様の情報を取得すれば、複数方向に亘り解像度の高めら れた超解像画像を取得することができる。また、複数方向に亘り解像度の高められた 超解像画像を取得する場合には、 1次元の回折格子 3を 2次元回折格子 (グリッド状 に格子を設けた回折格子)に代えてもよい。 2次元回折格子によれば、 2方向に関す る情報を同時に取得することができる。
[0039] また、図 2のステップ S2〜S5における復調演算の代わりに、同じ仮定で成り立つ他 の復調演算が適用されてもよい。例えば、特開平 11 242189号公報の復調演算 が適用されてもよい。特開平 11— 242189号公報の復調演算は、図 2のステップ S2 〜S5の復調演算を、実空間上で行うものであり、位相の異なる 3個の画像データを 線形の演算式に当てはめるものである。その演算式は、上述した式(2)を実空間で 表現したものに相当する。
[0040] 因みに、特開平 11— 242189号公報の方法では、復調演算に際して歪み補正が 何ら行われないので、特開平 11 242189号公報中の O(x) *P(x), O(x) *P (x )には、以下のとおり歪みが生じている。
[0041] [数 2] +/2 +/3) + ( Δ/3 + 4½— Δ/2/3)
Figure imgf000012_0001
+ ((^2 - > + Δ / 2 - Α 2Ι,)
O(x) * P— (x) = (2/, (1 + jS)I2 (1— ) exp(2^/0 )
Figure imgf000012_0002
- ((卜 ) — (1 + -^) Δ^)/, + (1 + ) Δ + (1-^= Α 2Ι3
[0042] 但し、 f =f 、 φを基準として、 Δί =f —f , Δί =f -f , Δ = - , Δ
1 0 1 2 2 0 3 3 0 2 2 1 3
: φ — φ と表し、 2π Δί χ, 2π Δί χ《1, Δ φ , Δ 《1として近似した。
3 1 2 3 2 3
したがって、特開平 11— 242189号公報の方法では、画像中央部では主に照明 ノターンの位相変化量の不均一性による復調誤差が生じ、画像周辺部では主に照 明パターンの空間周波数の不均一性による復調誤差が生じてしまう。しかし、復調演 算に際して歪み補正を行う本実施形態では、これらの復調誤差は生じない。

Claims

請求の範囲
[1] 光源からの光で標本を照明する照明光学系と、
前記照明光学系に配置され、前記光源からの光を空間変調する変調手段と、 前記空間変調された光で照明された前記標本からの変調像を結像する結像光学 系と、
前記変調像を撮像する撮像手段と、
前記照明光学系及び前記結像光学系の少なくとも一方による前記変調像の歪みを 補正する補正手段と、
前記補正手段で補正された変調像から前記標本の画像を生成する画像生成装置 と
を有することを特徴とする顕微鏡装置。
[2] 請求項 1に記載の顕微鏡装置において、
前記変調手段は、
回折格子と、
前記回折格子を移動させて変調する回折格子変調手段と
を有することを特徴とする顕微鏡装置。
[3] 請求項 1又は請求項 2に記載の顕微鏡装置において、
前記補正手段は、
前記照明光学系及び前記結像光学系の少なくとも一方のディストーション収差のデ ータに基づき前記補正を行う
ことを特徴とする顕微鏡装置。
[4] 請求項 3に記載の顕微鏡装置において、
前記補正手段は、
前記ディストーション収差の実測データ及び設計データの少なくとも一方に基づき 前記補正を行う
ことを特徴とする顕微鏡装置。
[5] 請求項 1〜請求項 4の何れか一項に記載の顕微鏡装置において、
前記標本の画像の歪みを補正する再補正手段を更に備えた ことを特徴とする顕微鏡装置。
[6] 請求項 5に記載の顕微鏡装置において、
前記再補正手段は、
前記結像光学系のディストーション収差のデータに基づき前記補正を行う ことを特徴とする顕微鏡装置。
[7] 請求項 6に記載の顕微鏡装置において、
前記再補正手段は、
前記ディストーション収差の実測データ及び設計データの少なくとも一方に基づき 前記補正を行う
ことを特徴とする顕微鏡装置。
[8] 空間変調された照明光により標本を照明し、
前記照明光により照明された前記標本からの光を結像させ、取得した画像から画 像演算処理により標本像を生成する画像生成方法において、
前記取得した画像の照明光学系及び結像光学系による歪みを補正する補正手順 と、
前記補正された画像力 前記標本の画像を生成する画像生成手順と を有することを特徴とする画像生成方法。
PCT/JP2006/319717 2005-10-07 2006-10-02 顕微鏡装置及び画像生成方法 WO2007043382A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007539877A JPWO2007043382A1 (ja) 2005-10-07 2006-10-02 顕微鏡装置及び画像生成方法
EP06811065A EP1933186A1 (en) 2005-10-07 2006-10-02 Microscope and image generation method
US11/885,185 US20080158668A1 (en) 2005-10-07 2006-10-02 Microscope and Image Generation Method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005295028 2005-10-07
JP2005-295028 2005-10-07

Publications (1)

Publication Number Publication Date
WO2007043382A1 true WO2007043382A1 (ja) 2007-04-19

Family

ID=37942626

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/319717 WO2007043382A1 (ja) 2005-10-07 2006-10-02 顕微鏡装置及び画像生成方法

Country Status (3)

Country Link
EP (1) EP1933186A1 (ja)
JP (1) JPWO2007043382A1 (ja)
WO (1) WO2007043382A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009031418A1 (ja) * 2007-09-05 2009-03-12 Nikon Corporation 顕微鏡装置
WO2009043546A1 (de) * 2007-09-28 2009-04-09 Carl Zeiss Microimaging Gmbh Verfahren und anordnung zur optischen erfassung einer beleuchteten probe
EP2437095A2 (en) 2010-09-30 2012-04-04 Olympus Medical Systems Corporation Sample observation device for generating super resolution image
WO2013108626A1 (ja) * 2012-01-18 2013-07-25 株式会社ニコン 構造化照明装置、構造化照明顕微鏡装置、構造化照明方法
JP2014089311A (ja) * 2012-10-30 2014-05-15 Nikon Corp 顕微鏡装置及び画像形成方法
EP2889666A1 (en) 2013-12-19 2015-07-01 Olympus Corporation Image generation system
US9995919B2 (en) 2007-11-26 2018-06-12 Carl Zeiss Microscopy Gmbh Method and configuration for the optical detection of an illuminated specimen
JP2021515255A (ja) * 2018-06-29 2021-06-17 イラミーナ インコーポレーテッド 構造化照明パラメータの予測

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11242189A (ja) * 1997-12-25 1999-09-07 Olympus Optical Co Ltd 像形成法、像形成装置
JP2001274973A (ja) * 2000-03-24 2001-10-05 Sanyo Electric Co Ltd 顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001281554A (ja) * 2000-03-29 2001-10-10 Nikon Corp 顕微鏡用デジタルカメラ及び該カメラを備える顕微鏡システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11242189A (ja) * 1997-12-25 1999-09-07 Olympus Optical Co Ltd 像形成法、像形成装置
JP2001274973A (ja) * 2000-03-24 2001-10-05 Sanyo Electric Co Ltd 顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001281554A (ja) * 2000-03-29 2001-10-10 Nikon Corp 顕微鏡用デジタルカメラ及び該カメラを備える顕微鏡システム

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7848017B2 (en) 2007-09-05 2010-12-07 Nikon Corporation Microscope device
JP5206681B2 (ja) * 2007-09-05 2013-06-12 株式会社ニコン 構造化照明顕微鏡装置
WO2009031418A1 (ja) * 2007-09-05 2009-03-12 Nikon Corporation 顕微鏡装置
WO2009043546A1 (de) * 2007-09-28 2009-04-09 Carl Zeiss Microimaging Gmbh Verfahren und anordnung zur optischen erfassung einer beleuchteten probe
EP3660571A1 (de) * 2007-09-28 2020-06-03 Carl Zeiss Microscopy GmbH Verfahren und anordnung zur optischen erfassung einer beleuchteten probe
US9995919B2 (en) 2007-11-26 2018-06-12 Carl Zeiss Microscopy Gmbh Method and configuration for the optical detection of an illuminated specimen
EP2437095A2 (en) 2010-09-30 2012-04-04 Olympus Medical Systems Corporation Sample observation device for generating super resolution image
US8780192B2 (en) 2010-09-30 2014-07-15 Olympus Corporation Sample observation device for generating super resolution image
US8817088B2 (en) 2010-09-30 2014-08-26 Olympus Corporation Sample observation device for generating super resolution image
EP2781943A1 (en) 2010-09-30 2014-09-24 Olympus Corporation Sample observation device for generating super resolution image
WO2013108626A1 (ja) * 2012-01-18 2013-07-25 株式会社ニコン 構造化照明装置、構造化照明顕微鏡装置、構造化照明方法
JPWO2013108626A1 (ja) * 2012-01-18 2015-05-11 株式会社ニコン 構造化照明装置、構造化照明顕微鏡装置、構造化照明方法
US10222599B2 (en) 2012-01-18 2019-03-05 Nikon Corporation Structured illuminating apparatus, structured illuminating microscopy apparatus, and structured illuminating method
US10802259B2 (en) 2012-01-18 2020-10-13 Nikon Corporation Structured illuminating apparatus, structured illuminating microscopy apparatus, and structured illuminating method
JP2014089311A (ja) * 2012-10-30 2014-05-15 Nikon Corp 顕微鏡装置及び画像形成方法
EP2889666A1 (en) 2013-12-19 2015-07-01 Olympus Corporation Image generation system
US9729800B2 (en) 2013-12-19 2017-08-08 Olympus Corporation Image generation system
JP2021515255A (ja) * 2018-06-29 2021-06-17 イラミーナ インコーポレーテッド 構造化照明パラメータの予測
US11119302B2 (en) 2018-06-29 2021-09-14 Illumina, Inc. Predicting structured illumination parameters
JP2021177182A (ja) * 2018-06-29 2021-11-11 イラミーナ インコーポレーテッド 構造化照明パラメータの予測
US11525993B2 (en) 2018-06-29 2022-12-13 Illumina, Inc. Predicting structured illumination parameters

Also Published As

Publication number Publication date
EP1933186A1 (en) 2008-06-18
JPWO2007043382A1 (ja) 2009-04-16

Similar Documents

Publication Publication Date Title
WO2007043382A1 (ja) 顕微鏡装置及び画像生成方法
JP5412394B2 (ja) 標本観察装置
US20100135547A1 (en) Optical sectioning microscopy
WO2007043314A1 (ja) 顕微鏡装置
US20080158668A1 (en) Microscope and Image Generation Method
JP5888416B2 (ja) 構造化照明顕微鏡装置
JP4835750B2 (ja) 顕微鏡装置
JP6484706B2 (ja) 画像を記録するための装置および方法
EP2314982B1 (en) Method and apparatus for determining the height of a number of spatial positions on a sample defining a profile of a surface through white light interferometry
JP2005513425A (ja) 波面を測定するためのシステムおよび方法
JPWO2006109448A1 (ja) 画像作成方法および顕微鏡装置
US20150042780A1 (en) 4f-based optical phase imaging system
JP2017526964A (ja) 画像を記録するための装置および方法
WO2007043313A1 (ja) 顕微鏡装置及び観察方法
US11287625B2 (en) Microscope and observation method
JP4538661B2 (ja) 光学結像システムにおける深度弁別改良のための方法
JP2009098215A (ja) 顕微鏡装置、及び顕微鏡装置における位相変化量の算出方法。
JP2014146107A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JPWO2020045584A1 (ja) ホログラフィック撮像装置およびホログラフィック撮像方法
JP2008216778A (ja) 構造化照明顕微鏡
US11226293B1 (en) Structured illumination optical inspection platform for transparent materials
JP6270615B2 (ja) 標本像データ生成装置、及び、標本像データ生成方法
JP7126257B2 (ja) 光学計測装置
JP2009300589A (ja) 顕微鏡装置
JP2010151590A (ja) 画像縮小方法及び画像縮小用プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2007539877

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11885185

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2006811065

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE