JP2019215560A - Image acquisition device, image acquisition method, and spatial optical modulation unit - Google Patents
Image acquisition device, image acquisition method, and spatial optical modulation unit Download PDFInfo
- Publication number
- JP2019215560A JP2019215560A JP2019144426A JP2019144426A JP2019215560A JP 2019215560 A JP2019215560 A JP 2019215560A JP 2019144426 A JP2019144426 A JP 2019144426A JP 2019144426 A JP2019144426 A JP 2019144426A JP 2019215560 A JP2019215560 A JP 2019215560A
- Authority
- JP
- Japan
- Prior art keywords
- phase
- region
- phase pattern
- light
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Microscoopes, Condenser (AREA)
Abstract
Description
本発明は、励起光の照射に伴って試料から発せられる検出光を撮像して画像を取得する画像取得装置、画像取得方法、及び空間光変調ユニットに関する。 The present invention relates to an image acquisition device, an image acquisition method, and a spatial light modulation unit that capture an image by capturing detection light emitted from a sample with irradiation of excitation light.
そのような画像取得装置として、シート状の励起光を試料に照射し、励起光の照射に伴って試料から発せられる検出光を撮像するライトシート顕微鏡がある（例えば、下記非特許文献１参照）。非特許文献１に記載されたライトシート顕微鏡では、空間光変調器（ＳＬＭ：Spatial Light Modulator）によりベッセルビームを生成し、生成したベッセルビームの集光点をその光軸に沿って走査することで、擬似的にシート状の励起光を作り出している。 As such an image acquisition device, there is a light sheet microscope that irradiates a sample with sheet-like excitation light and captures detection light emitted from the sample with the excitation light irradiation (for example, see Non-Patent Document 1 below). . In the light sheet microscope described in Non-Patent Document 1, a Bessel beam is generated by a Spatial Light Modulator (SLM), and the focal point of the generated Bessel beam is scanned along the optical axis. In this manner, a sheet-like excitation light is generated in a pseudo manner.
上記非特許文献１に記載されたライトシート顕微鏡では、ベッセルビームの集光点を光軸に沿って走査することで擬似的にシート状の励起光を生成していることから、当該走査のための光学素子等が必要となる。そのため、装置構成が複雑化するおそれがある。 In the light sheet microscope described in Non-Patent Document 1, the sheet-like excitation light is generated in a pseudo manner by scanning the focal point of the Bessel beam along the optical axis. Optical element and the like are required. For this reason, the device configuration may be complicated.
そこで、本発明は、簡易な構成でシート状の励起光を生成できる画像取得装置、画像取得方法、及び空間光変調ユニットを提供することを目的とする。 Accordingly, an object of the present invention is to provide an image acquisition device, an image acquisition method, and a spatial light modulation unit that can generate a sheet-like excitation light with a simple configuration.
本発明の一側面に係る画像取得装置は、試料を励起させる波長を含む励起光を出力する光源と、二次元に配列された複数の画素を有し、光源から出力された励起光の位相を複数の画素毎に変調する空間光変調器と、空間光変調器で変調された励起光を試料に照射する第１の対物レンズと、第１の対物レンズからの励起光の照射に伴って試料から発せられる検出光を導光する第２の対物レンズと、第２の対物レンズにより導光された検出光を撮像する光検出器と、複数の画素それぞれに対応する位相値が二次元に分布する位相パターンに従って複数の画素毎の位相変調量を制御する制御部と、を備え、位相パターンは、所定の基本位相パターンに基づいて生成された位相パターンであり、基本位相パターンは、所定の方向に沿って連続的に位相値が増加する第１の領域と、所定の方向において第１の領域と対向し、所定の方向に沿って連続的に位相値が減少する第２の領域と、を有する。 An image acquisition device according to one aspect of the present invention has a light source that outputs excitation light including a wavelength that excites a sample, and has a plurality of pixels arranged two-dimensionally, and adjusts the phase of the excitation light output from the light source. A spatial light modulator that modulates each of the plurality of pixels, a first objective lens that irradiates the sample with excitation light modulated by the spatial light modulator, and a sample that emits excitation light from the first objective lens A second objective lens for guiding the detection light emitted from the light source, a photodetector for imaging the detection light guided by the second objective lens, and a two-dimensional distribution of phase values corresponding to each of the plurality of pixels. A control unit that controls the amount of phase modulation for each of a plurality of pixels according to a phase pattern to be performed, wherein the phase pattern is a phase pattern generated based on a predetermined basic phase pattern, and the basic phase pattern has a predetermined direction. Continuous phase along There has a first region increasing, opposite the first region in a predetermined direction, and a second region continuously phase values in a predetermined direction is decreased, the.
この画像取得装置では、所定の方向に沿って連続的に位相値が増加する第１の領域と、所定の方向に沿って連続的に位相値が減少する第２の領域と、を有する基本位相パターンに基づいて位相パターンが算出される。この位相パターンに従って空間光変調器で励起光を変調することで、第１の対物レンズから試料に対してシート状の励起光を照射することが可能となる。したがって、従来技術のようにシート状の励起光を生成するためにベッセルビームの集光点を走査する必要がなく、当該走査のための光学素子等を省略することができる。よって、この画像取得装置によれば、簡易な構成でシート状の励起光を生成することができる。 In this image acquisition device, a basic phase having a first region in which a phase value continuously increases along a predetermined direction and a second region in which a phase value continuously decreases along a predetermined direction is provided. A phase pattern is calculated based on the pattern. By modulating the excitation light with the spatial light modulator according to this phase pattern, it becomes possible to irradiate the sample with the sheet-like excitation light from the first objective lens. Therefore, unlike the related art, it is not necessary to scan the focal point of the Bessel beam in order to generate the sheet-like excitation light, and it is possible to omit an optical element and the like for the scanning. Therefore, according to this image acquisition device, a sheet-like excitation light can be generated with a simple configuration.
本発明の一側面に係る画像取得装置においては、第１の領域では、位相値は所定の方向に沿って直線的に増加し、第２の領域では、位相値は所定の方向に沿って直線的に減少していてもよい。これによれば、基本位相パターンが単純化されるため、複雑な光学素子等を用いることなく、一層簡易な構成でシート状の励起光を生成することができる。 In the image acquisition device according to one aspect of the present invention, in the first region, the phase value increases linearly along a predetermined direction, and in the second region, the phase value increases linearly along a predetermined direction. It may be reduced. According to this, since the basic phase pattern is simplified, it is possible to generate the sheet-like excitation light with a simpler configuration without using a complicated optical element or the like.
本発明の一側面に係る画像取得装置では、基本位相パターンは、所定の方向における中心を通り且つ所定の方向と直交する直線に関して線対称となっていてもよい。これによれば、シート状の励起光を第１の対物レンズの光軸上に生成することができる。したがって、第１の対物レンズ及び第２の対物レンズの光軸調整が容易になる。 In the image acquisition device according to one aspect of the present invention, the basic phase pattern may be line-symmetric with respect to a straight line passing through the center in the predetermined direction and orthogonal to the predetermined direction. According to this, the sheet-like excitation light can be generated on the optical axis of the first objective lens. Therefore, the optical axes of the first objective lens and the second objective lens can be easily adjusted.
本発明の一側面に係る画像取得装置では、基本位相パターンは、所定の方向における中心を通り且つ所定の方向と直交する直線に関して非線対称となっていてもよい。これによれば、シート状の励起光を第１の対物レンズの光軸上とは異なる位置に生成することができる。 In the image acquisition device according to one aspect of the present invention, the basic phase pattern may be non-linearly symmetric with respect to a straight line passing through the center in the predetermined direction and orthogonal to the predetermined direction. According to this, the sheet-like excitation light can be generated at a position different from the position on the optical axis of the first objective lens.
本発明の一側面に係る画像取得装置では、第１の領域と第２の領域とは、互いに隣接し、その境界において位相値が連続していてもよい。これによれば、基本位相パターンが単純化されるため、複雑な光学素子等を用いることなく、より一層簡易な構成でシート状の励起光を生成することができる。 In the image acquisition device according to one aspect of the present invention, the first region and the second region may be adjacent to each other, and the boundary may have a continuous phase value. According to this, since the basic phase pattern is simplified, it is possible to generate the sheet-like excitation light with a simpler configuration without using a complicated optical element or the like.
本発明の一側面に係る画像取得装置では、位相パターンは、回折格子状の回折格子パターンと基本位相パターンとが重畳された位相パターンであってもよい。これによれば、回折格子を設けることなく、励起光の位相を回折格子状とすることができる。そのため、より一層簡易な構成でシート状の励起光を生成することができる。 In the image acquisition device according to one aspect of the present invention, the phase pattern may be a phase pattern in which a diffraction grating pattern having a diffraction grating shape and a basic phase pattern are superimposed. According to this, the phase of the excitation light can be made into a diffraction grating shape without providing a diffraction grating. Therefore, a sheet-like excitation light can be generated with a simpler configuration.
本発明の一側面に係る画像取得装置では、位相パターンは、レンズ状のレンズパターンと基本位相パターンとが重畳された位相パターンであってもよい。これによれば、レンズ素子を設けることなく、励起光の位相をレンズ状とすることができる。そのため、より一層簡易な構成でシート状の励起光を生成することができる。 In the image acquisition device according to one aspect of the present invention, the phase pattern may be a phase pattern in which a lens-shaped lens pattern and a basic phase pattern are superimposed. According to this, the phase of the excitation light can be made into a lens shape without providing a lens element. Therefore, a sheet-like excitation light can be generated with a simpler configuration.
本発明の一側面に係る画像取得装置は、励起光を試料に対して走査する光走査部を更に備えていてもよい。 The image acquisition device according to one aspect of the present invention may further include an optical scanning unit that scans the sample with the excitation light.
本発明の一側面に係る画像取得装置では、光検出器は、複数の画素列を有し、ローリング読み出しが可能な二次元撮像素子であってもよい。これによれば、これによれば、グローバル読み出しが可能な二次元撮像素子を用いる場合に比べて、Ｓ／Ｎを向上させることができる。 In the image acquisition device according to one aspect of the present invention, the photodetector may be a two-dimensional image sensor having a plurality of pixel columns and capable of rolling reading. According to this, according to this, the S / N can be improved as compared with the case where a two-dimensional image sensor capable of global reading is used.
本発明の一側面に係る画像取得方法は、二次元に配列された複数の画素を有する空間光変調器により、試料を励起させる波長を含む励起光の位相を複数の画素毎に変調する第１のステップと、空間光変調器で変調された励起光を試料に照射する第２のステップと、励起光の照射に伴って試料から発せられる検出光を導光し、導光された検出光を撮像する第３のステップと、を含み、第１のステップでは、所定の基本位相パターンに基づいて生成され、複数の画素それぞれに対応する位相値が二次元に分布する位相パターンに従って複数の画素毎の位相変調量を制御し、基本位相パターンは、所定の方向に沿って連続的に位相値が増加する第１の領域と、所定の方向において第１の領域と対向し、所定の方向に沿って連続的に位相値が減少する第２の領域と、を有する。 An image acquisition method according to one aspect of the present invention is directed to a first method for modulating a phase of excitation light including a wavelength for exciting a sample for each of a plurality of pixels by a spatial light modulator having a plurality of pixels arranged two-dimensionally. And a second step of irradiating the sample with the excitation light modulated by the spatial light modulator, and guiding the detection light emitted from the sample with the irradiation of the excitation light, and detecting the guided detection light. A third step of imaging, wherein in the first step, a plurality of pixels are generated based on a predetermined basic phase pattern, and a plurality of pixels are generated based on a phase pattern in which phase values corresponding to each of the plurality of pixels are two-dimensionally distributed. And the basic phase pattern has a first region in which the phase value continuously increases along a predetermined direction, and a first region facing the first region in a predetermined direction, and along the predetermined direction. Continuously decreases the phase value It has a second region, a.
この画像取得方法では、所定の方向に沿って連続的に位相値が増加する第１の領域と、所定の方向に沿って連続的に位相値が減少する第２の領域と、を有する基本位相パターンに基づいて位相パターンを算出する。この位相パターンに従って空間光変調器で励起光を変調することで、試料に対してシート状の励起光を照射することが可能となる。したがって、従来技術のようにシート状の励起光を生成するためにベッセルビームの集光点を走査する必要がなく、当該走査のための光学素子等を省略することができる。よって、この画像取得方法によれば、簡易な構成でシート状の励起光を生成することができる。 In this image acquisition method, a basic phase having a first region in which a phase value continuously increases along a predetermined direction and a second region in which a phase value continuously decreases along a predetermined direction is provided. A phase pattern is calculated based on the pattern. By modulating the excitation light with the spatial light modulator according to the phase pattern, it becomes possible to irradiate the sample with the sheet-like excitation light. Therefore, unlike the related art, it is not necessary to scan the focal point of the Bessel beam in order to generate the sheet-like excitation light, and it is possible to omit an optical element and the like for the scanning. Therefore, according to this image acquisition method, a sheet-like excitation light can be generated with a simple configuration.
本発明の一側面に係る空間光変調ユニットは、ライトシート顕微鏡に用いられる空間光変調ユニットであって、二次元に配列された複数の画素を有し、入力された光の位相を複数の画素毎に変調して変調後の光を出力する空間光変調器と、複数の画素それぞれに対応する位相値が二次元に分布する位相パターンに従って複数の画素毎の位相変調量を制御する制御部と、を備え、位相パターンは、所定の基本位相パターンに基づいて生成された位相パターンであり、基本位相パターンは、所定の方向に沿って連続的に位相値が増加する第１の領域と、所定の方向において第１の領域と対向し、所定の方向に沿って連続的に位相値が減少する第２の領域と、を有する。 A spatial light modulation unit according to one aspect of the present invention is a spatial light modulation unit used for a light sheet microscope, has a plurality of pixels arranged two-dimensionally, and sets a phase of input light to a plurality of pixels. A spatial light modulator that modulates each and outputs modulated light, and a control unit that controls a phase modulation amount for each of the plurality of pixels according to a phase pattern in which phase values corresponding to the plurality of pixels are two-dimensionally distributed. The phase pattern is a phase pattern generated based on a predetermined basic phase pattern, and the basic phase pattern includes a first region in which a phase value continuously increases along a predetermined direction, and a predetermined region. And a second region in which the phase value continuously decreases along the predetermined direction in a direction opposite to the first region.
この空間光変調ユニットでは、所定の方向に沿って連続的に位相値が増加する第１の領域と、所定の方向に沿って連続的に位相値が減少する第２の領域と、を有する基本位相パターンに基づいて位相パターンを算出する。この位相パターンに従って空間光変調器で励起光を変調することで、試料に対してシート状の励起光を照射することが可能となる。したがって、従来技術のようにシート状の励起光を生成するためにベッセルビームの集光点を走査する必要がなく、当該走査のための光学素子等を省略することができる。よって、この空間光変調ユニットによれば、簡易な構成でシート状の励起光を生成することができる。 In this spatial light modulation unit, a basic region having a first region where a phase value continuously increases along a predetermined direction and a second region where a phase value continuously decreases along a predetermined direction is provided. A phase pattern is calculated based on the phase pattern. By modulating the excitation light with the spatial light modulator according to the phase pattern, it becomes possible to irradiate the sample with the sheet-like excitation light. Therefore, unlike the related art, it is not necessary to scan the focal point of the Bessel beam in order to generate the sheet-like excitation light, and it is possible to omit an optical element and the like for the scanning. Therefore, according to this spatial light modulation unit, a sheet-like excitation light can be generated with a simple configuration.
本発明によれば、簡易な構成でシート状の励起光を生成することができる。 According to the present invention, a sheet-like excitation light can be generated with a simple configuration.
以下、本発明の画像取得装置及び画像取得方法に係る実施形態について、図面を参照しつつ詳細に説明する。なお、以下の説明において、同一又は相当要素には同一符号を用い、重複する説明は省略する。 Hereinafter, embodiments of an image acquisition device and an image acquisition method of the present invention will be described in detail with reference to the drawings. In the following description, the same or corresponding elements will be denoted by the same reference characters, without redundant description.
図１に示されるライトシート顕微鏡（画像取得装置）１は、シート状の励起光Ｌ１を試料Ｓに照射し、励起光Ｌ１の照射に伴って試料Ｓから発せられる検出光Ｌ２を撮像することで、試料Ｓの画像を取得する装置である。ライトシート顕微鏡１では、励起光Ｌ１の光軸と直交する方向に沿って励起光Ｌ１の集光位置が試料Ｓに対して走査され、各集光位置において試料Ｓの画像が取得される。ライトシート顕微鏡１では、励起光Ｌ１が試料Ｓに照射される領域が狭いため、例えば光退色又は光毒性等の試料Ｓの劣化を抑制することができると共に、画像取得を高速化することができる。 The light sheet microscope (image acquisition device) 1 shown in FIG. 1 irradiates a sample S with sheet-like excitation light L1, and captures detection light L2 emitted from the sample S with the irradiation of the excitation light L1. , An apparatus for acquiring an image of the sample S. In the light sheet microscope 1, the focus position of the excitation light L1 is scanned with respect to the sample S along a direction orthogonal to the optical axis of the excitation light L1, and an image of the sample S is acquired at each focus position. In the light sheet microscope 1, since the region where the excitation light L1 irradiates the sample S is narrow, deterioration of the sample S such as photobleaching or phototoxicity can be suppressed, and image acquisition can be performed at high speed. .
観察対象物となる試料Ｓは、例えば、蛍光色素又は蛍光遺伝子等の蛍光物質を含む細胞や生体等のサンプルである。試料Ｓは、所定の波長域の光が照射された場合に、例えば蛍光等の検出光Ｌ２を発する。試料Ｓは、例えば、少なくとも励起光Ｌ１及び検出光Ｌ２に対する透過性を有するホルダ内に収容されている。このホルダは、例えばステージ上に保持されている。 The sample S to be observed is, for example, a sample of a cell or a living body containing a fluorescent substance such as a fluorescent dye or a fluorescent gene. The sample S emits, for example, detection light L2 such as fluorescence when irradiated with light in a predetermined wavelength range. The sample S is accommodated in, for example, a holder having transparency to at least the excitation light L1 and the detection light L2. This holder is held on, for example, a stage.
図１に示されるように、ライトシート顕微鏡１は、光源１１と、コリメータレンズ１２と、光走査部１３と、ＳＬＭ１４と、第１の光学系１５と、第１の対物レンズ１６と、第２の対物レンズ１７と、フィルタ１８と、第２の光学系１９と、光検出器２０と、制御部２１と、を備えている。 As shown in FIG. 1, the light sheet microscope 1 includes a light source 11, a collimator lens 12, an optical scanning unit 13, an SLM 14, a first optical system 15, a first objective lens 16, , An objective lens 17, a filter 18, a second optical system 19, a photodetector 20, and a control unit 21.
光源１１は、試料Ｓを励起させる波長を含む励起光Ｌ１を出力する。光源１１は、例えば、コヒーレント光又はインコヒーレント光を出射する。コヒーレント光源としては、例えば、レーザダイオード（ＬＤ）といったレーザ光源等が挙げられる。インコヒーレント光源としては、例えば発光ダイオード（ＬＥＤ）、スーパールミネッセントダイオード（ＳＬＤ）、ランプ系光源等が挙げられる。レーザ光源としては、連続波（Continuous Wave)を発振する光源が好ましく、超短パルス光等のパルス光を発振する光源が用いられてもよい。パルス光を発振する光源としては、パルス光を出力する光源と、光シャッタ又はパルス変調用のＡＯＭ（Acousto-Optic Modulator）とを組み合わせたユニットが用いられてもよい。光源１１は、複数の波長域を含む励起光Ｌ１を出力するように構成されてもよい。この場合、音響光学可変フィルタ（Acousto-Optic Tunable Filter）等の光学フィルタにより励起光Ｌ１の波長の一部を選択的に透過させてもよい。 The light source 11 outputs an excitation light L1 including a wavelength for exciting the sample S. The light source 11 emits, for example, coherent light or incoherent light. Examples of the coherent light source include a laser light source such as a laser diode (LD). Examples of the incoherent light source include a light emitting diode (LED), a super luminescent diode (SLD), and a lamp light source. As the laser light source, a light source that oscillates a continuous wave is preferably used, and a light source that oscillates pulse light such as ultrashort pulse light may be used. As a light source that oscillates pulsed light, a unit that combines a light source that outputs pulsed light, an optical shutter, or an AOM (Acousto-Optic Modulator) for pulse modulation may be used. The light source 11 may be configured to output the excitation light L1 including a plurality of wavelength ranges. In this case, a part of the wavelength of the excitation light L1 may be selectively transmitted by an optical filter such as an acousto-optic tunable filter.
コリメータレンズ１２は、光源１１から出力された励起光Ｌ１を平行化し、平行化された励起光Ｌ１を出力する。光走査部１３は、コリメータレンズ１２から出力された励起光Ｌ１の進行方向を変更することで、励起光Ｌ１を試料Ｓに対して走査する光スキャナである。これにより、第１の光学系１５及び第１の対物レンズ１６を介して試料Ｓに照射される励起光Ｌ１の照射位置が、第１の対物レンズ１６の光軸（励起光Ｌ１の光軸）と直交する方向に沿って試料Ｓの表面上で走査される。光走査部１３は、例えば、ガルバノミラー、レゾナントスキャナ、ポリゴンミラー、ＭＥＭＳ（Micro Electro Mechanical System）ミラー、又はＡＯＭ，ＡＯＤ（Acousto-Optic Deflector）等の音響光学素子等である。 The collimator lens 12 collimates the excitation light L1 output from the light source 11, and outputs the collimated excitation light L1. The optical scanning unit 13 is an optical scanner that scans the sample S with the excitation light L1 by changing the traveling direction of the excitation light L1 output from the collimator lens 12. Thereby, the irradiation position of the excitation light L1 irradiating the sample S via the first optical system 15 and the first objective lens 16 is adjusted to the optical axis of the first objective lens 16 (the optical axis of the excitation light L1). Is scanned on the surface of the sample S along a direction orthogonal to The optical scanning unit 13 is, for example, an acousto-optic device such as a galvanometer mirror, a resonant scanner, a polygon mirror, a MEMS (Micro Electro Mechanical System) mirror, or an AOM or an AOD (Acousto-Optic Deflector).
ＳＬＭ１４は、二次元に配列された複数の画素を有し、光源１１から出力された励起光Ｌ１の位相を当該複数の画素毎に変調する位相変調型の空間光変調器である。ＳＬＭ１４は、光走査部１３から入射された励起光Ｌ１を変調し、変調された励起光Ｌ１を第１の光学系１５に向けて出力する（第１のステップ）。ＳＬＭ１４は、例えば透過型又は反射型に構成されている。図１では、透過型のＳＬＭ１４が示されている。ＳＬＭ１４は、例えば、屈折率変化材料型ＳＬＭ（例えば、ＬＣＯＳ（Liquid Crystal on Silicon）型ＳＬＭ、ＬＣＤ（LiquidCrystalDisplay））、可変鏡型ＳＬＭ（例えば、Segment Mirror型ＳＬＭ、Continuous Deformable Mirror型ＳＬＭ）、又は電気アドレス型液晶素子若しくは光アドレス型液晶素子を用いたＳＬＭ等である。ＳＬＭ１４は、制御部２１のコントローラ２３に電気的に接続されており、空間光変調ユニットを構成している。ＳＬＭ１４は、コントローラ２３によりその駆動が制御される。制御部２１によるＳＬＭ１４の制御の詳細については後述する。 The SLM 14 is a phase modulation type spatial light modulator that has a plurality of pixels arranged two-dimensionally and modulates the phase of the excitation light L1 output from the light source 11 for each of the plurality of pixels. The SLM 14 modulates the excitation light L1 incident from the optical scanning unit 13, and outputs the modulated excitation light L1 to the first optical system 15 (first step). The SLM 14 is configured, for example, as a transmission type or a reflection type. FIG. 1 shows a transmission type SLM 14. The SLM 14 is, for example, a refractive index changing material type SLM (for example, LCOS (Liquid Crystal on Silicon) type SLM, LCD (Liquid Crystal Display)), a variable mirror type SLM (for example, Segment Mirror type SLM, Continuous Deformable Mirror type SLM), or It is an SLM using an electric address type liquid crystal element or an optical address type liquid crystal element. The SLM 14 is electrically connected to the controller 23 of the control unit 21 and forms a spatial light modulation unit. The drive of the SLM 14 is controlled by the controller 23. Details of the control of the SLM 14 by the control unit 21 will be described later.
第１の光学系１５は、ＳＬＭ１４から出力された励起光Ｌ１が第１の対物レンズ１６に導光されるように、ＳＬＭ１４と第１の対物レンズ１６とを光学的に結合している。ここでの第１の光学系１５は、ＳＬＭ１４からの励起光Ｌ１を第１の対物レンズ１６の瞳で集光させるレンズ１５ａを有し、両側テレセントリック光学系を構成している。 The first optical system 15 optically couples the SLM 14 and the first objective lens 16 so that the excitation light L1 output from the SLM 14 is guided to the first objective lens 16. The first optical system 15 here has a lens 15a for condensing the excitation light L1 from the SLM 14 at the pupil of the first objective lens 16, and forms a double-sided telecentric optical system.
第１の対物レンズ１６は、照明用の対物レンズであり、ＳＬＭ１４で変調された励起光Ｌ１を試料Ｓに照射する（第２のステップ）。第１の対物レンズ１６は、ピエゾアクチュエータ又はステッピングモータ等の駆動素子により、その光軸に沿って移動可能となっている。これにより、励起光Ｌ１の集光位置が調整可能となっている。 The first objective lens 16 is an illumination objective lens, and irradiates the sample S with the excitation light L1 modulated by the SLM 14 (second step). The first objective lens 16 is movable along its optical axis by a driving element such as a piezo actuator or a stepping motor. Thereby, the focus position of the excitation light L1 can be adjusted.
第２の対物レンズ１７は、検出用の対物レンズであり、第１の対物レンズ１６からの励起光Ｌ１の照射に伴って試料Ｓから発せられる検出光Ｌ２を光検出器２０側に導光する。この例では、第２の対物レンズ１７は、その光軸（検出光Ｌ２の光軸）と第１の対物レンズ１６の光軸とが直交（交差）するように、配置されている。第２の対物レンズ１７は、ピエゾアクチュエータ又はステッピングモータ等の駆動素子により、その光軸に沿って移動可能となっている。これにより、第２の対物レンズ１７の焦点位置が調整可能となっている。 The second objective lens 17 is a detection objective lens, and guides the detection light L2 emitted from the sample S along with the irradiation of the excitation light L1 from the first objective lens 16 to the photodetector 20 side. . In this example, the second objective lens 17 is arranged so that its optical axis (the optical axis of the detection light L2) and the optical axis of the first objective lens 16 are orthogonal (cross). The second objective lens 17 is movable along its optical axis by a driving element such as a piezo actuator or a stepping motor. Thereby, the focal position of the second objective lens 17 can be adjusted.
フィルタ１８は、第２の対物レンズ１７により導光された光から励起光Ｌ１と検出光Ｌ２とを分離し、抽出された検出光Ｌ２を光検出器２０側に出力するための光学フィルタである。フィルタ１８は、第２の対物レンズ１７と光検出器２０との間の光路上に配置されている。第２の光学系１９は、第２の対物レンズ１７から出力された検出光Ｌ２が光検出器２０に導光されるように、第２の対物レンズ１７と光検出器２０とを光学的に結合している。第２の光学系１９は、第２の対物レンズ１７からの検出光Ｌ２を光検出器２０の受光面２０ａ（図２）で結像させるレンズ１９ａを有している。 The filter 18 is an optical filter that separates the excitation light L1 and the detection light L2 from the light guided by the second objective lens 17, and outputs the extracted detection light L2 to the photodetector 20 side. . The filter 18 is arranged on an optical path between the second objective lens 17 and the light detector 20. The second optical system 19 optically couples the second objective lens 17 and the photodetector 20 so that the detection light L2 output from the second objective lens 17 is guided to the photodetector 20. Are combined. The second optical system 19 has a lens 19a that forms an image of the detection light L2 from the second objective lens 17 on a light receiving surface 20a (FIG. 2) of the photodetector 20.
光検出器２０は、第２の対物レンズ１７により導光されて受光面２０ａで結像された検出光Ｌ２を撮像する（第３のステップ）。光検出器２０は、複数の画素列を有し、複数の画素列毎のローリング読み出しが可能な二次元撮像素子である。そのような光検出器２０としては、例えば、ＣＭＯＳイメージセンサ等が挙げられる。図２（ａ）に示されるように、光検出器２０の受光面２０ａには、読み出し方向に垂直な方向に複数の画素が配列されてなる画素列Ｒが、読み出し方向に複数配列されている。 The photodetector 20 captures the detection light L2 guided by the second objective lens 17 and formed on the light receiving surface 20a (third step). The photodetector 20 is a two-dimensional image pickup device having a plurality of pixel columns and capable of performing rolling reading for each of the plurality of pixel columns. As such a photodetector 20, for example, a CMOS image sensor or the like is cited. As shown in FIG. 2A, a plurality of pixel rows R in which a plurality of pixels are arranged in a direction perpendicular to the reading direction are arranged on the light receiving surface 20a of the photodetector 20 in the reading direction. .
光検出器２０では、図２（ｂ）に示すように、駆動クロックの駆動周期に基づいて、リセット信号、読み出し開始信号が入力されることで、画素列Ｒ毎に露光及び読み出しが制御される。ローリング読み出しでは、画素列Ｒ毎に読み出し開始信号が所定の時間差で順次入力される。このため、全ての画素列の読み出しを同時に行うグローバル読み出しとは異なり、画素列Ｒ毎の読み出しが所定の時間差をもって順次行われる。 In the photodetector 20, as shown in FIG. 2B, the reset signal and the read start signal are input based on the drive cycle of the drive clock, so that exposure and read are controlled for each pixel row R. . In the rolling readout, a readout start signal is sequentially input for each pixel row R with a predetermined time difference. Therefore, unlike global reading in which reading of all pixel columns is performed simultaneously, reading for each pixel column R is sequentially performed with a predetermined time difference.
制御部２１は、プロセッサ及びメモリ等を含むコンピュータ２２及びプロセッサ及びメモリ等を含むコントローラ２３により構成されている。コンピュータ２２は、例えば、パーソナルコンピュータあるいはスマートデバイスであり、プロセッサにより、光走査部１３、第１の対物レンズ１６、第２の対物レンズ１７、光検出器２０、及びコントローラ２３等の動作を制御し、各種の制御を実行する。例えば、コンピュータ２２は、光走査部１３による励起光Ｌ１の走査と、光検出器２０による検出光Ｌ２の撮像とのタイミングとを同期させるための制御を行う。具体的には、光走査部１３による励起光Ｌ１の走査に応じて光検出器２０で検出される検出光Ｌ２も移動する。そのため、コンピュータ２２は、光検出器２０における検出光Ｌ２の移動に合わせて、ローリング読み出しによる信号読み出しが行われるように光検出器２０あるいは光走査部１３を制御する。 The control unit 21 includes a computer 22 including a processor and a memory and a controller 23 including a processor and a memory. The computer 22 is, for example, a personal computer or a smart device, and controls the operations of the optical scanning unit 13, the first objective lens 16, the second objective lens 17, the photodetector 20, the controller 23, and the like by a processor. And execute various controls. For example, the computer 22 performs control for synchronizing the timing of scanning the excitation light L1 by the optical scanning unit 13 and the timing of imaging the detection light L2 by the photodetector 20. Specifically, the detection light L2 detected by the photodetector 20 also moves according to the scanning of the excitation light L1 by the light scanning unit 13. Therefore, the computer 22 controls the photodetector 20 or the optical scanning unit 13 so that the signal reading by the rolling reading is performed in accordance with the movement of the detection light L2 in the photodetector 20.
コントローラ２３は、コンピュータ２２と電気的に接続され、図３に示されるような二次元の位相パターンＰに従ってＳＬＭ１４における複数の画素毎の位相変調量を制御する。位相パターンＰは、二次元平面上の位置に関する位相値のパターンであり、位相パターンＰにおける各位置は、ＳＬＭ１４の複数の画素に対応している。位相パターンＰの位相値は、０〜２πラジアンの間で規定されている。図３では、色の濃さによって位相パターンＰの各部における位相値が表されている。なお、位相パターンＰの位相値の上限は、２πラジアンよりも大きくてもよい。 The controller 23 is electrically connected to the computer 22 and controls the amount of phase modulation for each of a plurality of pixels in the SLM 14 according to a two-dimensional phase pattern P as shown in FIG. The phase pattern P is a pattern of phase values related to positions on a two-dimensional plane, and each position in the phase pattern P corresponds to a plurality of pixels of the SLM 14. The phase value of the phase pattern P is defined between 0 and 2π radians. In FIG. 3, the phase value in each part of the phase pattern P is represented by the color density. Note that the upper limit of the phase value of the phase pattern P may be larger than 2π radian.
コントローラ２３は、ＳＬＭ１４の各画素について、位相パターンＰにおける当該画素に対応する位置の位相値に従って当該画素の位相変調量を制御する。具体的には、例えば、コントローラ２３内には、ＤＶＩ（Digital Video Interface）等のデジタルデータとして入力される位相パターンＰの位相値を各画素に印加される駆動電圧値に変換するＤ／Ａ変換部（デジタル／アナログ変換器）が設けられている。コンピュータ２２からコントローラ２３に位相パターンＰが入力されると、コントローラ２３は、Ｄ／Ａ変換部により位相パターンＰの位相値を駆動電圧値に変換し、ＳＬＭ１４に駆動電圧値を入力する。ＳＬＭ１４は、入力された駆動電圧値に応じて各画素に電圧を印加する。なお、例えば、ＳＬＭ１４がＤ／Ａ変換部を有し、コントローラ２３が位相パターンＰに応じたデジタルデータをＳＬＭ１４に入力してもよい。この場合、ＳＬＭ１４のＤ／Ａ変換部で位相パターンＰの位相値を駆動電圧値に変換する。また、Ｄ／Ａ変換を行わず、ＳＬＭ１４がコントローラ２３から出力されたデジタル信号に基づいて各画素に印加される電圧値を制御してもよい。 The controller 23 controls the amount of phase modulation of each pixel of the SLM 14 according to the phase value at the position corresponding to the pixel in the phase pattern P. Specifically, for example, the controller 23 converts the phase value of the phase pattern P input as digital data such as DVI (Digital Video Interface) into a drive voltage value applied to each pixel. Unit (digital / analog converter) is provided. When the phase pattern P is input from the computer 22 to the controller 23, the controller 23 converts the phase value of the phase pattern P into a drive voltage value by the D / A converter, and inputs the drive voltage value to the SLM 14. The SLM 14 applies a voltage to each pixel according to the input drive voltage value. Note that, for example, the SLM 14 may have a D / A converter, and the controller 23 may input digital data corresponding to the phase pattern P to the SLM 14. In this case, the D / A converter of the SLM 14 converts the phase value of the phase pattern P into a drive voltage value. Further, the SLM 14 may control the voltage value applied to each pixel based on the digital signal output from the controller 23 without performing the D / A conversion.
位相パターンＰは、制御部２１のコンピュータ２２により、所定の基本位相パターン３１に基づいて算出される。基本位相パターン３１は、例えば、コンピュータ２２のメモリに予め記憶されている。基本位相パターン３１に基づいて算出された位相パターンＰに従ってＳＬＭ１４で励起光Ｌ１を変調することで、第１の対物レンズ１６からシート状の励起光Ｌ１を照射することが可能となる。後述するように、位相パターンＰは、基本位相パターン３１に他のパターンを更に重畳することで算出される場合もあるが、以下では、基本位相パターン３１がそのまま位相パターンＰとして用いられる場合について説明する。 The phase pattern P is calculated by the computer 22 of the control unit 21 based on a predetermined basic phase pattern 31. The basic phase pattern 31 is stored in the memory of the computer 22 in advance, for example. By modulating the excitation light L1 with the SLM 14 according to the phase pattern P calculated based on the basic phase pattern 31, the first objective lens 16 can emit the sheet-like excitation light L1. As will be described later, the phase pattern P may be calculated by further superimposing another pattern on the basic phase pattern 31. Hereinafter, a case where the basic phase pattern 31 is used as the phase pattern P as it is will be described. I do.
図３に示されるように、基本位相パターン３１は、矩形状の範囲内に設定されている。基本位相パターン３１は、所定の方向Ｄ１に沿って連続的に位相値が増加する矩形状の第１の領域３２と、方向Ｄ１において第１の領域３２と対向し、方向Ｄ１に沿って連続的に位相値が減少する矩形状の第２の領域３３と、を有している。すなわち、第１の領域３２と第２の領域３３とでは、位相値が増減する方向が互いに反対になっている。なお、ある領域において「連続的に位相値が増加する」とは、当該領域の全体に亘って位相値が途切れることなく連続していることを意味する。また、位相値が０ラジアンである場合と位相値が２πラジアンである場合とは同じ状態を意味しており、位相値が０ラジアンと２πラジアンとの間を跨いで変化したとしても位相値は連続している。 As shown in FIG. 3, the basic phase pattern 31 is set within a rectangular range. The basic phase pattern 31 is a rectangular first region 32 whose phase value continuously increases along a predetermined direction D1, and faces the first region 32 in the direction D1 and is continuous along the direction D1. And a rectangular second region 33 whose phase value decreases. That is, the directions in which the phase value increases and decreases in the first region 32 and the second region 33 are opposite to each other. Note that “continuously increasing the phase value” in a certain region means that the phase value is continuous without interruption over the entire region. Also, the case where the phase value is 0 radian and the case where the phase value is 2π radian mean the same state. Even if the phase value changes between 0 radian and 2π radian, the phase value is It is continuous.
第１の領域３２では、位相値は方向Ｄ１に沿って直線的に増加している。第２の領域３３では、位相値は方向Ｄ１に沿って直線的に減少している。第１の領域３２及び第２の領域３３のいずれにおいても、位相値は２πラジアンだけ変化している。すなわち、第１の領域３２における位相値の傾き（増加の割合）の絶対値と第２の領域３３における位相値の傾き（減少の割合）の絶対値とは、等しくなっている。第１の領域３２及び第２の領域３３のいずれにおいても、方向Ｄ１と直交する方向Ｄ２に沿っては、位相値が一定となっている。第１の領域３２と第２の領域３３とは、互いに隣接し、その境界において位相値が連続している。この例では、境界における位相値は０ラジアンとなっている。基本位相パターン３１は、方向Ｄ１における中心を通り且つ方向Ｄ１と直交する直線（中心線）Ｃに関して線対称となっている。この例では、第１の領域３２と第２の領域３３の境界は中心線Ｃ上に位置している。 In the first region 32, the phase value increases linearly along the direction D1. In the second region 33, the phase value decreases linearly along the direction D1. In both the first region 32 and the second region 33, the phase value changes by 2π radians. That is, the absolute value of the slope (rate of increase) of the phase value in the first area 32 is equal to the absolute value of the slope (rate of decrease) of the phase value in the second area 33. In both the first region 32 and the second region 33, the phase value is constant along a direction D2 orthogonal to the direction D1. The first region 32 and the second region 33 are adjacent to each other, and have continuous phase values at the boundary. In this example, the phase value at the boundary is 0 radian. The basic phase pattern 31 is line-symmetric with respect to a straight line (center line) C passing through the center in the direction D1 and orthogonal to the direction D1. In this example, the boundary between the first area 32 and the second area 33 is located on the center line C.
図４は、基本位相パターン３１に従ってＳＬＭ１４で励起光Ｌ１が変調されることでシート状の励起光Ｌ１が生成される様子を説明する概念図である。図４（ａ）は、方向Ｄ２に対応する方向ｄ２から見た場合の励起光Ｌ１の光路を示す図であり、図４（ｂ）は、方向Ｄ１に対応する方向ｄ１から見た場合の励起光Ｌ１の光路を示す図である。図４（ａ）では、第１の領域３２に入射する励起光Ｌ１の光路の例として、第１の対物レンズ１６の光軸Ｘからの距離が小さい順に３つの励起光Ａ１，Ｂ１，Ｃ１が示されている。また、第２の領域３３に入射する励起光Ｌ１の光路の例として、光軸Ｘからの距離が小さい順に３つの励起光Ａ２，Ｂ２，Ｃ２が示されている。 FIG. 4 is a conceptual diagram illustrating a state in which the excitation light L1 is modulated by the SLM 14 according to the basic phase pattern 31 to generate the sheet-like excitation light L1. FIG. 4A is a diagram illustrating an optical path of the excitation light L1 when viewed from the direction d2 corresponding to the direction D2, and FIG. 4B is a diagram illustrating the excitation when viewed from the direction d1 corresponding to the direction D1. It is a figure showing an optical path of light L1. In FIG. 4A, as an example of the optical path of the excitation light L1 incident on the first area 32, three excitation lights A1, B1, and C1 are arranged in ascending order from the optical axis X of the first objective lens 16. It is shown. Further, as an example of the optical path of the excitation light L1 incident on the second region 33, three excitation lights A2, B2, and C2 are shown in ascending order from the optical axis X.
図４（ａ）に示されるように、励起光Ａ１，Ａ２は、ＳＬＭ１４でその位相が所定量だけ遅らせられ、光軸Ｘ上で結像される。励起光Ｂ１，Ｂ２では、ＳＬＭ１４での位相の遅れ量が励起光Ａ１，Ａ２よりも大きくなる。そのため、励起光Ｂ１，Ｂ２は、励起光Ａ１，Ａ２よりも第１の対物レンズ１６から遠い位置の光軸Ｘ上で結像される。励起光Ｃ１，Ｃ２では、ＳＬＭ１４での位相の遅れ量が励起光Ａ１，Ａ２よりも小さくなり、位相はＳＬＭ１４でほぼ変化しない。そのため、励起光Ｃ１，Ｃ２は、励起光Ａ１，Ａ２よりも第１の対物レンズ１６に近い位置の光軸Ｘ上で結像される。 As shown in FIG. 4A, the phases of the excitation lights A1 and A2 are delayed by a predetermined amount in the SLM 14, and are imaged on the optical axis X. In the pumping lights B1 and B2, the amount of phase delay in the SLM 14 is larger than the pumping lights A1 and A2. Therefore, the excitation lights B1 and B2 are imaged on the optical axis X at a position farther from the first objective lens 16 than the excitation lights A1 and A2. In the pumping lights C1 and C2, the phase lag amount in the SLM 14 is smaller than that in the pumping lights A1 and A2, and the phase hardly changes in the SLM 14. Therefore, the excitation lights C1 and C2 are imaged on the optical axis X at a position closer to the first objective lens 16 than the excitation lights A1 and A2.
図４（ｂ）に示されるように、方向ｄ１から見た場合には、励起光Ｌ１の位相はＳＬＭ１４で変化しない。以上より、所定の結像位置Ｙ１にシート状の励起光Ｌ１が生成される。この例では、このシート状の励起光Ｌ１は、その幅方向が方向ｄ２に沿うように、光軸Ｘ上に生成される。 As shown in FIG. 4B, when viewed from the direction d1, the phase of the pump light L1 does not change in the SLM 14. As described above, the sheet-like excitation light L1 is generated at the predetermined imaging position Y1. In this example, the sheet-like excitation light L1 is generated on the optical axis X such that the width direction thereof is along the direction d2.
以上説明したように、ライトシート顕微鏡１では、方向Ｄ１に沿って連続的に位相値が増加する第１の領域３２と、方向Ｄ１に沿って連続的に位相値が減少する第２の領域３３と、を有する基本位相パターン３１に基づいて位相パターンＰが算出される。この位相パターンＰに従ってＳＬＭ１４で励起光を変調することで、第１の対物レンズ１６から試料Ｓに対してシート状の励起光Ｌ１を照射することが可能となる。したがって、従来技術のようにシート状の励起光Ｌ１を生成するためにベッセルビームの集光点を走査する必要がなく、当該走査のための光学素子等を省略することができる。よって、このライトシート顕微鏡１によれば、簡易な構成でシート状の励起光Ｌ１を生成することができる。さらに、従来技術のようにシート状の励起光Ｌ１を生成するためにベッセルビームの集光点を走査する必要がないため、制御を容易化することができる共に、画像取得に要する時間を短縮することができる。 As described above, in the light sheet microscope 1, the first region 32 in which the phase value continuously increases along the direction D1 and the second region 33 in which the phase value continuously decreases along the direction D1. Are calculated based on the basic phase pattern 31 having the following. By modulating the excitation light with the SLM 14 according to the phase pattern P, the sample S can be irradiated from the first objective lens 16 onto the sample S with the sheet-like excitation light L1. Therefore, unlike the related art, it is not necessary to scan the focal point of the Bessel beam in order to generate the sheet-like excitation light L1, and an optical element or the like for the scan can be omitted. Therefore, according to the light sheet microscope 1, the sheet-like excitation light L1 can be generated with a simple configuration. Further, since it is not necessary to scan the focal point of the Bessel beam in order to generate the sheet-like excitation light L1 as in the related art, control can be facilitated and the time required for image acquisition can be shortened. be able to.
ライトシート顕微鏡１においては、第１の領域３２では、位相値は方向Ｄ１に沿って直線的に増加し、第２の領域３３では、位相値は方向Ｄ１に沿って直線的に減少している。これにより、基本位相パターン３１が単純化されるため、複雑な光学素子等を用いることなく、一層簡易な構成でシート状の励起光Ｌ１を生成することができる。すなわち、第１の領域３２及び第２の領域３３の少なくとも一方において位相値が方向Ｄ１に沿って直線的に増加していない場合、シート状の励起光Ｌ１を生成するための第１の光学系１５又は第１の対物レンズ１６等の光学系の構成が複雑化してしまうおそれがある。対して、ライトシート顕微鏡１においては、第１の領域３２及び第２の領域３３のいずれにおいても位相値が方向Ｄ１に沿って直線的に増加しているため、シート状の励起光Ｌ１を生成するための光学系の構成を簡易化することができる。 In the light sheet microscope 1, in the first region 32, the phase value increases linearly along the direction D1, and in the second region 33, the phase value decreases linearly along the direction D1. . This simplifies the basic phase pattern 31, so that the sheet-like excitation light L1 can be generated with a simpler configuration without using a complicated optical element or the like. That is, when the phase value does not linearly increase along the direction D1 in at least one of the first region 32 and the second region 33, the first optical system for generating the sheet-like excitation light L1 There is a possibility that the configuration of the optical system such as the first objective lens 16 or the first objective lens 16 becomes complicated. On the other hand, in the light sheet microscope 1, since the phase value linearly increases along the direction D1 in both the first region 32 and the second region 33, the sheet-like excitation light L1 is generated. In this case, the configuration of the optical system can be simplified.
ライトシート顕微鏡１では、基本位相パターン３１が直線Ｃに関して線対称となっている。これにより、シート状の励起光Ｌ１を第１の対物レンズ１６の光軸Ｘ上に生成することができる。よって、第１の対物レンズ１６及び第２の対物レンズ１７の光軸調整が容易になる。 In the light sheet microscope 1, the basic phase pattern 31 is line-symmetric with respect to the straight line C. Thereby, the sheet-like excitation light L1 can be generated on the optical axis X of the first objective lens 16. Therefore, the optical axes of the first objective lens 16 and the second objective lens 17 can be easily adjusted.
ライトシート顕微鏡１では、第１の領域３２と第２の領域３３とが互いに隣接し、その境界において位相値が連続している。これにより、基本位相パターン３１が単純化されるため、複雑な光学素子等を用いることなく、一層簡易な構成でシート状の励起光Ｌ１を生成することができる。 In the light sheet microscope 1, the first region 32 and the second region 33 are adjacent to each other, and the phase value is continuous at the boundary. This simplifies the basic phase pattern 31, so that the sheet-like excitation light L1 can be generated with a simpler configuration without using a complicated optical element or the like.
ライトシート顕微鏡１では、励起光Ｌ１を試料Ｓに対して走査する光走査部１３を備えているため、第１の対物レンズ１６から照射される励起光Ｌ１の照射位置を試料Ｓに対して走査することができる。 Since the light sheet microscope 1 includes the optical scanning unit 13 that scans the sample S with the excitation light L1, the irradiation position of the excitation light L1 emitted from the first objective lens 16 is scanned with respect to the sample S. can do.
ライトシート顕微鏡１では、光検出器２０が、複数の画素列Ｒを有し、ローリング読み出しが可能な二次元撮像素子である。これにより、グローバル読み出しが可能な二次元撮像素子を用いる場合に比べて、Ｓ／Ｎを向上させることができる。 In the light sheet microscope 1, the photodetector 20 is a two-dimensional image sensor having a plurality of pixel rows R and capable of rolling reading. Thereby, the S / N can be improved as compared with the case where a two-dimensional image sensor capable of global reading is used.
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限られない。例えば、図５に示される第１の変形例の基本位相パターン３１Ａが用いられてもよい。基本位相パターン３１Ａの第２の領域３３Ａでは、位相値が方向Ｄ１に沿って直線的に４πラジアンだけ減少している。すなわち、第１の領域３２における位相値の傾きの絶対値と第２の領域３３Ａにおける傾きの絶対値とが異なっている。基本位相パターン３１Ａは、中心線Ｃに関して非線対称となっている。この例でも、第１の領域３２と第２の領域３３Ａの境界は中心線Ｃ上に位置している。 The preferred embodiment of the present invention has been described above, but the present invention is not limited to the above embodiment. For example, the basic phase pattern 31A of the first modified example shown in FIG. 5 may be used. In the second region 33A of the basic phase pattern 31A, the phase value decreases linearly by 4π radians along the direction D1. That is, the absolute value of the slope of the phase value in the first area 32 is different from the absolute value of the slope in the second area 33A. The basic phase pattern 31A is non-linearly symmetric with respect to the center line C. Also in this example, the boundary between the first region 32 and the second region 33A is located on the center line C.
このような基本位相パターン３１Ａが用いられた場合でも、図６に示されるように、基本位相パターン３１Ａに従ってＳＬＭ１４で励起光Ｌ１が変調されることでシート状の励起光Ｌ１が生成される。この場合、図６（ａ）に示されるように、第２の領域３３Ａに入射する励起光Ａ２では、ＳＬＭ１４での位相の遅れ量が第１の領域３２に入射する励起光Ａ１よりも大きくなる。同様に、励起光Ｂ２では、ＳＬＭ１４での位相の遅れ量が励起光Ｂ１よりも大きくなり、励起光Ｃ２では、ＳＬＭ１４での位相の遅れ量が励起光Ｃ１よりも大きくなる。これにより、上記実施形態の場合の結像位置Ｙ１よりも第１の対物レンズ１６から遠い結像位置Ｙ２にシート状の励起光Ｌ１が生成される。このシート状の励起光Ｌ１は、光軸Ｘ上とは異なる位置に生成される。 Even when such a basic phase pattern 31A is used, as shown in FIG. 6, the excitation light L1 is modulated by the SLM 14 according to the basic phase pattern 31A, thereby generating the sheet-like excitation light L1. In this case, as shown in FIG. 6A, in the pumping light A2 incident on the second region 33A, the amount of phase lag at the SLM 14 becomes larger than that of the pumping light A1 incident on the first region 32. . Similarly, in the pumping light B2, the phase delay amount in the SLM 14 is larger than the pumping light B1, and in the pumping light C2, the phase delay amount in the SLM 14 is larger than the pumping light C1. As a result, the sheet-like excitation light L1 is generated at an imaging position Y2 farther from the first objective lens 16 than the imaging position Y1 in the case of the above embodiment. The sheet-like excitation light L1 is generated at a position different from the position on the optical axis X.
このように、第１の変形例によっても、上記実施形態の場合と同様に、第１の対物レンズ１６から試料Ｓに対してシート状の励起光Ｌ１を照射することが可能となり、簡易な構成でシート状の励起光Ｌ１を生成することができる。また、第１の変形例では、基本位相パターン３１が直線Ｃに関して非線対称となっているため、シート状の励起光Ｌ１を第１の対物レンズ１６の光軸Ｘ上とは異なる位置に生成することができる。 As described above, according to the first modified example, similarly to the above-described embodiment, it is possible to irradiate the sample S with the sheet-like excitation light L1 from the first objective lens 16 and have a simple configuration. Thus, the sheet-like excitation light L1 can be generated. In the first modification, since the basic phase pattern 31 is non-linearly symmetric with respect to the straight line C, the sheet-like excitation light L1 is generated at a position different from the position on the optical axis X of the first objective lens 16. can do.
また、図７に示される第２の変形例の基本位相パターン３１Ｂ、第３の変形例の基本位相パターン３１Ｃ、又は第４の変形例の基本位相パターン３１Ｄが用いられてもよい。基本位相パターン３１Ｂの第１の領域３３Ｂでは、位相値が方向Ｄ１に沿って直線的に４πラジアンだけ増加している。すなわち、第１の領域３２Ｂにおける位相値の傾きの絶対値と第２の領域３３Ａにおける位相値の傾きの絶対値とが等しくなっている。 Further, the basic phase pattern 31B of the second modification, the basic phase pattern 31C of the third modification, or the basic phase pattern 31D of the fourth modification shown in FIG. 7 may be used. In the first region 33B of the basic phase pattern 31B, the phase value linearly increases by 4π radians along the direction D1. That is, the absolute value of the slope of the phase value in the first area 32B is equal to the absolute value of the slope of the phase value in the second area 33A.
基本位相パターン３１Ｃでは、第１の領域３２と第２の領域３３との方向Ｄ１における位置関係が上記実施形態の場合とは逆になっている。すなわち、上述した基本位相パターン３１においては、第１の領域３２では、境界（中心線Ｃ）からの距離が大きくなるほど位相値が増加し、第２の領域３３では、境界からの距離が小さくなるほど位相値が減少していたのに対し、基本位相パターン３１Ｃにおいては、第１の領域３２では、境界からの距離が小さくなるほど位相値が増加し、第２の領域３３では、境界からの距離が大きくなるほど位相値が減少している。 In the basic phase pattern 31C, the positional relationship between the first region 32 and the second region 33 in the direction D1 is opposite to that in the above embodiment. That is, in the above-described basic phase pattern 31, in the first region 32, the phase value increases as the distance from the boundary (center line C) increases, and in the second region 33, the phase value increases as the distance from the boundary decreases. While the phase value has decreased, in the basic phase pattern 31C, in the first region 32, the phase value increases as the distance from the boundary decreases, and in the second region 33, the distance from the boundary increases. As the value increases, the phase value decreases.
基本位相パターン３１Ｄでは、上記第３の変形例と同様に、第１の領域３２Ｄと第２の領域３３Ｄとの方向Ｄ１における位置関係が上記実施形態の場合と逆になっている。さらに、基本位相パターン３１Ｄにおいては、第１の領域３２Ｄでは、位相値が方向Ｄ１に沿って直線的に４πラジアンだけ増加し、第２の領域３３Ｄでは、位相値が方向Ｄ１に沿って直線的に４πラジアンだけ減少している。基本位相パターン３１Ｂ〜３１Ｄは、中心線Ｃに関して線対称となっている。基本位相パターン３１Ｂ〜３１Ｄでも、第１の領域３２と第２の領域３３Ａの境界は中心線Ｃ上に位置している。 In the basic phase pattern 31D, similarly to the third modification, the positional relationship between the first region 32D and the second region 33D in the direction D1 is opposite to that in the above embodiment. Further, in the basic phase pattern 31D, in the first region 32D, the phase value linearly increases by 4π radians along the direction D1, and in the second region 33D, the phase value increases linearly along the direction D1. Π radian. The basic phase patterns 31B to 31D are line-symmetric with respect to the center line C. Also in the basic phase patterns 31B to 31D, the boundary between the first region 32 and the second region 33A is located on the center line C.
これらの基本位相パターン３１Ｂ〜３１Ｄが用いられた場合でも、上記実施形態の場合と同様に、第１の対物レンズ１６から試料Ｓに対してシート状の励起光Ｌ１を照射することが可能となり、簡易な構成でシート状の励起光Ｌ１を生成することができる。 Even when these basic phase patterns 31B to 31D are used, it becomes possible to irradiate the sample S with the sheet-like excitation light L1 from the first objective lens 16, as in the case of the above embodiment, The sheet-like excitation light L1 can be generated with a simple configuration.
また、図８に示されるように、回折格子状の回折格子パターン４１を基本位相パターン３１に重畳することで位相パターンＰが算出されてもよい。回折格子パターン４１は、方向Ｄ２において回折格子状をなしている。また、図９に示されるように、例えばフレネルレンズ等のレンズ状のレンズパターン４２を基本位相パターン３１に重畳することで位相パターンＰが算出されてもよい。なお、回折格子パターン４１又はレンズパターン４２を基本位相パターン３１Ａ〜３１Ｃに重畳することで位相パターンＰが算出されてもよい。 In addition, as shown in FIG. 8, the phase pattern P may be calculated by superimposing a diffraction grating pattern 41 having a diffraction grating shape on the basic phase pattern 31. The diffraction grating pattern 41 has a diffraction grating shape in the direction D2. Further, as shown in FIG. 9, the phase pattern P may be calculated by superimposing a lens-shaped lens pattern 42 such as a Fresnel lens on the basic phase pattern 31. Note that the phase pattern P may be calculated by superimposing the diffraction grating pattern 41 or the lens pattern 42 on the basic phase patterns 31A to 31C.
これらの場合でも、上記実施形態の場合と同様に、第１の対物レンズ１６から試料Ｓに対してシート状の励起光Ｌ１を照射することが可能となり、簡易な構成でシート状の励起光Ｌ１を生成することができる。また、回折格子又はレンズ素子を設けることなく、励起光の位相を回折格子状又はレンズ状とすることができる。そのため、より一層簡易な構成でシート状の励起光Ｌ１を生成することができる。 Also in these cases, the sheet-like excitation light L1 can be irradiated from the first objective lens 16 to the sample S similarly to the case of the above-described embodiment, and the sheet-like excitation light L1 can be irradiated with a simple configuration. Can be generated. Further, the phase of the excitation light can be made to be a diffraction grating or a lens without providing a diffraction grating or a lens element. Therefore, the sheet-like excitation light L1 can be generated with a simpler configuration.
また、図１０に示される第５の変形例のライトシート顕微鏡１Ｄのように構成されてもよい。ライトシート顕微鏡１Ｄは、テレスコープ光学系を構成する第１の光学系１５Ｄを備える点で上記実施形態のライトシート顕微鏡１と相違する。この第１の光学系１５Ｄは、ＳＬＭ１４からの励起光Ｌ１を第１の対物レンズ１６の瞳で集光させる２つのレンズ１５Ｄａ，１５Ｄｂを有し、テレスコープ光学系を構成している。このようなテレスコープ光学系としては、４ｆ光学系、ケプラー型光学系、又はガリレオ型光学系等が挙げられる。 Further, it may be configured as a light sheet microscope 1D according to a fifth modified example shown in FIG. The light sheet microscope 1D differs from the light sheet microscope 1 of the above embodiment in that the light sheet microscope 1D includes a first optical system 15D constituting a telescope optical system. The first optical system 15D has two lenses 15Da and 15Db for condensing the excitation light L1 from the SLM 14 at the pupil of the first objective lens 16, and forms a telescope optical system. Examples of such a telescope optical system include a 4f optical system, a Kepler-type optical system, and a Galileo-type optical system.
このようなライトシート顕微鏡１Ｄによっても、図１１に示されるように、基本位相パターン３１に従ってＳＬＭ１４で励起光Ｌ１が変調されることでシート状の励起光Ｌ１が生成される。このように、第５の変形例によっても、上記実施形態の場合と同様に、第１の対物レンズ１６から試料Ｓに対してシート状の励起光Ｌ１を照射することが可能となり、簡易な構成でシート状の励起光Ｌ１を生成することができる。 Also with such a light sheet microscope 1D, as shown in FIG. 11, the excitation light L1 is modulated by the SLM 14 according to the basic phase pattern 31, so that the sheet-like excitation light L1 is generated. As described above, according to the fifth modification, similarly to the above-described embodiment, it is possible to irradiate the sample S with the sheet-like excitation light L1 from the first objective lens 16 and have a simple configuration. Thus, the sheet-like excitation light L1 can be generated.
また、上記実施形態の基本位相パターン３１において、方向Ｄ１において位相値が一定である第３の領域が更に設けられていてもよい。このような第３の領域は、例えば第１の領域３２と第２の領域３３との間に設けられる。この場合、第１の領域３２と第２の領域３３とは互いに隣接しない。 In the basic phase pattern 31 of the above embodiment, a third region having a constant phase value in the direction D1 may be further provided. Such a third region is provided, for example, between the first region 32 and the second region 33. In this case, the first region 32 and the second region 33 are not adjacent to each other.
また、上記実施形態において、光検出器２０は、グローバル読み出し可能なエリアイメージセンサであってもよい。第１の光学系１５は省略されてもよく、ＳＬＭ１４から出力された励起光Ｌ１が第１の対物レンズ１６に直接入力されてもよい。光走査部１３は、ＳＬＭ１４から出力された励起光Ｌ１を受けるように配置されてもよい。第１の対物レンズ１６の光軸と第２の対物レンズ１７の光軸とは直交していなくてもよく、互いに交わっていなくてもよい。 Further, in the above embodiment, the photodetector 20 may be a globally readable area image sensor. The first optical system 15 may be omitted, and the excitation light L1 output from the SLM 14 may be directly input to the first objective lens 16. The light scanning unit 13 may be arranged to receive the excitation light L1 output from the SLM 14. The optical axis of the first objective lens 16 and the optical axis of the second objective lens 17 do not need to be orthogonal to each other, and need not intersect each other.
また、制御部２１は、位相パターンＰを適宜変更することで、生成するシート状の励起光Ｌ１の波長、シートの厚さ、集光位置、又は形状等を制御してもよい。制御部２１は、収差補正のためのパターンを基本位相パターン３１に重畳して位相パターンＰを算出してもよい。また、例えばレンズ１５ａと第１の対物レンズ１６との間には、励起光Ｌ１の０次光又は高次光をカットするためのスリットを有する光学素子が設けられていてもよい。これにより、不要光（ノイズになりうる光）を遮光できる。 The controller 21 may control the wavelength of the generated sheet-like excitation light L1, the thickness of the sheet, the condensing position, the shape, or the like by appropriately changing the phase pattern P. The control unit 21 may calculate the phase pattern P by superimposing a pattern for aberration correction on the basic phase pattern 31. Further, for example, an optical element having a slit for cutting the zero-order light or the high-order light of the excitation light L1 may be provided between the lens 15a and the first objective lens 16. Thereby, unnecessary light (light that can be noise) can be blocked.
また、制御部２１は、位相パターンＰに応じて、ローリング読み出し可能な光検出器２０において同時に露光される画素列数Ｎを設定してもよい。このとき、制御部２１は、設定された画素列数Ｎ及び各画素列の露光期間Ｔ１に基づいてローリング読み出しの読み出し期間Ｔ２を設定する。この場合、各画素列の露光期間Ｔ１は、ユーザー等により設定される。また、制御部２１は、設定された画素列数Ｎ及びローリング読み出しの読み出し期間Ｔ２に基づいて、各画素列の露光期間Ｔ１を設定してもよい。この場合、ローリング読み出しの読み出し期間Ｔ２は、ユーザー等により設定される。いずれの場合でも、制御部２１は、光走査部１３による励起光Ｌ１の走査とローリング読み出しが可能な光検出器２０による各画素列Ｒの信号読み出しとが同期するように、光走査部１３あるいは光検出器２０を制御する。 In addition, the control unit 21 may set the number N of pixel columns to be simultaneously exposed in the rolling-readable photodetector 20 according to the phase pattern P. At this time, the control unit 21 sets a rolling readout period T2 based on the set number N of pixel columns and the exposure period T1 of each pixel column. In this case, the exposure period T1 of each pixel column is set by a user or the like. Further, the control unit 21 may set the exposure period T1 of each pixel column based on the set number N of pixel columns and the readout period T2 of the rolling readout. In this case, the reading period T2 of the rolling reading is set by a user or the like. In any case, the control unit 21 controls the optical scanning unit 13 or the optical scanning unit 13 so that the scanning of the excitation light L1 by the optical scanning unit 13 and the signal reading of each pixel row R by the photodetector 20 capable of rolling reading are synchronized. The light detector 20 is controlled.
１…ライトシート顕微鏡（画像取得装置）、１１…光源、１３…光走査部、１４…空間光変調器、１６…第１の対物レンズ、１７…第２の対物レンズ、２０…光検出器、２１…制御部、２２…コンピュータ、２３…コントローラ、３１…基本位相パターン、３２…第１の領域、３３…第２の領域、４１…回折格子パターン、４２…レンズパターン、Ｃ…直線（中心線）、Ｄ１…所定の方向、Ｌ１…励起光、Ｌ２…検出光、Ｐ…位相パターン、Ｒ…画素列、Ｓ…試料。 DESCRIPTION OF SYMBOLS 1 ... Light sheet microscope (image acquisition apparatus), 11 ... Light source, 13 ... Optical scanning part, 14 ... Spatial light modulator, 16 ... 1st objective lens, 17 ... 2nd objective lens, 20 ... Photodetector, Reference numeral 21: control unit, 22: computer, 23: controller, 31: basic phase pattern, 32: first area, 33: second area, 41: diffraction grating pattern, 42: lens pattern, C: straight line (center line) ), D1: predetermined direction, L1: excitation light, L2: detection light, P: phase pattern, R: pixel row, S: sample.
Claims (11)
二次元に配列された複数の画素を有し、前記光源から出力された前記励起光の位相を前記複数の画素毎に変調する空間光変調器と、
前記空間光変調器で変調された前記励起光を試料に照射する第１の対物レンズと、
前記第１の対物レンズからの前記励起光の照射に伴って前記試料から発せられる検出光を導光する第２の対物レンズと、
前記第２の対物レンズにより導光された前記検出光を撮像する光検出器と、
前記複数の画素それぞれに対応する位相値が二次元に分布する位相パターンに従って前記複数の画素毎の位相変調量を制御する制御部と、を備え、
前記位相パターンは、所定の基本位相パターンに基づいて生成された位相パターンであり、
前記基本位相パターンは、所定の方向に沿って連続的に前記位相値が増加する第１の領域と、前記所定の方向において前記第１の領域と対向し、前記所定の方向に沿って連続的に前記位相値が減少する第２の領域と、を有する、画像取得装置。 A light source for outputting excitation light including a wavelength for exciting the sample,
A spatial light modulator that has a plurality of pixels arranged two-dimensionally and modulates the phase of the excitation light output from the light source for each of the plurality of pixels,
A first objective lens for irradiating the sample with the excitation light modulated by the spatial light modulator;
A second objective lens that guides detection light emitted from the sample with the irradiation of the excitation light from the first objective lens;
An optical detector for imaging the detection light guided by the second objective lens;
A control unit that controls a phase modulation amount for each of the plurality of pixels according to a phase pattern in which phase values corresponding to each of the plurality of pixels are two-dimensionally distributed,
The phase pattern is a phase pattern generated based on a predetermined basic phase pattern,
The basic phase pattern includes a first region in which the phase value continuously increases along a predetermined direction, and a first region facing the first region in the predetermined direction, and a continuous region along the predetermined direction. A second region in which the phase value decreases.
前記空間光変調器で変調された前記励起光を前記試料に照射する第２のステップと、
前記励起光の照射に伴って前記試料から発せられる検出光を導光し、導光された前記検出光を撮像する第３のステップと、を含み、
前記第１のステップでは、所定の基本位相パターンに基づいて生成され、前記複数の画素それぞれに対応する位相値が二次元に分布する位相パターンに従って前記複数の画素毎の位相変調量を制御し、
前記基本位相パターンは、所定の方向に沿って連続的に前記位相値が増加する第１の領域と、前記所定の方向において前記第１の領域と対向し、前記所定の方向に沿って連続的に前記位相値が減少する第２の領域と、を有する、画像取得方法。 By a spatial light modulator having a plurality of pixels arranged two-dimensionally, a first step of modulating the phase of the excitation light including the wavelength for exciting the sample for each of the plurality of pixels,
A second step of irradiating the sample with the excitation light modulated by the spatial light modulator;
A third step of guiding detection light emitted from the sample with the irradiation of the excitation light, and imaging the guided detection light,
In the first step, a phase value generated based on a predetermined basic phase pattern, and controlling a phase modulation amount for each of the plurality of pixels according to a phase pattern in which phase values corresponding to the plurality of pixels are two-dimensionally distributed,
The basic phase pattern includes a first region in which the phase value continuously increases along a predetermined direction, and a first region facing the first region in the predetermined direction, and a continuous region along the predetermined direction. A second region in which the phase value decreases.
二次元に配列された複数の画素を有し、入力された光の位相を前記複数の画素毎に変調して変調後の光を出力する空間光変調器と、
前記複数の画素それぞれに対応する位相値が二次元に分布する位相パターンに従って前記複数の画素毎の位相変調量を制御する制御部と、を備え、
前記位相パターンは、所定の基本位相パターンに基づいて生成された位相パターンであり、
前記基本位相パターンは、所定の方向に沿って連続的に前記位相値が増加する第１の領域と、前記所定の方向において前記第１の領域と対向し、前記所定の方向に沿って連続的に前記位相値が減少する第２の領域と、を有する、空間光変調ユニット。 A spatial light modulation unit used for a light sheet microscope,
A spatial light modulator having a plurality of pixels arranged two-dimensionally, and modulating the phase of the input light for each of the plurality of pixels and outputting light after modulation;
A control unit that controls a phase modulation amount for each of the plurality of pixels according to a phase pattern in which phase values corresponding to each of the plurality of pixels are two-dimensionally distributed,
The phase pattern is a phase pattern generated based on a predetermined basic phase pattern,
The basic phase pattern includes a first region in which the phase value continuously increases along a predetermined direction, and a first region facing the first region in the predetermined direction, and a continuous region along the predetermined direction. A second region in which the phase value decreases.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019144426A JP6770616B2 (en) | 2019-08-06 | 2019-08-06 | Image acquisition device, image acquisition method, and spatial optical modulation unit |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019144426A JP6770616B2 (en) | 2019-08-06 | 2019-08-06 | Image acquisition device, image acquisition method, and spatial optical modulation unit |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015218527A Division JP6570427B2 (en) | 2015-11-06 | 2015-11-06 | Image acquisition apparatus, image acquisition method, and spatial light modulation unit |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019215560A true JP2019215560A (en) | 2019-12-19 |
| JP6770616B2 JP6770616B2 (en) | 2020-10-14 |
Family
ID=68919726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019144426A Active JP6770616B2 (en) | 2019-08-06 | 2019-08-06 | Image acquisition device, image acquisition method, and spatial optical modulation unit |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6770616B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014059511A (en) * | 2012-09-19 | 2014-04-03 | Hamamatsu Photonics Kk | Wavelength conversion type spatial optical modulator |
| JP2015527604A (en) * | 2012-07-02 | 2015-09-17 | カール ツァイス マイクロスコピー ゲーエムベーハーＣａｒｌ Ｚｅｉｓｓ Ｍｉｃｒｏｓｃｏｐｙ Ｇｍｂｈ | Microscope and SPIM microscope inspection method |
-
2019
- 2019-08-06 JP JP2019144426A patent/JP6770616B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015527604A (en) * | 2012-07-02 | 2015-09-17 | カール ツァイス マイクロスコピー ゲーエムベーハーＣａｒｌ Ｚｅｉｓｓ Ｍｉｃｒｏｓｃｏｐｙ Ｇｍｂｈ | Microscope and SPIM microscope inspection method |
| JP2014059511A (en) * | 2012-09-19 | 2014-04-03 | Hamamatsu Photonics Kk | Wavelength conversion type spatial optical modulator |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6770616B2 (en) | 2020-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6570427B2 (en) | Image acquisition apparatus, image acquisition method, and spatial light modulation unit | |
| CN106133580B (en) | Stimulated emission depletion microscopie unit | |
| JP4723806B2 (en) | Confocal microscope | |
| JP5340799B2 (en) | Laser scanning microscope | |
| JP6630120B2 (en) | Image acquisition device, image acquisition method, and spatial light modulation unit | |
| CN107209360B (en) | Image acquisition device and image acquisition method | |
| CN109073873B (en) | Image acquisition device and image acquisition method | |
| JP6770616B2 (en) | Image acquisition device, image acquisition method, and spatial optical modulation unit | |
| CN107209359B (en) | Image acquisition device and image acquisition method | |
| CN111771150B (en) | Light sheet microscope and sample observation method | |
| JP5831782B2 (en) | Microscope equipment | |
| JP2016033676A (en) | Microscope device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190806 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190808 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200522 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200923 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200925 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6770616 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |