JP2018116309A - Image acquisition device, image acquisition method, and microscope - Google Patents
Image acquisition device, image acquisition method, and microscope Download PDFInfo
- Publication number
- JP2018116309A JP2018116309A JP2018076942A JP2018076942A JP2018116309A JP 2018116309 A JP2018116309 A JP 2018116309A JP 2018076942 A JP2018076942 A JP 2018076942A JP 2018076942 A JP2018076942 A JP 2018076942A JP 2018116309 A JP2018116309 A JP 2018116309A
- Authority
- JP
- Japan
- Prior art keywords
- focus position
- image
- image acquisition
- image sensor
- acquisition device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Microscoopes, Condenser (AREA)
Abstract
Description
本技術は、顕微鏡を用いて画像を取得する画像取得装置、画像取得方法、およびコンピュータプログラムに関する。 The present technology relates to an image acquisition device that acquires an image using a microscope, an image acquisition method, and a computer program.
病理診断では、組織切片等の生体サンプルを所定の倍率で拡大した高精細な生体サンプル画像が用いられる。そこで、生体サンプルが存在する領域を複数の小領域に分割し、該小領域を所定の倍率で拡大して撮像することにより分割画像を取得し、複数の分割画像を結合して高精細な生体サンプル画像を生成する顕微鏡装置が提案されている。 In pathological diagnosis, a high-definition biological sample image obtained by enlarging a biological sample such as a tissue section at a predetermined magnification is used. Therefore, a region where a biological sample is present is divided into a plurality of small regions, and the small region is enlarged and imaged at a predetermined magnification to obtain a divided image, and the plurality of divided images are combined to obtain a high-definition biological body. A microscope apparatus for generating a sample image has been proposed.
また、生体サンプルの同じ領域を数μmの間隔で複数の焦点位置において撮像してそれぞれを可視化することも行われている。これらの焦点位置が異なる条件で撮像された複数の顕微鏡画像のセットは「Zスタック」と呼ばれる(例えば特許文献1参照)。 Further, the same region of a biological sample is imaged at a plurality of focal positions at intervals of several μm to visualize each of them. A set of a plurality of microscope images picked up under different conditions of the focal positions is called a “Z stack” (for example, see Patent Document 1).
例えば、厚さが10μmの生体サンプルを1μmの間隔の焦点位置でそれぞれ撮像すると10回の撮像が必要となる。すなわち1つの小領域に対して10枚の画像が得られることになる。また、焦点深度が1μmの光学系を採用した場合、1μm程度の間隔では観察対象物の見逃しが生じるおそれがあるという理由から、0.5μmあるいはそれ以下の間隔が妥当であるという意見が多い。しかしながら、焦点位置の間隔を狭めるに従い、1つのZスタックを構成する画像データの総容量が増大する。まして1つの生体サンプル分のデータとなると膨大な総容量となる。これは、顕微鏡装置で撮像された画像データを蓄積する装置内のHDDなどのストレージの交換周期を早めて保守管理の煩雑さを招くとともに、顕微鏡装置から画像データ蓄積装置へのデータ伝送や現像処理などをボトルネックとした撮像スピードの低下を招くことになる。 For example, if a biological sample having a thickness of 10 μm is imaged at the focal positions with an interval of 1 μm, 10 imaging operations are required. That is, ten images are obtained for one small area. Further, when an optical system with a depth of focus of 1 μm is adopted, there are many opinions that an interval of 0.5 μm or less is appropriate because there is a possibility that an observation object may be missed at an interval of about 1 μm. However, as the focal position interval is reduced, the total capacity of the image data constituting one Z stack increases. Furthermore, when it becomes the data for one biological sample, it becomes a huge total capacity. This speeds up the replacement cycle of storage such as HDDs in the apparatus that stores image data captured by the microscope apparatus, and complicates maintenance and management, as well as data transmission and development processing from the microscope apparatus to the image data storage apparatus. This causes a decrease in imaging speed due to the bottleneck.
本技術は、このような課題を解決して、ユーザにとっての利便性の向上および効率の向上を図ることのできる画像取得装置、画像取得方法および顕微鏡を提供することにある。 An object of the present technology is to provide an image acquisition apparatus, an image acquisition method, and a microscope capable of solving such problems and improving convenience and efficiency for a user.
上記の課題を解決するために、本技術に係る画像取得装置は、照明光を照射された生体サンプルから得られる散乱光を取得する撮像素子を具備し、前記撮像素子は、第1の合焦位置にて前記撮像素子を露光した後、前記第1の合焦位置に対し所定の間隔をあけて設定された第2の合焦位置にて露光し、前記1の合焦位置および前記第2の合焦位置で多重露光した画素信号を得る。 In order to solve the above-described problem, an image acquisition device according to an embodiment of the present technology includes an image sensor that acquires scattered light obtained from a biological sample irradiated with illumination light, and the image sensor has a first focus. After the image sensor is exposed at a position, the image sensor is exposed at a second focus position set at a predetermined interval with respect to the first focus position, and the first focus position and the second focus position are exposed. A pixel signal subjected to multiple exposure at the in-focus position is obtained.
前記撮像素子は、前記生体サンプルを載置するステージの移動によって、前記多重露光した画素信号を得るものであってよい。 The imaging element may obtain the pixel signal subjected to the multiple exposure by moving a stage on which the biological sample is placed.
前記撮像素子は、前記照明光の照射タイミングの制御によって、前記多重露光した画素信号を得るものであってよい。
前記照明光はストロボ発光であってよい。
The image sensor may obtain the multiple-exposed pixel signal by controlling the illumination light irradiation timing.
The illumination light may be strobe light emission.
前記撮像素子はCCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサであってよい。 The image sensor may be a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor.
本技術の別の観点に基づく画像取得方法は、照明光を照射された生体サンプルからの散乱光により、撮像素子を第1の合焦位置にて露光した後、前記第1の合焦位置に対し所定の間隔をあけて設定された第2の合焦位置にて露光し、多重露光した画素信号を得るというものである。 According to another aspect of the present technology, an image acquisition method includes: exposing an image sensor at a first focus position with scattered light from a biological sample irradiated with illumination light; On the other hand, exposure is performed at a second in-focus position set at a predetermined interval to obtain a multiple-exposed pixel signal.
本技術の別の観点に基づく画像取得装置は、照明光を生体サンプルに照射する光源と、前記照明光を照射された生体サンプルから得られる散乱光を取得する撮像素子と、第1の合焦位置にて前記撮像素子を露光させた後、前記第1の合焦位置に対し所定の間隔をあけて設定された第2の合焦位置にて露光させ、前記1の合焦位置および前記第2の合焦位置で多重露光した画素信号を得るように制御を行う制御部とを具備する。 An image acquisition device according to another aspect of the present technology includes a light source that irradiates a biological sample with illumination light, an imaging element that acquires scattered light obtained from the biological sample irradiated with the illumination light, and a first focus. After the image sensor is exposed at a position, the image sensor is exposed at a second focus position set at a predetermined interval with respect to the first focus position, and the first focus position and the first focus position are exposed. And a control unit that performs control so as to obtain a pixel signal subjected to multiple exposure at the in-focus position.
以上のように、本技術によれば、ユーザにとっての利便性の向上および効率の向上を図ることができる。 As described above, according to the present technology, it is possible to improve convenience and efficiency for the user.
以下、本技術に係る実施形態を図面を参照しながら説明する。
<第1の実施形態>
[1.本実施形態の画像取得装置の概要]
図1は、典型的なZスタック撮像方法を示す図である。
例えば細胞スメアスライドなど、厚さのある生体サンプルの検査においては、細胞1内に存在するかもしれない細菌2などの観察対象を逃さず見つけ出すことができるように、複数の焦点位置(Z1,Z2,・・・Zn)で画像を撮像することが行われる。このような複数の焦点位置で撮像された複数の画像は「Zスタック」と呼ばれる。
Hereinafter, embodiments according to the present technology will be described with reference to the drawings.
<First Embodiment>
[1. Overview of the image acquisition apparatus of the present embodiment]
FIG. 1 is a diagram illustrating a typical Z stack imaging method.
For example, in the inspection of a thick biological sample such as a cell smear slide, a plurality of focal positions (Z1, Z2) can be found without missing an observation target such as bacteria 2 that may exist in the cell 1. ,..., Zn). A plurality of images captured at such a plurality of focal positions are called “Z stacks”.
一方、顕微鏡の光学系には開口数のできるだけ高い(例えばNA=0.6〜0.8)対物レンズが使用される。この程度の開口数を有する対物レンズを用いた光学系の焦点深度は約1μmである。この場合、Zスタックの間隔を1μmにすることによって、理論的には生体サンプル全体を三次元的に無駄なく網羅したZスタックを得ることができる。しかし、より漏れの少ない観察のためには、より小さい間隔、例えば0.5μmといった間隔の画像が望まれている。 On the other hand, an objective lens having a numerical aperture as high as possible (for example, NA = 0.6 to 0.8) is used for the optical system of the microscope. The depth of focus of an optical system using an objective lens having such a numerical aperture is about 1 μm. In this case, by setting the interval between the Z stacks to 1 μm, it is theoretically possible to obtain a Z stack that covers the entire biological sample three-dimensionally without waste. However, for observation with less leakage, an image having a smaller interval, for example, 0.5 μm is desired.
しかし、Zスタックの間隔を小さくすればするほどZスタックの画像枚数が増えて全体のデータサイズが膨大化する。Zスタック単位のデータサイズが大きくなると、画像の取得に要する時間が長くかかるとともに、画像を蓄積するストレージやその交換等の保守管理に要するコストの増大を招く。 However, the smaller the Z stack interval, the greater the number of images in the Z stack and the overall data size. When the data size of the Z stack unit increases, it takes a long time to acquire an image, and increases the cost required for maintenance such as storage for storing the image and its replacement.
本実施形態の画像取得装置は、例えば図2に示すように、焦点を移動させることが可能な方向の位置によって区分される範囲毎に、当該範囲を網羅する平均画像が得られるように撮像素子を複数の位置で多重露光させるものである。ここで、範囲の長さは、対物レンズを用いた光学系の焦点深度に露光多重数を乗じた長さ、またはその長さ以下とする。
より具体的には、本実施形態の画像取得装置は、例えば、対物レンズを用いた光学系の焦点深度などを基準に予め決められた複数の焦点位置(Z1,Z2,・・・Zn)のなかの連続する複数の焦点位置で撮像素子を多重露光させたり、連続する複数の焦点位置間に跨って撮像素子を連続的に露光させたりすることで上記の平均画像を取得する。これによって、Zスタックの画像の枚数を低減しつつ、観察対象の撮像漏れのないZスタックを得ることができる。
以下に、本実施形態の画像取得装置の詳細を説明する。
なお、本実施形態は、連続する2つの焦点位置で撮像素子を多重露光させることによって上記の平均画像を取得する画像取得装置である。
For example, as illustrated in FIG. 2, the image acquisition apparatus according to the present embodiment has an image sensor so that an average image covering the range can be obtained for each range divided by a position in a direction in which the focus can be moved. Is subjected to multiple exposure at a plurality of positions. Here, the length of the range is set to a length obtained by multiplying the depth of focus of the optical system using the objective lens by the number of exposure multiples, or less than the length.
More specifically, the image acquisition apparatus according to the present embodiment has, for example, a plurality of focal positions (Z1, Z2,... Zn) determined in advance based on the focal depth of an optical system using an objective lens. The average image is acquired by performing multiple exposure of the image sensor at a plurality of continuous focal positions, or by continuously exposing the image sensor across a plurality of continuous focus positions. As a result, it is possible to obtain a Z stack in which the number of images in the Z stack is reduced and there is no imaging omission of the observation target.
Details of the image acquisition apparatus of this embodiment will be described below.
Note that the present embodiment is an image acquisition device that acquires the above average image by performing multiple exposure of an image sensor at two consecutive focal positions.
[2.画像取得装置の構成]
図3は本実施形態の画像取得装置100の構成を示す図である。
[2. Configuration of image acquisition apparatus]
FIG. 3 is a diagram illustrating a configuration of the image acquisition apparatus 100 according to the present embodiment.
画像取得装置100は顕微鏡10と、データ処理部20とを有する。
顕微鏡10は、ステージ11、光学系12、光源ユニット13、撮像素子14、光源駆動部15、ステージ駆動部16、およびカメラ制御部17を有する。
The image acquisition apparatus 100 includes a microscope 10 and a data processing unit 20.
The microscope 10 includes a stage 11, an optical system 12, a light source unit 13, an image sensor 14, a light source driving unit 15, a stage driving unit 16, and a camera control unit 17.
ステージ11は、撮像対象である例えば組織切片、細胞又は染色体等の生体サンプルSPLを配置可能な面を有する。ステージ11は、その面に対して平行方向(xy軸方向)及び直交方向(z軸方向)に移動自在に構成される。 The stage 11 has a surface on which a biological sample SPL such as a tissue section, a cell, or a chromosome to be imaged can be placed. The stage 11 is configured to be movable in a parallel direction (xy axis direction) and an orthogonal direction (z axis direction) with respect to the surface.
なお、生体サンプルSPLは、この実施形態ではスライドガラスSGに対して所定の固定手法により固定され、必要に応じて染色が施される。この染色には、HE(Hematoxylin-Eosin)染色、ギムザ染色又はパパニコロウ染色等に代表される一般染色のみならず、FISH(Fluorescence In-Situ Hybridization)や酵素抗体法等の蛍光染色が含まれる。 In this embodiment, the biological sample SPL is fixed to the slide glass SG by a predetermined fixing method, and is stained as necessary. This staining includes not only general staining represented by HE (Hematoxylin-Eosin) staining, Giemsa staining, Papanicolaou staining, etc., but also fluorescence staining such as FISH (Fluorescence In-Situ Hybridization) and enzyme antibody method.
ステージ11の一方の面側には光学系12が配され、ステージ11の他方の面側には光源ユニット13が配される。 An optical system 12 is disposed on one surface side of the stage 11, and a light source unit 13 is disposed on the other surface side of the stage 11.
光源ユニット13は、光源駆動部15による制御の下で光を出射し、該光をステージ11に穿設される開口から、該ステージ11の一方の面に配される生体サンプルSPLに対して照射する。光源ユニット13は、白色光を出力する白色LED(Light Emitting Diode)などを光源13Aとして有する。光源ユニット13は、光源13Aから出射された光を略平行光に変換して生体サンプルSPLに対する照明光とする集光レンズ13Bを有する。 The light source unit 13 emits light under the control of the light source driving unit 15, and irradiates the biological sample SPL disposed on one surface of the stage 11 through an opening formed in the stage 11. To do. The light source unit 13 includes, as the light source 13A, a white LED (Light Emitting Diode) that outputs white light. The light source unit 13 includes a condensing lens 13B that converts light emitted from the light source 13A into substantially parallel light and uses it as illumination light for the biological sample SPL.
光学系12は、照明光により得られる生体サンプルSPLにおける一部の像を、対物レンズ12A及び結像レンズ12Bによって所定の倍率に拡大する。対物レンズ12A及び結像レンズ12Bにより拡大された像は撮像素子14の撮像面に結像される。撮像素子14としては、全画素に対応する全受光部での同時露光が可能な撮像素子、例えば、CCD(Charge Coupled Device)イメージセンサ、およびCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどが用いられる。 The optical system 12 enlarges a part of the image in the biological sample SPL obtained by the illumination light to a predetermined magnification by the objective lens 12A and the imaging lens 12B. The image magnified by the objective lens 12A and the imaging lens 12B is formed on the imaging surface of the imaging element 14. As the image sensor 14, an image sensor capable of simultaneous exposure in all light receiving units corresponding to all pixels, for example, a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal-Oxide Semiconductor) image sensor, or the like is used. .
光源駆動部15は、データ処理部20からのストロボ発光命令S1をもとに光源ユニット13内の光源13Aに一定の駆動電流を供給して光源13Aを発光させるドライブ回路を少なくとも有する。 The light source drive unit 15 has at least a drive circuit that supplies a constant drive current to the light source 13A in the light source unit 13 based on the strobe emission command S1 from the data processing unit 20 to cause the light source 13A to emit light.
ステージ駆動部16は、データ処理部20からのステージ制御信号S2をもとにステージ11を駆動するためのxyzの3軸方向それぞれのステージ駆動電流を供給してステージ11を3軸方向に移動させる。 The stage drive unit 16 supplies the stage drive currents in the xyz three-axis directions for driving the stage 11 based on the stage control signal S2 from the data processing unit 20 to move the stage 11 in the three-axis directions. .
カメラ制御部17は、データ処理部20からの露光制御信号S3をもとに撮像素子14の制御を行う。カメラ制御部17は、撮像素子14から読み出された各画素に対応する信号(RAWデータ)をA/D(Analog to Digital)変換してデータ処理部20に供給する。 The camera control unit 17 controls the image sensor 14 based on the exposure control signal S3 from the data processing unit 20. The camera control unit 17 performs A / D (Analog to Digital) conversion on a signal (RAW data) corresponding to each pixel read from the image sensor 14 and supplies the signal to the data processing unit 20.
データ処理部20は、顕微鏡10のカメラ制御部17より供給されるRAWデータの現像処理、現像データのスティッチング処理などを行って生体サンプル画像を生成し、これをJPEG(Joint Photographic Experts Group)など所定の圧縮形式のデータに符号化して保存する。また、データ処理部20は、所定のプログラムに基づいて光源駆動部15、ステージ駆動部16及びカメラ制御部17をそれぞれ制御するための演算処理を実行する。 The data processing unit 20 performs development processing of raw data supplied from the camera control unit 17 of the microscope 10, stitching processing of development data, and the like to generate a biological sample image, which is generated as JPEG (Joint Photographic Experts Group) or the like. Encode and store the data in a predetermined compression format. In addition, the data processing unit 20 performs arithmetic processing for controlling the light source driving unit 15, the stage driving unit 16, and the camera control unit 17 based on a predetermined program.
[3.データ処理部の構成]
次に、データ処理部20の構成について説明する。
図4はデータ処理部20のハードウェアの構成を示すブロック図である。
データ処理部20は、演算制御を行うCPU(Central Processing Unit)21、ROM(Read Only Memory)22、CPU21のワークメモリとなるRAM(Random Access Memory)23、ユーザの操作に応じた命令を入力する操作入力部24、インターフェイス部25、表示部26、記憶部27及びこれらを互いに接続するバス28を備える。
[3. Configuration of data processing unit]
Next, the configuration of the data processing unit 20 will be described.
FIG. 4 is a block diagram illustrating a hardware configuration of the data processing unit 20.
The data processing unit 20 receives a CPU (Central Processing Unit) 21 that performs arithmetic control, a ROM (Read Only Memory) 22, a RAM (Random Access Memory) 23 that is a work memory of the CPU 21, and a command according to a user operation. An operation input unit 24, an interface unit 25, a display unit 26, a storage unit 27, and a bus 28 for connecting them together are provided.
ROM22には、各種の処理を実行するためのプログラムが格納される。インターフェイス部25には、顕微鏡10が接続される。 The ROM 22 stores programs for executing various processes. The microscope 10 is connected to the interface unit 25.
表示部26には、液晶ディスプレイ、EL(Electro Luminescence)ディスプレイ又はプラズマディスプレイ等が適用される。記憶部27には、HDD(Hard Disk Drive)に代表される磁気ディスクもしくは半導体メモリ又は光ディスク等が適用される。 A liquid crystal display, an EL (Electro Luminescence) display, a plasma display, or the like is applied to the display unit 26. For the storage unit 27, a magnetic disk represented by an HDD (Hard Disk Drive), a semiconductor memory, an optical disk, or the like is applied.
CPU21は、ROM22に格納される複数のプログラムのうち、操作入力部24から与えられる命令に対応するプログラムをRAM23に展開し、該展開したプログラムにしたがって、表示部26及び記憶部27を適宜制御する。またCPU21は、RAM23に展開されたプログラムに従って、インターフェイス部25を介して顕微鏡10の各部を適宜制御する。 The CPU 21 develops a program corresponding to a command given from the operation input unit 24 among the plurality of programs stored in the ROM 22, and appropriately controls the display unit 26 and the storage unit 27 according to the developed program. . Further, the CPU 21 appropriately controls each unit of the microscope 10 via the interface unit 25 in accordance with a program developed in the RAM 23.
[4.生体サンプル画像の取得処理]
次に、本実施形態の画像取得装置100における生体サンプル画像の取得処理について説明する。
[4. Biological sample image acquisition process]
Next, a biological sample image acquisition process in the image acquisition apparatus 100 of the present embodiment will be described.
CPU21は、生体サンプルSPLの画像の取得命令を操作入力部24から受けた場合、該取得命令に対応するプログラムをRAM23に展開する。 When the CPU 21 receives an acquisition command for the image of the biological sample SPL from the operation input unit 24, the CPU 21 develops a program corresponding to the acquisition command in the RAM 23.
CPU21は、生体サンプルSPLの画像の取得命令に対応するプログラムに従って、図5に示すように、ステージ制御部31(移動制御部)、露光制御部32(多重露光処理部)、ストロボ制御部33(多重露光処理部)、画像取得部34、現像処理部35、画像圧縮部36及び画像記録部37として機能する。 As shown in FIG. 5, the CPU 21 follows a program corresponding to an image acquisition command for the biological sample SPL, as shown in FIG. 5, a stage control unit 31 (movement control unit), an exposure control unit 32 (multiple exposure processing unit), and a strobe control unit 33 ( Multiple exposure processing unit), image acquisition unit 34, development processing unit 35, image compression unit 36, and image recording unit 37.
ステージ制御部31は、例えば図6に示すように、生体サンプルSPLの撮像対象とすべき領域(以下、これをサンプル領域とも呼ぶ)PRを対物レンズ12A及び結像レンズ12Bの拡大倍率に合わせて複数の小領域ARに割り当てる。 For example, as shown in FIG. 6, the stage control unit 31 adjusts a region PR (hereinafter also referred to as a sample region) PR to be imaged of the biological sample SPL according to the magnification of the objective lens 12A and the imaging lens 12B. Assign to multiple small areas AR.
ステージ制御部31は、複数の小領域ARのうち、撮像素子14によって撮像される領域が例えば左上の小領域ARとなるように、ステージ11を移動させる。 The stage control unit 31 moves the stage 11 so that the region imaged by the image sensor 14 among the plurality of small regions AR is, for example, the upper left small region AR.
この後、図6に示したように、当該左上の小領域ARについて、複数の焦点位置(Z1,Z2,・・・Zn)での複数の画像をZスタックとして取得するための処理が次のように実行される。なお、複数の焦点位置(Z1,Z2,・・・Zn)は、対物レンズを用いた光学系の焦点深度を基準に決められている。本実施形態では、焦点位置の間隔を対物レンズ12Aを含む光学系12の焦点深度と同一としたものである。但し、本技術は、焦点位置の間隔は光学系の焦点深度以下であればよい。 Thereafter, as shown in FIG. 6, the processing for acquiring a plurality of images at a plurality of focal positions (Z1, Z2,... Zn) as a Z stack for the upper left small area AR is as follows. To be executed. A plurality of focal positions (Z1, Z2,... Zn) are determined based on the focal depth of the optical system using the objective lens. In the present embodiment, the focal position interval is the same as the focal depth of the optical system 12 including the objective lens 12A. However, in the present technology, the focal position interval may be equal to or smaller than the focal depth of the optical system.
図7はZスタックの撮像時の画像取得装置100の各部の動作のタイミングチャートである。上から順に、光照射、撮像素子14の露光、ステージ11のz軸方向の移動それぞれのオン/オフのタイミングを示す。 FIG. 7 is a timing chart of the operation of each unit of the image acquisition apparatus 100 when the Z stack is captured. The on / off timings of light irradiation, exposure of the image sensor 14 and movement of the stage 11 in the z-axis direction are shown in order from the top.
・最初の2つの焦点位置Z1、Z2での多重露光
まず、ステージ制御部31は、最初の焦点位置Z1に焦点が結ばれるようにステージ11のz軸方向の位置を設定する。
露光制御部32は、顕微鏡10内の撮像素子14を画像の取り込み状態である露光可能状態にするようにカメラ制御部17に露光制御信号S3を供給する。カメラ制御部17は露光制御信号S3を受けると、光源ユニット13からの光照射に先立ち、撮像素子14を露光可能な状態にする(T1)。
Multiple exposure at the first two focal positions Z1 and Z2 First, the stage control unit 31 sets the position of the stage 11 in the z-axis direction so that the first focal position Z1 is focused.
The exposure control unit 32 supplies an exposure control signal S3 to the camera control unit 17 so that the image sensor 14 in the microscope 10 is in an exposure enabled state that is an image capture state. Upon receiving the exposure control signal S3, the camera control unit 17 sets the image sensor 14 in a state where exposure is possible prior to light irradiation from the light source unit 13 (T1).
撮像素子14が露光可能な状態になった後、データ処理部20内のストロボ制御部33は、光源ユニット13から一定光量の光を出射させるように光源駆動部15にストロボ発光命令S1を供給する。これにより焦点位置Z1での撮像素子14の全画素同時露光(初回の露光)が行われる(T2)。 After the image sensor 14 is ready for exposure, the strobe control unit 33 in the data processing unit 20 supplies a strobe emission command S1 to the light source driving unit 15 so that a constant amount of light is emitted from the light source unit 13. . Thus, simultaneous exposure (initial exposure) of all pixels of the image sensor 14 at the focal position Z1 is performed (T2).
ここで典型的には、撮像素子14の画素毎の値がカメラ制御部17によって取り込まれてデータ処理部20に伝送されるが、本実施形態では、露光制御部32は撮像素子14の露光可能状態を継続させる。 Here, typically, the value for each pixel of the image sensor 14 is captured by the camera control unit 17 and transmitted to the data processing unit 20, but in this embodiment, the exposure control unit 32 can expose the image sensor 14. Let the state continue.
撮像素子14の初回の露光後、データ処理部20のステージ制御部31は、焦点位置をZ2に移動させるようにステージ制御信号S2をステージ駆動部16に供給する(T3)。焦点位置Z2への移動が完了したところでステージ制御部31はステージ11を停止させる(T4)。 After the first exposure of the image sensor 14, the stage control unit 31 of the data processing unit 20 supplies the stage control signal S2 to the stage drive unit 16 so as to move the focal position to Z2 (T3). When the movement to the focal position Z2 is completed, the stage control unit 31 stops the stage 11 (T4).
この後、ストロボ制御部33は、再度光源ユニット13から光を出射させるように光源駆動部15にストロボ発光命令S1を供給する。これにより焦点位置Z2での撮像素子14の露光(2回目の露光)が行われる(T5)。 Thereafter, the strobe control unit 33 supplies a strobe emission command S1 to the light source driving unit 15 so that light is emitted from the light source unit 13 again. Thereby, the image sensor 14 is exposed (second exposure) at the focal position Z2 (T5).
ここで、撮像素子14の全画素の受光部には、既に焦点位置Z1での露光によって電荷が蓄積された状態にある。したがって、今回の焦点位置Z2での露光によって、撮像素子14の全画素の受光部には、2つの焦点位置Z1、Z2それぞれにおける光電変換により得られた電荷が画素毎に足し合わされた状態で蓄積される。すなわち、撮像素子14は2つの焦点位置Z1、Z2で二重露光されることで、2つの焦点位置Z1、Z2の画像が1つの平均画像として合成されることになる。 Here, in the light receiving portions of all the pixels of the image sensor 14, charges have already been accumulated by exposure at the focal position Z1. Therefore, by the exposure at the current focal position Z2, the charges obtained by photoelectric conversion at the two focal positions Z1 and Z2 are accumulated in the light receiving portions of all the pixels of the image sensor 14 in a state of being added for each pixel. Is done. That is, the image sensor 14 is double-exposed at the two focal positions Z1 and Z2, so that the images at the two focal positions Z1 and Z2 are combined as one average image.
撮像素子14の2回目の露光(焦点位置Z2での露光)が終了した後、露光制御部32は、撮像素子14から全画素のデータを取り込むようにカメラ制御部17に制御信号S3を供給する。カメラ制御部17は、当該制御信号S3に従って、撮像素子14の全画素の受光部にそれぞれ蓄積された電荷に対応する電圧信号をT6からT7の期間に取り込み、A/D変換など、必要な信号処理を施して生成された全画素のデータをデータ処理部20の露光制御部32に画像RAWデータとして伝送する。以上で、2つの焦点位置Z1、Z2での多重露光による平均画像の撮像が完了する。 After the second exposure of the image sensor 14 (exposure at the focal position Z2) is completed, the exposure control unit 32 supplies a control signal S3 to the camera control unit 17 so as to capture data of all pixels from the image sensor 14. . In accordance with the control signal S3, the camera control unit 17 takes in voltage signals corresponding to the charges accumulated in the light receiving units of all the pixels of the image sensor 14 during a period from T6 to T7, and performs necessary signals such as A / D conversion. Data of all pixels generated by performing the processing is transmitted to the exposure control unit 32 of the data processing unit 20 as image RAW data. This completes the imaging of the average image by multiple exposure at the two focal positions Z1 and Z2.
・次の2つの焦点位置Z3、Z4での多重露光
続いて、次の2つの焦点位置Z3、Z4についての多重露光による撮像が同様に行われる。すなわち、前の2つの焦点位置Z1、Z2で多重露光がされた撮像素子14からの画像の取り込みが完了したところで、露光制御部32は再度、カメラ制御部17に露光制御信号S3を供給して撮像素子14を再び露光可能状態にする(T8)。
Multiple exposure at the next two focal positions Z3 and Z4 Subsequently, imaging by multiple exposure is performed similarly for the next two focal positions Z3 and Z4. That is, when the capture of the image from the imaging device 14 that has been subjected to multiple exposure at the previous two focal positions Z1 and Z2 is completed, the exposure control unit 32 supplies the camera control unit 17 with the exposure control signal S3 again. The image sensor 14 is again exposed (T8).
ステージ制御部31は、撮像素子14の2回目の露光(焦点位置Z2での露光)が終了したところで(T6)、次の焦点位置Z3への移動を行うようにステージ制御信号S2をステージ駆動部16に供給する。次の焦点位置Z3への移動が完了したところで、ステージ制御部31はステージ11を停止させる(T9)。 When the second exposure (exposure at the focal position Z2) of the image sensor 14 is completed (T6), the stage control unit 31 sends the stage control signal S2 to the next focal position Z3 so as to move to the next focal position Z3. 16 is supplied. When the movement to the next focal position Z3 is completed, the stage controller 31 stops the stage 11 (T9).
撮像素子14が露光可能状態であり、次の焦点位置Z3への移動が完了したところで、ストロボ制御部33は再度、光源ユニット13から光を出射させるように、光源駆動部15にストロボ発光命令S1を供給する。これにより次の焦点位置Z3での撮像素子14の初回の露光が行われる(T10)。 When the image sensor 14 is ready for exposure and the movement to the next focal position Z3 is completed, the strobe control unit 33 causes the light source driving unit 15 to emit light from the light source unit 13 again. Supply. Thereby, the first exposure of the image sensor 14 at the next focal position Z3 is performed (T10).
露光制御部32は、光源ユニット13から生体サンプルSPLへの光照射が終了後も撮像素子14の露光可能状態を継続させる。光源ユニット13からの光の出射が終了すると、データ処理部20のステージ制御部31は、次の焦点位置Z4に移動させるようにステージ制御信号S2をステージ駆動部16に供給する。次の焦点位置Z4への移動が完了したところで、ステージ制御部31はステージ11を停止させる(T11)。 The exposure control unit 32 continues the exposure enabled state of the image sensor 14 even after the light irradiation from the light source unit 13 to the biological sample SPL is completed. When the emission of light from the light source unit 13 is completed, the stage control unit 31 of the data processing unit 20 supplies the stage control signal S2 to the stage driving unit 16 so as to move to the next focal position Z4. When the movement to the next focal position Z4 is completed, the stage control unit 31 stops the stage 11 (T11).
この後、ストロボ制御部33は、再度光源ユニット13から光を出射させるように、光源駆動部15にストロボ発光命令S1を供給する。これにより次の焦点位置Z4での撮像素子14の2回目の露光が行われる(T12)。撮像素子14の2回目の露光(焦点位置Z4での露光)が終了した後、露光制御部32は、撮像素子14から全画素のデータを取り込むようにカメラ制御部17に制御信号S3を供給する。カメラ制御部17は、当該制御信号S3に従って、撮像素子14の全画素の受光部にそれぞれ蓄積された電荷に対応する電圧信号をT13からT14の期間に取り込み、A/D変換など、必要な信号処理を施して生成された全画素のデジタルデータをデータ処理部20の露光制御部32に画像RAWデータとして伝送する。以上で、次の2つの焦点位置Z3、Z4での二重露光による平均画像の取得が完了する。
以降に続く焦点位置においても、二重露光による平均画像の取得が同様に繰り返される。
After that, the strobe control unit 33 supplies a strobe emission command S1 to the light source driving unit 15 so that light is emitted from the light source unit 13 again. As a result, the second exposure of the image sensor 14 at the next focal position Z4 is performed (T12). After the second exposure of the image sensor 14 (exposure at the focal position Z4) is completed, the exposure control unit 32 supplies a control signal S3 to the camera control unit 17 so as to capture data of all pixels from the image sensor 14. . In accordance with the control signal S3, the camera control unit 17 takes in voltage signals corresponding to the charges accumulated in the light receiving units of all the pixels of the image sensor 14 during a period from T13 to T14, and performs necessary signals such as A / D conversion. The digital data of all the pixels generated by performing the processing is transmitted to the exposure control unit 32 of the data processing unit 20 as image RAW data. This completes the acquisition of the average image by double exposure at the next two focal positions Z3 and Z4.
In the subsequent focal positions, the average image acquisition by double exposure is repeated in the same manner.
以上のようにして撮像された複数の平均画像で構成されるZスタックは、焦点位置毎に撮像素子を1回だけ露光する典型的な方法により得たZスタックと比較して、画像の枚数が大幅に少なくて済む。また、個々の画像は2つの焦点位置での撮像素子14の二重露光による平均画像であることから、対物レンズを用いた光学系の焦点深度が2つの焦点位置の間隔以上であれば、観察対象の撮像漏れのないZスタックを得ることができる。 The Z stack composed of a plurality of average images captured as described above has a smaller number of images than the Z stack obtained by a typical method in which the image sensor is exposed only once at each focal position. Significantly less. In addition, since each image is an average image by double exposure of the image sensor 14 at two focal positions, observation is performed if the focal depth of the optical system using the objective lens is equal to or greater than the interval between the two focal positions. It is possible to obtain a Z stack with no target imaging omission.
図8は本実施形態の画像取得装置100により取得された平均画像と典型的なZスタックにおける固定焦点画像とを比較して示す図である。
典型的なZスタックにおけるそれぞれの固定焦点画像は、撮像間隔を0.5μmとして、それぞれの焦点位置Z1,Z2,・・・,Z10,・・・(図1参照)で撮像して得られた画像である。なお、これらの固定焦点画像は、図9に示すように、撮像素子14により撮像された画像(図6の小領域AR)の中のさらに一部分BRである。
FIG. 8 is a diagram showing a comparison between an average image acquired by the image acquisition apparatus 100 of the present embodiment and a fixed focus image in a typical Z stack.
Each fixed focus image in a typical Z stack was obtained by imaging at respective focal positions Z1, Z2,..., Z10,... (See FIG. 1) with an imaging interval of 0.5 μm. It is an image. These fixed focus images are a part of BR in the image (small area AR in FIG. 6) imaged by the image sensor 14 as shown in FIG.
一方、平均画像Z1−Z2は2つの焦点位置Z1、Z2での二重露光により得られた画像である。平均画像Z3−Z4は2つの焦点位置Z3、Z4での二重露光により得られた画像である。平均画像Z5−Z6は2つの焦点位置Z5、Z6での二重露光により得られた画像である。平均画像Z7−Z8は2つの焦点位置Z7、Z8での二重露光により得られた画像である。平均画像Z9−Z10は2つの焦点位置Z9、Z10での二重露光により得られた画像である。 On the other hand, the average image Z1-Z2 is an image obtained by double exposure at two focal positions Z1 and Z2. The average image Z3-Z4 is an image obtained by double exposure at two focal positions Z3, Z4. Average images Z5-Z6 are images obtained by double exposure at two focal positions Z5, Z6. The average images Z7 to Z8 are images obtained by double exposure at two focal positions Z7 and Z8. The average images Z9-Z10 are images obtained by double exposure at two focal positions Z9, Z10.
これらの平均画像と固定焦点画像とを見比べて分かるように、平均画像の画質は二重露光による分、対応する固定焦点画像と比較してやや劣るものの、生体サンプルの観察上問題の無い程度であると言える。 As can be seen by comparing these average images and fixed focus images, the average image quality is slightly inferior to the corresponding fixed focus images due to double exposure, but there is no problem in observing biological samples. It can be said.
平均画像は、連続する2つの焦点位置Z3、Z4での二重露光により得られた画像のみならず、3つ以上の焦点位置での多重露光により得られた画像であってもよい。図8において、平均画像Z1−Z4は4つの焦点位置Z1、Z2、Z3、Z4での多重露光により得られた画像である。平均画像Z5−Z8は4つの焦点位置Z5、Z6、Z7、Z8での多重露光により得られた画像である。平均画像Z9−Z12は4つの焦点位置Z9、Z10、Z11、Z12での多重露光により得られた画像である。
このように、連続する4つの焦点位置での多重露光により得られた平均画像についても、生体サンプルの観察上問題無い程度の画質が得られることが確認された。参考のため、図10に連続する4つの焦点位置での多重露光により得られた平均画像と、その4つの焦点位置での固定焦点画像とを対比して示す。
The average image may be not only an image obtained by double exposure at two consecutive focal positions Z3 and Z4 but also an image obtained by multiple exposure at three or more focal positions. In FIG. 8, an average image Z1-Z4 is an image obtained by multiple exposure at four focal positions Z1, Z2, Z3, and Z4. The average image Z5-Z8 is an image obtained by multiple exposure at the four focal positions Z5, Z6, Z7, and Z8. The average images Z9 to Z12 are images obtained by multiple exposure at the four focal positions Z9, Z10, Z11, and Z12.
Thus, it was confirmed that the average image obtained by the multiple exposure at the four consecutive focal positions can obtain an image quality with no problem in observing the biological sample. For reference, FIG. 10 shows a comparison between an average image obtained by multiple exposure at four consecutive focal positions and a fixed focus image at the four focal positions.
次に、本実施形態の画像取得装置100によって得られる平均画像の画質が生体サンプルの観察用途において十分なものであることの理由を説明する。
図11は微細な発光点から発せられる540nm(緑色)の光をNA0.8の対物レンズにて観察した際に得られる輝点イメージのデフォーカス特性を示すグラフである。
このグラフにおいて、縦軸は情報を計算した各ピクセルの輝度を示すカウント値(intensity count)、横軸はイメージャ上のピクセル(pixels)、グラフ中の複数の線はデフォーカス量毎の光軸のずれ量とカウント値との相関をそれぞれ示す。なお、カウント値(intensity count)は輝度(コントラスト)の指標値である。このように、540nm緑色のイメージのデフォーカス特性においては、デフォーカス量が2μmを越えるあたりから急激に輝度(コントラスト)が低下することが分かる。
Next, the reason why the image quality of the average image obtained by the image acquisition apparatus 100 according to the present embodiment is sufficient for the biological sample observation application will be described.
FIG. 11 is a graph showing the defocus characteristics of a bright spot image obtained when 540 nm (green) light emitted from a fine light emitting point is observed with an objective lens of NA 0.8.
In this graph, the vertical axis is the count value (intensity count) indicating the brightness of each pixel for which information has been calculated, the horizontal axis is the pixels on the imager, and the lines in the graph are the optical axes for each defocus amount. The correlation between the deviation amount and the count value is shown. The count value (intensity count) is an index value of luminance (contrast). Thus, in the defocus characteristic of a 540 nm green image, it can be seen that the brightness (contrast) is drastically decreased when the defocus amount exceeds 2 μm.
図12は4μmの範囲の平均画像のデフォーカス特性を示すグラフである。点線で示す線は固定焦点画像のデフォーカス特性であり、その他の複数の実線はそれぞれ4μmの範囲の平均画像のデフォーカス特性である。すなわち、平均画像Aは合焦位置からこの合焦位置より下に4μmまでの範囲の平均画像、平均画像Bは合焦位置からこの合焦位置より上に4μmまでの範囲の平均画像、平均画像Cは合焦位置より下に3μmの位置から合焦位置より上に1μmまでの範囲の平均画像、平均画像Dは合焦位置より下に1μmの位置から合焦位置より上に3μmまでの範囲の平均画像、平均画像Eは合焦位置より上に2μmの位置から合焦位置より下に2μmまでの範囲の平均画像Eである。平均画像Aと平均画像Bのデフォーカス特性はほぼ同じであるため、これらは1つの実線で示した。同様に平均画像Cと平均画像Dのデフォーカス特性はほぼ同じであるため、これらも1つの実線で示した。 FIG. 12 is a graph showing the defocus characteristics of an average image in the range of 4 μm. A line indicated by a dotted line is a defocus characteristic of the fixed focus image, and a plurality of other solid lines are defocus characteristics of an average image in a range of 4 μm. That is, the average image A is an average image in the range from the in-focus position to 4 μm below the in-focus position, and the average image B is the average image and average image in the range from the in-focus position to 4 μm above the in-focus position. C is an average image in a range from 3 μm below the in-focus position to 1 μm above the in-focus position, and average image D is in a range from 1 μm below the in-focus position to 3 μm above the in-focus position. The average image E and the average image E are average images E ranging from a position 2 μm above the in-focus position to 2 μm below the in-focus position. Since the defocus characteristics of the average image A and the average image B are almost the same, they are shown by one solid line. Similarly, since the defocus characteristics of the average image C and the average image D are almost the same, these are also shown by one solid line.
図11と図12を比較すると、4μmの範囲の平均画像の輝度(コントラスト)は、デフォーカス量が1μmのときと同程度であり、生体サンプルの観察用途において十分なものと言える。 When FIG. 11 and FIG. 12 are compared, the luminance (contrast) of the average image in the range of 4 μm is almost the same as that when the defocus amount is 1 μm, which can be said to be sufficient for the observation of biological samples.
以上のように、本実施形態の画像取得装置100によれば、実用上十分な画質を確保しつつ、より少ない枚数の画像で、観察対象の撮像漏れのないZスタックを得ることができる。これにより、撮像された画像データを蓄積する装置内のHDDなどのストレージの交換周期を引き延ばすことができ、保守管理の煩雑さを軽減できる。加えて、画像取得速度の向上を図れる。 As described above, according to the image acquisition apparatus 100 of the present embodiment, it is possible to obtain a Z stack in which there is no omission in imaging of an observation target with a smaller number of images while ensuring a practically sufficient image quality. As a result, it is possible to extend the replacement cycle of a storage such as an HDD in the apparatus that accumulates the captured image data, thereby reducing the complexity of maintenance management. In addition, the image acquisition speed can be improved.
<変形例1>
次に、上記の実施形態の変形例を説明する。
図13はZスタックの撮像時の動作の変形例1を示すタイミングチャートである。
この変形例1の画像取得装置は、上記の実施形態の画像取得装置100によるZスタック撮像動作において、ステージ11を連続して移動させる、つまり焦点位置を連続的に移動させるようにしたものである。ステージ11の移動速度は少なくとも露光中は一定であることが望ましい。
<Modification 1>
Next, a modification of the above embodiment will be described.
FIG. 13 is a timing chart showing Modification Example 1 of the operation at the time of imaging the Z stack.
In the image acquisition device of the first modification, in the Z stack imaging operation by the image acquisition device 100 of the above-described embodiment, the stage 11 is continuously moved, that is, the focal position is continuously moved. . It is desirable that the moving speed of the stage 11 is constant at least during exposure.
この方式によれば、ステージ11を静定させるために必要な時間を排除できることによって、Zスタック撮像の全体的な時間の短縮を図れる。なお、本変形例1の画像取得装置の動作は、ステージ11を停止させないこと以外は上記の実施形態の画像取得装置100と基本的には同様である。この変形例1によっても、上記の実施形態の効果を同様に得ることができる。 According to this method, the time required for stabilizing the stage 11 can be eliminated, so that the overall time for Z stack imaging can be reduced. Note that the operation of the image acquisition device of the first modification is basically the same as that of the image acquisition device 100 of the above embodiment except that the stage 11 is not stopped. Also by this modification 1, the effect of said embodiment can be acquired similarly.
<変形例2>
図14はZスタックの撮像時の動作の変形例2を示すタイミングチャートである。
変形例2の画像取得装置は、ステージ11を連続して移動させるとともに、連続する複数の焦点位置に跨って撮像素子14を連続的に露光させるように光照射タイミングが設定されたものである。本変形例2の画像取得装置のその他の動作は、変形例1の画像取得装置と基本的には同様である。この変形例2によっても、上記の実施形態の効果を同様に得ることができる。また、連続する複数の焦点位置に跨って撮像素子14を連続的に露光させることによって、上記の変形例1に比較して、観察対象の撮像漏れによる見逃しが生じる危険をよりいっそう低減することができる。
<Modification 2>
FIG. 14 is a timing chart showing a second modification example of the operation during imaging of the Z stack.
In the image acquisition apparatus according to the second modification, the light irradiation timing is set so that the stage 11 is continuously moved and the image sensor 14 is continuously exposed across a plurality of continuous focal positions. Other operations of the image acquisition apparatus of the second modification are basically the same as those of the image acquisition apparatus of the first modification. The effect of the above-described embodiment can be obtained in the same manner in the second modification. In addition, by continuously exposing the imaging element 14 across a plurality of consecutive focal positions, the risk of overlooking due to imaging omission of the observation target can be further reduced as compared with the first modification. it can.
<変形例3>
図15はZスタックの撮像時の動作の変形例3を示すタイミングチャートである。
変形例3の画像取得装置は、連続する複数の焦点位置に跨って撮像素子14を連続的に露光させる間、光源ユニット13の光照射のオンとオフを焦点位置の間隔よりも短い一定の周期で繰り返し切り替えるようにしたものである。この変形例3によっても、上記の実施形態の画像処理装置100および変形例2の画像取得装置の効果を同様に得ることができる。また、本変形例3によれば、光照射のオンデューティ比の選択により露光時間を調整することが可能である。
<Modification 3>
FIG. 15 is a timing chart showing a third modification example of the operation during imaging of the Z stack.
In the image acquisition device of the third modification, while the image sensor 14 is continuously exposed across a plurality of continuous focal positions, the light irradiation of the light source unit 13 is turned on and off at a constant cycle shorter than the focal position interval. It is made to switch repeatedly. Also in the third modification, the effects of the image processing apparatus 100 of the above-described embodiment and the image acquisition apparatus of the second modification can be obtained in the same manner. According to the third modification, the exposure time can be adjusted by selecting the on-duty ratio of light irradiation.
<変形例4>
図16はZスタックの撮像時の動作の変形例4を示すタイミングチャートである。
本変形例4の画像取得装置は、光源ユニット13からの光照射タイミングとステージ11の移動タイミングとを同期させるとともに、Zスタックの間隔毎にステージ11の移動と停止を切り替えることによって、連続的に露光される位置が範囲(図2参照)間で連続するようにしたものである。
<Modification 4>
FIG. 16 is a timing chart showing Modification Example 4 of the operation at the time of imaging the Z stack.
The image acquisition apparatus according to the fourth modification continuously synchronizes the light irradiation timing from the light source unit 13 and the movement timing of the stage 11, and continuously switches the movement and stop of the stage 11 at every Z stack interval. The exposed position is continuous between the ranges (see FIG. 2).
すなわち、ステージ制御部31は1回の露光時間に焦点位置をZ1からZ2まで移動させるようにステージ11を制御する。ステージ制御部31は1回の露光が完了したところでステージ11を停止させ、次の露光時間に焦点位置をZ2からZ3まで移動させるようにステージ11を制御する。本変形例4によれば、z軸方向の全ての範囲を網羅した撮像を行うことができるので、観察対象の撮像漏れによる見逃しが生じる危険を、上記の実施形態および変形例に比較して、より確実に低減することができる。 That is, the stage control unit 31 controls the stage 11 so as to move the focal position from Z1 to Z2 in one exposure time. The stage controller 31 stops the stage 11 when one exposure is completed, and controls the stage 11 to move the focal position from Z2 to Z3 during the next exposure time. According to the fourth modification, since it is possible to perform imaging that covers the entire range in the z-axis direction, compared with the above-described embodiment and the modification, the risk of oversight due to the imaging omission of the observation target is increased. It can reduce more reliably.
以上、透過照明画像の撮像を行う画像取得装置について、説明してきたが、本技術は、暗視野光源を用いて蛍光画像を撮像する装置に対しても同様に適用できることは言うまでもない。 As mentioned above, although the image acquisition apparatus which images a transmitted illumination image has been described, it is needless to say that the present technology can be similarly applied to an apparatus that captures a fluorescent image using a dark field light source.
SPL…生体サンプル
10…顕微鏡
20…データ処理部
11…ステージ
12…光学系
12A…対物レンズ
12B…結像レンズ
13…光源ユニット
13A…光源
13B…集光レンズ
14…撮像素子
15…光源駆動部
16…ステージ駆動部
17…カメラ制御部
21…CPU
22…ROM
23…RAM
24…操作入力部
31…ステージ制御部
32…露光制御部
33…ストロボ制御部
34…画像取得部
100…画像取得装置
SPL ... biological sample 10 ... microscope 20 ... data processing unit 11 ... stage 12 ... optical system 12A ... objective lens 12B ... imaging lens 13 ... light source unit 13A ... light source 13B ... condensing lens 14 ... imaging element 15 ... light source drive unit 16 ... stage drive unit 17 ... camera control unit 21 ... CPU
22 ... ROM
23 ... RAM
DESCRIPTION OF SYMBOLS 24 ... Operation input part 31 ... Stage control part 32 ... Exposure control part 33 ... Strobe control part 34 ... Image acquisition part 100 ... Image acquisition apparatus
Claims (10)
前記撮像素子は、第1の合焦位置にて前記撮像素子を露光した後、前記第1の合焦位置に対し所定の間隔をあけて設定された第2の合焦位置にて露光し、前記1の合焦位置および前記第2の合焦位置で多重露光した画素信号を得る
画像取得装置。 Comprising an imaging device for obtaining scattered light obtained from a biological sample irradiated with illumination light;
The image sensor exposes the image sensor at a first focus position, and then exposes the image sensor at a second focus position set at a predetermined interval with respect to the first focus position. An image acquisition device for obtaining pixel signals subjected to multiple exposure at the first in-focus position and the second in-focus position.
前記撮像素子は、前記生体サンプルを載置するステージの移動によって、前記多重露光した画素信号を得る
画像取得装置。 The image acquisition device according to claim 1,
The image acquisition device, wherein the imaging device obtains the multiple-exposed pixel signal by moving a stage on which the biological sample is placed.
前記撮像素子は、前記照明光の照射タイミングの制御によって、前記多重露光した画素信号を得る
画像取得装置。 The image acquisition device according to claim 1,
The image acquisition device, wherein the imaging device obtains the multiple-exposed pixel signal by controlling the illumination light irradiation timing.
前記照明光はストロボ発光である
画像取得装置。 The image acquisition device according to claim 3,
The image acquisition device, wherein the illumination light is strobe light emission.
前記撮像素子はCCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサである
画像取得装置。 The image acquisition device according to any one of claims 1 to 4,
The image pickup device is an image acquisition device in which the image pickup device is a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor.
前記照明光は、透過照明光、または蛍光画像を得る暗視野光源からの光である
画像取得装置。 The image acquisition device according to claim 1,
The image acquisition device, wherein the illumination light is transmitted illumination light or light from a dark field light source that obtains a fluorescent image.
前記撮像素子は、第1の合焦位置にて前記撮像素子を露光した後、前記第1の合焦位置に対し所定の間隔をあけて設定された第2の合焦位置にて露光し、前記1の合焦位置および前記第2の合焦位置で多重露光した画素信号を得る
顕微鏡。 Comprising an imaging device for obtaining scattered light obtained from a biological sample irradiated with illumination light;
The image sensor exposes the image sensor at a first focus position, and then exposes the image sensor at a second focus position set at a predetermined interval with respect to the first focus position. A microscope for obtaining a pixel signal subjected to multiple exposure at the first in-focus position and the second in-focus position.
画像取得方法。 After the imaging device is exposed at the first in-focus position by the scattered light from the biological sample irradiated with the illumination light, the second in- stance set with a predetermined interval with respect to the first in-focus position. An image acquisition method for obtaining a pixel signal subjected to multiple exposure by exposing at a focus position.
前記撮像素子は、第1の合焦位置にて前記撮像素子を露光した後、前記第1の合焦位置に対し所定の間隔をあけて設定された第2の合焦位置にて露光し、前記1の合焦位置および前記第2の合焦位置で多重露光した画素信号を得る
画像取得装置。 Comprising an imaging device for acquiring scattered light obtained from a subject irradiated with illumination light;
The image sensor exposes the image sensor at a first focus position, and then exposes the image sensor at a second focus position set at a predetermined interval with respect to the first focus position. An image acquisition device for obtaining pixel signals subjected to multiple exposure at the first in-focus position and the second in-focus position.
前記照明光を照射された生体サンプルから得られる散乱光を取得する撮像素子と、
第1の合焦位置にて前記撮像素子を露光させた後、前記第1の合焦位置に対し所定の間隔をあけて設定された第2の合焦位置にて露光させ、前記1の合焦位置および前記第2の合焦位置で多重露光した画素信号を得るように制御を行う制御部と
を具備する画像取得装置。 A light source for illuminating a biological sample with illumination light;
An imaging device for obtaining scattered light obtained from the biological sample irradiated with the illumination light;
After the imaging element is exposed at the first focus position, the image sensor is exposed at a second focus position set at a predetermined interval with respect to the first focus position. An image acquisition apparatus comprising: a control unit that performs control so as to obtain a pixel signal subjected to multiple exposure at a focal position and the second in-focus position.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018076942A JP2018116309A (en) | 2018-04-12 | 2018-04-12 | Image acquisition device, image acquisition method, and microscope |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018076942A JP2018116309A (en) | 2018-04-12 | 2018-04-12 | Image acquisition device, image acquisition method, and microscope |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017000182A Division JP2017058704A (en) | 2017-01-04 | 2017-01-04 | Image acquisition device, image acquisition method, and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018116309A true JP2018116309A (en) | 2018-07-26 |
Family
ID=62985607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018076942A Pending JP2018116309A (en) | 2018-04-12 | 2018-04-12 | Image acquisition device, image acquisition method, and microscope |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018116309A (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01309478A (en) * | 1988-02-23 | 1989-12-13 | Olympus Optical Co Ltd | Picture input and output device |
JPH04308975A (en) * | 1991-04-05 | 1992-10-30 | Taiyo Densan Kk | Method and device for image recording by camera |
JPH0997332A (en) * | 1995-09-29 | 1997-04-08 | Shimadzu Corp | Image processing method for microscope |
JP2009163155A (en) * | 2008-01-10 | 2009-07-23 | Olympus Corp | Microscope apparatus |
-
2018
- 2018-04-12 JP JP2018076942A patent/JP2018116309A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01309478A (en) * | 1988-02-23 | 1989-12-13 | Olympus Optical Co Ltd | Picture input and output device |
JPH04308975A (en) * | 1991-04-05 | 1992-10-30 | Taiyo Densan Kk | Method and device for image recording by camera |
JPH0997332A (en) * | 1995-09-29 | 1997-04-08 | Shimadzu Corp | Image processing method for microscope |
JP2009163155A (en) * | 2008-01-10 | 2009-07-23 | Olympus Corp | Microscope apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6136085B2 (en) | Image acquisition apparatus, image acquisition method, and computer program | |
US8982457B2 (en) | Microscope system and illumination intensity adjusting method | |
US8497899B2 (en) | Biological sample image acquiring apparatus, biological sample image acquiring method, and program | |
US7876948B2 (en) | System for creating microscopic digital montage images | |
JP5289756B2 (en) | Microscope observation system | |
US20150185456A1 (en) | Microscope system and control method therefor | |
JP2007233098A (en) | Image acquisition device, image acquisition method, and image acquisition program | |
US10073258B2 (en) | Microscope system | |
JP2013080144A5 (en) | ||
US8982454B2 (en) | Microscope and filter inserting method | |
JP2008051773A (en) | Fluorescence image acquisition device and fluorescence image acquisition method | |
JP6940696B2 (en) | Two-dimensional and three-dimensional fixed Z-scan | |
JP5412149B2 (en) | Image imaging apparatus and cell image analysis system including the same | |
JP2006338001A (en) | Microscope system and image forming method | |
JP2017058704A (en) | Image acquisition device, image acquisition method, and computer program | |
JP2005070537A (en) | Microscopic imaging apparatus and method | |
JP7119085B2 (en) | Impact rescan system | |
JP2008051772A (en) | Fluorescence image acquisition device and fluorescence image acquisition method | |
JP2018116309A (en) | Image acquisition device, image acquisition method, and microscope | |
JP2013229706A (en) | Image acquisition apparatus, image acquisition method, and image acquisition program | |
WO2022050109A1 (en) | Image processing device, image processing method, and image processing system | |
JP2011209573A (en) | Focusing device, focusing method, focusing program and microscope | |
CN111279242B (en) | Dual processor image processing | |
JP2010008492A (en) | Living sample observation apparatus | |
JP2016206228A (en) | Focused position detection device, focused position detection method, imaging device and imaging system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181009 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181210 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191002 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20191009 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20200110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200824 |