WO2018158810A1 - 細胞観察装置 - Google Patents
細胞観察装置 Download PDFInfo
- Publication number
- WO2018158810A1 WO2018158810A1 PCT/JP2017/007728 JP2017007728W WO2018158810A1 WO 2018158810 A1 WO2018158810 A1 WO 2018158810A1 JP 2017007728 W JP2017007728 W JP 2017007728W WO 2018158810 A1 WO2018158810 A1 WO 2018158810A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- range
- unit
- focus
- cell
- Prior art date
Links
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000004113 cell culture Methods 0.000 claims abstract description 39
- 230000008859 change Effects 0.000 claims description 30
- 230000009467 reduction Effects 0.000 claims description 2
- 210000004027 cell Anatomy 0.000 description 60
- 238000003384 imaging method Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000013500 data storage Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001093 holography Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001778 pluripotent stem cell Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M1/00—Apparatus for enzymology or microbiology
- C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
Definitions
- the present invention relates to a cell observation apparatus for observing the state of a cell, and more specifically, a phase image and an intensity image of an object obtained by arithmetic processing on a hologram obtained by recording a fringe pattern of an object wave and a reference wave obtained by a digital holography microscope.
- the present invention relates to a cell observation apparatus that creates a reconstructed image such as the above.
- the object light reflected or transmitted from the light source by the light source and the reference light directly reaching from the same light source acquire the interference fringes (hologram) formed on the detection surface of the image sensor or the like,
- hologram interference fringes
- an intensity image and a phase image are created as a reconstructed image of the object.
- the above-mentioned advantage of the holographic microscope means that it is necessary to determine an appropriate focal position at the stage of creating an image based on a hologram obtained by photographing.
- a plurality of images for example, phase images
- the viewer displays the plurality of images. It is necessary to find an image in the most suitable in-focus state by comparing on the screen.
- the details are in focus. It is difficult and time consuming to determine whether or not.
- the image of the entire area of one cell culture plate or the entire area of one or a plurality of wells is large, it takes time to create a plurality of images with different focal positions.
- the focal position is not necessarily the same for the entire area of one cell culture plate or the entire area of one or more wells, and the height of the bottom surface is different for each well in one cell culture plate. Since the bottom surface of the culture plate is inclined, it may not be possible to determine one focal position for the entire observation target region.
- the present invention has been made to solve the above-mentioned problems, and in a cell observation device that creates and displays a phase image or the like based on hologram data obtained by a holographic microscope, an observer can appropriately focus while confirming the image.
- the main purpose is to facilitate visual judgment and improve the workability in determining the position.
- the present invention which has been made to solve the above problems, performs at least one of phase, intensity, or pseudo phase by performing arithmetic processing based on hologram data obtained by measuring a sample containing cells with a holographic microscope.
- a cell observation device that creates a reconstructed image showing any two-dimensional distribution and displays it on a display unit, a) a focal position comparison image creating unit that creates a plurality of reconstructed images having different focal positions for the entire observation target region or a partial region thereof based on the acquired hologram data; b) Displaying a screen on which an image display frame on which one of a plurality of reconstructed images having different focal positions is displayed and a slider that is an operator for changing the focal position within a predetermined range are displayed.
- the pseudo phase is a value corresponding to a phase difference in a phase contrast microscope, that is, phase information including an intensity element.
- the holographic microscope may be any of an inline type, an off-axis type, a phase shift type, etc., regardless of the system.
- the sample is a cell culture plate
- the observation target region is the entire cell culture plate or a region including one or a plurality of wells formed on the plate. It can be. That is, the cell observation device according to the present invention is a device suitable for observing living cells in culture on a cell culture plate.
- the focal position comparison image creating unit has different focal positions for the entire observation target region, for example, based on hologram data acquired for a cell culture plate in which cells are being cultured.
- a plurality of phase images are created as reconstructed images.
- the focus alignment display processing unit displays a screen on which an image display frame and a slider of a predetermined size are arranged on the display unit, but the focus position comparison image display processing unit responds to the position of the slider knob.
- the phase image at the focal position is selected from the plurality of phase images created as described above and drawn in the image display frame. Accordingly, when the user performs an operation of appropriately moving the slider knob with the pointing device, phase images of different focal positions for the same region are displayed one after another according to the operation. Thereby, the user can visually confirm the change of the phase image accompanying the change of the focal position, that is, the state of the image blur while moving the slider knob.
- the user for example, performs a predetermined operation after moving the slider knob so that the portion of interest can be seen most clearly, that is, in a focused state.
- the focus position determination unit determines that the focus position corresponding to the phase image displayed at that time is the focus position.
- the same operation may be performed using an intensity image or a pseudo phase image instead of the phase image.
- the cell observation device is preferably configured to further include a focus alignment parameter setting unit for the user to set the range of change of the focus position assigned to the slider and the pitch of the change. .
- the user can freely set the focal position change range and the pitch of the change assigned to the slider by the focus alignment parameter setting unit.
- the focus position change pitch can be set wider (the change range is narrow) and the focus position can be searched more finely. This makes it easier to find a more accurate in-focus position.
- the user designates the same focal position application range in which the same focal position can be applied on the wide-range display image which is a reconstructed image of the entire observation target area displayed on the display unit or a part of the observation target area.
- a range designating unit for The focusing position determination unit may be configured to determine a focusing position for each same focal position application range specified by the range specification unit.
- the range designating unit is a pointing device capable of designating a range of any shape and size on the displayed image, and an operation for recognizing the designated range as the same focal position application range.
- a reception unit for example, as described above, the focal position can be determined for each well even if the appropriate focal position is different for each well in one cell culture plate. Then, the focus position can be made common.
- An enlarged observation range designating unit for the user to designate a partial range on the wide-range display image as an enlarged observation range;
- An enlarged image creating unit that creates an enlarged image with a magnification higher than at least the wide-range display image for the designated enlarged observation range, and displays the enlarged image on the screen of the display unit; It is good to set it as the structure further provided.
- the magnified observation range designating unit is similar to the above range designating unit, for example, a pointing device capable of designating a range of any shape or size on the displayed image, and a magnified observation of the range designated thereby And an operation receiving unit recognized as a range.
- the user can check an enlarged image in a narrow range designated on the wide-range display image and determine whether or not the image is in focus.
- the accuracy of determination as to whether or not it is the in-focus position is improved, and workability for that is also improved.
- the enlarged observation range may not necessarily be a desired portion.
- a focus alignment target range designation for a user to specify a focus alignment target range used for determining a focal position in one or a plurality of the same focal position application ranges preferably, a focus alignment target range designation for a user to specify a focus alignment target range used for determining a focal position in one or a plurality of the same focal position application ranges. It can be set as the structure further provided with a part.
- the focal position comparison image creating unit can create a plurality of reconstructed images having different focal positions for the focus alignment target range.
- the data amount of the reconstructed image such as the phase image created by the focus position comparison image creating unit can be reduced by narrowing the focus alignment target range by the user. Accordingly, it is possible to speed up the process of calculating phase information and the like and the process of creating an image using the obtained phase information and the like. As a result, it is possible to shorten the time required for the work of determining the in-focus position and efficiently perform the cell observation work.
- the cell observation apparatus when an observer (user) performs an operation of determining an appropriate focal position while visually confirming a reconstructed image such as a phase image, it is determined whether or not the subject is in focus. It can be done easily and accurately. As a result, the efficiency of the cell observation work itself can be improved, and highly accurate cell observation using a good reconstructed image can be performed.
- the block diagram of the principal part of the cell observation apparatus which is one Example of this invention.
- Explanatory drawing of the image creation process in the cell observation apparatus of a present Example. The flowchart which shows operation and the process in the case of focusing in the cell observation apparatus of a present Example.
- Explanatory drawing at the time of the focus position alignment in the cell observation apparatus of a present Example. Explanatory drawing at the time of the focus position alignment in the cell observation apparatus of a present Example.
- Explanatory drawing at the time of the focus position alignment in the cell observation apparatus of a present Example. Explanatory drawing at the time of the focus position alignment in the cell observation apparatus of a present Example.
- FIG. 1 is a configuration diagram of a main part of the cell observation apparatus of this embodiment.
- the cell observation apparatus of the present embodiment includes a microscope observation unit 1, a control / processing unit 2, an input unit 3 and a display unit 4 which are user interfaces.
- the microscopic observation unit 1 is an in-line holographic microscope (IHM), and includes a light source unit 10 including a laser diode and an image sensor unit 11, and is provided between the light source unit 10 and the image sensor unit 11.
- a cell culture plate 12 including cells 13 to be observed is arranged.
- the cell culture plate 12 is movable in two axial directions of the X axis and the Y axis by a moving unit 14 including a driving source such as a motor.
- the control / processing unit 2 controls the operation of the microscopic observation unit 1 and processes data acquired by the microscopic observation unit 1, and includes an imaging control unit 20, a measurement data storage unit 21, a phase information calculation unit 22, The whole image creation unit 23, the focal position comparison image creation unit 24, the image data storage unit 25, the focusing processing unit 26, the focal position information storage unit 27, the display processing unit 28, the operation reception processing unit 29, and the like are provided as functional blocks.
- the entity of the control / processing unit 2 is a personal computer or a higher-performance workstation, and the function of each functional block described above is operated by operating dedicated control / processing software installed on the computer. Is realized. Therefore, the input unit 3 includes a pointing device such as a keyboard and a mouse. Further, as will be described later, the function of the control / processing unit 2 may be shared by a plurality of computers connected via a communication network instead of a single computer.
- FIG. 2 is an explanatory diagram of image creation processing in the cell observation apparatus of the present embodiment
- FIG. 3 is a flowchart showing operations and processing at the time of focusing
- FIG. 4 is an explanation of a display method of a focal position comparison image at the time of focusing.
- FIGS. 5A and 5B are schematic diagrams of a focus position alignment screen
- FIGS. 6 to 8 are explanatory diagrams at the time of focus position alignment.
- An observer sets a cell culture plate 12 on which cells (pluripotent cells) 13 to be analyzed are cultured at a predetermined position, and inputs information such as an identification number for identifying the cell culture plate 12 and a measurement date and time. Instruct the execution of measurement after inputting from 3.
- FIG. 2 (a) six wells 50 having a circular shape in a top view are formed on the cell culture plate 12, and cells are cultured in the respective wells 50. Therefore, the entire cell culture plate 12, that is, the entire rectangular range including the six wells 50 is the observation target region, that is, the imaging target range.
- the imaging control unit 20 controls the microscopic observation unit 1 to acquire data on the imaging target range as follows.
- CMOS image sensors are installed on the same XY plane of the image sensor unit 11. These four CMOS image sensors are respectively responsible for photographing four quadrant ranges 51 obtained by dividing the entire cell culture plate 12 shown in FIG. 2A into four equal parts.
- the range in which one CMOS image sensor can be photographed at a time is a rectangular range 52 including only one well 50 in the four-divided range 51 as shown in FIGS.
- the four CMOS image sensors have long sides with a length corresponding to 15 imaging units in the X-axis direction and four rectangular images having a short side with a length corresponding to 12 imaging units in the Y-axis direction. Four different imaging units of the cell culture plate 12 are photographed at the same time.
- the light source unit 10 irradiates a predetermined region of the cell culture plate 12 with coherent light having a minute angle spread of about 10 °.
- the light (object light 16) that has passed through the cell culture plate 12 and the cell 13 reaches the image sensor unit 11 while interfering with the light (reference light 15) that has passed through the area close to the cell 13 on the cell culture plate 12.
- the object light 16 is light whose phase has changed when passing through the cell 13.
- the reference light 15 is light that does not pass through the cell 13 and therefore does not undergo phase change caused by the cell 13.
- the cell culture plate 12 is moved stepwise by the moving unit 14 by a distance corresponding to the size of the imaging unit 53 in the XY plane. Thereby, the irradiation area of the coherent light emitted from the light source unit 10 moves on the cell culture plate 12, and each CMOS image sensor in the image sensor unit 11 can acquire hologram data corresponding to one imaging unit 53. it can.
- the cell culture plate 12 is moved by the moving unit 14 stepwise by 180 times corresponding to the number of imaging units 53 included in one quadrant 51, and hologram data is acquired for each movement. In this way, hologram data for the entire cell culture plate 12 can be obtained without omission.
- the hologram data obtained by the image sensor unit 11 of the microscopic observation unit 1 is sequentially sent to the control / processing unit 2 and stored in the measurement data storage unit 21.
- the phase information calculation unit 22 reads out the hologram data for each imaging unit 53 from the measurement data storage unit 21 and executes the back propagation calculation of light.
- the whole image creating unit 23 performs a tiling process (see FIG. 2D) for joining phase images in a narrow range based on the phase information calculated for each imaging unit 53, thereby observing the observation target region, that is, cell culture.
- a phase image of the entire plate 12 is created.
- the display processing unit 28 displays the phase image of the entire observation area on the screen of the display unit 4 (step S1).
- phase information when calculating such phase information or creating a phase image, a known algorithm disclosed in Patent Documents 1 and 2 may be used.
- intensity information, pseudo phase information, and the like may be calculated based on hologram data, and an intensity image and pseudo phase image based on these may be generated and displayed.
- the observer visually recognizes the phase image of the entire observation target area on the screen of the display unit 4 and inputs a range in which the same focal position can be applied on the phase image (corresponding to the same focal position application range in the present invention). It designates by operation using the part 3 (pointing device). Specifically, when the observer designates a rectangular frame of any size both vertically and horizontally on the phase image and performs a predetermined operation with a pointing device, the operation reception processing unit 29 is surrounded by the designated frame. Is recognized as the same focal position application range (step S2). By repeating such an operation, a plurality of same focal position application ranges can be designated. Of course, the same focal position may be applicable to the entire observation target region without performing such designation.
- FIG. 6 is a schematic diagram showing an example in which the same focal position application range 210 is designated for the region corresponding to the two wells 201 on the phase image 200 of the entire cell culture plate 12.
- the observer designates a local focus alignment target range 220 used for focus alignment for each same focus position application range 210 on the phase image 200 of the entire cell culture plate 12.
- This designation method may be the same as that of the same focal position application range 210, and appropriately select a part that is desired to be clearly observed or a part that is likely to be focused, such as a part where a cell focused by the observer exists. You can specify.
- the phase image 200 of the entire cell culture plate 12 it is difficult to find the cell of interest because it is difficult to see the outline of each cell.
- step S4 when the observer designates an appropriate focus alignment target range 220 and performs a predetermined enlargement operation, the focus processing unit 26 that has received an instruction via the operation reception processing unit 29, as shown in FIG. Then, an enlarged image 240 of the phase image corresponding only to the designated range is created and displayed on the screen of the display unit 4 (step S4).
- the processing unit 26 creates an enlarged image after movement or enlargement / reduction by the operation, and updates the displayed enlarged image 240.
- the observer can find an appropriate focus alignment target range 220 while searching for a cell of interest and confirming whether or not the cell can be clearly observed in the enlarged image 240. If an appropriate focus alignment target range 220 is thus determined, the focus alignment target range 220 may be determined by performing a predetermined operation with the input unit 3.
- the observer instructs execution of the focal position alignment from the input unit 3 (step S5).
- the focusing processing unit 26 creates a phase image having different focal positions in a plurality of stages as the focal position comparison image with respect to one or a plurality of designated focal position alignment target ranges 220 (see FIG. 4). ), Image data constituting the image is stored in the image data storage unit 25 (step S6). Since the size of the focus alignment target range 220 can be freely set by an observer, the focus alignment target range 220 may be contained in one imaging unit 53 or straddle a plurality of imaging units 53. In some cases.
- the above-described tiling process is performed when creating the phase image.
- smooth display can be performed during continuous confirmation of a plurality of focal position comparison images as will be described later. be able to.
- the focus position range and pitch of the focus position comparison image created in step S6 may be determined in advance by the manufacturer that provides this apparatus. These parameters may be appropriately changed by the user (observer or manager of the apparatus). However, the focus position at the time of image display, which will be described later, is changed depending on the focus position range and pitch of the created focus position comparison image. Since the range and pitch of change are restricted, it is desirable that the focal position range is not too narrow and the focal position pitch is not too wide.
- the display processing unit 28 displays a focus alignment screen 100 as shown in FIG. 5 on the screen of the display unit 4 (step S7).
- a focus position adjustment screen 100 On the focus position adjustment screen 100, an image display frame 101 for displaying a focus position comparison image and a focus position change slider 102 which is one of GUI components are arranged.
- the initial value of the focus position change range and the focus position change pitch determined by default is assigned to the focus position change slider 102, for example, the change of the focus position.
- a focus position comparison image corresponding to the maximum or minimum focus position within the range is selected from the image data storage unit 25 and displayed in the image display frame 101.
- the observer performs an operation of appropriately moving the knob 103 of the focus position change slider 102 by the input unit 3 while viewing the focus position comparison image displayed in the image display frame 101 of the focus position alignment screen 100.
- the focus processing unit 26 that has received the instruction through the operation reception processing unit 29 selects a focus position comparison image associated with the focus position corresponding to the position of the knob 103 from the image data storage unit 25, and The display image in the display frame 101 is updated (step S8).
- the observer determines, for example, whether or not the focused part such as the outline or pattern of the cell looks the clearest, that is, whether or not the focused part is in focus (step S9), and the in-focus state is the most focused.
- the position of the knob 103 of the focal position changing slider 102 is adjusted so as to find the position (step S10). If it is determined that the in-focus state is obtained when the knob 103 is moved to a certain position (Yes in step S9), the “OK” button 104 arranged at the bottom of the focus position alignment screen 100 is clicked. Thus, the determination of the focal position is instructed (step S12).
- the focusing processing unit 26 Upon receiving this instruction, the focusing processing unit 26 has the focal position corresponding to the position of the knob 103 at that time as the focal position for the same focal position application range 210 including the focus alignment target range 220 at that time. Information indicating this is stored in the focal position information storage unit 27 (step S13).
- the default focus position change pitch is too coarse, or the actual focus position is out of the default focus position change range.
- the observer appropriately changes the focal position change range and pitch assigned to the focal position change slider 102 on a parameter setting dialog screen, for example, pop-up displayed in response to a predetermined operation by the input unit 3. (Step S11).
- the display processing unit 28 assigns the change range and pitch of the changed focus position to the focus position change slider 102.
- a focus position comparison image corresponding to the maximum or minimum focus position within the change range of the focus position is selected from the image data storage unit 25 and displayed in the image display frame 101 (step S7).
- the observer can determine an appropriate focal position while viewing the focal position comparison image.
- the operations and processes shown in FIG. 3 may be performed for each focal position alignment target range 220 included in the same focal position application range 210.
- region ie, the whole cell culture plate 12
- the focal position is determined.
- a process of newly creating a phase image of the whole cell culture plate 12 or a part thereof corresponding to the focal position may be performed.
- the focus position obtained for the phase image may be used for the intensity image and the pseudo phase image, or the focus position may be determined for the intensity image and the pseudo phase image by the same method as the phase image. .
- different focal position comparison images are displayed one after another in response to the observer manually operating the slider, but a plurality of focal position comparison images having different focal positions are automatically displayed.
- An automatic playback function that is displayed one after another may be added.
- a button for instructing automatic reproduction of the focal position comparison image is prepared, and when the button is operated, the focal position comparison image within the focal position change range determined at that time is automatically selected. It is good to reproduce like a movie by displaying in order. At this time, the playback speed may be adjusted.
- Such automatic reproduction is particularly convenient for the observer to determine a rough focus position.
- control / processing unit 2 In this case, complicated processing such as calculation of phase information based on hologram data and creation of a phase image is performed on the server side, and the terminal device receives image data created thereby, and a phase image is generated based on this image data. It is preferable to perform the process of displaying the message on the terminal device side.
- the functional blocks of the control / processing unit 2 shown in FIG. 1 are separated into the terminal device side and the server side.
- the functions of the control / processing unit 2 may be shared by a plurality of computers.
- an in-line type holographic microscope is used as the microscopic observation unit 1, but other types of holographic methods such as an off-axis type and a phase shift type may be used as long as the microscope can obtain a hologram. Of course, it can be replaced by a microscope.
Landscapes
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Analytical Chemistry (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Wood Science & Technology (AREA)
- Organic Chemistry (AREA)
- Zoology (AREA)
- Biochemistry (AREA)
- Biotechnology (AREA)
- Sustainable Development (AREA)
- Biomedical Technology (AREA)
- Microbiology (AREA)
- Pathology (AREA)
- Medicinal Chemistry (AREA)
- Immunology (AREA)
- General Engineering & Computer Science (AREA)
- Genetics & Genomics (AREA)
- Optics & Photonics (AREA)
- Microscoopes, Condenser (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Holo Graphy (AREA)
Abstract
焦点位置合わせ画面(100)内には、画像表示枠(101)と焦点位置の選択が可能であるスライダー(102)とが配置される。観察対象である細胞培養プレート全体の位相画像上で観察者により指定された範囲に対応する、複数段階に焦点位置が相違する多数の位相画像が予め作成され、そのうちの一つの画像が画像表示枠(101)中に表示される。観察者がスライダー(102)のつまみ(103)を移動させると、合焦処理部は、つまみ(103)の位置に応じた焦点位置における位相画像を選択して画像表示枠(101)中に表示する。観察者はスライダー(102)を適宜に操作しながら表示される画像で合焦状態であるか否かを確認し、合焦状態であれば「決定」ボタン(104)をクリック操作して焦点位置を確定させる。これにより、効率良く適切な焦点位置を決めることができる。
Description
本発明は、細胞の状態を観察する細胞観察装置に関し、さらに詳しくは、デジタルホログラフィ顕微鏡により得られる、物体波と参照波との干渉縞を記録したホログラムに対する演算処理により物体の位相画像、強度画像等の再構成画像を作成する細胞観察装置に関する。
再生医療分野では、近年、iPS細胞やES細胞等の多能性幹細胞を用いた研究が盛んに行われている。一般に細胞は透明であって通常の光学顕微鏡では観察しにくいため、従来、細胞の観察には位相差顕微鏡が広く利用されている。
しかしながら、位相差顕微鏡では顕微画像を撮影する際に焦点合わせを行う必要があるため、広い観察対象領域を細かく区画したそれぞれの小領域についての顕微画像を取得しするような場合、測定に多大な時間が掛かり実用的でないという問題がある。これを解決するために、近年、デジタルホログラフィ技術を用いたホログラフィック顕微鏡が開発され実用に供されている(特許文献1、2等参照)。
しかしながら、位相差顕微鏡では顕微画像を撮影する際に焦点合わせを行う必要があるため、広い観察対象領域を細かく区画したそれぞれの小領域についての顕微画像を取得しするような場合、測定に多大な時間が掛かり実用的でないという問題がある。これを解決するために、近年、デジタルホログラフィ技術を用いたホログラフィック顕微鏡が開発され実用に供されている(特許文献1、2等参照)。
ホログラフィック顕微鏡では、光源からの光が物体表面で反射又は透過してくる物体光と同一光源から直接到達する参照光とがイメージセンサ等の検出面で形成する干渉縞(ホログラム)を取得し、そのホログラムに基づいた所定の演算処理を実施することで物体の再構成画像として強度画像や位相画像を作成する。こうしたホログラフィック顕微鏡では、ホログラムを取得したあとの位相回復等のための演算処理の段階で任意の距離における再構成画像を形成することができるため、撮影時にいちいち焦点合わせを行う必要がなく測定時間を短縮することができるという利点がある。
一方で、ホログラフィック顕微鏡における上記利点は、撮影により得られたホログラムに基づく画像を作成する段階で適切な焦点位置を決める必要があることを意味している。細胞培養プレート内で培養中の多能性細胞を観察する場合、細胞培養プレート内のいずれの位置にある細胞に対して焦点合わせを行うのかを観察者自身が目視により判断する必要がある。そのためには、例えば一つの細胞培養プレート全体又は該プレート中の一若しくは複数のウェル全体の領域について焦点位置の異なる画像(例えば位相画像)を複数作成し、この複数の画像を観察者が表示部の画面上で見比べて最も適切な合焦状態である画像を見つける作業が必要である。
しかしながら、焦点が異なる多数の画像を一覧で見ても、或いは、観察者がマウス等によるクリック操作で一枚ずつ画像を選択指示しながら確認しても、細かな部分の焦点が合っているのか否かを判定するのは難しいし手間も掛かる。
また、一つの細胞培養プレート全体や一若しくは複数のウェル全体の領域についての画像はサイズが大きいため、焦点位置が相違する複数の画像を作成するのには時間が掛かる。
さらにまた、一つの細胞培養プレート全体や一若しくは複数のウェル全体の領域について焦点位置が共通であるとは限らず、一つの細胞培養プレート内のウェル毎に底面の高さが相違していたり細胞培養プレートの底面が傾いていたりするために、観察対象領域全体に対して一つの焦点位置を決めることができないこともある。
また、一つの細胞培養プレート全体や一若しくは複数のウェル全体の領域についての画像はサイズが大きいため、焦点位置が相違する複数の画像を作成するのには時間が掛かる。
さらにまた、一つの細胞培養プレート全体や一若しくは複数のウェル全体の領域について焦点位置が共通であるとは限らず、一つの細胞培養プレート内のウェル毎に底面の高さが相違していたり細胞培養プレートの底面が傾いていたりするために、観察対象領域全体に対して一つの焦点位置を決めることができないこともある。
本発明は上記課題を解決なされたものであり、ホログラフィック顕微鏡で得られたホログラムデータに基づいて位相画像等を作成して表示する細胞観察装置において、観察者が画像を確認しながら適切な焦点位置を決める作業の際に、目視による判断を容易にするとともにその作業性を向上させることを主たる目的としている。
上記課題を解決するために成された本発明は、細胞を含む試料をホログラフィック顕微鏡で測定することにより得られたホログラムデータに基づく演算処理を行うことで、位相、強度、又は擬似位相の少なくともいずれかの2次元分布を示す再構成画像を作成して表示部に表示する細胞観察装置であって、
a)取得されたホログラムデータに基づいて観察対象領域の全体又はその一部の領域について焦点位置が相違する複数の再構成画像を作成する焦点位置比較画像作成部と、
b)前記焦点位置が相違する複数の再構成画像のうちの一つが表示される画像表示枠と、焦点位置を所定範囲で変化させるための操作子であるスライダーとが配置された画面を前記表示部に表示する焦点位置合わせ用表示処理部と、
c)ユーザによる前記スライダーの操作に応じて前記焦点位置が相違する複数の再構成画像を選択し、前記画像表示枠中に描出させる焦点位置比較画像表示処理部と、
d)ユーザにより指定された前記焦点位置が相違する複数の再構成画像のうちの一つに対応する焦点位置を合焦位置であると決定する合焦位置決定部と、
を備えることを特徴としている。
a)取得されたホログラムデータに基づいて観察対象領域の全体又はその一部の領域について焦点位置が相違する複数の再構成画像を作成する焦点位置比較画像作成部と、
b)前記焦点位置が相違する複数の再構成画像のうちの一つが表示される画像表示枠と、焦点位置を所定範囲で変化させるための操作子であるスライダーとが配置された画面を前記表示部に表示する焦点位置合わせ用表示処理部と、
c)ユーザによる前記スライダーの操作に応じて前記焦点位置が相違する複数の再構成画像を選択し、前記画像表示枠中に描出させる焦点位置比較画像表示処理部と、
d)ユーザにより指定された前記焦点位置が相違する複数の再構成画像のうちの一つに対応する焦点位置を合焦位置であると決定する合焦位置決定部と、
を備えることを特徴としている。
上記擬似位相とは位相差顕微鏡における位相差に相当する値、即ち、強度の要素を含む位相情報である。
また、上記ホログラフィック顕微鏡はその方式を問わず、インライン型、オフアクシス型、位相シフト型などのいずれでもよい。
また、上記ホログラフィック顕微鏡はその方式を問わず、インライン型、オフアクシス型、位相シフト型などのいずれでもよい。
本発明に係る細胞観察装置では、典型的には、前記試料は細胞培養プレートであり、前記観察対象領域は該細胞培養プレート全体又は該プレートに形成されている一又は複数のウェルが含まれる領域とすることができる。即ち、本発明に係る細胞観察装置は、細胞培養プレートにおいて培養中である生体細胞を観察するのに好適な装置である。
本発明に係る細胞観察装置において、焦点位置比較画像作成部は例えば、細胞を培養中である細胞培養プレートに対して取得されたホログラムデータに基づいて、観察対象領域全体について焦点位置がそれぞれ相違する複数の位相画像を再構成画像として作成する。焦点位置合わせ用表示処理部は、所定の大きさの画像表示枠とスライダーとが配置された画面を表示部に表示するが、焦点位置比較画像表示処理部は、そのスライダーのつまみの位置に応じた焦点位置の位相画像を上記作成されている複数の位相画像の中から選択し、それを画像表示枠中に描出する。したがって、ユーザがポインティングデバイスによりスライダーのつまみを適宜に移動させる操作を行うと、その操作に応じて、同じ領域に対する異なる焦点位置の位相画像が次々に表示される。これにより、ユーザはスライダーのつまみを移動させながら、焦点位置の変化に伴う位相画像の変化、つまり画像ボケの状態を視覚的に確認することができる。
ユーザは例えば、着目している部分が最も明瞭に見える状態つまりは合焦状態になるようにスライダーのつまみを移動させたうえで、所定の操作を行う。この操作を受けて合焦位置決定部は、そのときに表示されている位相画像に対応する焦点位置が合焦位置であると決定する。もちろん、位相画像の代わりに強度画像や擬似位相画像を利用して同様の作業を行ってもよい。こうした一連の操作により、ユーザは容易に且つ的確に再構成画像の合焦位置を決めることができる。
焦点位置を正確に合わせるにはスライダーに割り当てられる焦点位置の変化のピッチが狭い、つまりはスライダーのつまみの移動に応じて少しずつ焦点位置が変化することが望ましいが、そうすると、つまみの可動範囲に対応する焦点位置の変化の範囲が狭くなり、その範囲から合焦位置が外れる可能性がある。
そこで、本発明に係る細胞観察装置では、好ましくは、前記スライダーに割り当てられる焦点位置の変化の範囲及びその変化のピッチをユーザが設定するための焦点位置合わせパラメータ設定部をさらに備える構成とするとよい。
そこで、本発明に係る細胞観察装置では、好ましくは、前記スライダーに割り当てられる焦点位置の変化の範囲及びその変化のピッチをユーザが設定するための焦点位置合わせパラメータ設定部をさらに備える構成とするとよい。
この構成によれば、ユーザが焦点位置合わせパラメータ設定部によりスライダーに割り当てられる焦点位置の変化の範囲及びその変化のピッチを自由に設定できるので、例えばまず焦点位置の変化の範囲を広く(変化のピッチは狭く)設定したうえでおおまかに合焦位置を決めたあと、焦点位置の変化のピッチを広く(変化の範囲は狭く)設定し直して、より細かく合焦位置を探索することができる。それにより、より正確な合焦位置を見つけ易くなる。
また本発明に係る細胞観察装置では、
前記表示部に表示されている観察対象領域の全体又はその一部の領域についての再構成画像である広範囲表示画像上で、同一の焦点位置を適用可能である同一焦点位置適用範囲をユーザが指定するための範囲指定部、をさらに備え、
前記合焦位置決定部は、前記範囲指定部により指定された同一焦点位置適用範囲毎に合焦位置を決定する構成とするとよい。
前記表示部に表示されている観察対象領域の全体又はその一部の領域についての再構成画像である広範囲表示画像上で、同一の焦点位置を適用可能である同一焦点位置適用範囲をユーザが指定するための範囲指定部、をさらに備え、
前記合焦位置決定部は、前記範囲指定部により指定された同一焦点位置適用範囲毎に合焦位置を決定する構成とするとよい。
ここで、範囲指定部は例えば、表示されている画像上で任意の形状、任意の大きさの範囲を指定可能なポインティングデバイスと、それにより指定された範囲を同一焦点位置適用範囲として認識する操作受付部と、から成るものとすることができる。
この構成によれば、例えば上述したように一つの細胞培養プレート中のウェル毎に適切な焦点位置が異なる場合であっても、ウェル毎に焦点位置を定めることができ、また逆に同一ウェル内では焦点位置を共通にすることができる。
この構成によれば、例えば上述したように一つの細胞培養プレート中のウェル毎に適切な焦点位置が異なる場合であっても、ウェル毎に焦点位置を定めることができ、また逆に同一ウェル内では焦点位置を共通にすることができる。
また上記構成の細胞観察装置では、
前記広範囲表示画像上の一部の範囲をユーザが拡大観察範囲として指定するための拡大観察範囲指定部と、
該指定された拡大観察範囲について少なくとも前記広範囲表示画像よりも倍率の高い拡大画像を作成し該拡大画像を前記表示部の画面上に表示する拡大画像作成部と、
をさらに備える構成とするとよい。
前記広範囲表示画像上の一部の範囲をユーザが拡大観察範囲として指定するための拡大観察範囲指定部と、
該指定された拡大観察範囲について少なくとも前記広範囲表示画像よりも倍率の高い拡大画像を作成し該拡大画像を前記表示部の画面上に表示する拡大画像作成部と、
をさらに備える構成とするとよい。
拡大観察範囲指定部は上記範囲指定部と同様に、例えば、表示されている画像上で任意の形状、任意の大きさの範囲を指定可能なポインティングデバイスと、それにより指定された範囲を拡大観察範囲として認識する操作受付部と、から成るものとすることができる。
例えば一つの細胞培養プレートの全体やウェル全体である広範囲の位相画像等をユーザが見ても、焦点が合っているのか否かを判断することは難しい。これに対し、上記構成によれば、ユーザは広範囲表示画像上で指定した狭い範囲における拡大画像を確認して焦点が合っているのか否かを判断することができる。それにより、合焦位置か否かの判断の的確性が向上するし、そのための作業性も向上する。
また、表示されている広範囲表示画像上でユーザが拡大観察範囲を指定して拡大画像を表示させても、その拡大観察範囲が必ずしも所望の部分でない場合もある。また、それ以外の部分の画像の状態も確認したい場合もある。
そこで、本発明に係る細胞観察装置では、
前記表示部に表示されている前記広範囲表示画像上の前記拡大観察範囲を移動させる又は拡大若しくは縮小させる操作をユーザが行うための操作部をさらに備え、
前記拡大画像作成部は、前記操作部を介した操作による移動後の又は拡大若しくは縮小後の拡大画像を作成して表示することが好ましい。
これにより、ユーザは観察対象領域内の任意の部位における拡大画像を確認して焦点位置が適当か否かを判断することができる。
前記表示部に表示されている前記広範囲表示画像上の前記拡大観察範囲を移動させる又は拡大若しくは縮小させる操作をユーザが行うための操作部をさらに備え、
前記拡大画像作成部は、前記操作部を介した操作による移動後の又は拡大若しくは縮小後の拡大画像を作成して表示することが好ましい。
これにより、ユーザは観察対象領域内の任意の部位における拡大画像を確認して焦点位置が適当か否かを判断することができる。
また本発明に係る細胞観察装置では、好ましくは、一又は複数の前記同一焦点位置適用範囲においてそれぞれ焦点位置の決定に使用する焦点位置合わせ対象範囲をユーザが指定するための焦点位置合わせ対象範囲指定部をさらに備える構成とすることができる。
さらにまた本発明に係る細胞観察装置において、前記焦点位置比較画像作成部は、前記焦点位置合わせ対象範囲について焦点位置が相違する複数の再構成画像を作成する構成とすることができる。
こうした構成によれば、ユーザが焦点位置合わせ対象範囲を絞り込むことで、焦点位置比較画像作成部により作成される位相画像等の再構成画像のデータ量を少なく抑えることができる。それによって、位相情報等を算出する処理や得られた位相情報等を用いて画像を作成する処理を高速化することができる。その結果、合焦位置を決定する作業に掛かる時間を短縮し、細胞観察の作業を効率的に行うことができる。
本発明に係る細胞観察装置によれば、観察者(ユーザ)が位相画像等の再構成画像を目視で確認しながら適切な焦点位置を決める作業を行う際に、合焦か否かの判断が容易に且つ的確に行える。それにより、細胞観察の作業自体の効率向上を図ることができるとともに、良好な再構成画像を利用した精度の高い細胞観察が可能となる。
以下、本発明に係る細胞観察装置の一実施例について、添付図面を参照して説明する。
図1は本実施例の細胞観察装置の要部の構成図である。
図1は本実施例の細胞観察装置の要部の構成図である。
本実施例の細胞観察装置は、顕微観察部1と、制御・処理部2と、ユーザーインターフェイスである入力部3及び表示部4と、を備える。
顕微観察部1はインライン型ホログラフィック顕微鏡(In-line Holographic Microscopy:IHM)であり、レーザダイオードなどを含む光源部10とイメージセンサ部11とを備え、光源部10とイメージセンサ部11との間に、観察対象である細胞13を含む細胞培養プレート12が配置される。細胞培養プレート12は例えばモータ等の駆動源を含む移動部14により、X軸、Y軸の2軸方向に移動自在である。
顕微観察部1はインライン型ホログラフィック顕微鏡(In-line Holographic Microscopy:IHM)であり、レーザダイオードなどを含む光源部10とイメージセンサ部11とを備え、光源部10とイメージセンサ部11との間に、観察対象である細胞13を含む細胞培養プレート12が配置される。細胞培養プレート12は例えばモータ等の駆動源を含む移動部14により、X軸、Y軸の2軸方向に移動自在である。
制御・処理部2は顕微観察部1の動作を制御するとともに顕微観察部1で取得されたデータを処理するものであって、撮影制御部20、測定データ記憶部21、位相情報算出部22、全体画像作成部23、焦点位置比較画像作成部24、画像データ記憶部25、合焦処理部26、焦点位置情報記憶部27、表示処理部28、操作受付処理部29などを機能ブロックとして備える。
なお、この制御・処理部2の実体はパーソナルコンピュータ又はより高性能なワークステーションであり、そうしたコンピュータにインストールされた専用の制御・処理ソフトウェアを該コンピュータ上で動作させることで上記各機能ブロックの機能が実現される。したがって、入力部3はキーボードやマウス等のポインティングデバイスを含む。また、後述するように制御・処理部2の機能を一つのコンピュータでなく、通信ネットワークを介して接続された複数のコンピュータで分担する構成とすることもできる。
なお、この制御・処理部2の実体はパーソナルコンピュータ又はより高性能なワークステーションであり、そうしたコンピュータにインストールされた専用の制御・処理ソフトウェアを該コンピュータ上で動作させることで上記各機能ブロックの機能が実現される。したがって、入力部3はキーボードやマウス等のポインティングデバイスを含む。また、後述するように制御・処理部2の機能を一つのコンピュータでなく、通信ネットワークを介して接続された複数のコンピュータで分担する構成とすることもできる。
次に、本実施例の細胞観察装置において細胞観察を行う際の観察者の操作及び処理について図2~図8を参照して説明する。図2は本実施例の細胞観察装置における画像作成処理の説明図、図3は焦点合わせの際の操作及び処理を示すフローチャート、図4は焦点合わせの際の焦点位置比較画像の表示手法の説明図、図5は焦点位置合わせ画面の模式図、図6~図8は焦点位置合わせ時の説明図である。
観察者は解析対象である細胞(多能性細胞)13が培養されている細胞培養プレート12を所定位置にセットし、該細胞培養プレート12を特定する識別番号や測定日時などの情報を入力部3から入力したうえで測定実行を指示する。本例では、図2(a)に示すように、細胞培養プレート12には六個の上面視円形状のウェル50が形成されており、その各ウェル50内においてそれぞれ細胞が培養されている。そのため、この一つの細胞培養プレート12全体、つまりは六個のウェル50を含む矩形状の範囲全体が観察対象領域、即ち撮像対象範囲である。上記測定指示を受けて撮影制御部20は、顕微観察部1を制御して以下のように撮像対象範囲についてのデータを取得する。
図1には示していないが、イメージセンサ部11の同一のX-Y平面上には四つのCMOSイメージセンサが設置されている。この四つのCMOSイメージセンサは、図2(a)に示した細胞培養プレート12全体を4等分した四つの4分割範囲51の撮影をそれぞれ担うものである。一つのCMOSイメージセンサが1回に撮影可能である範囲は図2(b)及び(c)に示すように、4分割範囲51の中の1個のウェル50のみを含む矩形状の範囲52をX軸方向に10等分、Y軸方向に12等分して得られる撮像単位53に相当する範囲である。したがって、4分割範囲51は15×12=180個の撮像単位53から成る。四つのCMOSイメージセンサは、X軸方向に15個の撮像単位に対応する長さの長辺を有し、Y軸方向に12個の撮像単位に対応する長さの短辺を有する矩形の四つの頂点付近にそれぞれ配置されおり、同時に細胞培養プレート12の異なる四つの撮像単位の撮影を行う。
撮影制御部20による制御の下で光源部10は、10°程度の微小角度の広がりを持つコヒーレント光を細胞培養プレート12の所定の領域に照射する。細胞培養プレート12及び細胞13を透過した光(物体光16)は、細胞培養プレート12上で細胞13に近接する領域を透過した光(参照光15)と干渉しつつイメージセンサ部11に到達する。物体光16は細胞13を透過する際に位相が変化した光であり、他方、参照光15は細胞13を透過しないので該細胞13に起因する位相変化を受けない光である。したがって、イメージセンサ部11に配置されている四つのCMOSイメージセンサの検出面(像面)上には、細胞13により位相が変化した物体光16と位相が変化していない参照光15との干渉像(ホログラム)がそれぞれ形成され、このホログラムに対応する2次元的な光強度分布データ(ホログラムデータ)がイメージセンサ部11から出力される。
細胞培養プレート12は移動部14により、X-Y面内で上記撮像単位53のサイズに相当する距離だけステップ状に移動される。これにより、光源部10から発せられるコヒーレント光の照射領域は細胞培養プレート12上で移動し、イメージセンサ部11における各CMOSイメージセンサではそれぞれ一つの撮像単位53に対応するホログラムデータを取得することができる。細胞培養プレート12は移動部14により、一つの4分割範囲51内に含まれる撮像単位53の数に相当する180回ステップ状に移動され、その移動毎にホログラムデータが取得される。このようにして、細胞培養プレート12全体についてのホログラムデータを漏れなく得ることができる。
上述したように顕微観察部1のイメージセンサ部11で得られたホログラムデータは逐次、制御・処理部2に送られ、測定データ記憶部21に格納される。細胞培養プレート12全体の測定が終了すると、制御・処理部2では、位相情報算出部22が測定データ記憶部21から上記撮像単位53毎のホログラムデータを読み出し、光の逆伝播計算を実行することで細胞13の光学厚さを反映した位相情報及び強度情報を算出する。全体画像作成部23は、撮像単位53毎に算出された位相情報に基づく狭い範囲の位相画像を繋ぎ合わせるタイリング処理(図2(d)参照)を行うことで、観察対象領域つまりは細胞培養プレート12全体の位相画像を作成する。表示処理部28はこの観察領域全体の位相画像を表示部4の画面上に表示する(ステップS1)。
なお、こうした位相情報の計算や位相画像の作成の際には、特許文献1、2等に開示されている周知のアルゴリズムを用いればよい。なお、位相情報のほかに、ホログラムデータに基づいて強度情報や擬似位相情報なども併せて算出し、これらに基づく強度画像や擬似位相画像を作成して表示するようにしてもよい。
観察者は表示部4の画面上で観察対象領域全体の位相画像を視認し、その位相画像上で同一の焦点位置を適用可能である範囲(本発明における同一焦点位置適用範囲に相当)を入力部3(ポインティングデバイス)を用いた操作により指定する。具体的には、観察者がポインティングデバイスにより縦、横共に任意のサイズの矩形状の枠を位相画像上で指定して所定の操作を行うと、操作受付処理部29は指定された枠で囲まれる範囲を同一焦点位置適用範囲であると認識する(ステップS2)。こうした操作を繰り返して、複数の同一焦点位置適用範囲を指定することができる。もちろん、こうした指定を行わずに観察対象領域全体について同一の焦点位置を適用可能としてもよい。
図6は、細胞培養プレート12全体の位相画像200上で、二つのウェル201に対応する領域について同一焦点位置適用範囲210が指定された例を示す模式図である。
図6は、細胞培養プレート12全体の位相画像200上で、二つのウェル201に対応する領域について同一焦点位置適用範囲210が指定された例を示す模式図である。
次に、観察者は図7に示すように、細胞培養プレート12全体の位相画像200上で同一焦点位置適用範囲210毎に、焦点位置合わせに使用する局所的な焦点位置合わせ対象範囲220を指定する(ステップS3)。この指定の方法は同一焦点位置適用範囲210と同様でよく、観察者が着目している細胞が存在している部位など、鮮明に観察したい部位や焦点を合わせ易いと想定される部位を適宜に指定すればよい。ただし、細胞培養プレート12全体の位相画像200では一つ一つの細胞の輪郭等は見にくいので、着目している細胞を探索するのも難しい。そこで、観察者が適宜の焦点位置合わせ対象範囲220を指定したうえで所定の拡大操作を行うと、操作受付処理部29を介して指示を受けた合焦処理部26は、図8に示すように、指定された範囲のみに対応する位相画像の拡大画像240を作成し表示部4の画面上に表示する(ステップS4)。
また、観察者が細胞培養プレート12全体の位相画像200上で又は拡大画像240上で、その拡大画像240で示されている範囲を移動させたり拡大又は縮小させたりする操作を行うと、合焦処理部26はその操作による移動後又は拡大・縮小後の拡大画像を作成し、表示されている拡大画像240を更新する。これにより、観察者は着目する細胞を探索しながら、またその細胞が鮮明に観察可能であるか否かを拡大画像240において確認しながら、適切な焦点位置合わせ対象範囲220を見いだすことができる。そうして適切な焦点位置合わせ対象範囲220が決まったならば、入力部3で所定の操作を行うことで焦点位置合わせ対象範囲220を確定させればよい。
上述のようにして同一焦点位置適用範囲210及び焦点位置合わせ対象範囲220を指定したあと、観察者は入力部3から焦点位置合わせの実行を指示する(ステップS5)。この指示を受けて合焦処理部26は、指定されている一又は複数の焦点位置合わせ対象範囲220について、焦点位置が複数段階に相違する位相画像を焦点位置比較画像として作成し(図4参照)、その画像を構成する画像データを画像データ記憶部25に格納する(ステップS6)。焦点位置合わせ対象範囲220の大きさは観察者が自在に設定可能であるので、焦点位置合わせ対象範囲220は一つの撮像単位53に収まっている場合もあれば複数の撮像単位53に跨っている場合もある。後者の場合には、位相画像を作成する際に上述したタイリング処理が実施される。このように、あとで閲覧する可能性がある焦点位置比較画像を事前に全て用意しておくことで、後述するような複数の焦点位置比較画像の連続的な確認の際に円滑な表示を行うことができる。
ステップS6で作成される焦点位置比較画像の焦点位置の範囲やピッチは、本装置を提供するメーカが予め適宜に定めておけばよい。これらのパラメータはユーザ(観察者や装置の管理者)が適宜に変更できるようにしてもよいが、作成される焦点位置比較画像の焦点位置の範囲やピッチによって後述する画像表示時における焦点位置の変化の範囲やピッチが制約を受けるので、焦点位置の範囲が狭くなりすぎないように、また焦点位置のピッチが広くなりすぎないようにしておくことが望ましい。
一方、表示処理部28は表示部4の画面上に、図5に示すような焦点位置合わせ画面100を表示する(ステップS7)。この焦点位置合わせ画面100には、焦点位置比較画像を表示するための画像表示枠101とGUI部品の一つである焦点位置変更スライダー102とが配置されている。焦点位置合わせ画面100を新たに表示する際には、デフォルトで定められている焦点位置の変化範囲及び焦点位置の変化のピッチの初期値を焦点位置変更スライダー102に割り当て、例えばその焦点位置の変化範囲内で最大又は最小の焦点位置に対応する焦点位置比較画像を画像データ記憶部25から選択して画像表示枠101中に表示する。
観察者は焦点位置合わせ画面100の画像表示枠101に表示されている焦点位置比較画像を見ながら、入力部3により、焦点位置変更スライダー102のつまみ103を適宜に移動させる操作を行う。すると、操作受付処理部29を通してその指示を受けた合焦処理部26は、つまみ103の位置に応じた焦点位置に対応付けられている焦点位置比較画像を画像データ記憶部25から選択し、画像表示枠101中の表示画像を更新する(ステップS8)。
焦点位置が相違する焦点位置比較画像ではそれぞれ、画像ボケの状態が少しずつ異なる。そこで観察者は例えば、細胞の輪郭や模様といった着目している部分が最も鮮明に見えるか否か、つまり合焦状態であるか否かを判断し(ステップS9)、最も焦点が合った合焦位置を見つけるように焦点位置変更スライダー102のつまみ103の位置を調整する(ステップS10)。そして、つまみ103を或る位置にしたときに合焦状態であると判断したならば(ステップS9でYes)、焦点位置合わせ画面100の下部に配置されている「決定」ボタン104をクリック操作することで焦点位置の決定を指示する(ステップS12)。合焦処理部26はこの指示を受けて、その時点におけるつまみ103の位置に応じた焦点位置が、そのときの焦点位置合わせ対象範囲220が含まれる同一焦点位置適用範囲210についての焦点位置であることを示す情報を焦点位置情報記憶部27に格納する(ステップS13)。
ただし、上述したようにデフォルトで定められている焦点位置の変化のピッチが粗すぎる、或いは、実際の合焦位置がデフォルトで定められている焦点位置の変化の範囲から外れているような場合には、観察者が焦点位置変更スライダー102のつまみ103の位置を調整しても合焦状態であると判断できる状態にならないことがある。その場合には、観察者は入力部3による所定の操作に応じて例えばポップアップ表示されるパラメータ設定用のダイアログ画面で、焦点位置変更スライダー102に割り当てる焦点位置の変化の範囲やピッチを適宜変更する(ステップS11)。こうした変更が行われると、表示処理部28はその変更後の焦点位置の変化範囲及びピッチを焦点位置変更スライダー102に割り当てる。そして、例えばその焦点位置の変化範囲内で最大又は最小の焦点位置に対応する焦点位置比較画像を画像データ記憶部25から選択して画像表示枠101中に表示する(ステップS7)。このように上述したステップS7~S11の繰り返しにより、観察者は焦点位置比較画像を見ながら適切な焦点位置を決めることができる。
なお、同一焦点位置適用範囲210を複数設定した場合には、その同一焦点位置適用範囲210に含まれる焦点位置合わせ対象範囲220毎に、図3に示した操作及び処理を実施すればよい。これにより、観察対象領域全体つまりは細胞培養プレート12全体の位相画像についての焦点位置を決めることができる。そして、焦点位置が決まったならば、その焦点位置に対応した細胞培養プレート12全体の又はその一部の位相画像を改めて作成する処理を実施すればよい。
なお、強度画像や擬似位相画像については位相画像について求めた焦点位置を利用してもよいし、或いは、強度画像や擬似位相画像について位相画像と同様の手法で焦点位置を決めるようにしてもよい。
なお、強度画像や擬似位相画像については位相画像について求めた焦点位置を利用してもよいし、或いは、強度画像や擬似位相画像について位相画像と同様の手法で焦点位置を決めるようにしてもよい。
上記実施例の細胞観察装置では、観察者がスライダーを手動で操作するのに対応して異なる焦点位置比較画像が次々に表示されるが、焦点位置が相違する複数の焦点位置比較画像が自動的に次々に表示される自動再生機能を付加してもよい。この場合、焦点位置比較画像の自動再生を指示するボタンを用意しておき、そのボタンが操作されたならば、そのときに定められている焦点位置変化範囲内の焦点位置比較画像を自動的に順番に表示することで動画のように再生するとよい。このとき、再生の速度を調整できるようにしてもよい。こうした自動再生は特に、観察者がおおまかな焦点位置を判断するのに都合がよい。
また、図1に示した実施例の構成では、制御・処理部2において全ての処理を実施しているが、一般に、ホログラムデータに基づく位相情報の計算やその計算結果の画像化には膨大な量の計算が必要である。そのため、通常使用されているパーソナルコンピュータでは計算に多大な時間が掛かり効率的な解析作業は難しい。そこで、顕微観察部1に接続されたパーソナルコンピュータを端末装置とし、この端末装置と高性能なコンピュータであるサーバとがインターネットやイントラネット等の通信ネットワークを介して接続されたコンピュータシステムを利用してもよい。この場合、ホログラムデータに基づく位相情報の計算や位相画像の作成などの複雑な処理はサーバ側で実施し、それによって作成された画像データを端末装置が受け取って、この画像データに基づいて位相画像を表示する処理を端末装置側で行うようにするとよい。こうした構成では、図1に示した制御・処理部2の機能ブロックが端末装置側とサーバ側とに分離されることになる。このように、制御・処理部2の機能は複数のコンピュータで分担しても構わない。
また上記実施例の細胞観察装置では、顕微観察部1としてインライン型ホログラフィック顕微鏡を用いていたが、ホログラムが得られる顕微鏡であれば、オフアクシス型、位相シフト型などの他の方式のホログラフィック顕微鏡に置換え可能であることは当然である。
さらにまた、上記実施例及び上記記載の変形例はいずれも本発明の一例であり、本発明の趣旨の範囲でさらに適宜の変更、修正、追加を行っても本願特許請求の範囲に包含されることは当然である。
1…顕微観察部
10…光源部
11…イメージセンサ
12…細胞培養プレート
13…細胞
14…移動部
15…参照光
16…物体光
2…制御・処理部
20…撮影制御部
21…測定データ記憶部
22…位相情報算出部
23…全体画像作成部
24…焦点位置比較画像作成部
25…画像データ記憶部
26…合焦処理部
27…焦点位置情報記憶部
28…表示処理部
29…操作受付処理部
3…入力部
4…表示部
100…焦点位置合わせ画面
101…画像表示枠
102…焦点位置変更スライダー
103…つまみ
104…「決定」ボタン
10…光源部
11…イメージセンサ
12…細胞培養プレート
13…細胞
14…移動部
15…参照光
16…物体光
2…制御・処理部
20…撮影制御部
21…測定データ記憶部
22…位相情報算出部
23…全体画像作成部
24…焦点位置比較画像作成部
25…画像データ記憶部
26…合焦処理部
27…焦点位置情報記憶部
28…表示処理部
29…操作受付処理部
3…入力部
4…表示部
100…焦点位置合わせ画面
101…画像表示枠
102…焦点位置変更スライダー
103…つまみ
104…「決定」ボタン
Claims (8)
- 細胞を含む試料をホログラフィック顕微鏡で測定することにより得られたホログラムデータに基づく演算処理を行うことで、位相、強度、又は擬似位相の少なくともいずれかの2次元分布を示す再構成画像を作成して表示部に表示する細胞観察装置であって、
a)取得されたホログラムデータに基づいて観察対象領域の全体又はその一部の領域について焦点位置が相違する複数の再構成画像を作成する焦点位置比較画像作成部と、
b)前記焦点位置が相違する複数の再構成画像のうちの一つが表示される画像表示枠と、焦点位置を所定範囲で変化させるための操作子であるスライダーとが配置された画面を前記表示部に表示する焦点位置合わせ用表示処理部と、
c)ユーザによる前記スライダーの操作に応じて前記焦点位置が相違する複数の再構成画像を選択し、前記画像表示枠中に描出させる焦点位置比較画像表示処理部と、
d)ユーザにより指定された前記焦点位置が相違する複数の再構成画像のうちの一つに対応する焦点位置を合焦位置であると決定する合焦位置決定部と、
を備えることを特徴とする細胞観察装置。 - 請求項1に記載の細胞観察装置であって、
前記試料は細胞培養プレートであり、前記観察対象領域は該細胞培養プレート全体又は該プレートに形成されている一又は複数のウェルが含まれる領域であることを特徴とする細胞観察装置。 - 請求項1に記載の細胞観察装置であって、
前記スライダーに割り当てられる焦点位置の変化の範囲及びその変化のピッチをユーザが設定するための焦点位置合わせパラメータ設定部をさらに備えることを特徴とする細胞観察装置。 - 請求項1に記載の細胞観察装置であって、
前記表示部に表示されている観察対象領域の全体又はその一部の領域についての再構成画像である広範囲表示画像上で、同一の焦点位置を適用可能である同一焦点位置適用範囲をユーザが指定するための範囲指定部、をさらに備え、
前記合焦位置決定部は、前記範囲指定部により指定された同一焦点位置適用範囲毎に合焦位置を決定することを特徴とする細胞観察装置。 - 請求項4に記載の細胞観察装置であって、
前記広範囲表示画像上の一部の範囲をユーザが拡大観察範囲として指定するための拡大観察範囲指定部と、
該指定された拡大観察範囲について少なくとも前記広範囲表示画像よりも倍率の高い拡大画像を作成し該拡大画像を前記表示部の画面上に表示する拡大画像作成部と、
をさらに備えることを特徴とする細胞観察装置。 - 請求項5に記載の細胞観察装置であって、
前記表示部に表示されている前記広範囲表示画像上の前記拡大観察範囲を移動させる又は拡大若しくは縮小させる操作をユーザが行うための操作部をさらに備え、
前記拡大画像作成部は、前記操作部を介した操作による移動後の又は拡大若しくは縮小後の拡大画像を作成して表示することを特徴とする細胞観察装置。 - 請求項4に記載の細胞観察装置であって、
一又は複数の前記同一焦点位置適用範囲においてそれぞれ焦点位置の決定に使用する焦点位置合わせ対象範囲をユーザが指定するための焦点位置合わせ対象範囲指定部をさらに備えることを特徴とする細胞観察装置。 - 請求項7に記載の細胞観察装置であって、
前記焦点位置比較画像作成部は、前記焦点位置合わせ対象範囲について焦点位置が相違する複数の再構成画像を作成することを特徴とする細胞観察装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/007728 WO2018158810A1 (ja) | 2017-02-28 | 2017-02-28 | 細胞観察装置 |
JP2019502314A JP6760477B2 (ja) | 2017-02-28 | 2017-02-28 | 細胞観察装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/007728 WO2018158810A1 (ja) | 2017-02-28 | 2017-02-28 | 細胞観察装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018158810A1 true WO2018158810A1 (ja) | 2018-09-07 |
Family
ID=63371117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/007728 WO2018158810A1 (ja) | 2017-02-28 | 2017-02-28 | 細胞観察装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6760477B2 (ja) |
WO (1) | WO2018158810A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190121112A1 (en) * | 2017-10-25 | 2019-04-25 | Olympus Corporation | Image processing device and microscope system |
WO2021261150A1 (ja) * | 2020-06-25 | 2021-12-30 | 富士フイルム株式会社 | 情報処理装置、その作動方法及び作動プログラム |
WO2021261158A1 (ja) * | 2020-06-25 | 2021-12-30 | 富士フイルム株式会社 | 情報処理装置、その作動方法及び作動プログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009047460A (ja) * | 2007-08-15 | 2009-03-05 | Lasertec Corp | 共焦点顕微鏡 |
WO2011089908A1 (ja) * | 2010-01-20 | 2011-07-28 | 株式会社ニコン | 細胞観察装置及び細胞培養方法 |
WO2012005315A1 (ja) * | 2010-07-07 | 2012-01-12 | 兵庫県 | ホログラフィック顕微鏡、微小被写体のホログラム画像記録方法、高分解能画像再生用ホログラム作成方法、および画像再生方法 |
WO2013070287A1 (en) * | 2011-11-07 | 2013-05-16 | The Regents Of The University Of California | Maskless imaging of dense samples using multi-height lensfree microscope |
JP2015082095A (ja) * | 2013-10-24 | 2015-04-27 | 株式会社キーエンス | 画像処理装置、顕微鏡システム、画像処理方法およびプログラム |
JP2016001274A (ja) * | 2014-06-12 | 2016-01-07 | レーザーテック株式会社 | レーザ顕微鏡及びスキャナー |
WO2016163560A1 (ja) * | 2015-04-09 | 2016-10-13 | 国立大学法人神戸大学 | ディジタルホログラフィック顕微鏡 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4667944B2 (ja) * | 2005-04-20 | 2011-04-13 | シスメックス株式会社 | 画像作成装置 |
JP5048038B2 (ja) * | 2009-11-05 | 2012-10-17 | シスメックス株式会社 | 血液細胞分類結果の表示方法および血液細胞分類結果表示用プログラム |
JP5996334B2 (ja) * | 2012-08-28 | 2016-09-21 | オリンパス株式会社 | 顕微鏡システム、標本画像生成方法及びプログラム |
CA2979592A1 (en) * | 2015-03-13 | 2016-09-22 | Universite Paris Descartes | Optical system for shaping the wavefront of the electric field of an input light beam |
-
2017
- 2017-02-28 WO PCT/JP2017/007728 patent/WO2018158810A1/ja active Application Filing
- 2017-02-28 JP JP2019502314A patent/JP6760477B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009047460A (ja) * | 2007-08-15 | 2009-03-05 | Lasertec Corp | 共焦点顕微鏡 |
WO2011089908A1 (ja) * | 2010-01-20 | 2011-07-28 | 株式会社ニコン | 細胞観察装置及び細胞培養方法 |
WO2012005315A1 (ja) * | 2010-07-07 | 2012-01-12 | 兵庫県 | ホログラフィック顕微鏡、微小被写体のホログラム画像記録方法、高分解能画像再生用ホログラム作成方法、および画像再生方法 |
WO2013070287A1 (en) * | 2011-11-07 | 2013-05-16 | The Regents Of The University Of California | Maskless imaging of dense samples using multi-height lensfree microscope |
JP2015082095A (ja) * | 2013-10-24 | 2015-04-27 | 株式会社キーエンス | 画像処理装置、顕微鏡システム、画像処理方法およびプログラム |
JP2016001274A (ja) * | 2014-06-12 | 2016-01-07 | レーザーテック株式会社 | レーザ顕微鏡及びスキャナー |
WO2016163560A1 (ja) * | 2015-04-09 | 2016-10-13 | 国立大学法人神戸大学 | ディジタルホログラフィック顕微鏡 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190121112A1 (en) * | 2017-10-25 | 2019-04-25 | Olympus Corporation | Image processing device and microscope system |
US10690902B2 (en) * | 2017-10-25 | 2020-06-23 | Olympus Corporation | Image processing device and microscope system |
WO2021261150A1 (ja) * | 2020-06-25 | 2021-12-30 | 富士フイルム株式会社 | 情報処理装置、その作動方法及び作動プログラム |
JPWO2021261150A1 (ja) * | 2020-06-25 | 2021-12-30 | ||
WO2021261158A1 (ja) * | 2020-06-25 | 2021-12-30 | 富士フイルム株式会社 | 情報処理装置、その作動方法及び作動プログラム |
JP7364796B2 (ja) | 2020-06-25 | 2023-10-18 | 富士フイルム株式会社 | 情報処理装置、その作動方法及び作動プログラム |
JP7397196B2 (ja) | 2020-06-25 | 2023-12-12 | 富士フイルム株式会社 | 情報処理装置、その作動方法及び作動プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2018158810A1 (ja) | 2019-12-19 |
JP6760477B2 (ja) | 2020-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110214290B (zh) | 显微光谱测量方法和*** | |
Hahne et al. | Light field geometry of a standard plenoptic camera | |
JP5132867B2 (ja) | 仮想顕微鏡スライドを形成し使用する方法および装置、ならびにプログラム | |
JP6860064B2 (ja) | 細胞観察装置 | |
JP6503221B2 (ja) | 3次元情報取得装置、及び、3次元情報取得方法 | |
WO2018158810A1 (ja) | 細胞観察装置 | |
US10798333B2 (en) | Cell observation system | |
JP2015082095A (ja) | 画像処理装置、顕微鏡システム、画像処理方法およびプログラム | |
JP6950813B2 (ja) | 細胞観察装置 | |
JP4296207B2 (ja) | 顕微測定装置 | |
US20050117816A1 (en) | Virtual microscope-device and method | |
WO2018158946A1 (ja) | 細胞観察装置 | |
KR100897674B1 (ko) | 표본 검사 시스템 및 표본 검사 방법 | |
JP6293453B2 (ja) | エッジ測定ビデオツールパラメータ設定ユーザインタフェース | |
WO2019043953A1 (ja) | 細胞観察装置 | |
JP5319184B2 (ja) | 顕微鏡システム及び顕微鏡制御プログラム | |
Kankaanpää et al. | BioImageXD-new open source free software for the processing, analysis and visualization of multidimensional microscopic images | |
JP4046161B2 (ja) | 標本画像データ処理方法及び標本検査システム | |
JP7036192B2 (ja) | 細胞観察装置 | |
Almendarez-Rangel et al. | Finding trap stiffness of optical tweezers using digital filters | |
JP2023130870A (ja) | 顕微鏡システム、重畳ユニット、及び、動作方法 | |
JP2006331852A (ja) | 表面観察分析装置 | |
WO2013099190A1 (en) | Display data generating apparatus and control method for the same | |
TWI847205B (zh) | 帶電粒子線裝置 | |
Conklin | Tutorial for Collecting and Processing Images of Composite Structures to Determine the Fiber Volume Fraction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17899111 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019502314 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17899111 Country of ref document: EP Kind code of ref document: A1 |