CN110383044A - 细胞观察装置 - Google Patents

细胞观察装置 Download PDF

Info

Publication number
CN110383044A
CN110383044A CN201780087942.XA CN201780087942A CN110383044A CN 110383044 A CN110383044 A CN 110383044A CN 201780087942 A CN201780087942 A CN 201780087942A CN 110383044 A CN110383044 A CN 110383044A
Authority
CN
China
Prior art keywords
image
phase
cell
intensity
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201780087942.XA
Other languages
English (en)
Inventor
青位祐辅
木村克利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hachitsu Corp
Shimadzu Corp
Original Assignee
Hachitsu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hachitsu Corp filed Critical Hachitsu Corp
Publication of CN110383044A publication Critical patent/CN110383044A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41—Refractivity; Phase-affecting properties, e.g. optical path length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434—Optical arrangements
    • G01N2015/1454—Optical arrangements using phase shift or interference, e.g. for improving contrast
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/005—Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0447—In-line recording arrangement
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0452—Digital holography, i.e. recording holograms with digital recording means arranged to record an image of the object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/10—Modulation characteristics, e.g. amplitude, phase, polarisation
    • G03H2210/12—Phase modulating object, e.g. living cell
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/50—Nature of the object
    • G03H2210/55—Having particular size, e.g. irresolvable by the eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Computing Systems (AREA)
  • Zoology (AREA)
  • Biotechnology (AREA)
  • Dispersion Chemistry (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Microbiology (AREA)
  • Quality & Reliability (AREA)
  • Genetics & Genomics (AREA)
  • Sustainable Development (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Holo Graphy (AREA)

Abstract

本发明是基于由全息显微镜获得的全息图数据来计算相位信息和强度信息的二维分布的细胞观察装置，在显示于显示部的图像显示画面(100)中配置有设置有两个图像显示框(121、122)的图像显示栏(120)。在图像显示框(121、122)中分别显示与培养有作为观察对象的细胞的细胞培养板(12)上的相同的观察范围对应的相位图像和强度图像。在强度图像中，能够清晰地确认出在相位图像中几乎看不到的板上的井。相反地，在相位图像中，能够观察到在强度图像中几乎看不到的生物体细胞。因此，观察者在强度图像中决定井中的想要观察的范围，将该范围放大来在相位图像中详细地观察细胞。由此，能够可靠地观察在井中的想要观察的范围内存在的细胞。

Description

细胞观察装置
技术领域
本发明涉及一种用于观察细胞的状态的细胞观察装置，更详细地说，涉及一种通过对由数字全息显微镜获得的记录有物体波与参考波的干涉条纹的全息图进行运算处理来生成物体的相位图像、强度图像等的细胞观察装置。
背景技术
近年来，在再生医疗领域中盛行使用iPS细胞、ES细胞等多能性干细胞进行研究。一般来说，细胞是透明的，通过通常的光学显微镜难以进行观察，因此以往广泛地利用相差显微镜来观察细胞。
然而，关于相差显微镜，在拍摄显微图像时需要进行对焦，因此在获取关于将广泛的观察对象区域精细划分得到的各个小区域的显微图像那样的情况下，存在测定花费大量的时间且不实用的问题。为了解决这个问题，近年来开发出使用数字全息技术的全息显微镜并投入实际使用(参照专利文献1、2等)。
在全息显微镜中，获取来自光源的光在物体表面反射或透过后的物体光与从同一光源直接到达的参考光在图像传感器等的检测面形成的干涉条纹(全息图)，基于该全息图实施规定的运算处理，由此生成强度图像、相位图像来作为物体的重构图像。在这样的全息显微镜中，能够在获取到全息图之后的用于相位恢复等的运算处理阶段形成任意距离处的重构图像。因此，不需要在拍摄时逐一地进行对焦，从而能够缩短测定时间。另外，能够在测定结束后的任意的时间点生成适当地改变了焦点位置的重构图像，从而能够对观察对象物进行详细的观察。
在通过使用全息显微镜的细胞观察装置对正在培养的多能细胞进行观察的情况下，将培养有细胞的细胞培养板等细胞培养容器放置在全息显微镜的规定位置，收集关于该细胞培养容器整体或该细胞培养容器的一部分的全息图数据。在使用全息显微镜的细胞观察装置中，能够在相位图像上良好地观察未被染色的细胞。然而，在通过基于全息图数据进行的反向光传播计算等运算处理求出的相位信息中，只反映出关于细胞等光学厚度比较小、也就是说相位差低的物体的信息，几乎没有反映关于光学厚度比细胞的光学厚度大的容器等物体的信息。这是因为，在一般的全息显微镜中，在原理上很难只测定到所使用的光源的波长程度的光学厚度。
因此，例如即使显示细胞培养板整体的相位图像，也几乎无法视觉识别到该细胞培养板上形成的收容部(井)的形状等，从而存在观察者难以掌握正在观察的细胞存在于井内的哪个位置这样的问题。另外，还存在如下的问题：即使比细胞大的人的头发、灰尘等异物混入了细胞培养容器，在相位图像中也无法清晰地显现这些异物，从而导致观察者看漏。
现有技术文献
专利文献
专利文献1：国际专利公开第2016/084420号
专利文献2：日本特开平10-268740号公报
发明内容
发明要解决的问题
本发明是为了解决上述问题而完成的，其主要的目的在于，在基于由全息显微镜获得的全息图数据生成相位图像等并进行显示的细胞观察装置中，能够良好地观察生物体细胞，并且观察者能够容易地掌握正在观察的位置是细胞培养容器内的哪个位置。另外，本发明的其它目的在于提供一种观察者能够容易地掌握比细胞大的异物的混入的细胞观察装置。
用于解决问题的方案
为了解决上述问题而完成的本发明是一种使用全息显微镜的细胞观察装置，该细胞观察装置的特征在于，具备：
a)运算处理部，其基于全息图数据来计算关于包含细胞的试样的相位信息和强度信息的二维分布，该全息图数据是通过利用所述全息显微镜对该试样进行测定而得到的数据；
b)图像生成部，其基于通过所述运算处理部得到的相位信息和强度信息的二维分布，分别生成关于所述试样的观察对象区域的整体或该观察对象区域的一部分的相位图像和强度图像；以及
c)显示处理部，其形成显示画面并将该显示画面显示于显示部，在所述显示画面中将由所述图像生成部生成的关于所述试样上的相同范围的相位图像和强度图像并排地配置。
上述全息显微镜的方式没有限制，可以是同轴型、离轴型、相移型等方式中的任一种。
在本发明所涉及的细胞观察装置中，典型地，能够设为，所述试样为细胞培养容器，利用所述全息显微镜能够获取到全息图数据的最大的区域为所述细胞培养容器整体或该细胞培养容器的部分区域。上述细胞培养容器是形成有一个或多个井的细胞培养板、培养皿、以进行大量培养为目的的培养瓶等。
因而，本发明所涉及的细胞观察装置是适合于观察这样的细胞培养容器中正在培养的生物体细胞的装置。
在本发明所涉及的细胞观察装置中，运算处理部基于利用全息显微镜对试样进行测定所得到的全息图数据来进行规定的运算处理，由此分别求出相位信息的二维分布和强度信息的二维分布。图像生成部通过将计算出的相位信息和强度信息分别与二维图像的各像素建立对应，来生成相位图像和强度图像。在如上述那样试样例如是细胞培养板的情况下，能够将该细胞培养板整体作为观察对象区域来生成相位图像和强度图像。当然，也能够是，不生成关于细胞培养板整体的相位图像和强度图像，生成仅关于该细胞培养板中的部分区域的相位图像和强度图像。
显示处理部形成显示画面并将该显示画面显示于显示部，在该显示画面中将由图像生成部生成的关于试样上的相同范围的相位图像和强度图像沿横向或纵向并排地配置。相位图像和强度图像分别设为灰阶显示或彩阶显示即可。通过这样的处理，例如能够在显示部中显示将关于细胞培养板整体的相位图像和强度图像沿横向排列的显示画面。
在该情况下，在相位图像中几乎无法识别出细胞培养板上的井的形状等，但是能够将在强度图像中几乎看不到的无色透明的细胞的轮廓、图案等清晰地显现。另一方面，强度图像与光学显微图像大致相同，因此在强度图像中清晰地显现出井的形状等在相位图像上看不到的光学厚度大的物体、较大的高度差等。因此，观察者能够在相位图像上确认正在关注的细胞的存在位置，并在强度图像上掌握该细胞的存在位置是细胞培养板中的哪个位置或井中的哪个位置。另外，能够在相位图像上进行细胞的大小、形状等的详细观察。
另外，与培养细胞相比尺寸较大的人的头发、灰尘、塑料碎屑等异物有时在相位图像中无法清晰地看到，但是在强度图像上能够明确地识别出这样的异物。
在本发明所涉及的细胞观察装置中，优选的是，设为以下结构：
还具备操作部，该操作部供用户进行以下操作：关于由所述显示处理部在所述显示部的画面上显示的相位图像和强度图像中的任一方进行倍率的变更或者观察位置的移动，
所述图像生成部根据利用所述操作部进行的操作，来生成将作为操作对象的相位图像和强度图像中的一方的倍率进行了变更或者将作为操作对象的相位图像和强度图像中的一方的观察位置进行了移动后的相位图像或强度图像，并且生成将所述相位图像和强度图像中的另一方以与针对该相位图像和强度图像中的一方的操作相同程度地变更倍率或者移动观察位置后的相位图像或强度图像，
所述显示处理部将由该图像生成部变更倍率之后或移动观察位置之后的相位图像和强度图像显示于所述显示画面。
在该结构中，当观察者通过操作部的操作来在例如显示部中正显示的与细胞培养板整体对应的强度图像上指定井中的特定范围之后指示倍率放大时，图像生成部根据该操作来识别所指定的范围，并生成将该范围以适当的倍率放大了的分辨率相对较高的强度图像。另外，与其联动地，关于相位图像也生成将所指定的范围以与强度图像相同的倍率放大了的分辨率相对较高的相位图像。而且，显示处理部将紧挨着之前显示于显示部的图像更新为新的、也就是放大后的相位图像和强度图像。
由此，观察者能够在放大后的相位图像上进行细胞的详细观察。
另外，在本发明所涉及的细胞观察装置中，优选的是，设为如下的结构：
所述显示处理部将如下图像显示在同一个画面上：在将观察对象区域整体的强度图像缩小所得到的缩略图图像上叠加了表示在此时间点正显示的相位图像和强度图像的观察范围的标记的图像。
当提高相位图像和强度图像的观察倍率时，在细胞培养板内的相对位置能够被识别出的物体在强度图像上有可能无法再观察到(超出观察范围)。与此相对地，根据上述结构，由于在观察对象区域整体的强度图像、也就是说能够确认细胞培养板、井的图像上清晰地示出此时间点的观察范围，因此观察者能够容易地掌握观察范围的相对位置。
发明的效果
根据本发明所涉及的细胞观察装置，观察者能够利用相位图像良好地观察生物体细胞，并且根据与相位图像同时显示的强度图像能够容易地掌握正在观察的范围是细胞培养板等细胞培养容器中的哪个位置。由此，能够提高细胞观察的效率，并且能够防止观察者错误地观察不期望的区域。另外，在人的头发、灰尘、塑料碎屑等不期望的异物混入了细胞培养容器的情况下，观察者能够从强度图像中容易地掌握异物的混入并进行去除。
附图说明
图1是作为本发明的一个实施例的细胞观察装置的主要部分的结构图。
图2是用于说明本实施例的细胞观察装置中的图像生成处理的概念图。
图3是表示本实施例的细胞观察装置中的图像显示画面的示意图。
图4是图3中的信息显示栏的概要图。
图5是用于说明在本实施例的细胞观察装置中变更观察倍率时的图像生成处理的概念图。
图6是表示本实施例的细胞观察装置中的倍率(分辨率)不同的图像之间的关系的概念图。
图7是示出在本实施例的细胞观察装置中显示的相位图像和强度图像的实例的图，(a)是示出低倍率时的显示图像的图，(b)是示出高倍率时的显示图像的图。
图8是示出在本实施例的细胞观察装置中混入了人的头发片的情况下的相位图像和强度图像的实例的图。
具体实施方式
下面，参照附图说明本发明所涉及的细胞观察装置的一个实施例。
图1是本实施例的细胞观察装置的主要部分的结构图。
本实施例的细胞观察装置具备显微观察部1、控制和处理部2、作为用户接口的输入部3以及显示部4。
显微观察部1是同轴型全息显微镜(In-line Holographic Microscopy：IHM)，具备图像传感器11和包括激光二极管等的光源部10，在光源部10与图像传感器11之间配置有包含作为观察对象的细胞13的细胞培养板12。细胞培养板12例如通过包括马达等驱动源的移动部14来在相互正交的X轴、Y轴这两个轴向上自由移动。
控制和处理部2对显微观察部1的动作进行控制，并且对由显微观察部1获取到的数据进行处理，该控制和处理部2具备摄影控制部20、测定数据存储部21、运算处理部22、图像生成部23、图像数据存储部24、显示处理部25、显示图像生成部26、操作受理处理部27等作为功能模块。
此外，该控制和处理部2的实体是个人计算机或性能更高的工作站，通过使安装在那样的计算机中的专用的控制和处理软件在该计算机上动作来实现上述各功能模块的功能。因而，输入部3包括键盘、鼠标等指示设备。另外，如后述那样也能够设为不是通过一个计算机来实现控制和处理部2的功能而是通过经由通信网络连接的多个计算机来分担控制和处理部2的功能的结构。
接着，参照图2～图6说明观察者在本实施例的细胞观察装置中进行细胞观察时进行的操作和处理。
图2是用于说明本实施例的细胞观察装置中的图像生成处理的概念图，图3是表示本实施例的细胞观察装置中的图像显示画面的示意图，图4是图3中的信息显示栏的概要图，图5是用于说明在本实施例的细胞观察装置中变更观察倍率时的图像生成处理的概念图，图6是表示本实施例的细胞观察装置中的倍率不同的图像的关系的概念图。
观察者将培养有作为观察对象的细胞(多能细胞)13的细胞培养板12放置在显微观察部1的规定位置，从输入部3输入用于确定该细胞培养板12的识别编号、测定日期和时间等信息，之后指示执行测定。在本实施例中，如图2的(a)所示，在细胞培养板12形成有俯视观察为圆形的六个井(well)50，在各井50内培养细胞。因此，一个细胞培养板12整体、也就是说包括六个井50的矩形状的范围整体为观察对象区域。摄影控制部20接收到上述测定指示后控制显微观察部1的各部来如下面那样获取关于观察对象区域的全息图数据。
在图1中虽然没有示出，但是在图像传感器部11的同一X-Y平面上设置有四个CMOS图像传感器。这四个CMOS图像传感器分别负责拍摄图2的(a)所示的将细胞培养板12整体进行4等分所得到的四个4分割范围51。如图2的(b)和(c)所示，一个CMOS图像传感器一次能够拍摄的范围是与将4分割范围51中的仅包括一个井50的矩形的范围52在X轴方向上进行10等分、在Y轴方向上进行12等分得到的摄像单位53相当的范围。因而，一个4分割范围51包括15×12＝180个摄像单位53。四个CMOS图像传感器分别配置于在X轴方向上具有与15个摄像单位对应的长度的长边且在Y轴方向上具有与12个摄像单位对应的长度的短边的矩形的四个顶点附近，对细胞培养板12的四个不同的摄像单位同时进行拍摄。当然，这些数值只是一例，能够适当地进行变更，这是不言而喻的。
在摄影控制部20的控制下，光源部10向细胞培养板12的规定区域照射具有10°左右的微小发散角度的相干光。透过细胞培养板12和细胞13后的相干光(物体光16)与透过细胞培养板12上的接近细胞13的区域后的光(参考光15)发生干涉并到达图像传感器部11。物体光16是在透过细胞13时相位发生了变化的光，另一方面，参考光15是由于不透过细胞13因此没有因该细胞13而发生相位变化的光。因而，在配置于图像传感器部11的四个CMOS图像传感器的检测面(像面)上分别形成因细胞13而相位发生了变化的物体光16与相位没有变化的参考光15的干涉像(全息图)，从图像传感器部11输出与该全息图对应的二维的光强度分布数据(全息图数据)。
利用移动部14使细胞培养板12在X-Y面内逐步地移动与上述摄像单位53的尺寸相当的距离。由此，从光源部10发出的相干光的照射区域在细胞培养板12上移动，在图像传感器部11中的各CMOS图像传感器中，能够分别获取与一个摄像单位53对应的全息图数据。细胞培养板12通过移动部14而逐步地移动与一个4分割范围51内包含的摄像单位53的数量相当的180次，在每次使细胞培养板12移动时都获取全息图数据。另外，使从光源部10射出的相干光的波长以多个等级(例如四个等级)进行变更，针对各波长光分别收集全息图数据。通过这样，能够在显微观察部1中无遗漏地获得关于细胞培养板12整体的全息图数据。
如上述那样，通过显微观察部1的图像传感器部11获得的全息图数据被逐次发送到控制和处理部2，并被保存到测定数据存储部21。当细胞培养板12整体的测定结束时，在控制和处理部2中，运算处理部22从测定数据存储部21读出每个上述摄像单位53的关于多个波长的全息图数据，通过执行光的反向传播计算，来计算反映出细胞13的光学厚度的相位信息和强度信息。即，能够针对每个摄像单位53获得相位信息和强度信息的二维分布。
图像生成部23进行将基于如上述那样针对每个摄像单位53计算出的相位信息的二维分布得到的窄范围的相位图像进行接合的拼接处理(tiling operation)(参照图2的(d))，由此生成关于观察对象区域、也就是细胞培养板12整体的相位图像。另外，图像生成部23进行将基于针对每个摄像单位53计算出的强度信息的二维分布的窄范围的强度图像接合的拼接处理，由此还生成关于观察对象区域、也就是细胞培养板12整体的强度图像。此外，在进行这样的拼接处理时，也可以进行适当的校正处理以使接合处平滑。
构成通过这样生成的相位图像、强度图像的图像数据被保存到图像数据存储部24。此时生成的相位图像、强度图像是根据全息图数据的空间分辨率(也就是CMOS图像传感器的空间分辨率)等决定的分辨率最高的图像。
此外，在进行上述那样的相位信息、强度信息的计算、相位图像、强度图像的生成时，使用如专利文献1、2等中公开那样的众所周知的算法即可，其计算方法、处理方法不限定于特定的方法。
当观察者在测定结束后为了进行细胞观察而利用输入部3进行规定的操作时，显示处理部25根据通过操作受理处理部27受理的操作来生成如图3所示那样的图像显示画面100并将该图像显示画面100显示于显示部4。在该图像显示画面100中配置有信息显示栏110、图像显示栏120以及缩略图图像显示栏130，在图像显示栏120中将第一图像显示框121、第二图像显示框122沿左右方向并排地设置。
如图4所示，在信息显示栏110中显示与此时图像显示栏120中正显示的图像对应的细胞培养板12的名称(板名)、识别编号(板ID)、测定日期和时间等与测定有关的属性信息。另外，在信息显示栏110中配置有显示图像选择复选框111和导航图像112，该显示图像选择复选框111用于选择要显示于图像显示栏120的图像的种类(相位图像、强度图像、伪相位图像)，该导航图像112用于用观察对象区域上的标记来表示在此时间点正显示于图像显示栏120的图像的观察范围、位置。
此外，在本例中，相位图像和强度图像这两方被勾选，为了同时显示这两种图像而设置有第一图像显示框121、第二图像显示框122，但是例如在仅一方被勾选的情况下，图像显示栏120中的图像显示框仅为一个。
在缩略图图像显示栏130中，以缩略图图像的形式显示有在过去的测定日期和时间各自对应的图像(在此为摄影对象区域整体的强度图像)。在此显示的图像的种类、其测定日期和时间能够由观察者自由地指定。
显示图像生成部26读出构成在显示图像选择复选框111中被勾选的种类的图像(在此为相位图像和强度图像)的图像数据，来生成要在图像显示栏120中绘制出的显示图像。例如，在初始画面中，最好生成观察对象区域整体的显示图像。由此，在图像显示画面100的第一图像显示框121中显示观察对象区域整体的相位图像，在第二图像显示框122中显示相同的观察对象区域整体的强度图像。但是，由于图像显示框121、122的长宽比与观察对象区域整体的长宽比不一致，因此实际上是截取出观察对象区域整体的图像的一部分来显示于图像显示框121、122。另外，图像数据存储部24中保存的图像数据是与分辨率最高的图像对应的数据，但是由于是在显示上的像素数(画面像素数或画面分辨率)已确定的图像显示框121、122内显示图像，因此与该画面像素数相应地生成降低了分辨率的显示图像。
图6的(a)、(b)以及(c)是针对相同的观察对象区域的低分辨率、中分辨率以及高分辨率的图像的例子，在图中，以网格状划分出的一个矩形状的区域与显示上的一个像素对应。在本例中，低分辨率图像(参照图6的(a))的一个像素相当于中分辨率图像(参照图6的(b))中的四个像素，相当于高分辨率图像(参照图6的(c))中的16个像素。例如，即使图像数据存储部24中保存的图像数据是构成图6的(c)所示那样的高分辨率图像的图像数据，在显示该图像数据的显示部4的画面上的图像显示框的像素数为图6的(a)所示那样的像素数的情况下，也需要通过合并处理等降低分辨率之后形成显示图像。这在相位图像、强度图像中都是相同的。
设为针对图5的(a)所示那样的细胞培养板12整体获得了分别构成图5的(b)所示那样的强度图像200和图5的(c)所示那样的相位图像210的图像数据。此时，与强度图像200中的一部分范围201对应的局部图像122A被显示于图5的(d)所示的图像显示画面100内的第二图像显示框122。另一方面，与相位图像210中的一部分范围211对应的局部图像121A被显示于图5的(d)所示的图像显示画面100内的第一图像显示框121。在此，强度图像200中的一部分范围201与相位图像210中的一部分范围211是细胞培养板12上的完全相同的范围。即，显示图像生成部26在生成多个种类的显示图像时，生成完全相同的范围的图像。然后，显示处理部25通过将像这样生成的相位图像和强度图像绘制在图像显示画面100内来呈现给观察者。
图7的(a)是示出在观察倍率低时实际显示的相位图像和强度图像的图。能够获知，在相位图像中几乎无法识别出井的外形，但是在强度图像中能够清晰地观察到井的外形。如上述那样，两个图像的观察范围是完全相同的，因此观察者能够基于强度图像来选择要详细观察的位置、范围。
在观察者想要详细地观察在基于强度图像决定的规定的观察范围内存在的细胞的情况下，观察者在通过输入部3指定强度图像上的期望的位置、期望的范围之后进行放大显示的操作。
此时，作为一例，设为在图5的(b)所示的强度图像200的一部分范围201中指定小范围202并进行了放大显示的操作。于是，通过操作受理处理部27接收到该指示的显示图像生成部26生成放大后的强度图像122B，以将与所指定的小范围202对应的强度图像显示于第二图像显示框122整体。此时，由于应显示于第二图像显示框122的强度图像的尺寸本身变小，因此相比于放大操作之前会提高分辨率。另一方面，显示图像生成部26关于相位图像也生成放大后的相位图像121B，以将与所指定的小范围202完全相同的小范围212所对应的相位图像显示于第一图像显示框121整体。即，与强度图像的放大操作对应地，针对相位图像也实施完全相同倍率的放大操作。然后，显示处理部25将放大后的相位图像和强度图像分别显示于图像显示画面100的第一图像显示框121、第二图像显示框122(更新显示)。
通过这样，与观察者对强度图像进行的放大操作对应地，不仅强度图像被放大显示，相位图像也联动地被放大显示。关于缩小操作，也是完全相同的。另外，不只是放大、缩小操作，不变更观察倍率地使观察范围移动的操作也是完全相同的，当进行使强度图像的观察范围移动的操作时，强度图像和相位图像的观察范围与该操作相应地进行移动。另外，相反地，在相位图像上进行了放大、缩小操作、移动操作的情况也是同样的，与该操作相应地，强度图像和相位图像均被放大、缩小显示，或者这些图像的观察范围移动。
此外，能够根据信息显示栏110中的导航图像112上显示的标记来掌握在此时间点正显示于图像显示栏120的相位图像和强度图像的观察位置。
图7的(b)是示出在观察倍率高时显示的相位图像和强度图像的实测例的图。从该图可知，在强度图像中不太能够视觉识别各细胞的形状等，但是在相位图像中能够清晰地观察到各细胞的形状等。像这样，在本实施例的细胞观察装置中，能够在低倍率的强度图像上确定了观察位置、范围之后，在高倍率的相位图像上详细地观察细胞。
另外，图8是示出在本实施例的细胞观察装置中混入了人的头发片的情况下的相位图像和强度图像的实测例的图。头发片的尺寸为0.5mm左右，但是与正在培养的细胞相比是相当大的。如观察图8可知，在相位图像中，虽然能够确认头发片的轮廓，但是头发片的像的颜色与周围的细胞的颜色几乎是相同的，因此观察者难以掌握。与此相对地，在强度图像中能够清晰地观察到头发片。由此，观察者能够可靠地掌握这样的异物的混入。
此外，在上述说明中，列举了对细胞培养板上正在培养的细胞进行观察的情况作为例子，但是也可以使用培养瓶、培养皿等其它各种细胞培养容器以取代细胞培养板，这是不言而喻的。这些容器的构成构件在相位图像中无法充分地视觉识别，但在强度图像中能够清晰地观察到。
另外，在图1所示的实施例的结构中，在控制和处理部2中实施了所有的处理，但是一般来说，基于全息图数据计算反向光传播的、使其计算结果图像化需要庞大的计算量。因此，通过通常使用的个人计算机进行计算需要大量的时间，难以进行有效的分析作业。因此，也可以利用将与显微观察部1连接的个人计算机作为终端装置并将该终端装置与作为高性能的计算机的服务器经由因特网、内部网等通信网络进行连接所得到的计算机***。
在该情况下，也可以是，在服务器侧基于全息图数据来实施光传播计算、相位图像、强度图像的生成等复杂的处理，由终端装置或不同的浏览用终端接收由此生成的图像数据，来在终端装置侧进行基于该图像数据生成显示图像的处理。在这样的结构中，图1所示的控制和处理部2的功能模块被分离在终端装置侧和服务器侧，或者被分离在终端装置侧、服务器侧以及浏览用终端。另外，控制和处理部2的一个功能模块中包括的功能也能够被分离在终端装置侧和服务器侧，或者被分离在终端装置侧、服务器侧以及浏览用终端。像这样，也可以适当地通过多个计算机来分担控制和处理部2的功能。
另外，在上述实施例的细胞观察装置中，使用同轴型全息显微镜来作为显微观察部1，但是只要是能够获得全息图的显微镜即可，也能够置换为离轴型、相移型等其它方式的全息显微镜，这是不言而喻的。
另外，上述实施例以及上述记载的变形例均是本发明的一例，在本发明的主旨的范围内进一步进行适当的变更、修正、追加当然也包含在本申请的权利要求书中。
附图标记说明
1：显微观察部；10：光源部；11：图像传感器部；12：细胞培养板；13：细胞；14：移动部；15：参考光；16：物体光；2：控制和处理部；20：摄影控制部；21：测定数据存储部；22：运算处理部；23：图像生成部；24：图像数据存储部；25：显示处理部；26：显示图像生成部；27：操作受理处理部；3：输入部；4：显示部；100：图像显示画面；110：信息显示栏；111：显示图像选择复选框；112：导航图像；120：图像显示栏；121：第一图像显示框；122：第二图像显示框；130：缩略图图像显示栏。

Claims (4)

1.一种细胞观察装置，是使用全息显微镜的细胞观察装置，该细胞观察装置的特征在于，具备：
a)运算处理部，其基于全息图数据来计算关于包含细胞的试样的相位信息和强度信息的二维分布，该全息图数据是通过利用所述全息显微镜对该试样进行测定而得到的数据；
b)图像生成部，其基于通过所述运算处理部得到的相位信息和强度信息的二维分布，分别生成关于所述试样的观察对象区域的整体或该观察对象区域的一部分的相位图像和强度图像；以及
c)显示处理部，其形成显示画面并将该显示画面显示于显示部，在所述显示画面中将由所述图像生成部生成的关于所述试样上的相同范围的相位图像和强度图像并排地配置。
2.根据权利要求1所述的细胞观察装置，其特征在于，
所述试样为细胞培养容器，利用所述全息显微镜能够获取到全息图数据的最大的区域为所述细胞培养容器整体或该细胞培养容器的一部分区域。
3.根据权利要求1所述的细胞观察装置，其特征在于，
还具备操作部，该操作部供用户进行以下操作：关于由所述显示处理部在所述显示部的画面上显示的相位图像和强度图像中的任一方进行倍率的变更或者观察位置的移动，
所述图像生成部根据利用所述操作部进行的操作，来生成将作为操作对象的相位图像和强度图像中的一方的倍率进行了变更或者将作为操作对象的相位图像和强度图像中的一方的观察位置进行了移动后的相位图像或强度图像，并且生成将所述相位图像和强度图像中的另一方以与针对该相位图像和强度图像中的一方的操作相同程度地变更倍率或者移动观察位置后的相位图像或强度图像，
所述显示处理部将由该图像生成部变更倍率之后或移动观察位置之后的相位图像和强度图像显示于所述显示画面。
4.根据权利要求1所述的细胞观察装置，其特征在于，
所述显示处理部将如下图像显示在同一个画面上：在将观察对象区域整体的强度图像缩小所得到的缩略图图像上叠加了表示在此时间点正显示的相位图像和强度图像的观察范围的标记的图像。
CN201780087942.XA 2017-03-03 2017-03-03 细胞观察装置 Withdrawn CN110383044A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/008567 WO2018158946A1 (ja) 2017-03-03 2017-03-03 細胞観察装置

Publications (1)

Publication Number Publication Date
CN110383044A true CN110383044A (zh) 2019-10-25

Family

ID=63369866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780087942.XA Withdrawn CN110383044A (zh) 2017-03-03 2017-03-03 细胞观察装置

Country Status (4)

Country Link
US (1) US20200233379A1 (zh)
JP (1) JPWO2018158946A1 (zh)
CN (1) CN110383044A (zh)
WO (1) WO2018158946A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7222764B2 (ja) * 2019-03-18 2023-02-15 株式会社キーエンス 画像測定装置
CN112837261B (zh) * 2020-07-22 2022-11-11 杭州思柏信息技术有限公司 融合扫描数据和光学图像显示的细胞数据标注方法、***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102712890A (zh) * 2010-01-20 2012-10-03 株式会社尼康 细胞观察装置和细胞培养方法
WO2013070287A1 (en) * 2011-11-07 2013-05-16 The Regents Of The University Of California Maskless imaging of dense samples using multi-height lensfree microscope

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6993167B1 (en) * 1999-11-12 2006-01-31 Polartechnics Limited System and method for examining, recording and analyzing dermatological conditions
US9984456B2 (en) * 2004-04-14 2018-05-29 Edda Technology, Inc. Method and system for labeling hepatic vascular structure in interactive liver disease diagnosis
WO2007002898A2 (en) * 2005-06-29 2007-01-04 University Of South Florida Variable tomographic scanning with wavelength scanning digital interface holography
GB0701201D0 (en) * 2007-01-22 2007-02-28 Cancer Rec Tech Ltd Cell mapping and tracking
US7812959B1 (en) * 2007-03-22 2010-10-12 University Of South Florida Total internal reflection holographic microscope
WO2009009081A2 (en) * 2007-07-10 2009-01-15 Massachusetts Institute Of Technology Tomographic phase microscopy
JP2009294338A (ja) * 2008-06-04 2009-12-17 Renesas Technology Corp 液晶駆動装置
EP3136079B1 (en) * 2009-10-20 2020-02-12 The Regents of The University of California Incoherent lensfree cell holography and microscopy on a chip
US9222870B2 (en) * 2010-12-10 2015-12-29 The Regents Of The University Of California Method and device for multi-parameter imaging within a single fluorescent channel
WO2012082776A2 (en) * 2010-12-14 2012-06-21 The Regents Of The University Of California Method and device for holographic opto-fluidic microscopy
US8687253B2 (en) * 2011-12-13 2014-04-01 Canon Kabushiki Kaisha Speckle noise reduction based on longitudinal shift of sample
US8693000B2 (en) * 2011-12-22 2014-04-08 General Electric Company Quantitative phase microscopy for label-free high-contrast cell imaging
US9025881B2 (en) * 2012-02-06 2015-05-05 Nanyang Technological University Methods and apparatus for recovering phase and amplitude from intensity images
US9864184B2 (en) * 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
US11514325B2 (en) * 2018-03-21 2022-11-29 The Regents Of The University Of California Method and system for phase recovery and holographic image reconstruction using a neural network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102712890A (zh) * 2010-01-20 2012-10-03 株式会社尼康 细胞观察装置和细胞培养方法
WO2013070287A1 (en) * 2011-11-07 2013-05-16 The Regents Of The University Of California Maskless imaging of dense samples using multi-height lensfree microscope

Also Published As

Publication number Publication date
WO2018158946A1 (ja) 2018-09-07
US20200233379A1 (en) 2020-07-23
JPWO2018158946A1 (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
US20220254538A1 (en) Fourier ptychographic imaging systems, devices, and methods
Pan et al. High-resolution and large field-of-view Fourier ptychographic microscopy and its applications in biomedicine
Matrecano et al. Extended focus imaging in digital holographic microscopy: a review
WO2018158947A1 (ja) 細胞観察装置
Jang et al. Depth extraction by using the correlation of the periodic function with an elemental image in integral imaging
CN110383044A (zh) 细胞观察装置
Fukuda et al. Review of three-dimensional imaging of dynamic objects by parallel phase-shifting digital holography
WO2019180810A1 (ja) 細胞観察装置
Viganò et al. Tomographic approach for the quantitative scene reconstruction from light field images
Sueishi et al. Continuous high-resolution observation system using high-speed gaze and focus control with wide-angle triangulation
Kalita et al. Suitability of holographic beam scanning in high resolution applications
Ma et al. Retinalike foveated imaging through an opaque scattering medium
Xiao et al. Reprojection-based method for camera arrays of refocusing onto arbitrary focal surfaces
US20230230268A1 (en) Image display method, image display device and recording medium
Baasantseren et al. Effect of Petzval curvature on integral imaging display
Liu et al. Full-field calibration and compensation of lateral chromatic aberration based on unwrapped phase
Wei et al. Global deblurring for continuous out-of-focus images using a depth-varying diffusion model
Zhou et al. Research and development of light field microscope for measuring 3D microstructures
Ghosh et al. A block-based forward imaging model for improved sample volume representation in computational optical sectioning microscopy
Chen et al. A binocular vision cooperative measurement method with line structured light
Tao et al. An overview on theory and algorithm of light field imaging technology
Zhang et al. Camera model and image rectification method for imaging through water-air Snell’s window from underwater
Ding et al. Automated synthetic datasets construction for part semantic segmentation of non-cooperative satellites
Du et al. Humanoid monocular stereo measuring system with two degrees of freedom using bionic optical imaging system
Wang et al. Image-based autofocusing algorithm applied in image fusion process for optical microscope

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20191025

WW01 Invention patent application withdrawn after publication