JPWO2018158946A1 - 細胞観察装置 - Google Patents

細胞観察装置 Download PDF

Info

Publication number
JPWO2018158946A1
JPWO2018158946A1 JP2019502415A JP2019502415A JPWO2018158946A1 JP WO2018158946 A1 JPWO2018158946 A1 JP WO2018158946A1 JP 2019502415 A JP2019502415 A JP 2019502415A JP 2019502415 A JP2019502415 A JP 2019502415A JP WO2018158946 A1 JPWO2018158946 A1 JP WO2018158946A1
Authority
JP
Japan
Prior art keywords
image
intensity
phase
cell
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019502415A
Other languages
English (en)
Inventor
祐輔 青位
克利 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of JPWO2018158946A1 publication Critical patent/JPWO2018158946A1/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/1454Optical arrangements using phase shift or interference, e.g. for improving contrast
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/005Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0447In-line recording arrangement
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • G03H2001/0452Digital holography, i.e. recording holograms with digital recording means arranged to record an image of the object
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/10Modulation characteristics, e.g. amplitude, phase, polarisation
    • G03H2210/12Phase modulating object, e.g. living cell
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/50Nature of the object
    • G03H2210/55Having particular size, e.g. irresolvable by the eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Biotechnology (AREA)
  • Dispersion Chemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medicinal Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Sustainable Development (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Microbiology (AREA)
  • Genetics & Genomics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Holo Graphy (AREA)

Abstract

本発明は、ホログラフィック顕微鏡により得られたホログラムデータに基づいて位相情報及び強度情報の2次元分布が算出される細胞観察装置であり、表示部に表示される画像表示画面(100)には、二つの画像表示枠(121、122)が設けられた画像表示欄(120)が配置される。画像表示枠(121、122)には、観察対象である細胞が培養されている細胞培養プレート(12)上の、同じ観察範囲に対応する位相画像と強度画像がそれぞれ表示される。強度画像では、位相画像で殆ど見えないプレート上のウェルが明瞭に確認できる。逆に、位相画像では、強度画像で殆ど見えない生体細胞を観察可能である。そこで観察者は、強度画像においてウェル中の観察したい範囲を決定し、その範囲を拡大して位相画像で細胞を詳細に観察する。これにより、ウェル中の観察したい範囲に存在する細胞を確実に観察することができる。

Description

本発明は、細胞の状態を観察する細胞観察装置に関し、さらに詳しくは、デジタルホログラフィ顕微鏡により得られる、物体波と参照波との干渉縞を記録したホログラムに対する演算処理により物体の位相画像、強度画像等を作成する細胞観察装置に関する。
再生医療分野では、近年、iPS細胞やES細胞等の多能性幹細胞を用いた研究が盛んに行われている。一般に細胞は透明であって通常の光学顕微鏡では観察しにくいため、従来、細胞の観察には位相差顕微鏡が広く利用されている。
しかしながら、位相差顕微鏡では顕微画像を撮影する際に焦点合わせを行う必要があるため、広い観察対象領域を細かく区画したそれぞれの小領域についての顕微画像を取得するような場合、測定に多大な時間が掛かり実用的でないという問題がある。これを解決するために、近年、デジタルホログラフィ技術を用いたホログラフィック顕微鏡が開発され実用に供されている(特許文献1、2等参照)。
ホログラフィック顕微鏡では、光源からの光が物体表面で反射又は透過してくる物体光と同一光源から直接到達する参照光とがイメージセンサ等の検出面で形成する干渉縞(ホログラム)を取得し、そのホログラムに基づいた所定の演算処理を実施することで物体の再構成画像として強度画像や位相画像を作成する。こうしたホログラフィック顕微鏡では、ホログラムを取得したあとの位相回復等のための演算処理の段階で任意の距離における再構成画像を形成することができる。そのため、撮影時にいちいち焦点合わせを行う必要がなく、測定時間を短縮することができる。また、測定終了後の任意の時点で、焦点位置を適宜に変えた再構成画像を作成し、観察対象物を詳細に観察することができる。
ホログラフィック顕微鏡を用いた細胞観察装置で培養中の多能性細胞を観察する場合、細胞を培養している細胞培養プレート等の細胞培養容器をホログラフィック顕微鏡の所定位置にセットし、その細胞培養容器全体又はその一部についてのホログラムデータを収集する。ホログラフィック顕微鏡を用いた細胞観察装置では、染色されていない細胞を位相画像上で良好に観察することができる。しかしながら、ホログラムデータに基づく逆光伝播計算などの演算処理によって求まる位相情報には、細胞などの光学厚みが比較的小さい、つまりは低位相差である物体についての情報しか反映されず、光学厚みが細胞に比べて格段に大きい容器などの物体についての情報は殆ど反映されない。これは、一般的なホログラフィック顕微鏡では、原理的に、使用している光源の波長程度の光学厚みまでしか測定することが難しいためである。
そのため、例えば細胞培養プレート全体の位相画像を表示しても該細胞培養プレートに形成されている収容部(ウェル)の形状などは殆ど視認できず、観察している細胞がウェル内のどの辺りに存在しているのかを観察者が把握しにくいという問題がある。また、細胞に比べれば大きな、ヒトの毛髪、埃などの異物が細胞培養容器に混入していても、位相画像にはそれら異物が明瞭に現れず、観察者が見逃してしまうという問題もある。
国際特許公開第2016/084420号 特開平10−268740号公報
本発明は上記課題を解決するためになされたものであり、ホログラフィック顕微鏡で得られたホログラムデータに基づいて位相画像等を作成して表示する細胞観察装置において、生体細胞を良好に観察することができるとともに、観察中の位置が細胞培養容器内のどの辺りであるのかを観察者が容易に把握できるようにすることを主たる目的としている。また、本発明の他の目的は、細胞に比べて大きな異物の混入を観察者が容易に把握することができる細胞観察装置を提供することである。
上記課題を解決するために成された本発明は、ホログラフィック顕微鏡を用いた細胞観察装置であって、
a)細胞を含む試料を前記ホログラフィック顕微鏡で測定することにより得られたホログラムデータに基づいて、該試料についての位相情報及び強度情報の2次元分布を算出する演算処理部と、
b)前記演算処理部で得られた位相情報及び強度情報の2次元分布に基づいて、前記試料の観察対象領域の全体又はその一部についての位相画像及び強度画像をそれぞれ作成する画像作成部と、
c)前記画像作成部により作成された、前記試料上の同じ範囲についての位相画像及び強度画像を並べて配置した表示画面を形成して表示部に表示する表示処理部と、
を備えることを特徴としている。
上記ホログラフィック顕微鏡はその方式を問わず、インライン型、オフアクシス型、位相シフト型などのいずれでもよい。
本発明に係る細胞観察装置では、典型的には、前記試料は細胞培養容器であり、前記ホログラフィック顕微鏡によるホログラムデータの取得が可能な最大の領域は前記細胞培養容器全体又はその一部の領域であるものとすることができる。上記細胞培養容器は、一又は複数のウェルが形成された細胞培養プレート、シャーレ、大量培養を目的とした培養フラスコなどである。
したがって、本発明に係る細胞観察装置は、こうした細胞培養容器において培養中である生体細胞を観察するのに好適な装置である。
本発明に係る細胞観察装置において、演算処理部は、試料をホログラフィック顕微鏡で測定することにより得られたホログラムデータに基づいて、所定の演算処理を行うことで位相情報の2次元分布、及び強度情報の2次元分布をそれぞれ求める。画像作成部は、算出された位相情報及び強度情報を2次元画像の各画素にそれぞれ対応付けることで位相画像及び強度画像を作成する。上述したように試料が例えば細胞培養プレートである場合、その細胞培養プレート全体を観察対象領域として位相画像及び強度画像を作成することができる。もちろん、細胞培養プレート全体ではなくそのうちの一部の領域のみについての位相画像及び強度画像を作成することもできる。
表示処理部は、画像作成部により作成された、試料上の同じ範囲についての位相画像及び強度画像を横方向又は縦方向に並べて配置した表示画面を形成し、該表示画面を表示部に表示する。位相画像及び強度画像はそれぞれグレイスケール表示又はカラースケール表示とすればよい。こうした処理によって、例えば細胞培養プレート全体についての位相画像と強度画像とを横に並べた表示画面を表示部に表示することができる。
この場合、位相画像では細胞培養プレート上のウェルの形状などは殆ど識別できないが、強度画像では殆ど見えない無色透明の細胞の輪郭や模様などが明瞭に現れる。一方、強度画像は光学顕微画像とほぼ同じであるので、強度画像には、ウェルの形状など、位相画像上では見えない光学厚さが大きな物体や大きい段差などが明瞭に現れる。そこで観察者は、着目している細胞の存在位置を位相画像上で確認し、その細胞の存在位置が細胞培養プレートの中の又はウェルの中のどの辺りであるかを強度画像上で把握することができる。また、細胞の大きさや形状などの詳細な観察は位相画像上で行うことができる。
また、培養細胞に比べてサイズが大きな、ヒトの毛髪、埃、プラスチック細片などの異物は位相画像では明瞭に見えないこともあるが、強度画像上ではこうした異物を明確に識別することができる。
本発明に係る細胞観察装置において、好ましくは、
前記表示処理部により前記表示部の画面上に表示されている位相画像又は強度画像のいずれか一方についての倍率の変更又は観察位置の移動の操作をユーザが行うための操作部をさらに備え、
前記画像作成部は、前記操作部による操作に応じて、操作対象である位相画像又は強度画像の一方の倍率を変更した又は観察位置を移動した位相画像又は強度画像を作成するとともに、前記位相画像又は強度画像の他方について、該位相画像又は強度画像の一方に対する操作と同じだけ倍率を変更した又は観察位置を移動した位相画像又は強度画像を作成し、
前記表示処理部は該画像作成部で倍率を変更したあとの又は観察位置を移動したあとの位相画像及び強度画像を前記表示画面に表示する構成とするとよい。
この構成では、観察者が例えば表示部に表示されている細胞培養プレート全体に対応する強度画像上でウェルの中の特定の範囲を操作部の操作により指定したうえで倍率の拡大を指示すると、画像作成部はこの操作に応じて、指定された範囲を認識し、その範囲を適宜の倍率だけ拡大した相対的に高い解像度の強度画像を作成する。また、これと連動して位相画像についても、指定された範囲を強度画像と同じ倍率だけ拡大した、相対的に高い解像度の位相画像を作成する。そして、表示処理部は、その直前まで表示部に表示されている画像を新たな、つまりは拡大された位相画像及び強度画像に更新する。
これにより、観察者は拡大された位相画像上で細胞の詳細な観察を行うことができる。
また本発明に係る細胞観察装置において、好ましくは、
前記表示処理部は、観察対象領域全体の強度画像を縮小したサムネイル画像に、その時点で表示されている位相画像及び強度画像の観察範囲を示すマークを重畳した画像を同じ画面上に表示する構成とするとよい。
位相画像及び強度画像の観察倍率を上げると、細胞培養プレート内での相対的位置を識別可能な物体が強度画像上で観察できなくなる(観察範囲から外れる)可能性がある。これに対し、上記構成によれば、観察対象領域全体の強度画像、つまりは細胞培養プレートやウェルが確認できる画像上にその時点における観察範囲が明瞭に示されるので、観察者は観察範囲の相対的位置を容易に把握することができる。
本発明に係る細胞観察装置によれば、観察者は位相画像を利用して生体細胞を良好に観察することができるとともに、位相画像と同時に表示される強度画像により、観察中である範囲が細胞培養プレート等の細胞培養容器中のどの辺りであるのかを容易に把握することができる。それによって、細胞観察の効率が向上するとともに、観察者が意図しない領域を間違って観察することを防止することができる。また、ヒトの毛髪、埃、プラスチック細片などの、不所望の異物が細胞培養容器に混入している場合に、観察者は強度画像から異物混入を容易に把握して除去することができる。
本発明の一実施例である細胞観察装置の要部の構成図。 本実施例の細胞観察装置における画像作成処理を説明するための概念図。 本実施例の細胞観察装置における画像表示画面を示す模式図。 図3中の情報表示欄の概略図。 本実施例の細胞観察装置において観察倍率を変更する際の画像作成処理を説明するための概念図。 本実施例の細胞観察装置において倍率(解像度)が相違する画像の関係を示す概念図。 本実施例の細胞観察装置において表示される位相画像及び強度画像の実例を示す図であり、(a)は低倍率のときの表示画像、(b)は高倍率のときの表示画像を示す図。 本実施例の細胞観察装置において、ヒトの毛髪片が混入している場合の位相画像及び強度画像の実例を示す図。
以下、本発明に係る細胞観察装置の一実施例について、添付図面を参照して説明する。
図1は本実施例の細胞観察装置の要部の構成図である。
本実施例の細胞観察装置は、顕微観察部1と、制御・処理部2と、ユーザーインターフェイスである入力部3及び表示部4と、を備える。
顕微観察部1はインライン型ホログラフィック顕微鏡(In-line Holographic Microscopy:IHM)であり、レーザダイオードなどを含む光源部10とイメージセンサ部11とを備え、光源部10とイメージセンサ部11との間に、観察対象である細胞13を含む細胞培養プレート12が配置される。細胞培養プレート12は例えばモータ等の駆動源を含む移動部14により、互いに直交するX軸、Y軸の2軸方向に移動自在である。
制御・処理部2は顕微観察部1の動作を制御するとともに顕微観察部1で取得されたデータを処理するものであって、撮影制御部20、測定データ記憶部21、演算処理部22、画像作成部23、画像データ記憶部24、表示処理部25、表示画像作成部26、操作受付処理部27などを機能ブロックとして備える。
なお、この制御・処理部2の実体はパーソナルコンピュータ又はより高性能なワークステーションであり、そうしたコンピュータにインストールされた専用の制御・処理ソフトウェアを該コンピュータ上で動作させることで上記各機能ブロックの機能が実現される。したがって、入力部3はキーボードやマウス等のポインティングデバイスを含む。また、後述するように制御・処理部2の機能を一つのコンピュータでなく、通信ネットワークを介して接続された複数のコンピュータで分担する構成とすることもできる。
次に、本実施例の細胞観察装置において細胞観察を行う際の観察者の操作及び処理について図2〜図6を参照して説明する。
図2は本実施例の細胞観察装置における画像作成処理を説明するための概念図、図3は本実施例の細胞観察装置における画像表示画面を示す模式図、図4は図3中の情報表示欄の概略図、図5は本実施例の細胞観察装置において観察倍率を変更する際の画像作成処理を説明するための概念図、図6は本実施例の細胞観察装置において倍率が相違する画像の関係を示す概念図である。
観察者は観察対象である細胞(多能性細胞)13が培養されている細胞培養プレート12を顕微観察部1の所定位置にセットし、該細胞培養プレート12を特定する識別番号や測定日時などの情報を入力部3から入力したうえで測定実行を指示する。本実施例では、図2(a)に示すように、細胞培養プレート12には六個の上面視円形状のウェル50が形成されており、その各ウェル50内で細胞が培養される。そのため、一つの細胞培養プレート12全体、つまりは六個のウェル50を含む矩形状の範囲全体が観察対象領域である。上記測定指示を受けて撮影制御部20は、顕微観察部1の各部を制御して以下のように監察対象領域についてのホログラムデータを取得する。
図1には示していないが、イメージセンサ部11の同一のX−Y平面上には四つのCMOSイメージセンサが設置されている。この四つのCMOSイメージセンサは、図2(a)に示した細胞培養プレート12全体を4等分した四つの4分割範囲51の撮影をそれぞれ担うものである。一つのCMOSイメージセンサが1回に撮影可能である範囲は図2(b)及び(c)に示すように、4分割範囲51の中の1個のウェル50のみを含む矩形状の範囲52をX軸方向に10等分、Y軸方向に12等分して得られる撮像単位53に相当する範囲である。したがって、一つの4分割範囲51は15×12=180個の撮像単位53から成る。四つのCMOSイメージセンサは、X軸方向に15個の撮像単位に対応する長さの長辺、Y軸方向に12個の撮像単位に対応する長さの短辺を有する矩形の四つの頂点付近にそれぞれ配置されおり、細胞培養プレート12の異なる四つの撮像単位の撮影を同時に行う。もちろん、これらの数値は単なる一例であり、適宜に変更可能であることは言うまでもない。
撮影制御部20による制御の下で光源部10は、10°程度の微小角度の広がりを持つコヒーレント光を細胞培養プレート12の所定の領域に照射する。細胞培養プレート12及び細胞13を透過したコヒーレント光(物体光16)は、細胞培養プレート12上で細胞13に近接する領域を透過した光(参照光15)と干渉しつつイメージセンサ部11に到達する。物体光16は細胞13を透過する際に位相が変化した光であり、他方、参照光15は細胞13を透過しないので該細胞13に起因する位相変化を受けない光である。したがって、イメージセンサ部11に配置されている四つのCMOSイメージセンサの検出面(像面)上には、細胞13により位相が変化した物体光16と位相が変化していない参照光15との干渉像(ホログラム)がそれぞれ形成され、このホログラムに対応する2次元的な光強度分布データ(ホログラムデータ)がイメージセンサ部11から出力される。
細胞培養プレート12は移動部14により、X−Y面内で上記撮像単位53のサイズに相当する距離だけステップ状に移動される。これにより、光源部10から発せられるコヒーレント光の照射領域は細胞培養プレート12上で移動し、イメージセンサ部11における各CMOSイメージセンサでは、それぞれ一つの撮像単位53に対応するホログラムデータを取得することができる。細胞培養プレート12は移動部14により、一つの4分割範囲51内に含まれる撮像単位53の数に相当する180回だけステップ状に移動され、その移動毎にホログラムデータが取得される。また、光源部10から出射されるコヒーレント光の波長は複数段階(例えば4段階)に変更され、その各波長光に対してそれぞれホログラムデータが収集される。このようにして、顕微観察部1において、細胞培養プレート12全体についてのホログラムデータを漏れなく得ることができる。
上述したように顕微観察部1のイメージセンサ部11で得られたホログラムデータは逐次、制御・処理部2に送られ、測定データ記憶部21に格納される。細胞培養プレート12全体の測定が終了すると、制御・処理部2では、演算処理部22が測定データ記憶部21から上記撮像単位53毎の複数の波長についてのホログラムデータを読み出し、光の逆伝播計算を実行することで細胞13の光学厚さを反映した位相情報及び強度情報を算出する。即ち、撮像単位53毎に位相情報及び強度情報の2次元分布が得られる。
画像作成部23は、上述したように撮像単位53毎に算出された位相情報の2次元分布に基づく狭い範囲の位相画像を繋ぎ合わせるタイリング処理(図2(d)参照)を行うことで、観察対象領域つまりは細胞培養プレート12全体についての位相画像を作成する。また画像作成部23は、撮像単位53毎に算出された強度情報の2次元分布に基づく狭い範囲の強度画像を繋ぎ合わせるタイリング処理を行うことで、観察対象領域つまりは細胞培養プレート12全体についての強度画像も作成する。なお、こうしたタイリング処理の際には繋ぎ目が滑らかになるように適宜の補正処理を行ってもよい。
こうして作成された位相画像や強度画像を構成する画像データは画像データ記憶部24に格納される。このときに作成される位相画像や強度画像は、ホログラムデータの空間分解能(つまりはCMOSイメージセンサの空間分解能)等で決まる最高解像度の画像である。
なお、上記のような位相情報や強度情報の計算、位相画像や強度画像の作成の際には、特許文献1、2等に開示されているような周知のアルゴリズムを用いればよく、その計算手法や処理手法は特定のものに限定されない。
測定終了後に観察者が細胞観察を行うために入力部3で所定の操作を行うと、操作受付処理部27を通して受け付けられた操作に応じて表示処理部25は、図3に示すような画像表示画面100を作成し表示部4に表示する。この画像表示画面100には、情報表示欄110と、画像表示欄120と、サムネイル画像表示欄130とが配置されており、画像表示欄120には、左右に並べて第1画像表示枠121、第2画像表示枠122が設けられている。
図4に示すように、情報表示欄110には、そのときに画像表示欄120に表示されている画像に対応する細胞培養プレート12の名称(プレート名)や識別番号(プレートID)、測定日時などの測定に関する属性情報が表示される。また、情報表示欄110には、画像表示欄120に表示する画像の種類(位相画像、強度画像、擬似位相画像)を選択するための表示画像選択チェックボックス111と、その時点で画像表示欄120に表示している画像の観察範囲や位置を観察対象領域上のマーキングで示すためのナビゲータ画像112とが配置されている。
なお、この例では、位相画像と強度画像との二つにチェックマークが付されており、その二種類の画像を同時に表示するために第1、第2画像表示枠121、122が設けられているが、例えば一つのみにチェックマークが付された場合には画像表示欄120中の画像表示枠は一つのみである。
サムネイル画像表示欄130には、過去の測定日時にそれぞれ対応する画像(ここでは撮影対象領域全体の強度画像)がサムネイル画像で表示されている。ここに表示する画像の種類やその測定日時は、観察者が自在に指定することができる。
表示画像作成部26は表示画像選択チェックボックス111でチェックマークが付されている種類の画像(ここでは位相画像及び強度画像)を構成する画像データを読み出し、画像表示欄120に描出する表示画像を作成する。例えば初期画面では、観察対象領域全体の表示画像を作成するとよい。これにより、画像表示画面100の第1画像表示枠121には観察対象領域全体の位相画像が、第2画像表示枠122には同じ観察対象領域全体の強度画像が表示される。ただし、画像表示枠121、122のアスペクト比と観察対象領域全体のアスペクト比とは一致しないため、実際には観察対象領域全体の画像の一部を切り出して画像表示枠121、122中に表示する。また、画像データ記憶部24に格納されている画像データは最高解像度の画像に対応するものであるが、表示上の画素数(画面画素数又は画面解像度)が決まっている画像表示枠121、122内に画像を表示するため、その画面画素数に合わせて解像度を落とした表示画像を作成する。
図6(a)、(b)及び(c)は同じ観察対象領域に対する低解像度、中解像度、及び高解像度の画像の例であり、図中で格子状に区分された一つの矩形状の領域が表示上の一つの画素に対応する。この例では、低解像度画像(図6(a)参照)の1画素は中解像度画像(図6(b)参照)では4画素分、高解像度画像(図6(c)参照)では16画素分に相当する。例えば画像データ記憶部24に保存されている画像データが図6(c)に示すような高解像度画像を構成する画像データであったとしても、これを表示する表示部4の画面上の画像表示枠の画素数が図6(a)に示したものである場合には、ビニング処理等によって解像度を下げたうえで表示画像を形成する必要がある。これは位相画像、強度画像のいずれでも同じである。
図5(a)に示すような細胞培養プレート12全体に対して図5(b)に示すような強度画像200と図5(c)に示すような位相画像210をそれぞれ構成する画像データが得られているものとする。このとき、強度画像200の中の一部の範囲201に対応する部分画像122Aが、図5(d)に示す画像表示画面100内の第2画像表示枠122に表示される。一方、位相画像210の中の一部の範囲211に対応する部分画像121Aが、図5(d)に示す画像表示画面100内の第1画像表示枠121に表示される。ここで、強度画像200の中の一部の範囲201と位相画像210の中の一部の範囲211とは細胞培養プレート12上で全く同じ範囲である。即ち、表示画像作成部26は複数種類の表示画像を作成する際に、全く同じ範囲の画像を作成する。そして、表示処理部25はこうした作成された位相画像及び強度画像を画像表示画面100内に描出することで、観察者に提示する。
図7(a)は観察倍率が低いときに実際に表示される位相画像と強度画像とを示す図である。位相画像ではウェルの外形を殆ど識別できないが、強度画像ではそれが明瞭に観察可能であることが分かる。上述したように両画像の観察範囲は全く同じであるので、観察者は強度画像に基づいて詳細に観察する位置や範囲を選択することができる。
観察者が強度画像に基づいて決めた所定の観察範囲に存在する細胞の詳細な観察を行いたい場合、観察者は入力部3により強度画像上の所望の位置や所望の範囲を指定したうえで拡大表示の操作を行う。
いま、一例として図5(b)に示している強度画像200の一部の範囲201の中で小範囲202を指定して拡大表示の操作を行ったものとする。すると操作受付処理部27を通してこの指示を受けた表示画像作成部26は、指定された小範囲202に対応する強度画像が第2画像表示枠122全体に表示されるように、拡大された強度画像122Bを作成する。このときには、第2画像表示枠122に表示すべき強度画像のサイズ自体は小さくなるから、拡大操作の前よりも解像度を上げることになる。一方、表示画像作成部26は、位相画像についても、指定された小範囲202と全く同じ小範囲212に対応する位相画像が第1画像表示枠121全体に表示されるように、拡大された位相画像121Bを作成する。即ち、強度画像の拡大操作に対応して、位相画像についても全く同じ倍率の拡大操作を実施する。そして、表示処理部25は、拡大後の位相画像及び強度画像をそれぞれ画像表示画面100の第1、第2画像表示枠121、122に表示する(表示を更新する)。
こうして、観察者の強度画像についての拡大操作に対応して、強度画像のみならず位相画像も連動して拡大表示される。縮小操作についても全く同様である。また、拡大・縮小操作だけでなく、観察倍率を変更することなく観察範囲を移動させる操作でも全く同様であり、強度画像の観察範囲を移動させる操作を行うと、その操作に応じて強度画像と位相画像との観察範囲が移動する。また逆に、位相画像上で拡大・縮小操作や移動操作を行った場合でも同様に、その操作に応じて強度画像と位相画像とが共に拡大・縮小表示されたり、それら画像の観察範囲が移動したりする。
なお、画像表示欄120にその時点で表示されている位相画像及び強度画像の観察位置は、情報表示欄110中のナビゲータ画像112に表示されているマーキングによって把握することができる。
図7(b)は観察倍率が高いときに表示される位相画像と強度画像の実測例を示す図である。この図から、強度画像では各細胞の形状等はあまり視認できないが、位相画像ではそれが明瞭に観察可能であることが分かる。このように、本実施例の細胞観察装置では、低倍率の強度画像上で観察位置や範囲を決めたあと、高倍率の位相画像上で細胞を詳細に観察することができる。
また図8は、本実施例の細胞観察装置において、ヒトの毛髪片が混入している場合の位相画像及び強度画像の実測例を示す図である。毛髪片のサイズは0.5mm程度であるが、培養中の細胞に比べればかなり大きい。図8を見れば分かるように、位相画像では毛髪片の輪郭は確認できないことはないものの、その像の色は周囲の細胞の色と殆ど同じであるため、観察者が把握するのは難しい。これに対し、強度画像では毛髪片が明瞭に観察可能である。これにより、観察者はこうした異物の混入を確実に把握することができる。
なお、上記説明では、細胞培養プレートで培養中の細胞を観察する場合を例に挙げたが、細胞培養プレートに代えて、培養フラスコやシャーレなどの他の各種細胞培養容器を用いてもよいことは言うまでもない。それら容器の構成部材は位相画像では十分に視認できなくても、強度画像では明瞭に観察可能である。
また図1に示した実施例の構成では、制御・処理部2において全ての処理を実施しているが、一般に、ホログラムデータに基づく逆光伝播の計算やその計算結果の画像化には膨大な量の計算が必要である。そのため、通常使用されているパーソナルコンピュータでは計算に多大な時間が掛かり効率的な解析作業は難しい。そこで、顕微観察部1に接続されたパーソナルコンピュータを端末装置とし、この端末装置と高性能なコンピュータであるサーバとがインターネットやイントラネット等の通信ネットワークを介して接続されたコンピュータシステムを利用してもよい。
この場合、ホログラムデータに基づく光伝播計算や位相画像、強度画像の作成などの複雑な処理はサーバ側で実施し、それによって作成された画像データを端末装置又は別の閲覧用端末が受け取って、この画像データに基づいて表示画像を作成する処理を端末装置側で行うようにしてもよい。こうした構成では、図1に示した制御・処理部2の機能ブロックが、端末装置側とサーバ側とに、又は、端末装置側とサーバ側と閲覧用端末とに分離されることになる。また、制御・処理部2の一つの機能ブロックに含まれる機能が、端末装置側とサーバ側とに、又は、端末装置側とサーバ側と閲覧用端末とに分離されることもあり得る。このように、制御・処理部2の機能は適宜、複数のコンピュータで分担しても構わない。
また上記実施例の細胞観察装置では、顕微観察部1としてインライン型ホログラフィック顕微鏡を用いていたが、ホログラムが得られる顕微鏡であれば、オフアクシス型、位相シフト型などの他の方式のホログラフィック顕微鏡に置換え可能であることは当然である。
さらにまた、上記実施例及び上記記載の変形例はいずれも本発明の一例であり、本発明の趣旨の範囲でさらに適宜の変更、修正、追加を行っても本願特許請求の範囲に包含されることは当然である。
1…顕微観察部
10…光源部
11…イメージセンサ部
12…細胞培養プレート
13…細胞
14…移動部
15…参照光
16…物体光
2…制御・処理部
20…撮影制御部
21…測定データ記憶部
22…演算処理部
23…画像作成部
24…画像データ記憶部
25…表示処理部
26…表示画像作成部
27…操作受付処理部
3…入力部
4…表示部
100…画像表示画面
110…情報表示欄
111…表示画像選択チェックボックス
112…ナビゲータ画像
120…画像表示欄
121…第1画像表示枠
122…第2画像表示枠
130…サムネイル画像表示欄

Claims (4)

  1. ホログラフィック顕微鏡を用いた細胞観察装置であって、
    a)細胞を含む試料を前記ホログラフィック顕微鏡で測定することにより得られたホログラムデータに基づいて、該試料についての位相情報及び強度情報の2次元分布を算出する演算処理部と、
    b)前記演算処理部で得られた位相情報及び強度情報の2次元分布に基づいて、前記試料の観察対象領域の全体又はその一部についての位相画像及び強度画像をそれぞれ作成する画像作成部と、
    c)前記画像作成部により作成された、前記試料上の同じ範囲についての位相画像及び強度画像を並べて配置した表示画面を形成して表示部に表示する表示処理部と、
    を備えることを特徴とする細胞観察装置。
  2. 請求項1に記載の細胞観察装置であって、
    前記試料は細胞培養容器であり、前記ホログラフィック顕微鏡によるホログラムデータの取得が可能な最大の領域は前記細胞培養容器全体又はその一部の領域であることを特徴とする細胞観察装置。
  3. 請求項1に記載の細胞観察装置であって、
    前記表示処理部により前記表示部の画面上に表示されている位相画像又は強度画像のいずれか一方についての倍率の変更又は観察位置の移動の操作をユーザが行うための操作部をさらに備え、
    前記画像作成部は、前記操作部による操作に応じて、操作対象である位相画像又は強度画像の一方の倍率を変更した又は観察位置を移動した位相画像又は強度画像を作成するとともに、前記位相画像又は強度画像の他方について、該位相画像又は強度画像の一方に対する操作と同じだけ倍率を変更した又は観察位置を移動した位相画像又は強度画像を作成し、
    前記表示処理部は該画像作成部で倍率を変更したあとの又は観察位置を移動したあとの位相画像及び強度画像を前記表示画面に表示することを特徴とする細胞観察装置。
  4. 請求項1に記載の細胞観察装置であって、
    前記表示処理部は、観察対象領域全体の強度画像を縮小したサムネイル画像に、その時点で表示されている位相画像及び強度画像の観察範囲を示すマークを重畳した画像を同じ画面上に表示することを特徴とする細胞観察装置。
JP2019502415A 2017-03-03 2017-03-03 細胞観察装置 Pending JPWO2018158946A1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/008567 WO2018158946A1 (ja) 2017-03-03 2017-03-03 細胞観察装置

Publications (1)

Publication Number Publication Date
JPWO2018158946A1 true JPWO2018158946A1 (ja) 2019-11-21

Family

ID=63369866

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019502415A Pending JPWO2018158946A1 (ja) 2017-03-03 2017-03-03 細胞観察装置

Country Status (4)

Country Link
US (1) US20200233379A1 (ja)
JP (1) JPWO2018158946A1 (ja)
CN (1) CN110383044A (ja)
WO (1) WO2018158946A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7222764B2 (ja) * 2019-03-18 2023-02-15 株式会社キーエンス 画像測定装置
CN112837261B (zh) * 2020-07-22 2022-11-11 杭州思柏信息技术有限公司 融合扫描数据和光学图像显示的细胞数据标注方法、***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011089908A1 (ja) * 2010-01-20 2011-07-28 株式会社ニコン 細胞観察装置及び細胞培養方法
JP2013508775A (ja) * 2009-10-20 2013-03-07 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア オンチップでの非干渉性のレンズフリーのホログラフィおよび顕微鏡法
WO2013070287A1 (en) * 2011-11-07 2013-05-16 The Regents Of The University Of California Maskless imaging of dense samples using multi-height lensfree microscope
US9025881B2 (en) * 2012-02-06 2015-05-05 Nanyang Technological University Methods and apparatus for recovering phase and amplitude from intensity images

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6993167B1 (en) * 1999-11-12 2006-01-31 Polartechnics Limited System and method for examining, recording and analyzing dermatological conditions
US9984456B2 (en) * 2004-04-14 2018-05-29 Edda Technology, Inc. Method and system for labeling hepatic vascular structure in interactive liver disease diagnosis
WO2007002898A2 (en) * 2005-06-29 2007-01-04 University Of South Florida Variable tomographic scanning with wavelength scanning digital interface holography
GB0701201D0 (en) * 2007-01-22 2007-02-28 Cancer Rec Tech Ltd Cell mapping and tracking
US7812959B1 (en) * 2007-03-22 2010-10-12 University Of South Florida Total internal reflection holographic microscope
WO2009009081A2 (en) * 2007-07-10 2009-01-15 Massachusetts Institute Of Technology Tomographic phase microscopy
JP2009294338A (ja) * 2008-06-04 2009-12-17 Renesas Technology Corp 液晶駆動装置
US9222870B2 (en) * 2010-12-10 2015-12-29 The Regents Of The University Of California Method and device for multi-parameter imaging within a single fluorescent channel
US8842901B2 (en) * 2010-12-14 2014-09-23 The Regents Of The University Of California Compact automated semen analysis platform using lens-free on-chip microscopy
US8687253B2 (en) * 2011-12-13 2014-04-01 Canon Kabushiki Kaisha Speckle noise reduction based on longitudinal shift of sample
US8693000B2 (en) * 2011-12-22 2014-04-08 General Electric Company Quantitative phase microscopy for label-free high-contrast cell imaging
US9864184B2 (en) * 2012-10-30 2018-01-09 California Institute Of Technology Embedded pupil function recovery for fourier ptychographic imaging devices
US11514325B2 (en) * 2018-03-21 2022-11-29 The Regents Of The University Of California Method and system for phase recovery and holographic image reconstruction using a neural network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013508775A (ja) * 2009-10-20 2013-03-07 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア オンチップでの非干渉性のレンズフリーのホログラフィおよび顕微鏡法
WO2011089908A1 (ja) * 2010-01-20 2011-07-28 株式会社ニコン 細胞観察装置及び細胞培養方法
WO2013070287A1 (en) * 2011-11-07 2013-05-16 The Regents Of The University Of California Maskless imaging of dense samples using multi-height lensfree microscope
US9025881B2 (en) * 2012-02-06 2015-05-05 Nanyang Technological University Methods and apparatus for recovering phase and amplitude from intensity images

Also Published As

Publication number Publication date
WO2018158946A1 (ja) 2018-09-07
CN110383044A (zh) 2019-10-25
US20200233379A1 (en) 2020-07-23

Similar Documents

Publication Publication Date Title
JP6860064B2 (ja) 細胞観察装置
JP6895284B2 (ja) 光シート顕微鏡および光シート顕微鏡を作動するための方法
Kuś et al. Active limited-angle tomographic phase microscope
Kandel et al. Label-free tissue scanner for colorectal cancer screening
CN110431465B (zh) 用于拍摄和呈现样品的三维图像的显微镜装置
CN108513031B (zh) 细胞观察***
CN104137030A (zh) 通过包含激光扫描显微镜的测量装置测量三维样品的方法及该测量装置
WO2018158946A1 (ja) 細胞観察装置
JP6950813B2 (ja) 細胞観察装置
JP6760477B2 (ja) 細胞観察装置
Romero et al. Digital holographic microscopy for detection of Trypanosoma cruzi parasites in fresh blood mounts
US9726875B2 (en) Synthesizing light fields in microscopy
WO2019043953A1 (ja) 細胞観察装置
EP4014198B1 (en) Sample imaging via two-pass light-field reconstruction
JP7036192B2 (ja) 細胞観察装置
Havran et al. Software simulator for design and optimization of the kaleidoscopes for the surface reflectance measurement
WO2019180811A1 (ja) 細胞観察装置及び細胞観察用プログラム
Sokol et al. Features of Application of the Experimental Stand for Reception of the New Measuring Information Concerning Morphological Signs of An Erythrocyte.
WO2023078527A1 (en) Method for providing position information for retrieving a target position in a microscopic sample, method for examining and/or processing such a target position and means for implementing these methods
Ginani et al. A novel approach to correction of optical aberrations in laser scanning microscopy for surface metrology
Lin et al. Automatic calibration of the spatial position and orientation for the tomographic digital holographic microscopy
JP2022174039A (ja) 情報処理装置、顕微鏡、情報処理方法及び情報処理プログラム
JP2021048825A (ja) 細胞観察装置
Bowman Three dimensional touch and vision for the micro-world
JP2005326601A (ja) 顕微鏡装置、立体画像出力方法および立体画像出力プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200831

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201222