KR102261700B1 - 세포 화상 평가 장치 및 방법과, 프로그램 - Google Patents

세포 화상 평가 장치 및 방법과, 프로그램 Download PDF

Info

Publication number
KR102261700B1
KR102261700B1 KR1020197024431A KR20197024431A KR102261700B1 KR 102261700 B1 KR102261700 B1 KR 102261700B1 KR 1020197024431 A KR1020197024431 A KR 1020197024431A KR 20197024431 A KR20197024431 A KR 20197024431A KR 102261700 B1 KR102261700 B1 KR 102261700B1
Authority
KR
South Korea
Prior art keywords
image
captured image
cell
evaluation
deteriorated
Prior art date
Application number
KR1020197024431A
Other languages
English (en)
Other versions
KR20190110576A (ko
Inventor
겐타 마츠바라
다카시 와쿠이
Original Assignee
후지필름 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지필름 가부시키가이샤 filed Critical 후지필름 가부시키가이샤
Publication of KR20190110576A publication Critical patent/KR20190110576A/ko
Application granted granted Critical
Publication of KR102261700B1 publication Critical patent/KR102261700B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/4833Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/46Means for regulation, monitoring, measurement or control, e.g. flow regulation of cellular or enzymatic activity or functionality, e.g. cell viability
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Wood Science & Technology (AREA)
  • Biochemistry (AREA)
  • Zoology (AREA)
  • Organic Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Biotechnology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Genetics & Genomics (AREA)
  • General Engineering & Computer Science (AREA)
  • Hematology (AREA)
  • Molecular Biology (AREA)
  • Urology & Nephrology (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Microbiology (AREA)
  • Sustainable Development (AREA)
  • Food Science & Technology (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Cell Biology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

용기 내의 각 관찰 영역의 촬영 화상이 열화되어 있었다고 해도, 보다 정확하고, 또한 신뢰성이 높은 평가를 행할 수 있는 세포 화상 평가 장치 및 방법과, 프로그램을 제공한다. 세포가 수용된 용기 내를 촬영한 촬영 화상에 근거하여, 촬영 화상에 포함되는 세포의 상태를 평가하는 화상 평가부(22)와, 촬영 화상이 열화되어 있는지 여부를 판별하는 열화 판별부(21)를 구비하고, 화상 평가부(22)가, 열화 판별부의 판별 결과에 따라, 촬영 화상의 평가 방법을 변경한다.

Description

세포 화상 평가 장치 및 방법과, 프로그램
본 발명은, 세포를 촬영한 촬영 화상을 이용하여, 촬영 화상에 포함되는 세포의 상태를 평가하는 세포 화상 평가 장치 및 방법과, 프로그램에 관한 것이다.
ES(Embryonic Stem) 세포 및 iPS(Induced Pluripotent Stem) 세포 등의 다능성 줄기 세포는, 다양한 조직의 세포로 분화하는 능력을 구비하고, 재생 의료, 약의 개발, 및 병의 해명 등에 있어서 응용이 가능한 것으로서 주목받고 있다.
그리고, ES 세포 및 iPS 세포 등의 다능성 줄기 세포나 분화 유도된 세포 등을 현미경 등으로 촬상하고, 그 화상의 특징을 파악함으로써 세포의 분화 상태 등을 평가하는 방법이 제안되고 있다.
한편, 상술한 바와 같이 세포를 현미경으로 촬상할 때, 고배율의 광시야 화상을 취득하기 위하여, 이른바 타일링 촬영을 행하는 것이 제안되고 있다. 구체적으로는, 예를 들면 웰 플레이트 등이 설치된 스테이지를, 결상광학계에 대하여 이동시킴으로써 웰 내의 각 관찰 영역을 주사하고, 관찰 영역마다의 화상을 촬영한 후, 그 관찰 영역마다의 화상을 연결하는 방법이 제안되고 있다.
일본 공표특허공보 2013-535048호
여기에서, 상술한 바와 같이 웰 내의 각 관찰 영역을 주사하여 촬영할 때, 각 관찰 영역에 있어서 오토포커스 제어가 행해지지만, 모든 관찰 영역에 있어서 최적의 초점 위치가 된다고는 할 수 없고, 오토포커스 제어로 미스를 발생시켜, 일부의 관찰 영역의 촬영 화상이, 블러가 발생한 화상이 되는 경우가 있다. 또, 예를 들면 현미경 장치에 있어서의 광원에 인가되는 전압 변동에 의하여 조명광의 광량이 변동하여, 촬영 화상이 어두운 화상이 되어 버리는 경우가 있다.
이와 같이 블러가 발생한 화상 및 어두운 화상과 같이 열화된 촬영 화상에 대해서는, 개개의 세포의 화상을 고정밀도로 추출할 수 없기 때문에, 예를 들면 개개의 세포의 상태를 나타내는 특징량을 이용하여 평가를 행하도록 한 것으로는, 평가 결과의 정밀도가 낮아져, 신뢰성도 낮은 평가 결과가 되는 경우가 있다. 즉, 열화된 촬영 화상과 열화되지 않은 촬영 화상을 동일하게 평가한 것으로는 정확한 평가 결과를 얻을 수 없는 경우가 있다.
또한, 특허문헌 1에서는, 디지털 현미경 슬라이드의 화상을 복수의 영역으로 분할하고, 각 영역의 품질을 평가할 때, 적절한 밝기 또는 콘트라스트를 갖는 분할 화상만 평가를 행하여, 슬라이드 전체의 스코어를 산출하는 것이 제안되어 있다. 그러나, 이와 같이 적절한 밝기 또는 콘트라스트가 아닌 분할 화상을 전혀 평가하지 않도록 한 것으로는, 그 분할 화상의 정보를 완전하게 잃게 되므로, 슬라이드 전체의 평가로서는 정밀도가 저하되는 경우가 있다.
본 발명은, 상기의 문제를 감안하여, 용기 내의 각 관찰 영역의 촬영 화상이 열화되어 있었다고 해도, 보다 정확하고, 또한 신뢰성이 높은 평가를 행할 수 있는 세포 화상 평가 장치 및 방법과, 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 일 양태에 의한 세포 화상 평가 장치는, 세포가 수용된 용기 내를 촬영한 촬영 화상에 근거하여, 촬영 화상에 포함되는 세포의 상태를 평가하는 화상 평가부와, 촬영 화상이 열화되어 있는지 여부를 판별하는 열화 판별부를 구비하고, 화상 평가부가, 열화 판별부의 판별 결과에 따라, 촬영 화상의 평가 방법을 변경한다.
또, 상기 본 발명의 일 양태에 의한 세포 화상 평가 장치에 있어서, 화상 평가부는, 촬영 화상이 열화되어 있다고 판별된 경우에는, 상대적으로 열화에 강한 평가 방법에 의하여 촬영 화상을 평가하고, 촬영 화상이 열화되지 않았다고 판별된 경우에는, 상대적으로 열화에 약한 평가 방법에 의하여 촬영 화상을 평가해도 된다.
또, 상기 본 발명의 일 양태에 의한 세포 화상 평가 장치에 있어서, 화상 평가부는, 촬영 화상이 열화되지 않았다고 판별된 경우에는, 촬영 화상에 포함되는 세포의 상태를 나타내는 특징량을 이용하여 평가하고, 촬영 화상이 열화되어 있다고 판별된 경우에는, 화상 특징량을 이용하여 평가해도 된다.
또, 상기 본 발명의 일 양태에 의한 세포 화상 평가 장치에 있어서, 세포의 상태를 나타내는 특징량은, 개개의 세포의 상태의 특징량, 세포 내에 포함되는 핵소체의 특징량, 흰색 줄의 특징량, 세포 내에 포함되는 핵의 특징량 및 세포의 NC비(Nucleocytoplasmic ratio) 중 적어도 하나를 포함해도 된다.
또, 상기 본 발명의 일 양태에 의한 세포 화상 평가 장치에 있어서, 열화 판별부는, 촬영 화상에 블러가 발생하고 있는지 여부를 판별해도 된다.
또, 상기 본 발명의 일 양태에 의한 세포 화상 평가 장치에 있어서, 열화 판별부는, 촬영 화상에 블러가 발생하고 있는지 여부를 판별하는 블러 판별기를 구비할 수 있으며, 블러 판별기는, 기계 학습에 의하여 생성되어도 된다.
또, 상기 본 발명의 일 양태에 의한 세포 화상 평가 장치에 있어서, 블러 판별기는, 촬영 화상의 휘도의 분산, 콘트라스트, 및 최솟값과 최댓값의 세트 중 적어도 하나에 근거하여, 촬영 화상에 블러가 발생하고 있는지 여부를 판별해도 된다.
또, 상기 본 발명의 일 양태에 의한 세포 화상 평가 장치에 있어서, 열화 판별부는, 촬영 화상이, 세포 영역을 촬영한 화상인지 배지 영역을 촬영한 화상인지를 판별하는 영역 판별기를 구비하며, 촬영 화상이 세포 영역을 촬영한 화상이라고 영역 판별기에 의하여 판별되고, 또한 촬영 화상에 블러가 발생하고 있다고 블러 판별기에 의하여 판별된 경우에, 촬영 화상이 열화되어 있다고 판별해도 된다.
또, 상기 본 발명의 일 양태에 의한 세포 화상 평가 장치에 있어서, 열화 판별부는, 촬영 화상이, 조명광의 광량 변동에 의하여 열화된 화상인지 여부를 판별해도 된다.
또, 상기 본 발명의 일 양태에 의한 세포 화상 평가 장치에 있어서, 열화 판별부는, 촬영 화상이, 조명광의 광량 변동에 의하여 열화된 화상인지 여부를 판별하는 광량 변동 열화 판별기를 구비할 수 있으며, 광량 변동 열화 판별기는, 기계 학습에 의하여 생성되어도 된다.
또, 상기 본 발명의 일 양태에 의한 세포 화상 평가 장치에 있어서, 광량 변동 열화 판별기는, 촬영 화상의 평균 휘도 및 최솟값과 최댓값의 세트 중 적어도 하나에 근거하여, 촬영 화상이 광량 변동에 의하여 열화된 화상인지 여부를 판별해도 된다.
또, 상기 본 발명의 일 양태에 의한 세포 화상 평가 장치에 있어서, 화상 평가부는, 용기 내의 복수의 촬영 화상의 평가 결과를 통합하여 용기에 대한 평가 결과를 산출해도 된다.
또, 상기 본 발명의 일 양태에 의한 세포 화상 평가 장치에 있어서, 촬영 화상은, 용기가 설치되는 스테이지 및 용기 내의 세포의 상을 결상하는 결상광학계 중 적어도 한쪽을 이동시킴으로써, 용기 내의 각 관찰 영역을 촬영한 화상으로 할 수 있으며, 열화 판별부는, 관찰 영역마다의 촬영 화상이 열화되어 있는지 여부를 판별해도 된다.
본 발명의 일 양태에 의한 세포 화상 평가 방법은, 세포가 수용된 용기 내를 촬영한 촬영 화상이 열화되어 있는지 여부를 판별하고, 촬영 화상에 근거하여, 촬영 화상에 포함되는 세포의 상태를 평가할 때, 열화의 판별 결과에 따라, 촬영 화상의 평가 방법을 변경한다.
본 발명의 일 양태에 의한 세포 화상 평가 프로그램은, 컴퓨터를, 세포가 수용된 용기 내를 촬영한 촬영 화상에 근거하여, 촬영 화상에 포함되는 세포의 상태를 평가하는 화상 평가부와, 촬영 화상이 열화되어 있는지 여부를 판별하는 열화 판별부로서 기능시키는 세포 화상 평가 프로그램이며, 화상 평가부가, 열화 판별부의 판별 결과에 따라, 촬영 화상의 평가 방법을 변경한다.
본 발명의 세포 화상 평가 장치 및 방법과, 프로그램에 의하면, 세포가 수용된 용기 내를 촬영한 촬영 화상이 열화되어 있는지 여부를 판별하고, 촬영 화상에 포함되는 세포의 상태를 평가할 때, 열화되어 있는 촬영 화상과 열화되지 않은 촬영 화상에서 다른 평가 방법으로 평가한다. 이로써, 열화되어 있는 화상이었다고 해도, 그 화상에 적합한 평가 방법으로 평가함으로써, 보다 정확하고, 또한 신뢰성이 높은 평가를 행할 수 있다.
도 1은 본 발명의 세포 화상 평가 장치의 일 실시형태를 이용한 세포 화상 평가 시스템의 개략 구성을 나타내는 블록도이다.
도 2는 웰 플레이트에 있어서의 각 관찰 영역의 주사 궤적을 나타내는 도이다.
도 3은 웰 내의 각 관찰 영역의 촬영 화상의 일례를 나타내는 도이다.
도 4는 웰 단위로 통합된 평가 결과의 표시예를 나타내는 도이다.
도 5는 본 발명의 세포 화상 평가 장치의 일 실시형태를 이용한 세포 화상 평가 시스템의 작용을 설명하기 위한 플로 차트이다.
도 6은 도 1에 나타내는 세포 화상 평가 시스템의 변형예의 개략 구성을 나타내는 블록도이다.
도 7은 웰 내의 각 관찰 영역의 촬영 화상의 일례를 나타내는 도이다.
도 8은 본 발명의 세포 화상 평가 장치의 그 외의 실시형태를 이용한 세포 화상 평가 시스템의 개략 구성을 나타내는 블록도이다.
이하, 본 발명의 세포 화상 평가 장치 및 방법과, 프로그램의 일 실시형태를 이용한 세포 화상 평가 시스템에 대하여, 도면을 참조하면서 상세하게 설명한다. 도 1은, 본 실시형태의 세포 화상 평가 시스템의 개략 구성을 나타내는 블록도이다.
본 실시형태의 세포 화상 평가 시스템은, 도 1에 나타내는 바와 같이, 현미경 장치(10)와, 세포 화상 평가 장치(20)와, 표시 장치(30)와, 입력 장치(40)를 구비하고 있다.
현미경 장치(10)는, 배양 용기 내에 수용된 세포를 촬영하고, 촬영 화상을 출력한다. 본 실시형태에 있어서는, 구체적으로는, CCD(Charge-Coupled Device) 이미지 센서나 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서 등의 촬상 소자를 구비한 위상차 현미경 장치를 이용한다. 촬상 소자로서는, RGB(Red Green Blue)의 컬러 필터가 마련된 촬상 소자를 이용해도 되고, 모노크롬의 촬상 소자를 이용하도록 해도 된다. 배양 용기 내에 수용된 세포의 위상차상이 촬상 소자에 결상되고, 촬상 소자로부터 촬영 화상으로서 위상차 화상이 출력된다. 또한, 현미경 장치(10)로서는, 위상차 현미경 장치에 한정하지 않고, 미분 간섭 현미경 장치 및 명시야 현미경 장치 등의 그 외의 현미경 장치를 이용하도록 해도 된다.
촬영 대상으로서는, 복수의 세포가 응집한 세포 콜로니여도 되고, 분산하여 분포한 복수의 세포여도 된다. 또, 촬영 대상의 세포로서는, 예를 들면 iPS 세포 및 ES 세포와 같은 다능성 줄기 세포, 줄기 세포로부터 분화 유도된 신경, 피부, 심근 및 간장의 세포와, 인체로부터 취출된 장기의 세포 및 암세포 등이 있다.
또, 본 실시형태에 있어서는, 배양 용기로서 복수의 웰을 갖는 웰 플레이트를 이용한다. 또한, 웰 플레이트를 이용하는 경우, 각 웰이, 본 발명의 용기에 상당한다. 그리고, 현미경 장치(10)는, 웰 플레이트가 설치되는 스테이지를 구비하고 있다. 스테이지는, 수평면 내에 있어서 직교하는 X 방향 및 Y 방향으로 이동한다. 이 스테이지의 이동에 의하여, 웰 플레이트의 각 웰 내에 있어서의 각 관찰 영역이 주사되어, 관찰 영역마다의 촬영 화상이 촬영된다. 관찰 영역마다의 촬영 화상은 세포 화상 평가 장치(20)에 출력된다.
도 2는, 6개의 웰(51)을 갖는 웰 플레이트(50)를 이용한 경우에 있어서의 각 관찰 영역의 주사 궤적을 실선(Sc)으로 나타낸 도이다. 도 2에 나타내는 바와 같이, 웰 플레이트(50) 내의 각 관찰 영역은, 스테이지의 X 방향 및 Y 방향의 이동에 의하여 주사 개시점(S)으로부터 주사 종료점(E)까지의 실선(Sc)을 따라 주사된다.
또, 본 실시형태에 있어서는, 웰 내의 각 관찰 영역에 있어서, 스테이지 또는 세포의 위상차상을 촬상 소자에 결상하는 결상광학계를 연직 방향으로 이동시킴으로써 오토포커스 제어를 행한다.
또한, 본 실시형태에 있어서는, 스테이지를 이동시킴으로써 웰 내의 관찰 영역마다의 촬영 화상을 촬영하도록 했지만, 이것에 한정하지 않고, 결상광학계를 스테이지에 대하여 이동시킴으로써 관찰 영역마다의 촬영 화상을 촬영하도록 해도 된다. 또는, 스테이지와 결상광학계 양쪽 모두를 이동시키도록 해도 된다.
또, 본 실시형태에 있어서는, 웰 플레이트를 이용하도록 했지만, 세포가 수용되는 용기로서는 이것에 한정하지 않고, 예를 들면 샬레 또는 디시 등 그 외의 용기를 이용하도록 해도 된다.
세포 화상 평가 장치(20)는, 도 1에 나타내는 바와 같이, 열화 판별부(21)와, 화상 평가부(22)와, 표시 제어부(23)를 구비하고 있다. 세포 화상 평가 장치(20)는, 중앙 처리 장치, 반도체 메모리 및 하드 디스크 등을 구비한 컴퓨터로 구성되며, 하드 디스크에 본 발명의 세포 화상 평가 프로그램의 일 실시형태가 인스톨되어 있다. 그리고, 이 세포 화상 평가 프로그램이 중앙 처리 장치에 의하여 실행됨으로써, 도 1에 나타내는 열화 판별부(21), 화상 평가부(22) 및 표시 제어부(23)가 기능한다. 또한, 본 실시형태에 있어서는, 세포 화상 평가 프로그램에 의하여, 각부의 기능을 실행하도록 했지만, 이것에 한정하지 않고, 예를 들면 복수의 IC(Integrated Circuit), 프로세서, ASIC(Application Specific Integrated Circuit), FPGA(Field-Programmable Gate Array), 및 메모리 등을 적절히 조합함으로써 각부의 기능을 실행하도록 해도 된다. 또한, 세포 화상 평가 프로그램은, 비일시적인 컴퓨터 독취 가능한 기록 매체에 저장되어, 세포 화상 평가 장치(20)를 구성하는 컴퓨터에 독취되어도 된다. 또, 세포 화상 평가 프로그램은, 네트워크를 통하여 배신(配信)되어도 된다.
열화 판별부(21)는, 현미경 장치(10)에 의하여 촬영된 관찰 영역마다의 촬영 화상이 열화되어 있는지 여부를 판별한다. 구체적으로는, 본 실시형태의 열화 판별부(21)는, 블러 판별기(21a)를 갖고, 이 블러 판별기(21a)에 의하여 촬영 화상에 블러가 발생하고 있는지 여부를 판별함으로써, 촬영 화상이 열화되어 있는지 여부를 판별한다. 열화 판별부(21)의 상세에 대해서는, 후술한다.
화상 평가부(22)는, 관찰 영역마다의 촬영 화상을 취득하고, 그 촬영 화상에 포함되는 세포의 상태를 평가한다. 세포의 상태를 평가한다란, 예를 들면 촬영 화상에 포함되는 세포가 미분화 세포인지 분화 세포인지를 평가하거나, 공배양 시의 세포의 종류마다의 세포수를 카운트하거나, 촬영 화상에 포함되는 미분화 세포와 분화 세포의 비율을 평가하거나, 세포 또는 세포 콜로니의 성장도를 평가하거나, 또는 항암제에 의한 암세포의 축소율을 평가하거나 하는 것을 말한다. 단, 세포의 상태의 평가로서는, 이들에 한정하지 않고, 그 외의 평가여도 된다.
또, 화상 평가부(22)는, 블러가 발생하고 있는 촬영 화상과 블러가 발생하지 않은 촬영 화상에서 다른 평가 방법으로 세포의 상태를 평가한다. 구체적으로는, 화상 평가부(22)는, 블러가 발생하지 않은 촬영 화상에 대해서는, 그 촬영 화상에 포함되는 세포의 상태를 나타내는 특징량을 이용하여 평가하고, 블러가 발생하고 있는 촬영 화상에 대해서는, 화상 특징량을 이용하여 평가한다. 화상 평가부(22)에 의한 화상 평가의 상세에 대해서는, 후술한다.
표시 제어부(23)는, 화상 평가부(22)에 의한 평가 결과를 표시 장치(30)에 표시시킨다. 구체적으로는, 본 실시형태에 있어서는, 상술한 바와 같이 화상 평가부(22)에 있어서 웰 단위에서의 평가 결과가 산출되므로, 표시 제어부(23)는, 그 웰 단위에서의 평가 결과를 표시 장치(30)에 표시시킨다. 도 4는, 6웰의 웰 플레이트를 이용한 경우에, 웰 단위에서의 분화 세포의 비율과 미분화 세포의 비율을 산출하고, 통합된 평가 결과로서 표시한 예이다. 도 4의 예에 있어서, 상단 좌측의 웰에는, 분화 세포가 80% 존재하고, 미분화 세포가 20% 존재한다. 상단 중앙의 웰에는, 분화 세포가 70% 존재하고, 미분화 세포가 30% 존재한다. 상단 우측의 웰에는, 분화 세포가 60% 존재하고, 미분화 세포가 40% 존재한다. 하단 좌측의 웰에는, 분화 세포가 60% 존재하고, 미분화 세포가 40% 존재한다. 하단 중앙의 웰에는, 분화 세포가 30% 존재하고, 미분화 세포가 70% 존재한다. 하단 우측의 웰에는, 분화 세포가 40% 존재하고, 미분화 세포가 60% 존재한다.
또, 표시 제어부(23)는, 관찰 영역마다의 촬영 화상을 연결함으로써 합성 화상을 생성하고, 그 합성 화상을 표시 장치(30)에 표시시킨다.
표시 장치(30)는, 상술한 바와 같이 화상 평가부(22)에 의한 평가 결과 및 표시 제어부(23)에 의하여 생성된 합성 화상을 표시하는, 예를 들면 액정 디스플레이 등을 구비했다. 또, 표시 장치(30)를 터치 패널에 의하여 구성하고, 입력 장치(40)와 겸용하도록 해도 된다.
입력 장치(40)는, 마우스나 키보드 등을 구비하고, 유저에 의한 다양한 설정 입력을 접수한다.
다음으로, 열화 판별부(21)의 상세를 설명한다. 본 실시형태에 있어서는, 상술한 바와 같이 웰 내의 각 관찰 영역을 주사하고, 각 관찰 영역에 있어서 오토포커스 제어를 행하지만, 모든 관찰 영역에 있어서 최적의 초점 위치가 된다고는 할 수 없고, 오토포커스 제어로 미스를 발생시켜, 일부의 관찰 영역의 촬영 화상이, 블러가 발생한 화상이 되는 경우가 있다. 이와 같은 블러가 발생한 촬영 화상을, 그 외의 블러가 발생하지 않은 촬영 화상과 동일하게 평가한 것으로는, 정확한 평가 결과가 얻어지지 않는 경우가 있다. 도 3은, 웰 내의 각 관찰 영역의 촬영 화상의 일례를 나타내는 도이다. 도 3에 있어서 직사각형 영역으로 분할된 각 영역이 각 관찰 영역에 상당한다. 또, 도 3에 나타내는 예에서는, 점선 사각으로 나타내는 관찰 영역의 촬영 화상이, 블러가 발생하고 있는 화상이다.
따라서, 본 실시형태의 세포 화상 평가 시스템에 있어서는, 열화 판별부(21)에 있어서, 관찰 영역마다의 촬영 화상에 블러가 발생하고 있는지 여부를 판별하고, 그 판별 결과에 따라, 평가 방법을 변경한다.
구체적으로는, 블러 판별기(21a)는, 블러가 발생한 촬영 화상과 블러가 발생하지 않은 촬영 화상의 휘도의 분산, 콘트라스트, 및 최솟값과 최댓값의 세트 중 적어도 하나를 입력으로 하고, 블러가 발생하고 있는지 여부의 판별 결과를 출력으로 하여 기계 학습에 의하여 생성된다. 기계 학습의 수법으로서는, 공지의 수법을 이용할 수 있으며, 서포트 벡터 머신(SVM), 딥 뉴럴 네트워크(DNN), 컨볼루션 뉴럴 네트워크(CNN), 리커런트 뉴럴 네트워크(RNN), 및 디노이징 스택 오토인코더(DSA) 등을 이용할 수 있다.
그리고, 블러 판별기(21a)는, 관찰 영역마다의 촬영 화상의 입력을 접수하고, 그 촬영 화상에 블러가 발생하고 있는지 여부의 판별 결과를 출력한다.
또한, 본 실시형태에 있어서는, 상술한 바와 같이 기계 학습된 블러 판별기(21a)를 이용하여 촬영 화상에 블러가 발생하고 있는지 여부를 판별하도록 했지만, 판별 방법으로서는, 이것에 한정하지 않고, 예를 들면 촬영 화상으로부터 에지를 검출하여, 에지의 양에 근거하여 판별하도록 해도 되고, 휘도의 최댓값과 최솟값의 세트로부터 판별하도록 해도 되며, 촬영 화상의 공간 주파수 성분을 해석함으로써 판별하도록 해도 된다.
다음으로, 화상 평가부(22)에 의한 화상 평가의 상세를 설명한다. 블러가 발생하지 않은 촬영 화상에 대해서는, 촬영 화상에 포함되는 세포의 화상 또는 핵 혹은 핵소체 등의 화상을 고정밀도로 인식할 수 있다. 이로 인하여, 화상 평가부(22)는, 상술한 바와 같이 세포의 상태를 나타내는 특징량을 이용하여 평가함으로써, 생물학적인 설명력이 우수한 평가 결과를 얻을 수 있다. 본 실시형태에 있어서, 세포의 상태를 나타내는 특징량을 이용한 평가 방법은, 상대적으로 블러(열화)에 약한 평가 방법이다.
세포의 상태를 나타내는 특징량으로서는, 개개의 세포의 상태의 특징량, 세포 내에 포함되는 핵소체의 특징량, 흰색 줄의 특징량, 세포 내에 포함되는 핵의 특징량 및 세포의 NC비 중 적어도 하나를 이용할 수 있다.
개개의 세포의 상태의 특징량으로서는, 예를 들면 세포의 수, 세포의 밀도, 세포의 증가율 및 세포의 원형도(圓形度) 등이 있지만, 촬영 화상에 포함되는 개개의 세포를 인식하고, 그 인식한 세포에 근거하여 산출되는 특징량이면 그 외의 특징량이어도 된다. 촬영 화상에 포함되는 세포의 인식 방법으로서는, 예를 들면 세포의 화상의 에지를 검출하거나, 패턴 매칭 처리를 이용하여 검출하거나, 기계 학습에 의하여 생성된 판별기를 이용하여 검출하거나 하는 방법이 있지만, 그 외의 공지의 수법을 이용할 수 있다. 또한, 세포의 원형도에 대해서는, 미분화 세포는 원형도가 상대적으로 높아지지만, 분화 세포는, 예를 들면 길고 가느다란 형상이 되어, 원형도가 상대적으로 낮아진다. 따라서, 개개의 세포의 원형도를 산출함으로써 분화 세포인지, 또는 미분화 세포인지를 평가할 수 있다. 또, 다능성 줄기 세포에 있어서, 세포가 분화하면 핵 내의 크로마틴 구조가 변화되어 거뭇해지기 때문에, 핵을 검출한 후에 핵의 휘도를 평가함으로써 분화 또는 미분화를 평가할 수 있다. 단, 분화 세포나 미분화 세포인지를 평가하는 방법으로서는, 이것에 한정하지 않고, 그 외의 공지의 수법을 이용할 수 있다. 또는, 신경 세포를 평가하는 경우에는, 개개의 세포의 상태를 나타내는 특징량으로서, 수상 돌기의 길이를 이용할 수 있다. 수상 돌기의 길이를 이용함으로써, 신경 세포의 성장도를 평가할 수 있다.
또, 세포 내에 포함되는 핵 또는 핵소체의 특징량으로서는, 예를 들면 핵 또는 핵소체의 수, 핵 또는 핵소체의 밀도 및 핵 또는 핵소체의 증가율 등이 있지만, 촬영 화상에 포함되는 핵 또는 핵소체를 인식하고, 그 인식한 핵 또는 핵소체에 근거하여 산출되는 특징량이면 그 외의 특징량이어도 된다. 촬영 화상에 포함되는 핵 또는 핵소체의 인식 방법으로서는, 세포의 인식 방법과 동일하게, 에지 검출, 패턴 매칭에 의한 검출 및 판별기를 이용한 검출 등을 이용할 수 있다.
또, 흰색 줄이란, 세포와 배경 간에 발생하는 회절광에 의한 광의 번짐(헤일로)이다. 그리고, 흰색 줄의 특징량으로서는, 예를 들면 흰색 줄의 총 면적, 흰색 줄의 밀도 및 흰색 줄의 분포 상태 등이 있지만, 촬영 화상에 포함되는 흰색 줄을 인식하고, 그 인식한 흰색 줄기에 근거하여 산출되는 특징량이면 그 외의 특징량이어도 된다. 흰색 줄의 인식 방법으로서는, 예를 들면 촬영 화상을 2치화하고, 임곗값 처리에 의하여 흰색 줄을 추출하도록 해도 되며, 패턴 매칭 처리를 이용하여 검출하거나, 기계 학습에 의하여 생성된 판별기를 이용하여 검출하거나 하는 방법이 있지만, 그 외의 공지의 수법을 이용할 수 있다. 또한, 흰색 줄의 특징량에 대해서는, 예를 들면 세포 콜로니 내에 미분화 세포가 많은 상태에서는 흰색 줄은 적지만, 분화가 진행되어 분화 세포가 많아지면 흰색 줄의 양이 많아진다. 따라서, 흰색 줄의 특징량에 근거하여, 세포 콜로니의 분화도 또는 미분화도, 혹은 세포 콜로니의 성장도 등을 평가할 수 있다.
또, 세포의 NC비란, 핵/세포질 면적비이다. NC비에 대해서는, 세포질과 핵의 각각의 검출기를 사용함으로써 구할 수 있다. 세포질은, 일반적으로 그레이이고, 또한 플랫인 외형을 가지며, 이에 반하여, 핵은 비교적 둥글고 또한 내부에 핵소체 등의 구조를 포함한다. 따라서, 각각의 검출기를 기계 학습에 의하여 작성하고, 촬영 화상에 적용함으로써 세포질 영역과 핵 영역이 얻어진다. 이와 같이 하여 얻어진 세포질 영역과 핵 영역의 면적의 비를 산출함으로써, NC비를 산출할 수 있다. NC비는, 세포 콜로니 단위로 산출해도 되고, 미리 지정된 영역 내에서의 NC비를 산출하도록 해도 된다.
한편, 블러가 발생한 촬영 화상에 대해서는, 개개의 세포의 화상 또는 핵소체의 화상 등의 검출 정밀도가 낮아진다. 따라서, 블러가 발생하지 않은 촬영 화상과 같이 개개의 세포의 상태를 나타내는 특징량을 이용하여 평가하는 것보다, 촬영 화상 자체의 화상 특징량을 이용하여 평가한 편이, 평가 정밀도가 향상된다. 본 실시형태에 있어서, 화상 특징량을 이용한 평가 방법은, 상술한 세포의 상태를 나타내는 특징량을 이용한 평가 방법보다, 상대적으로 블러(열화)에 강한 평가 방법이다.
블러가 발생한 촬영 화상을 평가할 때에 이용되는 화상 특징량이란, 촬영 화상 자체의 특징량이며, 구체적으로는, 촬영 화상의 평균 휘도, 촬영 화상의 휘도의 분산, 촬영 화상의 휘도의 최댓값과 최솟값의 차, 촬영 화상의 콘트라스트, 촬영 화상의 엔트로피, 촬영 화상의 공간 주파수 분포, 촬영 화상의 방향성 및 촬영 화상의 제르니케 특징 등을 이용할 수 있다.
이와 같은 화상 특징량을 이용하여 촬영 화상에 포함되는 세포의 상태를 평가하는 방법으로서는, 예를 들면 화상 특징량과 그 화상 특징량에 대응하는 평가 결과의 관계를 미리 실험 등에 의하여 구해 두고, 촬영 화상의 화상 특징량과 상기 관계에 근거하여, 평가 결과를 얻도록 하면 된다. 또, 화상 특징량과 그 화상 특징량에 대응하는 평가 결과의 관계를, 예를 들면 기계 학습을 이용하여 학습시켜 평가기를 생성하고, 촬영 화상의 화상 특징량을 그 평가기에 입력함으로써 평가 결과를 얻도록 해도 된다.
또, 본 실시형태의 화상 평가부(22)는, 웰 내의 각 관찰 영역의 촬영 화상의 평가 결과를 통합하여, 그 웰에 대한 평가 결과를 산출한다. 즉 웰 단위에서의 평가 결과를 산출한다. 이와 같이 웰 단위(용기 단위)에서의 평가 결과를 산출함으로써, 계대 또는 세포의 출하 시 등에 있어서 웰 단위로 관리할 수 있다.
본 실시형태에 있어서는, 상술한 바와 같이 블러가 발생하고 있는 촬영 화상과 블러가 발생하지 않은 촬영 화상에서 다른 평가 방법으로 세포의 상태를 평가하도록 했으므로, 각 관찰 영역의 촬영 화상을 적절한 평가 방법으로 평가할 수 있어, 웰 단위에서의 평가 결과로서도 보다 정확하고, 또한 신뢰성이 있는 평가 결과를 얻을 수 있다.
구체적으로는, 예를 들면 웰 내의 각 관찰 영역의 촬영 화상에 포함되는 분화 세포의 비율과 미분화 세포의 비율의 평균값을 각각 산출함으로써, 웰 단위에서의 분화 세포의 비율과 미분화 세포의 비율을 구하도록 해도 된다.
또는, 웰 내의 각 관찰 영역의 촬영 화상에 대하여 세포 또는 세포 콜로니의 성장도를 평가하는 경우에는, 그 각 관찰 영역의 성장도의 평균값을 웰 단위의 성장도로서 구하도록 해도 된다. 또, 웰 내의 전체 관찰 영역 중, 성장도가 임곗값 이상인 관찰 영역의 수의 비율을 산출하고, 그 비율을 웰 단위의 성장도로서 구하도록 해도 된다. 혹은, 상기 비율이 임곗값 이상인 경우에는, 웰 단위에서의 평가 결과를 "양호하다"고 하고, 임곗값 미만인 경우에는, 웰 단위에서의 평가 결과를 "양호하지 않다"고 해도 된다. 또는, 성장도가 임곗값 이상인 관찰 영역의 평가 결과를 "양호하다"고 하고, 임곗값 미만인 관찰 영역의 평가 결과를 "양호하지 않다"고 하며, 웰 내에 포함되는 평가 결과가 "양호하다"인 관찰 영역의 수가, 임곗값 이상인 경우에 웰 단위에서의 평가 결과를 "양호하다"고 하고, 임곗값 미만인 경우에 웰 단위에서의 평가 결과를 "양호하지 않다"고 해도 된다.
다음으로, 본 실시형태의 세포 화상 평가 시스템의 작용에 대하여, 도 5에 나타내는 플로 차트를 참조하면서 설명한다.
먼저, 세포 및 배양액이 수용된 웰 플레이트가 현미경 장치(10)의 스테이지 상에 설치된다(S10). 그리고, 스테이지가 X 방향 및 Y 방향으로 이동함으로써, 웰 플레이트의 각 웰 내의 관찰 영역이 주사되어, 각 관찰 영역의 촬영 화상이 촬영된다(S12).
그리고, 현미경 장치(10)에 있어서 촬영된 관찰 영역마다의 촬영 화상은, 세포 화상 평가 장치(20)에 순차 출력되고, 열화 판별부(21) 및 표시 제어부(23)에 순차 입력된다(S12). 열화 판별부(21)는, 입력된 관찰 영역의 촬영 화상이, 블러가 발생한 촬영 화상인지 블러가 발생하지 않은 촬영 화상인지를 판별한다(S14).
그리고, 열화 판별부(21)에 의하여, 촬영 화상이, 블러가 발생한 촬영 화상으로 판별된 경우에는, 화상 평가부(22)는, 그 촬영 화상에 대하여, 블러가 발생한 촬영 화상의 평가 방법을 이용하여 평가한다(S16). 구체적으로는, 그 촬영 화상에 대하여 화상 특징량을 산출하고, 그 화상 특징량을 이용하여 촬영 화상에 포함되는 세포의 상태를 평가한다.
한편, 열화 판별부(21)에 의하여, 촬영 화상이, 블러가 발생하지 않은 촬영 화상이라고 판별된 경우에는, 화상 평가부(22)는, 그 촬영 화상에 대하여, 블러가 발생하지 않은 촬영 화상의 평가 방법을 이용하여 평가한다(S18). 구체적으로는, 그 촬영 화상에 대하여, 세포의 상태를 나타내는 특징량을 산출하고, 그 특징량을 이용하여 촬영 화상에 포함되는 세포의 상태를 평가한다.
그리고, 모든 관찰 영역이 주사되어, 모든 관찰 영역의 촬영 화상의 평가가 종료될 때까지 S12~S18까지의 처리가 반복된다(S20, NO).
모든 관찰 영역의 촬영 화상의 평가가 종료된 경우에는(S20, YES), 화상 평가부(22)는, 각 관찰 영역의 촬영 화상의 평가 결과를 웰 단위로 통합하고, 웰 단위의 평가 결과를 취득한다(S22).
그리고, 표시 제어부(23)는, 각 관찰 화상의 촬영 화상을 이용하여 합성 화상을 생성하며, 합성 화상을 표시 장치(30)에 표시시키고, 또한 웰 단위에서의 통합 평가 결과를 표시 장치(30)에 표시시킨다(S24).
상기 실시형태의 세포 화상 평가 시스템에 의하면, 관찰 영역마다의 촬영 화상에 블러가 발생하고 있는지 여부를 판별하고, 촬영 화상에 포함되는 세포의 상태를 평가할 때, 블러가 발생한 촬영 화상과 블러가 발생하지 않은 촬영 화상에서 다른 평가 방법으로 평가하도록 했으므로, 그 촬영 화상에 적합한 평가 방법으로 평가할 수 있어, 보다 정확하고, 또한 신뢰성이 높은 평가를 행할 수 있다.
또한, 상기 실시형태에 있어서는, 화상 평가부(22)에 있어서, 웰 내의 각 관찰 영역의 촬영 화상을 통합하여, 웰 단위에서의 평가 결과를 산출하도록 했지만, 이와 같이 통합된 평가 결과를 산출할 때, 블러가 발생한 촬영 화상의 평가 결과와 블러가 발생하지 않은 촬영 화상의 평가 결과에 가중값을 부가하도록 해도 된다. 가중값으로서는, 블러가 발생하지 않은 촬영 화상의 평가 결과에 부가되는 가중값이, 블러 화상의 평가 결과에 부가되는 가중값보다 커지도록 설정하는 것이 바람직하다. 이것은, 블러가 발생하지 않은 촬영 화상 쪽이 평가 결과의 정밀도가 높다고 생각되기 때문이다.
구체적으로는, 예를 들면 웰 내의 각 관찰 영역의 성장도의 평균값을 웰 단위의 성장도로서 구하는 경우, 블러가 발생한 촬영 화상의 관찰 영역의 성장도에 대하여 0.5보다 작은 가중값을 부가하고, 블러가 발생하지 않은 촬영 화상의 관찰 영역의 성장도에 대하여 0.5 이상의 가중값을 부가하도록 하면 된다.
또는, 성장도가 임곗값 이상인 관찰 영역의 평가 결과를 "양호하다"고 하고, 임곗값 미만인 관찰 영역의 평가 결과를 "양호하지 않다"고 하는 경우, 블러가 발생한 촬영 화상의 관찰 영역의 성장도에 대하여 0.5보다 작은 가중값을 부가하여 "양호하다" 또는 "양호하지 않다"를 평가하고, 블러가 발생하지 않은 촬영 화상의 관찰 영역의 성장도에 대하여 0.5 이상의 가중값을 부가하여 "양호하다" 또는 "양호하지 않다"를 평가하도록 해도 된다. 그리고, 상술한 바와 같이 웰 내에 포함되는 평가 결과가 "양호하다"인 관찰 영역의 수가, 임곗값 이상인 경우에 웰 단위에서의 평가 결과를 "양호하다"고 하고, 임곗값 미만인 경우에 웰 단위에서의 평가 결과를 "양호하지 않다"고 해도 된다.
또, 상기 실시형태에 있어서는, 블러 판별기(21a)에 의하여 촬영 화상에 블러가 발생하고 있는지 여부를 판별하도록 했지만, 예를 들면 웰 내의 각 관찰 영역을 촬영한 촬영 화상 중, 배양액 등의 배지의 범위의 관찰 영역을 촬영한 촬영 화상에 대해서는, 블러가 발생한 화상과 휘도 분포가 유사하기 때문에, 블러가 발생하지 않았음에도 불구하고, 블러가 발생한 화상이라고 오판별될 가능성이 있다.
따라서, 도 6에 나타내는 바와 같이, 열화 판별부(21)에 추가로 영역 판별기(21b)를 마련하도록 해도 된다. 영역 판별기(21b)는, 촬영 화상이, 세포 영역을 촬영한 화상인지 배지 영역을 촬영한 화상인지를 판별한다.
구체적으로는, 영역 판별기(21b)는, 세포 영역을 촬영한 촬영 화상과 배지 영역을 촬영한 촬영 화상을 입력으로 하고, 세포 영역을 촬영한 촬영 화상인지 배지 영역을 촬영한 촬영 화상인지의 판별 결과를 출력으로 하여 기계 학습에 의하여 생성된다. 기계 학습의 수법으로서는, 블러 판별기(21a)와 동일하게, 공지의 수법을 이용할 수 있다.
그리고, 영역 판별기(21b)는, 관찰 영역마다의 촬영 화상의 입력을 접수하고, 그 촬영 화상이, 세포 영역을 촬영한 촬영 화상인지, 배지 영역을 촬영한 촬영 화상인지의 판별 결과를 출력한다.
또한, 본 실시형태에 있어서는, 상술한 바와 같이 기계 학습된 영역 판별기(21b)를 이용하여 세포 영역을 촬영한 촬영 화상인지 배지 영역을 촬영한 촬영 화상인지를 판별하도록 했지만, 판별 방법으로서는, 이것에 한정하지 않고, 예를 들면 촬영 화상으로부터 에지를 검출하여, 에지의 양에 근거하여 판별하도록 해도 되고, 휘도의 최댓값과 최솟값의 세트로부터 판별하도록 해도 되며, 촬영 화상의 공간 주파수 성분을 해석함으로써 판별하도록 해도 된다.
그리고, 촬영 화상이 세포 영역을 촬영한 화상이라고 영역 판별기(21b)에 의하여 판별되고, 또한 촬영 화상에 블러가 발생하고 있다고 블러 판별기(21a)에 의하여 판별된 경우에, 촬영 화상이 열화되어 있다고 판별하고, 그 촬영 화상에 대해서는, 화상 특징량을 이용하여 평가하도록 해도 된다. 한편, 촬영 화상에 블러가 발생하고 있다고 블러 판별기(21a)에 의하여 판별된 경우에서도, 촬영 화상이 배지 영역을 촬영한 화상이라고 영역 판별기(21b)에 의하여 판별된 경우에는, 화상 특징량이 아니라, 세포의 상태를 나타내는 특징을 이용하여 평가하도록 해도 된다.
또, 상기 실시형태에 있어서는, 열화 판별부(21)에 있어서, 촬영 화상에 블러가 발생하고 있는지 여부를 판별함으로써, 촬영 화상이 열화되어 있는지 여부를 판별하도록 했지만, 즉 오토포커스 제어의 미스에 의한 촬영 화상의 열화를 판별하도록 했지만, 촬영 화상의 열화 요인으로서 이것 뿐만은 아니다.
예를 들면 현미경 장치(10)에 있어서의 광원에 인가되는 전압 변동에 의하여 조명광의 광량이 변동하여, 촬영 화상이 어두운 화상이 되어 버리는 경우가 있다. 이와 같은 어두운 촬영 화상을, 그 외의 정상적인 광량의 촬영 화상과 동일하게 평가한 것으로는, 정확한 평가 결과가 얻어지지 않는 경우가 있다. 도 7은, 웰 내의 각 관찰 영역의 촬영 화상의 일례를 나타내는 도이다. 도 7에 있어서 직사각형 영역으로 분할된 각 영역이 각 관찰 영역에 상당한다. 또, 도 7에 나타내는 예에서는, 점선 사각으로 나타내는 관찰 영역의 촬영 화상이, 조명광의 광량 변동에 의하여 열화된 화상이다.
따라서, 도 8에 나타내는 바와 같이, 열화 판별부(21)에 광량 변동 열화 판별기(21c)를 마련하고, 광량 변동 열화 판별기(21c)에 있어서, 관찰 영역마다의 촬영 화상이 조명광의 광량 변동에 의하여 열화되어 있는지 여부를 판별하고, 그 판별 결과에 따라, 평가 방법을 변경하도록 해도 된다.
구체적으로는, 광량 변동 열화 판별기(21c)는, 촬영 화상의 평균 휘도 및 최솟값과 최댓값의 세트 중 적어도 하나를 입력으로 하고, 조명광의 광량 변동에 의하여 열화되어 있는지 여부의 판별 결과를 출력으로 하여 기계 학습에 의하여 생성되었다. 기계 학습의 수법으로서는, 블러 판별기(21a)와 동일하게, 공지의 수법을 이용할 수 있다.
그리고, 광량 변동 열화 판별기(21c)는, 관찰 영역마다의 촬영 화상의 입력을 접수하고, 그 촬영 화상이, 조명광의 광량 변동에 의하여 열화되어 있는지 여부의 판별 결과를 출력한다.
또한, 본 실시형태에 있어서는, 상술한 바와 같이 기계 학습된 광량 변동 열화 판별기(21c)를 이용하여 촬영 화상이 광량 변동에 의하여 열화되어 있는지 여부를 판별하도록 했지만, 판별 방법으로서는, 이것에 한정하지 않고, 예를 들면 촬영 화상의 평균 휘도의 임곗값 판정에 의하여 판별하도록 해도 되고, 촬영 화상의 휘도 분포를 해석함으로써 판별하도록 해도 된다.
그리고, 촬영 화상이 조명광의 광량 변동에 의하여 열화되어 있다고 광량 변동 열화 판별기(21c)에 의하여 판별된 경우에는, 그 촬영 화상에 대해서는, 화상 특징량을 이용하여 평가하도록 하면 된다. 한편, 촬영 화상이 조명광의 광량 변동에 의하여 열화되지 않은 경우에는, 화상 특징량이 아니라, 세포의 상태를 나타내는 특징을 이용하여 평가하도록 하면 된다.
또한, 열화 판별부(21)가, 블러 판별기(21a)와 광량 변동 열화 판별기(21c)와의 양쪽 모두를 구비하도록 해도 되고, 영역 판별기(21b)를 더 구비하도록 해도 된다.
10 현미경 장치
20 세포 화상 평가 장치
21 열화 판별부
21a 블러 판별기
21b 영역 판별기
21c 광량 변동 열화 판별기
22 화상 평가부
23 표시 제어부
30 표시 장치
40 입력 장치
50 웰 플레이트
51 웰
E 주사 종료점
S 주사 개시점
Sc 주사 궤적을 나타내는 실선

Claims (18)

  1. 세포가 수용된 용기 내를 촬영한 촬영 화상에 근거하여, 상기 촬영 화상에 포함되는 상기 세포의 상태를 평가하는 화상 평가부와,
    상기 촬영 화상이 열화되어 있는지 여부를 판별하는 열화 판별부를 구비하고,
    상기 화상 평가부가, 상기 열화 판별부에 의해 상기 촬영 화상이 열화되어 있다고 판별된 경우에는 상기 열화 판별부에 의해 상기 촬영 화상이 열화되지 않았다고 판별된 경우보다 열화에 강한 평가 방법을 이용하여 상기 촬영 화상을 평가하는, 세포 화상 평가 장치.
  2. 청구항 1에 있어서,
    상기 화상 평가부가, 상기 열화 판별부에 의해 상기 촬영 화상이 열화되지 않았다고 판별된 경우에는, 상기 열화 판별부에 의해 상기 촬영 화상이 열화되어 있다고 판별된 경우보다 열화에 약한 평가 방법을 이용하여 상기 촬영 화상을 평가하는, 세포 화상 평가 장치.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 화상 평가부가, 상기 촬영 화상이 열화되어 있다고 판별된 경우에는, 화상 특징량을 이용하여 평가하는, 세포 화상 평가 장치.
  4. 청구항 1 또는 청구항 2에 있어서,
    상기 화상 평가부가, 상기 촬영 화상이 열화되지 않았다고 판별된 경우에는, 상기 촬영 화상에 포함되는 세포의 상태를 나타내는 특징량을 이용하여 평가하는, 세포 화상 평가 장치.
  5. 청구항 4에 있어서,
    상기 세포의 상태를 나타내는 특징량이, 개개의 세포의 상태의 특징량, 세포 내에 포함되는 핵소체의 특징량, 흰색 줄의 특징량, 세포 내에 포함되는 핵의 특징량 및 세포의 NC비(Nucleocytoplasmic ratio) 중 적어도 하나를 포함하는, 세포 화상 평가 장치.
  6. 청구항 1 또는 청구항 2에 있어서,
    상기 열화 판별부가, 상기 촬영 화상에 블러가 발생하고 있는지 여부를 판별하는, 세포 화상 평가 장치.
  7. 청구항 6에 있어서,
    상기 열화 판별부가, 상기 촬영 화상에 블러가 발생하고 있는지 여부를 판별하는 블러 판별기를 구비하고,
    상기 블러 판별기가, 기계 학습에 의하여 생성되는, 세포 화상 평가 장치.
  8. 청구항 7에 있어서,
    상기 블러 판별기가, 상기 촬영 화상의 휘도의 분산, 콘트라스트, 및 최솟값과 최댓값의 세트 중 적어도 하나에 근거하여, 상기 촬영 화상에 블러가 발생하고 있는지 여부를 판별하는, 세포 화상 평가 장치.
  9. 청구항 8에 있어서,
    상기 열화 판별부가, 상기 촬영 화상이, 세포 영역을 촬영한 화상인지 배지 영역을 촬영한 화상인지를 판별하는 영역 판별기를 구비하고,
    상기 촬영 화상이 상기 세포 영역을 촬영한 화상이라고 상기 영역 판별기에 의하여 판별되고, 또한 상기 촬영 화상에 블러가 발생하고 있다고 상기 블러 판별기에 의하여 판별된 경우에, 상기 촬영 화상이 열화되어 있다고 판별하는, 세포 화상 평가 장치.
  10. 청구항 1 또는 청구항 2에 있어서,
    상기 열화 판별부가, 상기 촬영 화상이, 조명광의 광량 변동에 의하여 열화된 화상인지 여부를 판별하는, 세포 화상 평가 장치.
  11. 청구항 10에 있어서,
    상기 열화 판별부가, 상기 촬영 화상이, 조명광의 광량 변동에 의하여 열화된 화상인지 여부를 판별하는 광량 변동 열화 판별기를 구비하고,
    상기 광량 변동 열화 판별기가, 기계 학습에 의하여 생성되는, 세포 화상 평가 장치.
  12. 청구항 11에 있어서,
    상기 광량 변동 열화 판별기가, 상기 촬영 화상의 평균 휘도 및 최솟값과 최댓값의 세트 중 적어도 하나에 근거하여, 상기 촬영 화상이 광량 변동에 의하여 열화된 화상인지 여부를 판별하는, 세포 화상 평가 장치.
  13. 청구항 1 또는 청구항 2에 있어서,
    상기 화상 평가부가, 상기 용기 내의 복수의 상기 촬영 화상의 평가 결과를 통합하여 상기 용기에 대한 평가 결과를 산출하는, 세포 화상 평가 장치.
  14. 청구항 1 또는 청구항 2에 있어서,
    상기 촬영 화상이, 상기 용기가 설치되는 스테이지 및 상기 용기 내의 세포의 상을 결상하는 결상광학계 중 적어도 한쪽을 이동시킴으로써, 상기 용기 내의 각 관찰 영역을 촬영한 화상이며,
    상기 열화 판별부가, 상기 관찰 영역마다의 촬영 화상이 열화되어 있는지 여부를 판별하는, 세포 화상 평가 장치.
  15. 세포가 수용된 용기 내를 촬영한 촬영 화상이 열화되어 있는지 여부를 판별하고,
    상기 촬영 화상에 근거하여, 상기 촬영 화상에 포함되는 상기 세포의 상태를 평가할 때, 상기 촬영 화상이 열화되어 있다고 판별된 경우에는 상기 촬영 화상이 열화되지 않았다고 판별된 경우보다 열화에 강한 평가 방법을 이용하여 상기 촬영 화상을 평가하는 세포 화상 평가 방법.
  16. 청구항 15에 있어서,
    상기 촬영 화상이 열화되지 않았다고 판별된 경우에는, 상기 촬영 화상이 열화되어 있다고 판별된 경우보다 열화에 약한 평가 방법을 이용하여 상기 촬영 화상을 평가하는, 세포 화상 평가 방법.
  17. 컴퓨터를,
    세포가 수용된 용기 내를 촬영한 촬영 화상에 근거하여, 상기 촬영 화상에 포함되는 상기 세포의 상태를 평가하는 화상 평가부와,
    상기 촬영 화상이 열화되어 있는지 여부를 판별하는 열화 판별부로서 기능시키는 세포 화상 평가 프로그램을 저장한 비일시적인 컴퓨터 독취 가능한 기록 매체로서,
    상기 화상 평가부가, 상기 열화 판별부에 의해 상기 촬영 화상이 열화되어 있다고 판별된 경우에는 상기 열화 판별부에 의해 상기 촬영 화상이 열화되지 않았다고 판별된 경우보다 열화에 강한 평가 방법을 이용하여 상기 촬영 화상을 평가하는 세포 화상 평가 프로그램을 저장한 비일시적인 컴퓨터 독취 가능한 기록 매체.
  18. 청구항 17에 있어서,
    상기 화상 평가부가, 상기 열화 판별부에 의해 상기 촬영 화상이 열화되지 않았다고 판별된 경우에는, 상기 열화 판별부에 의해 상기 촬영 화상이 열화되어 있다고 판별된 경우보다 열화에 약한 평가 방법을 이용하여 상기 촬영 화상을 평가하는, 세포 화상 평가 프로그램을 저장한 비일시적인 컴퓨터 독취 가능한 기록 매체.
KR1020197024431A 2017-03-30 2018-03-02 세포 화상 평가 장치 및 방법과, 프로그램 KR102261700B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017067954 2017-03-30
JPJP-P-2017-067954 2017-03-30
PCT/JP2018/008085 WO2018180206A1 (ja) 2017-03-30 2018-03-02 細胞画像評価装置および方法並びにプログラム

Publications (2)

Publication Number Publication Date
KR20190110576A KR20190110576A (ko) 2019-09-30
KR102261700B1 true KR102261700B1 (ko) 2021-06-04

Family

ID=63677195

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197024431A KR102261700B1 (ko) 2017-03-30 2018-03-02 세포 화상 평가 장치 및 방법과, 프로그램

Country Status (5)

Country Link
US (1) US11756190B2 (ko)
EP (1) EP3605086B1 (ko)
JP (1) JP6785947B2 (ko)
KR (1) KR102261700B1 (ko)
WO (1) WO2018180206A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113015881A (zh) * 2018-10-26 2021-06-22 密歇根大学董事会 使用基于图像的处理进行相位检测和校正
JP7006833B2 (ja) * 2019-03-20 2022-01-24 株式会社島津製作所 細胞解析装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011210156A (ja) * 2010-03-30 2011-10-20 Nec Corp 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム
JP2012519876A (ja) 2009-03-05 2012-08-30 エイジェンシー・フォー・サイエンス,テクノロジー・アンド・リサーチ 顕微鏡画像を強調する方法及びシステム
WO2016120441A2 (en) * 2015-01-30 2016-08-04 Ventana Medical Systems, Inc. Quality metrics for automatic evaluation of dual ish images

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549467A (ja) * 1991-08-23 1993-03-02 Tokimec Inc 培養細胞観察装置
JP2006024193A (ja) * 2004-06-07 2006-01-26 Fuji Photo Film Co Ltd 画像補正装置、画像補正プログラム、画像補正方法、および画像補正システム
KR20090006295A (ko) * 2007-07-11 2009-01-15 하숙태 세포 슬라이드 판독 장치, 세포 슬라이드 판독 시스템,이를 이용하는 세포 슬라이드 판독 방법 및 기록매체
JP5149852B2 (ja) * 2009-03-30 2013-02-20 大日本スクリーン製造株式会社 ボケ画像判定方法およびボケ画像判定装置
WO2011153500A2 (en) 2010-06-04 2011-12-08 Aperio Technologies, Inc. System and method to determine slide quality of a digitized microscope slide
JP5745919B2 (ja) * 2011-04-28 2015-07-08 浜松ホトニクス株式会社 細胞解析方法、細胞解析装置、および細胞解析プログラム
JP5333635B1 (ja) * 2012-08-23 2013-11-06 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
KR20140140941A (ko) * 2013-05-30 2014-12-10 삼성디스플레이 주식회사 열화 보상 시스템 및 열화 보상 방법
US9412162B2 (en) * 2013-08-21 2016-08-09 Sectra Ab Methods, systems and circuits for generating magnification-dependent images suitable for whole slide images
JP6071007B2 (ja) 2013-08-22 2017-02-01 富士フイルム株式会社 観察画像撮影評価装置および方法並びにプログラム
JP6461128B2 (ja) * 2014-05-30 2019-01-30 富士フイルム株式会社 細胞評価装置および方法並びにプログラム
DE112015006266T5 (de) * 2015-04-07 2017-11-30 Olympus Corporation Zellanalysegerät und Zellanalyseverfahren
JP6598850B2 (ja) * 2015-04-23 2019-10-30 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6742724B2 (ja) * 2015-12-28 2020-08-19 シスメックス株式会社 細胞領域決定方法、細胞撮像システム、細胞画像の処理装置及びコンピュータプログラム
EP3437546B1 (en) * 2016-03-29 2024-04-24 Sony Group Corporation Image processing device, image processing method, and medical system
US10438096B2 (en) * 2016-12-27 2019-10-08 Definiens Ag Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring
JP6739060B2 (ja) * 2017-01-24 2020-08-12 パナソニックIpマネジメント株式会社 画像生成装置及び画像生成方法
CN110366590A (zh) * 2017-02-27 2019-10-22 田边刚士 细胞处理***及细胞处理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012519876A (ja) 2009-03-05 2012-08-30 エイジェンシー・フォー・サイエンス,テクノロジー・アンド・リサーチ 顕微鏡画像を強調する方法及びシステム
JP2011210156A (ja) * 2010-03-30 2011-10-20 Nec Corp 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム
WO2016120441A2 (en) * 2015-01-30 2016-08-04 Ventana Medical Systems, Inc. Quality metrics for automatic evaluation of dual ish images

Also Published As

Publication number Publication date
JPWO2018180206A1 (ja) 2019-12-26
EP3605086A4 (en) 2020-02-12
EP3605086A1 (en) 2020-02-05
EP3605086B1 (en) 2023-06-07
US11756190B2 (en) 2023-09-12
JP6785947B2 (ja) 2020-11-18
US20190370967A1 (en) 2019-12-05
KR20190110576A (ko) 2019-09-30
WO2018180206A1 (ja) 2018-10-04

Similar Documents

Publication Publication Date Title
JP7087048B2 (ja) 細胞画像評価装置および細胞画像評価プログラム
JP6801000B2 (ja) 細胞画像評価装置および細胞画像評価制御プログラム
AU2014292179B2 (en) Auto-focus methods and systems for multi-spectral imaging
JP6194791B2 (ja) 画像処理装置及びプログラム
Kaczmarek et al. Techniques of image analysis for quantitative immunohistochemistry
KR102261700B1 (ko) 세포 화상 평가 장치 및 방법과, 프로그램
JP6045292B2 (ja) 細胞計数装置及び細胞計数プログラム
KR102293757B1 (ko) 세포 화상 평가 장치 및 방법과, 프로그램
US20200192059A1 (en) Imaging control apparatus, method, and program
US11068695B2 (en) Image processing device, observation device, and program
JP6475134B2 (ja) 細胞評価装置および方法
JP6534294B2 (ja) 撮像装置および方法並びに撮像制御プログラム
JP2015125098A (ja) 画像処理装置及びプログラム
JP2020202748A (ja) 撮影処理装置、撮影処理装置の制御方法および撮影処理プログラム
JP2016208856A (ja) 撮像装置および方法並びに撮像制御プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant