KR102225721B1 - Methods and apparatus for intercellular synchronization analysis - Google Patents

Methods and apparatus for intercellular synchronization analysis Download PDF

Info

Publication number
KR102225721B1
KR102225721B1 KR1020190078745A KR20190078745A KR102225721B1 KR 102225721 B1 KR102225721 B1 KR 102225721B1 KR 1020190078745 A KR1020190078745 A KR 1020190078745A KR 20190078745 A KR20190078745 A KR 20190078745A KR 102225721 B1 KR102225721 B1 KR 102225721B1
Authority
KR
South Korea
Prior art keywords
cells
cell
marker
synchronization
image
Prior art date
Application number
KR1020190078745A
Other languages
Korean (ko)
Other versions
KR20210002899A (en
Inventor
문인규
자퍼자데 케이반
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020190078745A priority Critical patent/KR102225721B1/en
Publication of KR20210002899A publication Critical patent/KR20210002899A/en
Application granted granted Critical
Publication of KR102225721B1 publication Critical patent/KR102225721B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16BBIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B40/00ICT specially adapted for biostatistics; ICT specially adapted for bioinformatics-related machine learning or data mining, e.g. knowledge discovery or pattern finding
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/40ICT specially adapted for the handling or processing of medical references relating to drugs, e.g. their side effects or intended usage
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Medicinal Chemistry (AREA)
  • Biotechnology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Bioethics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

세포간 동기화 분석 방법 및 장치가 개시된다. 일 실시예에 따른 세포간 동기화 분석 방법은 복수의 세포들에 대한 입력 영상을 수신하는 단계, k-평균 알고리즘에 기초하여, 입력 영상에서 대상 영상을 추출하는 단계, 대상 영상에 기초하여, 제1 마커를 결정하는 단계, 제1 마커에 기초하여, 제2 마커를 결정하는 단계, 제1 마커와 제2 마커에 기초하여, 대상 영상을 수정하는 단계, 수정된 대상 영상에 워터쉐드(watershed) 알고리즘을 적용하여 입력 영상에 포함된 상기 복수의 세포들이 단일 세포 단위로 분류된 출력 영상을 획득하는 단계, 출력 영상에 기초하여 복수의 세포들 각각의 운동성 정보를 획득하는 단계 및 운동성 정보에 기초하여, 복수의 세포들 사이의 동기화 특성을 결정하는 단계를 포함한다.Disclosed is a method and apparatus for analyzing cell synchronization. The method for analyzing synchronization between cells according to an embodiment includes receiving an input image for a plurality of cells, extracting a target image from the input image based on a k-average algorithm, and based on the target image, a first Determining a marker, determining a second marker based on the first marker, modifying the target image based on the first marker and the second marker, a watershed algorithm on the modified target image Obtaining an output image in which the plurality of cells included in the input image are classified into a single cell unit by applying, acquiring motility information of each of the plurality of cells based on the output image, and based on motility information, Determining a synchronization characteristic between the plurality of cells.

Description

세포간 동기화 분석 방법 및 장치{METHODS AND APPARATUS FOR INTERCELLULAR SYNCHRONIZATION ANALYSIS}Intercellular synchronization analysis method and apparatus {METHODS AND APPARATUS FOR INTERCELLULAR SYNCHRONIZATION ANALYSIS}

아래 실시예들은 세포간 동기화 분석 방법 및 장치에 관한 것이다. 구체적으로, 박동 프로파일을 단일 세포 단위로 계산하고, 이에 기초하여 세포간 동기화 특성을 정략적으로 분석하는 방법 및 장치가 개시된다.The following examples relate to a method and apparatus for analyzing synchronization between cells. Specifically, a method and an apparatus for calculating a pulsatile profile in a single cell unit and for quantitatively analyzing the synchronization characteristics between cells based on this are disclosed.

인간의 다능성 줄기 세포(pluripotent stem cell)에서 유래된 심장근육세포(Cardiomyocytes)는 질병 모델링 및 약물 화합물 검사를 위한 유망한 도구를 제공하며, 이는 심혈 관계 시스템에 대한 부작용을 조사하고 대량 약물 생산 전에 화합물의 독성을 결정하는 데 유용할 수 있다. 심장 세포의 정량화(Quantification)는 심장 부전의 평가 및 부작용에 대한 약물 테스트에 매우 중요한 정보일 수 있다. 예를 들어, 심장근육세포의 박동 프로파일(beating profile)이나 박동률(beating rate) 등을 측정하여 심장 근육 세포의 운동성 분석등을 할 수 있고, 이를 통해 심장근육세포에 가해지는 다양한 약물에 대한 반응이나, 성장, 및 심장근육세포 관련 질병 분석에 효과적으로 활용할 수 있다.Cardiomyocytes, derived from human pluripotent stem cells, provide a promising tool for disease modeling and drug compound testing, which investigates adverse effects on the cardiovascular system and provides compound prior to mass drug production. It can be useful in determining the toxicity of Quantification of heart cells can be very important information in the evaluation of heart failure and drug testing for side effects. For example, it is possible to analyze the motility of cardiac muscle cells by measuring the beating profile or the beating rate of the heart muscle cells, and through this, the response to various drugs applied to the heart muscle cells or , Growth, and cardiac muscle cell-related diseases can be effectively used for analysis.

심장근육세포의 박동 프로파일 및 박동률을 측정하기 위하여 심장근육세포 영상에서의 ROI(Region of Interest)내의 Ca2+의 흐름을 생물학적 방법을 통하여 심장근육세포의 박동 프로파일 값 등을 정량적으로 분석할 수 있다.In order to measure the beat profile and beat rate of heart muscle cells, the flow of Ca 2+ within the ROI (Region of Interest) in the heart muscle cell image can be quantitatively analyzed through a biological method. .

또한, 디지털 홀로그래픽 이미징(Digital Holographic Imaging) 기술과 영상처리 알고리즘을 결합하여, 심장근육세포의 박동 프로파일을 측정할 수 있다. 정보 처리와 결합 된 3차원 디지털 홀로그래피 이미징 기술은 체외에서 살아있는 세포에 대한 정량 위상 정보(quantitative phase information)를 제공할 수 있다.In addition, by combining digital holographic imaging technology and image processing algorithms, it is possible to measure the beat profile of cardiac muscle cells. Three-dimensional digital holographic imaging technology combined with information processing can provide quantitative phase information on living cells in vitro.

기존의 생물학적 기법과 디지털 홀로그래픽 이미징 기반 기법들은 심장근육세포의 박동 프로파일 값을 측정하기 위하여 여러 개의 심장근육세포들을 갖는 영상을 분석하여 평균적인 값으로 심장근육세포의 박동 프로파일 등을 계산하기 때문에 단일 세포단위로 심장근육세포의 박동 프로파일을 측정할 수 없는 근본적인 한계가 존재할 수 있다. 예를 들어, 3차원 디지털 홀로그래피 이미징 기술을 이용하여 얻은 심장 근육 세포 이미지에 대한 기존의 표준 영상 분할 기법(standard image segmentation techniques)에 따를 경우, 단일 셀 수준의 셀 분석에 있어서 노이즈, 성능 저하 및 낮은 대조도의 문제가 있을 수 있다. 심장 세포 분석에서 셀 텍스쳐(cell texture)는 배경과 매우 유사하고, 이미지에는 불량한 엣지 및 영역 정보가 포함되어 있어 세그멘테이션 프로세스에 추가적인 어려움이 있을 수 있다. 따라서, 종래의 방법에 따르면 단일 세포 간의 박동 프로파일을 비교하고 동기화 특성을 분석할 수 없다..Conventional biological techniques and digital holographic imaging-based techniques analyze images with multiple heart muscle cells to measure the heart muscle cell's beat profile, and calculate the heart muscle cell's beat profile with an average value. There may be a fundamental limitation in that it is not possible to measure the beating profile of heart muscle cells on a cell-by-cell basis. For example, when following the existing standard image segmentation techniques for cardiac muscle cell images obtained using 3D digital holographic imaging technology, noise, performance degradation and low performance in cell analysis at the single cell level There may be a problem of contrast. In cardiac cell analysis, the cell texture is very similar to the background, and the image contains poor edge and area information, so that there may be additional difficulties in the segmentation process. Therefore, according to the conventional method, it is not possible to compare the pulsatile profile between single cells and analyze the synchronization characteristics.

홀로그램 이미지에서 불필요한 배경의 심장 세포는 단일 세포 수준에서 분석 정확도에 부정적인 영향을 줄 수 있기 때문에, 원하지 않는 배경을 유익한 영역과 분리하기 위해 몇 가지 전처리 단계가 필요할 수 있다. 심장 근육 세포 분석을 통해 정확한 결과를 얻기 위해서는 영역 및 가장자리 정보 모두를 고려한 이미지 세분화 기술이 필요할 수 있다.Since cardiac cells with unnecessary background in holographic images can negatively affect analysis accuracy at the single cell level, several pre-processing steps may be required to separate the unwanted background from the beneficial regions. In order to obtain accurate results through cardiac muscle cell analysis, an image segmentation technique that considers both area and edge information may be required.

실시예들은 복수의 세포들에 대한 입력 영상으로부터 단일 세포 단위로 분류된 출력 영상을 생성하고자 한다.The embodiments are intended to generate an output image classified into a single cell unit from an input image for a plurality of cells.

실시예들은 출력 영상에 기초하여, 세포의 박동률 등과 같은 여러 종류의 세포 운동성 정보를 단일 세포 단위로 정량적으로 계산하고자 한다.In the embodiments, based on the output image, various types of cell motility information, such as a beat rate of a cell, are to be quantitatively calculated in a single cell unit.

실시예들은 단일 세포 단위로 구한 운동성 정보에 기초하여, 복수의 세포들 사이의 동기화 특성을 결정하고자 한다Examples are to determine the synchronization characteristics between a plurality of cells based on the motility information obtained in a single cell unit.

실시예들은 세포들의 운동성 정보 및 세포들 사이의 동기화 특성에 기초하여, 세포에 가해지는 다양한 약물에 대한 반응이나, 성장, 및 세포 관련 질병 분석을 수행하고자 한다.The examples are intended to perform a response to various drugs applied to cells, growth, and cell-related disease analysis on the basis of the motility information of cells and the synchronizing properties between cells.

일 실시예에 따른 세포간 동기화 분석 방법은 하나 이상의 세포에 대한 입력 영상을 수신하는 단계; k-평균 알고리즘에 기초하여, 상기 입력 영상에서 대상 영상을 추출하는 단계; 상기 대상 영상에 기초하여, 제1 마커를 결정하는 단계;A method for analyzing synchronization between cells according to an embodiment includes the steps of receiving an input image for one or more cells; extracting a target image from the input image based on a k-means algorithm; Determining a first marker based on the target image;

상기 제1 마커에 기초하여, 제2 마커를 결정하는 단계; 상기 제1 마커와 상기 제2 마커에 기초하여, 상기 대상 영상을 수정하는 단계; 상기 수정된 대상 영상에 워터쉐드(watershed) 알고리즘을 적용하여 상기 입력 영상에 포함된 상기 복수의 세포들이 단일 세포 단위로 분류된 출력 영상을 획득하는 단계; 상기 출력 영상에 기초하여 상기 복수의 세포들 각각의 운동성 정보를 획득하는 단계; 및 상기 운동성 정보에 기초하여, 상기 복수의 세포들 사이의 동기화 특성을 결정하는 단계를 포함한다.Determining a second marker based on the first marker; Modifying the target image based on the first marker and the second marker; Obtaining an output image in which the plurality of cells included in the input image are classified into a single cell unit by applying a watershed algorithm to the modified target image; Acquiring motility information of each of the plurality of cells based on the output image; And determining a synchronization characteristic between the plurality of cells based on the motility information.

상기 복수의 세포들 각각의 운동성 정보를 획득하는 단계는 상기 복수의 세포들 각각에 있어서, 해당 단일 세포에 대응되는 박동 프로파일(beating profile)을 획득하는 단계; 및 상기 박동 프로파일에 기초하여 상기 해당 단일 세포의 동적 파라미터를 획득하는 단계를 포함할 수 있다.The obtaining of the motility information of each of the plurality of cells may include obtaining a beating profile corresponding to a corresponding single cell in each of the plurality of cells; And obtaining a dynamic parameter of the single cell based on the beating profile.

상기 동기화 특성을 결정하는 단계는 상기 복수의 세포들 사이의 상기 박동 프로파일의 상호 상관(cross-correlation)을 계산하는 단계; 및 상기 상호 상관에 기초하여, 상기 복수의 세포들 사이의 동기화 특성을 결정하는 단계를 포함할 수 있다.The determining of the synchronization characteristic may include calculating a cross-correlation of the beat profile between the plurality of cells; And determining a synchronization characteristic between the plurality of cells based on the cross-correlation.

일 실시예에 따른 세포간 동기화 분석 방법은 상기 복수의 세포들 사이의 동기화 특성에 기초하여, 상기 복수의 세포들과 관련된 질병 분석을 수행하는 단계를 더 포함할 수 있다.The method for analyzing synchronization between cells according to an exemplary embodiment may further include performing disease analysis related to the plurality of cells based on a synchronization characteristic between the plurality of cells.

일 실시예에 따른 세포간 동기화 분석 방법은 상기 복수의 세포들은 약물 테스트를 위해 약물이 투여된 세포들을 포함하고, 상기 복수의 세포들 사이의 동기화 특성에 기초하여, 상기 약물의 부작용 발생 여부를 판단하는 단계를 더 포함할 수 있다.In the method for analyzing synchronization between cells according to an embodiment, the plurality of cells include cells to which a drug is administered for a drug test, and determine whether side effects of the drug occur based on the synchronization characteristic between the plurality of cells. It may further include the step of.

상기 복수의 세포들 사이의 동기화 특성을 결정하는 단계는 상기 복수의 세포들을 복수의 그룹으로 분류하는 단계; 및 상기 복수의 그룹들 사이의 동기화 특성을 결정하는 단계를 포함할 수 있다.The determining of the synchronization characteristic between the plurality of cells may include classifying the plurality of cells into a plurality of groups; And determining synchronization characteristics between the plurality of groups.

상기 박동 프로파일을 획득하는 단계는 상기 출력 영상에 있어서, 상기 해당 단일 세포에 대응하는 영역의 평균 픽셀 값의 변화량(variance)을 획득하는 단계; 및 상기 평균 픽셀 값의 변화량에 기초하여 상기 박동 프로파일을 획득하는 단계를 포함할 수 있다.The obtaining of the beat profile may include obtaining a variance of an average pixel value of an area corresponding to the single cell in the output image; And acquiring the beat profile based on the amount of change in the average pixel value.

상기 대상 영상은 상기 입력 영상에서 상기 복수의 세포들 각각의 세포핵에 대응하는 영역을 추출한 영상을 포함할 수 있다.The target image may include an image obtained by extracting a region corresponding to a cell nucleus of each of the plurality of cells from the input image.

상기 입력 영상을 수신하는 단계는 디지털 홀로그래픽 이미징 기법에 기초하여 생성된 위상 영상(phase image)을 수신하는 단계를 포함할 수 있다.Receiving the input image may include receiving a phase image generated based on a digital holographic imaging technique.

상기 입력 영상은 상기 복수의 세포들 각각의 두께 정보, 굴절률 정보 중 적어도 하나를 포함할 수 있다.The input image may include at least one of thickness information and refractive index information of each of the plurality of cells.

상기 제1 마커를 결정하는 단계는 상기 대상 영상에 모폴로지 연산(morphological operations)을 적용하여 상기 제1 마커를 결정할 수 있다.In determining the first marker, the first marker may be determined by applying morphological operations to the target image.

상기 제1 마커에 기초하여, 제2 마커를 결정하는 단계는 상기 제1 마커에 거리 변환(distance transform) 알고리즘을 적용하여 상기 제2 마커를 결정할 수 있다.In determining the second marker based on the first marker, the second marker may be determined by applying a distance transform algorithm to the first marker.

상기 제1 마커와 상기 제2 마커에 기초하여, 상기 대상 영상을 수정하는 단계는 상기 제1 마커와 상기 제 2마커에 국부 극솟값이 오도록 상기 대상 영상을 수정하는 단계를 포함할 수 있다.Modifying the target image based on the first marker and the second marker may include modifying the target image so that local minima values come to the first marker and the second marker.

일 실시예에 따른 세포간 동기화 분석 장치. 복수의 세포들에 대한 입력 영상을 저장하는 메모리; 및 프로세서를 포함하고, 상기 프로세서는 k-평균 알고리즘에 기초하여, 상기 입력 영상에서 대상 영상을 추출하고, 상기 대상 영상에 기초하여, 제1 마커를 결정하고, 상기 제1 마커에 기초하여, 제2 마커를 결정하고, 상기 제1 마커와 상기 제2 마커에 기초하여, 상기 대상 영상을 수정하고, 상기 수정된 대상 영상에 워터쉐드(watershed) 알고리즘을 적용하여 상기 입력 영상에 포함된 상기 복수의 세포들이 단일 세포 단위로 분류된 출력 영상을 획득하고, 상기 출력 영상에 기초하여 상기 복수의 세포들 각각의 운동성 정보를 획득하고, 상기 운동성 정보에 기초하여, 상기 복수의 세포들 사이의 동기화 특성을 결정한다.Cell synchronization analysis device according to an embodiment. A memory for storing an input image of a plurality of cells; And a processor, wherein the processor extracts a target image from the input image based on a k-average algorithm, determines a first marker based on the target image, and determines a first marker based on the first marker, 2 Determine a marker, modify the target image based on the first marker and the second marker, apply a watershed algorithm to the modified target image, and apply a watershed algorithm to the plurality of input images. Obtain an output image in which cells are classified into a single cell unit, acquire motility information of each of the plurality of cells based on the output image, and determine synchronization characteristics between the plurality of cells based on the motility information. Decide.

상기 프로세서는 상기 복수의 세포들 각각에 있어서, 해당 단일 세포에 대응되는 박동 프로파일(beating profile)을 획득하고, 상기 박동 프로파일에 기초하여 상기 해당 단일 세포의 동적 파라미터를 획득할 수 있다.In each of the plurality of cells, the processor may obtain a beating profile corresponding to a corresponding single cell, and obtain a dynamic parameter of the corresponding single cell based on the beating profile.

상기 프로세서는 상기 복수의 세포들 사이의 상기 박동 프로파일의 상호 상관(cross-correlation)을 계산하고, 상기 상호 상관에 기초하여, 상기 복수의 세포들 사이의 동기화 특성을 결정할 수 있다.The processor may calculate a cross-correlation of the beat profile between the plurality of cells and determine a synchronization characteristic between the plurality of cells based on the cross-correlation.

상기 프로세서는 상기 복수의 세포들 사이의 동기화 특성에 기초하여, 상기 복수의 세포들과 관련된 질병 분석을 수행할 수 있다.The processor may perform disease analysis related to the plurality of cells based on the synchronization characteristic between the plurality of cells.

상기 복수의 세포들은 약물 테스트를 위해 약물이 투여된 세포들을 포함하고, 상기 프로세서는 상기 복수의 세포들 사이의 동기화 특성에 기초하여, 상기 약물의 부작용 발생 여부를 판단할 수 있다.The plurality of cells includes cells to which a drug is administered for a drug test, and the processor may determine whether or not a side effect of the drug occurs based on a synchronization characteristic between the plurality of cells.

상기 프로세서는, 상기 복수의 세포들을 복수의 그룹으로 분류하고, 상기 복수의 그룹들 사이의 동기화 특성을 결정할 수 있다.The processor may classify the plurality of cells into a plurality of groups and determine synchronization characteristics between the plurality of groups.

실시예들은 여러 개의 세포에 대한 입력 영상으로부터 단일 세포 영역을 추출할 수 있다.In embodiments, a single cell region may be extracted from an input image for multiple cells.

실시예들은 추출한 단일 세포로부터 박동률 등과 같은 여러 종류의 세포 운동성 정보를 단일 세포 단위로 정량적으로 계산할 수 있다.Examples may quantitatively calculate various types of cell motility information such as a beat rate from the extracted single cell in a single cell unit.

실시예들은 단일 세포 단위로 운동성 정보를 계산할 수 있기 때문에, 세포에 가해지는 다양한 약물에 대한 반응이나, 성장, 및 심장근육세포 관련 질병 분석에 효과적으로 활용할 수 있다.Since the examples can calculate motility information in a single cell unit, it can be effectively used for analysis of a response to various drugs applied to cells, growth, and diseases related to cardiac muscle cells.

도 1과 도 2는 일 실시예에 따른 디지털 홀로그래픽 이미징 기법에 기초하여 위상 영상을 생성하는 방법을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 세포간 동기화 분석 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 출력 영상에 기초하여 단일 세포의 박동 프로파일을 생성하는 방법을 설명하기 위한 그래프이다.
도 5는 다른 실시예에 따른 출력 영상에 기초하여 단일 세포의 박동 프로파일을 생성하는 방법을 설명하기 위한 그래프이다.
도 6은 일 실시예에 따른 방법에 따라 내부 마커와 외부 마커를 결정하지 않고 워터쉐드 알고리즘을 수행하여 얻은 출력 영상을 도시한 도면이다.
도 7은 일 실시예에 따른 입력 영상에 k-평균 알고리즘을 적용하여 대상 영상을 획득하는 방법을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 세포간 동기화 분석 방법에 따라 출력 영상을 획득하기 위한 각 단계에 대응하는 영상들을 도시한 도면이다.
도 9와 도 10은 일 실시예에 따른 단일 세포에 대응되는 출력 영상과, 출력 영상에 기초하여 획득한 단일 세포의 박동 프로파일을 도시한 도면이다.
도 11 및 도 12는 세포간 동기화 특성을 설명하기 위한 그래프이다.
도 13은 일 실시예에 따른 단일 세포 단위로 측정된 박동 프로파일의 상호 상관에 기초하여 복수의 세포들 사이의 동기화 특성을 결정하는 방법을 설명하기 위한 그래프이다.
도 14은 일 실시예에 따른 세포간 동기화 분석 장치의 구성의 예시도이다.
1 and 2 are diagrams for describing a method of generating a phase image based on a digital holographic imaging technique according to an exemplary embodiment.
3 is a diagram for describing a method for analyzing synchronization between cells according to an exemplary embodiment.
4 is a graph illustrating a method of generating a beat profile of a single cell based on an output image according to an exemplary embodiment.
5 is a graph for explaining a method of generating a beat profile of a single cell based on an output image according to another exemplary embodiment.
6 is a diagram illustrating an output image obtained by performing a watershed algorithm without determining an inner marker and an outer marker according to a method according to an exemplary embodiment.
7 is a diagram for describing a method of obtaining a target image by applying a k-average algorithm to an input image according to an exemplary embodiment.
8 is a diagram illustrating images corresponding to each step of acquiring an output image according to a method for analyzing synchronization between cells according to an exemplary embodiment.
9 and 10 are diagrams illustrating an output image corresponding to a single cell and a beat profile of a single cell acquired based on the output image, according to an exemplary embodiment.
11 and 12 are graphs for explaining the synchronization characteristics between cells.
13 is a graph for explaining a method of determining a synchronization characteristic between a plurality of cells based on a cross-correlation of a beat profile measured in a single cell unit, according to an exemplary embodiment.
14 is an exemplary diagram of a configuration of an apparatus for analyzing synchronization between cells according to an exemplary embodiment.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.Specific structural or functional descriptions of embodiments according to the concept of the present invention disclosed in the present specification are exemplified only for the purpose of describing embodiments according to the concept of the present invention, and embodiments according to the concept of the present invention They may be implemented in various forms and are not limited to the embodiments described herein.

본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Since the embodiments according to the concept of the present invention can apply various changes and have various forms, the embodiments will be illustrated in the drawings and described in detail in the present specification. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosed forms, and includes changes, equivalents, or substitutes included in the spirit and scope of the present invention.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various elements, but the elements should not be limited by the terms. The terms are only for the purpose of distinguishing one component from other components, for example, without departing from the scope of the rights according to the concept of the present invention, the first component may be referred to as the second component, Similarly, the second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 “~사이에”와 “바로~사이에” 또는 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.When an element is referred to as being “connected” or “connected” to another element, it is understood that it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle. Expressions that describe the relationship between components, for example, “between” and “just between” or “directly adjacent to” should be interpreted as well.

본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, “포함하다” 또는 “가지다” 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present specification, terms such as “comprise” or “have” are intended to designate that the specified features, numbers, steps, actions, components, parts, or combinations thereof exist, but one or more other features or numbers, It is to be understood that the presence or addition of steps, actions, components, parts, or combinations thereof does not preclude the possibility of preliminary exclusion.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein including technical or scientific terms have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be construed as having a meaning consistent with the meaning of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in the present specification. Does not.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The same reference numerals shown in each drawing indicate the same members.

도 1과 도 2는 일 실시예에 따른 디지털 홀로그래픽 이미징 기법에 기초하여 위상 영상을 생성하는 방법을 설명하기 위한 도면이다.1 and 2 are diagrams for describing a method of generating a phase image based on a digital holographic imaging technique according to an exemplary embodiment.

도 1을 참조하면, 일 실시예에 따른 디지털 홀로그래픽 이미징(digital holographic imaging) 기술은 세포에 대한 위상 정보(phase information)를 제공할 수 있다. 예를 들어 디지털 홀로그래픽 이미징 기술을 통해 체외에서 살아있는 세포에 대한 정량 위상 정보(quantitative phase information)를 제공할 수 있다. 일 실시예에 따른 세포간 동기화 분석 방법에 따르면, 복수의 세포들의 위상 정보를 포함하는 위상 영상으로부터 단일 세포 단위로 분류된 출력 영상을 획득할 수 있다.Referring to FIG. 1, a digital holographic imaging technique according to an embodiment may provide phase information on a cell. For example, digital holographic imaging technology can provide quantitative phase information about living cells in vitro. According to the method for analyzing synchronization between cells according to an exemplary embodiment, an output image classified into a single cell unit may be obtained from a phase image including phase information of a plurality of cells.

디지털 홀로그래픽 이미징 기술은 디지털 홀로그래픽 장치에 의해 수행될 수 있고, 디지털 홀로그래픽 장치는 마하 젠더 간섭계(Mach-Zender Interferometer)를 기반으로 동작될 수 있다. 디지털 홀로그래픽 장치의 간섭성 레이저 소스는 두 개의 빔 사이의 작은 경사각을 가진 빔 스플리터(beam splitter)를 사용하여 라이트 소스를 대상 빔(object beam)과 기준 빔(reference beam)으로 분할될 수 있다. 대상 빔은 표본(specimen)을 조명하고 대상 파면(object wave front)을 만들 수 있다. 현미경 대물 렌즈는 대상 파면을 확대하고, 대상 파면 및 기준 파면은 빔 콜렉터에 의해 결합되어 홀로그램을 생성할 수 있다.The digital holographic imaging technology may be performed by a digital holographic device, and the digital holographic device may be operated based on a Mach-Zender Interferometer. The coherent laser source of the digital holographic apparatus may divide the light source into an object beam and a reference beam using a beam splitter having a small inclination angle between two beams. The target beam can illuminate the specimen and create an object wave front. The microscope objective lens magnifies the target wavefront, and the target wavefront and the reference wavefront are combined by a beam collector to generate a hologram.

도 2를 참조하면, 디지털 홀로그래픽 장치는 간섭광 강도의 변화에 따라 생기는 명암의 간섭 도형을 기록한 사진인 인터페로그램(interferograms)(210)을 생성할 수 있다. 기록된 홀로그램은 수학식 1에 따라 구할 수 있다.Referring to FIG. 2, the digital holographic apparatus may generate interferograms 210, which are photographs of interference figures of contrast generated according to a change in the intensity of an interference light. The recorded hologram can be obtained according to Equation 1.

Figure 112019067146716-pat00001
Figure 112019067146716-pat00001

여기서, IH는 기록된 홀로그램, R은 기준 빔, O는 대상 빔, R*는 기준 빔의 켤레(conjugate)를, O*은 대상 빔의 켤레를 의미한다. 인터페로그램(210) 은 수치 재구성을 위해 개인용 컴퓨터(PC)로 전송되는 전하 결합 소자(CCD) 카메라로 기록될 수 있다.Here, I H denotes a recorded hologram, R denotes a reference beam, O denotes a target beam, R * denotes a conjugate of the reference beam, and O * denotes a conjugate of the target beam. The interferogram 210 may be recorded with a charge-coupled device (CCD) camera that is transmitted to a personal computer (PC) for numerical reconstruction.

도면(220)은 인터페로그램(210)을 푸리에 변환(Fourier transform)하여 얻은 영상일 수 있다. 기준 암(reference arm)과 대상 암(object arm) 사이의 경사각이 굉장히 작기 때문에, 0 차 노이즈(zero order noise), 실제 영상(real image) 및 트윈 영상(twin image)을 분리 할 수 있다. 실제 영상 정보는 수학식 2에 따라 구할 수 있다.The drawing 220 may be an image obtained by Fourier transform of the interferogram 210. Since the inclination angle between the reference arm and the object arm is very small, zero order noise, real image, and twin image can be separated. Actual image information can be obtained according to Equation 2.

Figure 112019067146716-pat00002
Figure 112019067146716-pat00002

여기서

Figure 112019067146716-pat00003
는 필터 처리된 홀로그램(filtered hologram)일 수 있다.here
Figure 112019067146716-pat00003
May be a filtered hologram.

또한, 수치 재구성 알고리즘에 의해 진폭 영상(230) 및 위상 영상(240)을 획득할 수 있다. 예를 들어, 위상 영상(240)은 수학식 3의 프레넬 근사(Fresnel approximation)에 기초하여 획득될 수 있다.In addition, the amplitude image 230 and the phase image 240 may be obtained by a numerical reconstruction algorithm. For example, the phase image 240 may be obtained based on the Fresnel approximation of Equation (3).

Figure 112019067146716-pat00004
Figure 112019067146716-pat00004

여기서, k, l, m, n은 -N/2< = k, l, m, n< = N/2를 만족하는 정수이고, N*N은 CCD 카메라의 픽셀 수이며,

Figure 112019067146716-pat00005
은 위상 수차 보정(phase aberrations correction)을 위한 디지털 위상 마스크(digital phase mask)이고,
Figure 112019067146716-pat00006
은 수학식 4에 따라 구할 수 있다.Here, k, l, m, n are integers that satisfy -N/2< = k, l, m, n< = N/2, and N*N is the number of pixels of the CCD camera,
Figure 112019067146716-pat00005
Is a digital phase mask for phase aberrations correction,
Figure 112019067146716-pat00006
Can be obtained according to Equation 4.

Figure 112019067146716-pat00007
Figure 112019067146716-pat00007

여기서,

Figure 112019067146716-pat00008
Figure 112019067146716-pat00009
은 관측 평면(observation plane)에서의 샘플링 인터벌(sampling interval)로 수학식 5와 같은 관계를 갖는다.here,
Figure 112019067146716-pat00008
and
Figure 112019067146716-pat00009
Is a sampling interval in the observation plane and has the same relationship as in Equation 5.

Figure 112019067146716-pat00010
Figure 112019067146716-pat00010

여기서 d는 카메라 평면(camera plane)과 관측 평면 사이의 거리를 의미한다.Here, d denotes the distance between the camera plane and the observation plane.

수학식 3 내지 수학식 5에 기초하면, 위상 영상(240)은 수학식 6에 따라 결정될 수 있다.Based on Equation 3 to Equation 5, the phase image 240 may be determined according to Equation 6.

Figure 112019067146716-pat00011
Figure 112019067146716-pat00011

여기서,

Figure 112019067146716-pat00012
는 픽셀(x, y)에서의 위상 값을 의미한다.here,
Figure 112019067146716-pat00012
Denotes the phase value at the pixel (x, y).

디지털 홀로그래픽 이미징 기술은 체외에서 살아있는 세포에 대한 정량 위상 영상을 획득할 수 있고, 정량 위상 영상은 수학식 7과 같은 물리적 특성으로 표현된 광 경로차(OPD ; optical path difference)와 관련이 있을 수 있다.Digital holographic imaging technology can acquire a quantitative phase image of living cells in vitro, and the quantitative phase image may be related to an optical path difference (OPD) expressed by physical properties as shown in Equation 7. have.

Figure 112019067146716-pat00013
Figure 112019067146716-pat00013

Figure 112019067146716-pat00014
는 간섭 성 레이저 소스의 파장이고,
Figure 112019067146716-pat00015
는 수치 재구성 알고리즘에 의해 얻어진 픽셀(x, y)에서의 위상 값을 나타낼 수 있다. 또한, 광 경로차(OPD)는 세포 두께와 세포 내 굴절률의 두 가지 인자, 즉 단백질과 물의 함량과 관련된 특성일 수 있다. 구체적으로, 광 경로차는 수학식8와 같이 나타낼 수 있다.
Figure 112019067146716-pat00014
Is the wavelength of the coherent laser source,
Figure 112019067146716-pat00015
May represent the phase value at the pixel (x, y) obtained by the numerical reconstruction algorithm. In addition, the optical path difference (OPD) may be a characteristic related to the content of two factors, namely, protein and water, of a cell thickness and an intracellular refractive index. Specifically, the optical path difference can be expressed as Equation (8).

Figure 112019067146716-pat00016
Figure 112019067146716-pat00016

d(x, y)는 세포의 두께, nc(x, y)는 픽셀(x, y) 위치에서 광학 축을 따라 적분 된 평균 세포 내 굴절률이고, nm은 주위 배양 배지의 굴절률일 수 있다. 또한, 굴절률 정보는 하나 이상의 세포의 단백질과 물의 함량 정보를 포함할 수 있다.d(x, y) is the thickness of the cell, n c (x, y) is the average intracellular refractive index integrated along the optical axis at the pixel (x, y) position, and n m may be the refractive index of the surrounding culture medium. In addition, the refractive index information may include information on the content of proteins and water of one or more cells.

디지털 홀로그래픽 장치에 의해 획득한 위상 영상은 수학식 7에 따라 광 경로차와 비례하고, 광 경로차는 수학식 8에 따라 세포 두께와 세포 내 굴절률 정보를 포함하기 때문에, 위상 영상은 수학식 7과 수학식 8에 의해 세포 두께 정보 및 세포 내 굴절률 정보를 포함할 수 있다.The phase image acquired by the digital holographic device is proportional to the optical path difference according to Equation 7, and the optical path difference includes cell thickness and intracellular refractive index information according to Equation 8. Cell thickness information and intracellular refractive index information may be included by Equation 8.

같은 위상을 갖는 평면파(plane wave) 가 세포를 통과하면, 세포의 두께 또는 굴절률에 따라 각기 다른 위상을 갖는 출력파를 출력할 수 있다. 입력 평면파의 위상 대비 출력파의 위상 변화량을 값으로 갖는 영상을 위상 영상이라 할 수 있다. 위상 영상(240)을 참조하면, 영상의 명도로 위상 영상(240)의 위상을 표현할 수 있다. 예를 들어, 위상 영상(240)은 위상이 0도일 때 가장 밝고, 위상이 360도일 때 가장 어둡게 표현될 수 있다.When a plane wave having the same phase passes through a cell, an output wave having a different phase may be output according to the thickness or refractive index of the cell. An image having a phase change amount of the output wave compared to the phase of the input plane wave may be referred to as a phase image. Referring to the phase image 240, the phase of the phase image 240 may be expressed by the brightness of the image. For example, the phase image 240 may be expressed brightest when the phase is 0 degrees and darkest when the phase is 360 degrees.

해당 분야에서 통상의 지식을 가진 자라면 디지털 홀로그래픽 이미징 기법을 명확하게 이해할 수 있는 바, 보다 상세한 설명은 생략한다.Those of ordinary skill in the relevant field can clearly understand the digital holographic imaging technique, and a more detailed description will be omitted.

도 3은 일 실시예에 따른 세포간 동기화 분석 방법을 설명하기 위한 도면이다.3 is a diagram for describing a method for analyzing synchronization between cells according to an exemplary embodiment.

영상에서 특정 영역 또는 관심 영상만을 추출하는 기술이 다양하게 제기되고 있다. 일 실시예에서는 워터쉐드 알고리즘(watershed algorithm)이 사용되는데, 워터쉐드 알고리즘은 산과 웅덩이로 이루어진 지형이 있을 때, 웅덩이 부분에 구멍을 뚫은 뒤 물속에 그 지형을 담그면 자연스럽게 물의 분기선(watershed line)이 생기면서 구역이 구분되는 원리를 응용하여 영상을 분할할 수 있다. 워터쉐드 알고리즘은 형태학적 연산(morphological operation)으로서 영상 분할 시간이 매우 짧은 장점을 갖고 있지만, 영상 내의 노이즈에 의해 영상이 지나치게 작은 부분들로 분할되는 현상(over-segmentation)을 종종 초래할 수 있다.Various techniques have been proposed for extracting only a specific area or an image of interest from an image. In one embodiment, a watershed algorithm is used.In the watershed algorithm, when there is a terrain consisting of a mountain and a puddle, a watershed line is naturally created when the terrain is immersed in the water after drilling a hole in the puddle. The image can be segmented by applying the principle that the zone is divided. The watershed algorithm is a morphological operation and has an advantage of having a very short image segmentation time, but may often cause an over-segmentation of an image into too small portions due to noise in the image.

마커 기반 워터쉐드 알고리즘을 통해 이와 같은 문제점을 해결할 수 있다. 마커 기반 워터쉐드 알고리즘은 영상 분할 시간을 단축시키기 위하여 영상의 각 부분에 해당하는 마커들에 의해 워터쉐드 분할의 각 부분이 조종될 수 있다. 예를 들어, 마커 기반 워터쉐드 알고리즘에 따르면, 내부 마커(internal marker)와 외부 마커(external marker)를 지정하고, 지정된 내부 마커와 외부 마커 사이에서 분할의 경계를 결정할 수 있다. 신뢰할 수 있는 내부 마커와 외부 마커를 결정하는 방법이 마커 기반 워터쉐드 알고리즘에 의한 세분화의 정밀도에 큰 영향을 미칠 수 있다. 아래 단계들(310 내지 360)에서 내부 마커와 외부 마커를 결정하는 방법과, 결정된 마커에 기초하여 입력 영상에서 단일 세포에 대응되는 출력 영상을 획득하는 방법을 설명한다.This problem can be solved through a marker-based watershed algorithm. In the marker-based watershed algorithm, in order to shorten the image segmentation time, each part of the watershed segmentation may be manipulated by markers corresponding to each segment of the image. For example, according to the marker-based watershed algorithm, an internal marker and an external marker may be designated, and a boundary of division may be determined between the designated inner and external markers. The method of determining the reliable inner and outer markers can have a great influence on the precision of segmentation by the marker-based watershed algorithm. In steps 310 to 360 below, a method of determining an inner marker and an outer marker, and a method of obtaining an output image corresponding to a single cell from an input image based on the determined marker will be described.

단계들(310 내지 380)은 세포간 동기화 분석 장치에 의해 수행될 수 있다. 세포간 동기화 분석 장치는 하나 또는 그 이상의 하드웨어 모듈, 하나 또는 그 이상의 소프트웨어 모듈, 또는 이들의 다양한 조합에 의하여 구현될 수 있다.Steps 310 to 380 may be performed by an intercellular synchronization analysis device. The intercellular synchronization analysis apparatus may be implemented by one or more hardware modules, one or more software modules, or various combinations thereof.

단계(310)에서, 세포간 동기화 분석 장치는 복수의 세포들에 대한 입력 영상을 수신한다. 입력 영상에는 복수의 세포들이 포함될 수 있다. 예를 들어, 입력 영상은 인간의 다능성 줄기 세포에서 유래된 복수개의 심장근육세포를 포함할 수 있다. 이하에서, 설명되는 입력 영상으로부터 단일 세포 단위로 분류된 출력 영상을 획득하는 방법은 심장근육세포를 기준으로 설명될 수 있다. 다만, 실시예들은 심장근육세포에 국한되어 적용될 필요는 없고, 다양한 유형의 생물학적 조직에 적용될 수 있다.In step 310, the apparatus for analyzing synchronization between cells receives an input image of a plurality of cells. A plurality of cells may be included in the input image. For example, the input image may include a plurality of cardiac muscle cells derived from human pluripotent stem cells. Hereinafter, a method of obtaining an output image classified in a single cell unit from an input image to be described may be described based on cardiac muscle cells. However, the examples are not limited to cardiac muscle cells and need not be applied, and may be applied to various types of biological tissues.

입력 영상은 도 1과 도 2에서 설명한 디지털 홀로그래픽 이미징 기법에 의해 생성된 복수의 세포들에 대한 위상 영상일 수 있다. 입력 영상은 복수의 세포들의 두께 정보, 굴절률 정보 중 적어도 하나를 포함할 수 있다. 예를 들어, 위상 영상이 입력 영상일 경우, 입력 영상은 수학식 7과 수학식 8에 따른 세포 두께 정보 및 세포 내 굴절률 정보를 포함할 수 있다. 다만, 입력 영상에 따르면 복수의 세포들에 대한 정보가 단일 세포 단위로 분류되어 있지 않다. 예를 들어, 입력 영상에 따르면 복수의 세포들의 경계를 명확하게 알 수 없다.The input image may be a phase image of a plurality of cells generated by the digital holographic imaging technique described in FIGS. 1 and 2. The input image may include at least one of thickness information and refractive index information of a plurality of cells. For example, when the phase image is an input image, the input image may include cell thickness information and intracellular refractive index information according to Equations 7 and 8. However, according to the input image, information on a plurality of cells is not classified into a single cell unit. For example, according to the input image, the boundaries of the plurality of cells cannot be clearly known.

단계(320)에서, 세포간 동기화 분석 장치는 k-평균 알고리즘에 기초하여, 입력 영상에서 대상 영상을 추출한다. k-평균 알고리즘은 주어진 데이터를 k개의 클러스터로 묶는 알고리즘으로, 각 클러스터와 거리 차이의 분산을 최소화하는 방식으로 동작할 수 있다. k-평균 알고리즘은 n개의 d-차원 데이터 오브젝트(x1, x2,??, xn) 집합이 주어졌을 때, k-평균 알고리즘은 n개의 데이터 오브젝트들을 각 집합 내 오브젝트 간 응집도를 최대로 하는 k(≤n)개의 집합 S = {S1, S2,??, Sk}으로 분할할 수 있다. 예를 들어, μi가 집합 Si의 중심점이라 할 때, 각 집합 별 중심점~집합 내 오브젝트간 거리의 제곱합을 최소로 하는 집합 S를 찾는 것이 이 알고리즘의 목표일 수 있다. 목적 함수의 전역 최솟값(global minimum) 을 찾는 것은 NP-난해 문제로, 언덕 오르기(hill climbing) 방식으로 목적 함수의 오차를 줄여 나가며 지역 최솟값(local minimum)을 발견했을 때 알고리즘을 종료함으로써 근사 최적해를 구할 수 있다.In step 320, the apparatus for analyzing synchronization between cells extracts a target image from the input image based on the k-means algorithm. The k-means algorithm is an algorithm that combines given data into k clusters, and can operate in a manner that minimizes the variance of the difference between each cluster and the distance. When the k-means algorithm is given a set of n d-dimensional data objects (x1, x2,??, xn), the k-means algorithm uses k( It can be divided into ≤n) sets S = {S1, S2,??, Sk}. For example, when μi is the center point of the set Si, the goal of this algorithm may be to find the set S that minimizes the sum of squares of the distances between the center points of each set to the objects in the set. Finding the global minimum of the objective function is an NP-difficulty problem, reducing the error of the objective function by a hill climbing method, and by terminating the algorithm when a local minimum is found. You can get it.

도 7은 일 실시예에 따른 입력 영상에 k-평균 알고리즘을 적용하여 대상 영상을 획득하는 방법을 설명하기 위한 도면이다.7 is a diagram for describing a method of obtaining a target image by applying a k-average algorithm to an input image according to an exemplary embodiment.

도 7을 참조하면, 입력 영상(710)에 대해 k-평균 알고리즘을 적용하면 세포의 핵 부분만을 추출한 대상 영상(750)을 획득할 수 있다. 대상 영상은 입력 영상에 k-평균 알고리즘을 적용하여 획득한 영상들 중, 제1 마커의 기초가 되는 영상일 수 있다. 예를 들어, 입력 영상(710)을 4개의 클러스터로 묶는 4-평균 알고리즘을 적용하여 4 개의 영상(720 내지 750)을 얻을 수 있고, 영상(750)이 제1 마커의 기초가 되는 대상 영상일 수 있다.Referring to FIG. 7, when a k-average algorithm is applied to an input image 710, a target image 750 obtained by extracting only a nuclear portion of a cell may be obtained. The target image may be an image that serves as a basis for the first marker among images obtained by applying a k-average algorithm to the input image. For example, four images 720 to 750 may be obtained by applying a 4-average algorithm that binds the input image 710 into four clusters, and the image 750 is the target image that is the basis of the first marker. I can.

입력 영상(710)은 히스토그램 등화 기술(histogram equalization technique)에 따라 대조 강조된 영상을 포함할 수 있다. 대조 강조를 통해 k-평균 알고리즘의 정확도를 향상시킬 수 있다.The input image 710 may include a contrast-enhanced image according to a histogram equalization technique. Contrast emphasis can improve the accuracy of the k-means algorithm.

k-평균 알고리즘에 따르면, 입력 영상의 위상 강도 값(intensity value)을 기반으로 복수 개의 영상을 획득할 수 있다. 세포핵의 위상 강도 값이 주위의 세포질과 막 부분보다 높기 때문에 입력 영상에서 영상(750)을 분류할 수 있다. 예를 들어 영상(720 내지 750)은 복수 개의 세포를 포함하는 입력 위상 영상을 위상 강도 값에 따라 분류한 영상일 수 있고, 영상(750)은 세포의 핵 부분만이 추출된 영상일 수 있다. 세포의 핵 부분만이 추출된 영상을 대상 영상(750)으로 사용할 수 있다. According to the k-average algorithm, a plurality of images may be acquired based on a phase intensity value of an input image. Since the phase intensity value of the cell nucleus is higher than that of the surrounding cytoplasm and membrane, the image 750 can be classified from the input image. For example, the images 720 to 750 may be images obtained by classifying an input phase image including a plurality of cells according to a phase intensity value, and the image 750 may be an image from which only a nuclear portion of a cell is extracted. An image extracted from only the nuclear part of the cell may be used as the target image 750.

다시 도 3을 참조하면, 단계(330)에서, 세포간 동기화 분석 장치는 대상 영상에 기초하여, 제1 마커를 결정 한다. 제1 마커는 마커 기반 워터쉐드 알고리즘의 내부 마커일 수 있다. 이하, 제1 마커는 내부 마커라고 지칭될 수 있다. 세포간 동기화 분석 장치는 k-평균 알고리즘에 따라 추출한 대상 영상에 기초하여 제1 마커를 결정할 수 있다. 세포간 동기화 분석 장치는 대상 영상(750)에 모폴로지 연산(morphological operations)을 적용하여 제1 마커를 결정할 수 있다. 예를 들어, 세포간 동기화 분석 장치는 대상 영상(750)에 다양한 모폴로지 연산, 침식, 팽창, 제거, 채움 등을 통하여 노이즈 및 갭이 제거된 제1 마커를 결정할 수 있다. 세포간 동기화 분석 장치는 침식, 팽창을 통해 노이즈와 갭을 제거한 후, 대상 영상(750)에 이진화 연산을 적용하여 바이너리(binary) 데이터 형식의 제1 마커를 결정 할 수 있다. 예를 들어, 세포의 핵 부분에 해당하는 대상 영상(750) 영역은 '1'의 값을, 그 이외의 영역은 모두 '0'의 값을 갖도록 할 수 있다.Referring back to FIG. 3, in step 330, the apparatus for analyzing synchronization between cells determines a first marker based on the target image. The first marker may be an inner marker of a marker-based watershed algorithm. Hereinafter, the first marker may be referred to as an internal marker. The apparatus for analyzing synchronization between cells may determine the first marker based on the target image extracted according to the k-means algorithm. The apparatus for analyzing synchronization between cells may determine the first marker by applying morphological operations to the target image 750. For example, the apparatus for analyzing synchronization between cells may determine the first marker from which noise and gap are removed through various morphology calculations, erosion, expansion, removal, filling, etc. of the target image 750. The intercellular synchronization analysis apparatus may remove noise and gaps through erosion and expansion, and then apply a binarization operation to the target image 750 to determine a first marker in a binary data format. For example, an area of the target image 750 corresponding to a nuclear part of a cell may have a value of '1', and all other areas may have a value of '0'.

단계(340)에서, 세포간 동기화 분석 장치는 제1 마커에 기초하여, 제2 마커를 결정한다. 세포간 동기화 분석 장치는 제1 마커에 거리 변환(distance transform) 알고리즘을 적용하여 제2 마커를 결정할 수 있다. 제2 마커는 마커 기반 워터쉐드 알고리즘의 외부 마커일 수 있다. 이하, 제2 마커는 외부 마커라고 지칭될 수 있다.In step 340, the apparatus for analyzing synchronization between cells determines a second marker based on the first marker. The apparatus for analyzing synchronization between cells may determine the second marker by applying a distance transform algorithm to the first marker. The second marker may be an external marker of a marker-based watershed algorithm. Hereinafter, the second marker may be referred to as an external marker.

세포간 동기화 분석 장치는 제1 마커에 거리 변환(distance transform) 알고리즘을 적용하여 제1 마커의 경계를 형성할 수 있다. 예를 들어, 제1 마커의 경계는 각각의 제1 마커에서 가장 멀리 위치할 수 있도록 형성되는 경계일 수 있다. 세포간 동기화 분석 장치는 거리 변환(distance transform) 알고리즘을 적용하여 생성된 제1 마커의 경계를 제2 마커로 결정할 수 있다.The intercellular synchronization analysis apparatus may apply a distance transform algorithm to the first marker to form a boundary of the first marker. For example, the boundary of the first marker may be a boundary formed to be located farthest from each of the first markers. The intercellular synchronization analysis apparatus may determine a boundary of the first marker generated by applying a distance transform algorithm as the second marker.

거리 변환 알고리즘은 수학식 9와 같이 수행될 수 있다.The distance conversion algorithm may be performed as in Equation 9.

Figure 112019067146716-pat00017
Figure 112019067146716-pat00017

D(x, y)는 거리 변환 영상, O(x, y)는 바이너리(binary) 데이터 형식의 제1 마커일 수 있고, O(xj, yj)는 O(xi, yi)의 가장 가까운 '0'이 아닌 값을 갖는 픽셀일 수 있다.D(x, y) may be a distance transformed image, O(x, y) may be a first marker in a binary data format, and O(x j , y j ) may be of O(x i , y i ). It may be a pixel having the nearest non-zero value.

단계(350)에서, 세포간 동기화 분석 장치는 제1 마커와 제2 마커에 기초하여, 대상 영상을 수정한다. 마커 기반 워터쉐드 알고리즘에 따르면, 세포간 동기화 분석 장치는 내부 마커(internal marker)와 외부 마커(external marker)를 결정하고, 결정된 내부 마커와 외부 마커 사이에서 분할의 경계를 결정할 수 있다. 세포간 동기화 분석 장치는 내부 마커와 외부 마커 사이에서 분할의 경계를 결정하기 위하여, 세포간 동기화 분석 장치는 제1 마커와 제 2마커에 국부 극솟값이 오도록 대상 영상의 그래디언트 크기(gradient magnitude)를 수정할 수 있다. 그래디언트 크기 영상은 소벨(sobel) 필터를 수평 및 수직으로 적용하여 얻을 수 있다.In step 350, the apparatus for analyzing synchronization between cells corrects the target image based on the first marker and the second marker. According to the marker-based Watershed algorithm, the apparatus for analyzing synchronization between cells may determine an internal marker and an external marker, and determine a boundary of division between the determined internal and external markers. The intercellular synchronization analysis device modifies the gradient magnitude of the target image so that the first and second markers have a local minima in order to determine the boundary of division between the inner and outer markers. I can. The gradient size image can be obtained by applying a sobel filter horizontally and vertically.

단계(360)에서, 세포간 동기화 분석 장치는 수정된 대상 영상에 워터쉐드(watershed) 알고리즘을 적용하여 입력 영상에 포함된 복수의 세포들이 단일 세포 단위로 분류된 출력 영상을 획득한다.In step 360, the apparatus for analyzing synchronization between cells obtains an output image in which a plurality of cells included in the input image are classified into a single cell unit by applying a watershed algorithm to the modified target image.

세포간 동기화 분석 장치는 제1 마커와 제 2마커에 국부 극솟값이 오도록 수정된 대상 영상에 워터쉐드(watershed) 알고리즘을 적용하여 입력 영상에 포함된 복수의 세포들을 각각의 단일 세포에 대응되도록 분할하여 추출할 수 있다. The intercellular synchronization analysis device divides a plurality of cells included in the input image to correspond to each single cell by applying a watershed algorithm to the modified target image so that the local minima comes to the first marker and the second marker. Can be extracted.

출력 영상은 단일 세포 단위로 분류된 위상 영상일 수 있다. 예를 들어, 출력 영상은 복수의 세포들 각각의 위상 정보를 포함하고 있기 때문에, 출력 영상을 통해 복수의 세포들 각각의 두께 정보 및 세포 내 굴절률 정보를 획득할 수 있다.The output image may be a phase image classified into a single cell unit. For example, since the output image includes phase information of each of the plurality of cells, thickness information and intracellular refractive index information of each of the plurality of cells may be obtained through the output image.

단계(370)에서, 세포간 동기화 분석 장치는 출력 영상에 기초하여 복수의 세포들 각각의 운동성 정보를 획득한다. 세포간 동기화 분석 장치는 단일 세포 단위의 위상 영상을 획득할 수 있기 때문에, 세포에 대한 여러 종류의 세포 운동성 관련 파라미터 값들을 입력 영상에 포함된 세포들의 평균 값이 아닌 단일 세포 단위로 계산할 수 있다.In step 370, the apparatus for analyzing synchronization between cells acquires motility information of each of the plurality of cells based on the output image. Since the intercellular synchronization analysis apparatus can acquire a phase image of a single cell unit, the values of various types of cell motility related parameter values for cells can be calculated in a single cell unit rather than an average value of cells included in the input image.

예를 들어, 세포의 운동성 정보는 세포의 박동 프로파일을 포함할 수 있다. 세포의 박동 프로파일은 시간의 흐름에 따른 세포에 대응되는 출력 영상에 포함된 픽셀 값인 광 경로차 값의 평균으로 나타낼 수 있다.For example, the cell motility information may include the cell's beat profile. The beating profile of a cell may be expressed as an average of a light path difference value, which is a pixel value included in an output image corresponding to a cell over time.

단계(380)에서, 세포간 동기화 분석 장치는 운동성 정보에 기초하여, 복수의 세포들 사이의 동기화 특성을 결정한다. 세포간 동기화 분석 장치는 단일 세포 단위로 획득한 세포의 운동성 정보에 기초하여, 복수의 세포들 사이의 동기화 특성을 결정할 수 있다. 복수의 세포들 사이의 동기화 특성은 복수의 세포들의 박동 프로파일의 타이밍 유사 정도와 관련된 정보를 의미할 수 있다. In step 380, the apparatus for analyzing synchronization between cells determines a synchronization characteristic between a plurality of cells based on the motility information. The apparatus for analyzing synchronization between cells may determine a synchronization characteristic between a plurality of cells based on the motility information of a cell acquired in a single cell unit. The synchronization characteristic between the plurality of cells may mean information related to a degree of similarity in timing of the beat profiles of the plurality of cells.

세포들의 운동성 정보 및 세포들 사이의 동기화 특성에 기초하여, 세포에 가해지는 다양한 약물에 대한 반응이나, 성장, 및 세포 관련 질병 분석을 수행할 수 있다. 예를 들어, 약물 반응 테스트를 위해 주어진 세포 집단에 대하여, 세포간 동기화 분석 장치는 세포 집단에 포함된 복수의 세포들의 약물에 대한 동기화 특성을 판단할 수 있다. 보다 구체적으로, 환자의 피부 세포 등으로부터 줄기 세포 기술을 이용하여 해당 환자의 심장 근육 세포를 배양할 수 있고, 배양된 세포에 약물을 투여한 이후에 세포간 동기화 분석 장치는 복수의 세포들 사이의 동기화 특성을 판단할 수 있고, 이에 기초하여 약물에 의한 부작용(예를 들어, 부정맥 발생) 여부를 판단할 수 있다.Based on the motility information of the cells and the synchronizing properties between cells, it is possible to perform a response to various drugs applied to the cells, growth, and cell-related disease analysis. For example, for a cell population given for a drug response test, the intercellular synchronization analysis device may determine a synchronization characteristic of a plurality of cells included in the cell population with respect to the drug. More specifically, cardiac muscle cells of the patient can be cultured from the patient's skin cells using stem cell technology, and after administering the drug to the cultured cells, the intercellular synchronization analysis device Synchronization characteristics can be determined, and on the basis of this, it is possible to determine whether or not side effects (eg, arrhythmia occur) caused by the drug.

세포간 동기화 분석 장치는 복수의 세포들 사이의 동기화 특성 뿐만 아니라, 복수의 세포들을 그룹핑하여, 세포 그룹 사이의 동기화 특성도 판단할 수 있다. 여기서 세포 그룹은 복수의 세포들 집합일 수 있다. 예를 들어, 동일한 줄기 세포로부터 배양된 세포들은 하나의 그룹으로 그룹핑될 수 있다. 동기화 특성에 관한 보다 상세한 내용은 도 11 내지 도 13을 참조하여 설명된다.The apparatus for analyzing synchronization between cells may determine not only a synchronization characteristic between a plurality of cells, but also a synchronization characteristic between a group of cells by grouping a plurality of cells. Here, the cell group may be a set of a plurality of cells. For example, cells cultured from the same stem cell may be grouped into a group. More details about the synchronization characteristic will be described with reference to FIGS. 11 to 13.

도 4는 일 실시예에 따른 출력 영상에 기초하여 단일 세포의 박동 프로파일을 생성하는 방법을 설명하기 위한 그래프이다.4 is a graph illustrating a method of generating a beat profile of a single cell based on an output image according to an exemplary embodiment.

일 실시예에 따른 출력 영상은 단일 세포에 대응되는 위상 정보를 포함하고 있다. 출력 영상의 각 픽셀 값은 광 경로차 값(OPD value)일 수 있다. 출력 영상은 입력 영상에 포함된 복수의 세포들 각각에 대응되는 픽셀들의 광 경로차 값을 포함할 수 있다.The output image according to an embodiment includes phase information corresponding to a single cell. Each pixel value of the output image may be an optical path difference value (OPD value). The output image may include a light path difference value of pixels corresponding to each of the plurality of cells included in the input image.

도 4를 참조하면, 출력 영상에 기초하여 단일 세포의 운동성 정보를 획득할 수 있다. 단일 세포에 대응되는 출력 영상의 평균 픽셀 값에 기초하여 단일 세포의 박동 프로파일을 획득할 수 있다. 단일 세포의 박동 프로파일은 시간의 흐름에 따른 단일 세포에 대응되는 출력 영상에 포함된 픽셀 값인 광 경로차 값의 평균으로 나타낼 수 있다.Referring to FIG. 4, motility information of a single cell may be obtained based on an output image. The beat profile of a single cell may be obtained based on the average pixel value of the output image corresponding to the single cell. The beat profile of a single cell may be expressed as an average of a light path difference value, which is a pixel value included in an output image corresponding to a single cell over time.

도면(410)을 참조하면, 출력 영상에 영상 처리를 통해 양의 피크(positive peak)와 음의 피크(negative peak)를 추출할 수 있다. 도면(410)을 참조하면, 세포의 위상 정보를 포함하는 광 경로차 값이 시간에 따라 변하고, 일정 주기를 가짐을 알 수 있다.Referring to FIG. 410, a positive peak and a negative peak may be extracted from an output image through image processing. Referring to FIG. 410, it can be seen that the optical path difference value including the phase information of the cell changes over time and has a certain period.

도면(420)은 도면(410)의 한 주기에 해당하는 시점에 대한 박동 프로파일일 수 있다. 도면(420)을 참고하면, 박동 프로파일에 기초하여 단일 세포의 동적 파라미터를 획득할 수 있다. 동적 파라미터는 단일 세포의 박동률(beating rate), 박동 주기(beating period), 박동 주파수(beating frequency) 중 적어도 하나를 포함할 수 있다. 동적 파라미터는 크기(amplitude), 상승 시간(rising time), 하강 시간(falling time), IBD50, IBD10, 상승/하강 기울기를 더 포함할 수 있다.The drawing 420 may be a beating profile for a time point corresponding to one period of the drawing 410. Referring to FIG. 420, dynamic parameters of a single cell may be obtained based on the beating profile. The dynamic parameter may include at least one of a beating rate, a beating period, and a beating frequency of a single cell. The dynamic parameters may further include amplitude, rising time, falling time, IBD50, IBD10, and rising/falling slope.

크기(amplitude)는 양의 피크 값과 다음 음의 피크 값의 차이일 수 있다. 상승 시간은 Amp20 에서 Amp80까지 걸리는 시간일 수 있다. 하강 시간은 Amp80에서 Amp20까지 걸리는 시간일 수 있다. IBD50은 첫번째 Amp50에서 다음 Amp50까지 걸리는 시간일 수 있다. IBD10은 첫번째 Amp10에서 다음 Amp10까지 걸리는 시간일 수 있다. 상승/하강 기울기는 각각 Amp80의 값과 Amp20의 값사이의 기울기와 Amp20의 값과 Amp80의 값 사이의 기울기일 수 있다. 박동률은 1분동안 발생한 음의 피크 또는 양의 피크의 횟수일 수 있다. 박동 주기는 두 인접한 음의 피크 또는 양의 피크 사이의 시간일 수 있다. 박동 주파수는 박동 주기동안 발생한 박동 횟수일 수 있다.The amplitude may be a difference between a positive peak value and a next negative peak value. The rise time can be the time from Amp20 to Amp80. The fall time may be the time taken from Amp80 to Amp20. The IBD50 can be the time it takes from the first Amp50 to the next Amp50. IBD10 can be the time it takes from the first Amp10 to the next Amp10. The rising/falling slope may be a slope between the value of Amp80 and the value of Amp20, and a slope between the value of Amp20 and the value of Amp80, respectively. The beat rate may be the number of negative or positive peaks occurring in one minute. The beating period may be the time between two adjacent negative or positive peaks. The beating frequency may be the number of beatings that occur during the beating period.

도 5는 다른 실시예에 따른 출력 영상에 기초하여 단일 세포의 박동 프로파일을 생성하는 방법을 설명하기 위한 그래프이다.5 is a graph for explaining a method of generating a beat profile of a single cell based on an output image according to another exemplary embodiment.

일 실시예에 따르면, 세포간 동기화 분석 장치는 단일 세포에 대응되는 출력 영상의 평균 픽셀 값의 변화량(variance)을 획득할 수 있고, 평균 픽셀 값의 변화량에 기초하여 박동 프로파일을 획득할 수 있다. 단일 세포의 위상 정보를 수치적으로 정량화 하기 위해 단일 세포에 포함된 픽셀들의 평균 광 경로차 값의 변화량을 사용할 수 있다. 광 경로차 값의 변화량은 수학식 10과 같이 얻을 수 있다. According to an embodiment, the apparatus for analyzing synchronization between cells may obtain a variance of an average pixel value of an output image corresponding to a single cell, and may obtain a beat profile based on the change of the average pixel value. In order to numerically quantify the phase information of a single cell, the amount of change in the average light path difference value of pixels included in a single cell may be used. The amount of change in the optical path difference value can be obtained as in Equation 10.

Figure 112019067146716-pat00018
Figure 112019067146716-pat00018

opdi 및 opdi-1은 각각 i 번째 및 (i-1) 번째에 프레임에 해당하는 광 경로차 값일 수 있다. 수학식 9를 이용하여 세포의 운동성 정보를 획득할 수 있다. 예를 들어, 도면(510)을 참조하면, 세포의 3D 형태 변화와 관련된 중간 사건을 포착 할 수 있고, 이에 기초하여 세포 기능의 변화를 감별할 수 있다.opd i and opd i-1 may be optical path difference values corresponding to i-th and (i-1)-th frames, respectively. Cell motility information may be obtained using Equation 9. For example, referring to the drawing 510, it is possible to capture an intermediate event related to a change in a 3D shape of a cell, and based on this, it is possible to discriminate a change in a cell function.

광 경로차 값의 변화량은 단일 세포의 움직임 정보를 포함할 수 있다. 예를 들어, 광 경로차 값의 변화량은 세포의 수축과 이완에 대한 정보를 포함할 수 있다. 세포간 동기화 분석 장치는 각 심장 세포를 정량화 하기 위해 양성 수축(positive contraction) 및 이완 피크(relaxation peaks)를 검출하고, 각 심장 세포의 수축 및 이완과 관련된 최종 박동률 및 박동 기간을 측정할 수 있다. 또한, 수축과 후속 이완 사이의 시간은 도면(520)과 같이 검출 된 피크를 사용하여 측정 할 수 있다.The amount of change in the light path difference value may include motion information of a single cell. For example, the amount of change in the light path difference value may include information on contraction and relaxation of cells. The intercellular synchronization analysis device may detect positive contraction and relaxation peaks in order to quantify each heart cell, and measure a final beat rate and beating period related to contraction and relaxation of each heart cell. In addition, the time between contraction and subsequent relaxation can be measured using the detected peak as shown in FIG. 520.

동적 파라미터는 수축 박동률(contraction beating rate), 수축 박동 주기(contraction beating period), 수축 박동 주기 표준편차(contraction beating period STD), 수축 박동 주기 변동계수(contraction beating period CV), 이완 박동 주기(relaxation beating period), 이완 박동 주기 표준편차 relaxation beating period STD), 이완 박동 주기 변동계수(relaxation beating period CV)를 더 포함할 수 있다.The dynamic parameters are contraction beating rate, contraction beating period, contraction beating period STD, contraction beating period CV, and relaxation beating. period), a relaxation beating period STD), and a relaxation beating period CV.

도면(520)을 참조하면, 박동 프로파일로부터 휴식 기간, 수축 기간, 이완 기간을 획득할 수 있다. 수축 박동률은 1분동안 발생한 수축 피크의 횟수일 수 있다. 수축 박동 주기는 두 인접한 수축 피크 사이의 시간일 수 있다. 수축 박동 주기 표준편차와 수축 박동 주기의 변동계수는 각각 수축 박동 주기의 표준편차와 변동계수일 수 있다. 변동계수는 표준편차의 크기를 평균치에 대한 비율일 수 있다. 이완 관련 파라미터도 수축 관련 파라미터와 동일한 방법으로 획득할 수 있다.Referring to FIG. 520, a rest period, a contraction period, and a relaxation period may be obtained from the beating profile. The contraction rate may be the number of contraction peaks that occur during one minute. The contraction beat period may be the time between two adjacent contraction peaks. The standard deviation of the contraction beating period and the coefficient of variation of the contraction beating period may be the standard deviation and coefficient of variation of the contraction beating period, respectively. The coefficient of variation may be a ratio of the size of the standard deviation to the average value. Relaxation-related parameters can also be obtained in the same way as contraction-related parameters.

도 6은 일 실시예에 따른 방법에 따라 내부 마커와 외부 마커를 결정하지 않고 워터쉐드 알고리즘을 수행하여 얻은 출력 영상을 도시한 도면이다.6 is a diagram illustrating an output image obtained by performing a watershed algorithm without determining an inner marker and an outer marker according to a method according to an exemplary embodiment.

일 실시예에 따른 세포간 동기화 분석 방법에 따른 출력 영상을 검토하기 전에, 기존의 방법에 따른 출력 영상을 도시한 도 6을 참조하면, 도면(510)은 입력 영상을 도시한 도면이고, 도면(520)은 입력 영상의 그래디언트 크기 영상을 도시한 도면이다. 도면(530)은 그래디언트 영상에 기초하여 워터쉐드 알고리즘을 수행하여 얻은 세분화 결과에 대한 출력 영상을 도시한 도면이다. 도면(520)에서 알 수 있듯이 입력 영상의 그래디언트 크기 영상에는 여러 가장 자리와 최소값이 포함되어 있고, 결과적으로 세분화 결과가 좋지 않을 수 있다.Before reviewing the output image according to the synchronization analysis method between cells according to an embodiment, referring to FIG. 6 showing an output image according to a conventional method, a drawing 510 is a view showing an input image, and a drawing ( 520 is a diagram showing a gradient size image of the input image. FIG. 530 is a diagram illustrating an output image of a segmentation result obtained by performing a watershed algorithm based on a gradient image. As can be seen from the drawing 520, the gradient size image of the input image includes several edges and minimum values, and as a result, the segmentation result may not be good.

도 8은 일 실시예에 따른 세포간 동기화 분석 방법에 따라 출력 영상을 획득하기 위한 각 단계에 대응하는 영상들을 도시한 도면이다.8 is a diagram illustrating images corresponding to each step of acquiring an output image according to a method for analyzing synchronization between cells according to an exemplary embodiment.

도면(810)은 k-평균 알고리즘(k = 4)을 통해 획득한 내부 마커를 도시한 도면이고, 내부 마커의 대응하는 수정 된 그래디언트 크기는 도면(820)에 도시된다.Figure 810 is a diagram showing the inner marker obtained through the k-means algorithm (k = 4), the corresponding modified gradient size of the inner marker is shown in Figure 820.

도면(830)은 제1 마커에 기초하여 획득한 제2 마커를 도시한 도면이고, 도면 (840)은 입력 영상에 내부 및 외부 마커를 표시하고, 배경이 0으로 설정된 결과 영역을 도시한 도면이다.A drawing 830 is a diagram showing a second marker acquired based on a first marker, and a drawing 840 is a diagram showing a result area in which the internal and external markers are displayed on the input image and the background is set to 0. .

도면(850)은 세포 영역 및 배경 영역을 도시한 도면이고, 도면(860)은 일 실시예에 따른 세포간 동기화 분석 방법에 따라 얻은 출력 영상을 도시한 도면이다.A drawing 850 is a diagram illustrating a cell region and a background region, and a drawing 860 is a diagram illustrating an output image obtained according to an inter-cell synchronization analysis method according to an exemplary embodiment.

도 9와 도 10은 일 실시예에 따른 단일 세포에 대응되는 출력 영상과, 출력 영상에 기초하여 획득한 단일 세포의 박동 프로파일을 도시한 도면이다.9 and 10 are diagrams illustrating an output image corresponding to a single cell and a beat profile of a single cell acquired based on the output image, according to an exemplary embodiment.

도 9를 참조하면, 일 실시예에 따른 도면(910 내지 960)은 일 실시예에 따른 단일 세포 수준에서 정량화를 위한 최종 세그먼트 이미지에서 추출 된 여러 단일 세포를 3 차원 표현한 도면이다. 도면(910 내지 960)은 단일 세포 수준에서 수축 및 이완 매개 변수를 정량적으로 조사하기 위해 여러 개의 세포를 포함하는 출력 영상에서 추출한 여러 개의 세포를 도시한 도면이다.Referring to FIG. 9, drawings 910 to 960 according to an exemplary embodiment are a three-dimensional representation of several single cells extracted from a final segment image for quantification at a single cell level according to an exemplary embodiment. Figures 910 to 960 are diagrams showing several cells extracted from an output image including several cells in order to quantitatively investigate contraction and relaxation parameters at the level of a single cell.

도 10을 참조하면, 시간이 지남에 따라 추출 된 개별 세포의 활동 박동을 알 수 있다. 도면(1010 내지 1080)은 복수의 세포들 cell#1 내지 cell#8 각각에 포함된 픽셀의 평균 광 경로차 값의 변화량에 따른 박동 프로파일을 도시한 도면이다. 표 1은 도 10의 박동 프로파일에 기초하여 획득한 cell#1 내지 cell#6의 동적 파라미터를 정리한 표일 수 있다.Referring to FIG. 10, it is possible to know the activity beat of individual cells extracted over time. Figures 1010 to 1080 are diagrams illustrating a beat profile according to a change amount of an average light path difference value of a pixel included in each of a plurality of cells cell#1 to cell#8. Table 1 may be a table summarizing dynamic parameters of cell#1 to cell#6 obtained based on the beat profile of FIG. 10.

Figure 112019067146716-pat00019
Figure 112019067146716-pat00019

또한, 표 2는 cell#1 내지 cell#6에서 얻은 동적 파라미터들의 평균을 정리한 표일 수 있다. 표 2의 동적 파라미터는 평균 세포 면적, 수축 박동률, 수축 박동 주기 및 이완 박동 주기가 포함될 수 있다.In addition, Table 2 may be a table summarizing the average of dynamic parameters obtained in cell#1 to cell#6. The dynamic parameters of Table 2 may include average cell area, contraction rate, contraction rate period, and relaxation rate period.

Figure 112019067146716-pat00020
Figure 112019067146716-pat00020

도 11 및 도 12는 세포간 동기화 특성을 설명하기 위한 그래프이다.11 and 12 are graphs for explaining the synchronization characteristics between cells.

도 11을 참조하면, 복수의 세포들 각각에 대한 픽셀의 평균 광 경로차 값의 변화량에 따른 박동 프로파일에 기초하여 복수의 세포들 사이의 동기화 특성을 시각적으로 분석할 수 있다.Referring to FIG. 11, a synchronization characteristic between a plurality of cells may be visually analyzed based on a beat profile according to a change amount of an average light path difference value of a pixel for each of a plurality of cells.

일 실시예에 따른 도면(1110)은 도 10의 cell#3, 4의 박동 프로파일인 도면(1030)과 도면(1040)을 비교하는 그래프이고, 도면(1120)은 도 10의 cell#7, 8의 박동 프로파일인 도면(1070)과 도면(1080)을 비교하는 그래프이다.A drawing 1110 according to an embodiment is a graph comparing the drawing 1030, which is the beating profile of cells #3 and 4 of FIG. 10, and the drawing 1040, and the drawing 1120 is a graph comparing cells #7 and 8 of FIG. It is a graph comparing the figure 1070 and the figure 1080 which are the beat profiles of.

도면(1110)을 참조하면, cell#3, 4의 수축, 이완의 크기 차이만 있을 뿐, 상승과 하강 타이밍은 일치함을 알 수 있다. 마찬가지로, 도면(1120)을 참조하면, cell#7, 8의 수축, 이완의 크기 차이만 있을 뿐, 상승과 하강 타이밍은 일치함을 알 수 있다.Referring to the drawing 1110, it can be seen that there is only a difference in the amount of contraction and relaxation of cells #3 and 4, and the rising and falling timings coincide. Likewise, referring to the drawing 1120, it can be seen that there is only a difference in the magnitude of contraction and relaxation of cells #7 and 8, and the rising and falling timings coincide.

도 12는 도 10의 cell#1 내지 cell#8의 박동 프로파일을 3차원으로 표현한 그래프로, cell#1 내지 cell#8 사이의 동기화 특성을 시각적으로 분석할 수 있다. 도 12를 참조하면, cell#1 내지 cell#8의 수축, 이완의 크기 차이만 있을 뿐, 상승과 하강 타이밍은 일치함을 알 수 있다.FIG. 12 is a three-dimensional graph representing the beating profile of cell #1 to cell#8 of FIG. 10, and a synchronization characteristic between cell#1 to cell#8 can be visually analyzed. Referring to FIG. 12, it can be seen that there is only a difference in the size of contraction and relaxation of cells #1 to cell #8, and the rising and falling timings coincide.

도 13은 일 실시예에 따른 단일 세포 단위로 측정된 박동 프로파일의 상호 상관에 기초하여 복수의 세포들 사이의 동기화 특성을 결정하는 방법을 설명하기 위한 그래프이다.13 is a graph for explaining a method of determining a synchronization characteristic between a plurality of cells based on a cross-correlation of a beat profile measured in a single cell unit, according to an exemplary embodiment.

도 13을 참조하면, 일 실시예에 따른 그래프를 참조하면, 두 세포의 박동 프로파일의 상호 상관을 알 수 있다. 상호 상관은 수학식 11과 같이 정의될 수 있다.Referring to FIG. 13, referring to a graph according to an embodiment, it is possible to know the mutual correlation of the beat profiles of two cells. Cross-correlation may be defined as in Equation 11.

Figure 112019067146716-pat00021
Figure 112019067146716-pat00021

f는 제1 신호, f*은 신호 f의 켤레, g는 제2 신호, n은 f신호와 g신호 사이의 시간 지연(time lag)을 의미한다. 예를 들어, f는 cell#1의 박동 프로파일 신호, g는 cell#2의 박동 프로파일 신호일 수 있다.f denotes the first signal, f * denotes the conjugate of the signal f, g denotes the second signal, and n denotes a time lag between the f signal and the g signal. For example, f may be a beat profile signal of cell #1, and g may be a beat profile signal of cell #2.

상호 상관 값이 최대가 되는 시점에 두 신호가 가장 유사하다고 판단할 수 있다. 이를 수학식으로 표현하면 수학식 12와 같다.It can be determined that the two signals are the most similar when the cross-correlation value becomes the maximum. This can be expressed as Equation 12.

Figure 112019067146716-pat00022
Figure 112019067146716-pat00022

상호 상관을 통해 두 세포의 박동 프로파일의 유사 정도를 판단할 수 있다. 예를 들어, cell#1의 박동 프로파일과 cell#2의 박동 프로파일 사이의 상호 상관은 시간 지연이 '0'일 때 가장 큰 값을 갖음을 알 수 있다. 이를 통해, cell#1의 박동 프로파일과 cell#2의 박동 프로파일이 시간 영역에서 높은 동기화 특성을 갖음을 알 수 있다. 나아가 도 13을 참조하면, cell#1의 박동 프로파일과 cell#3의 박동 프로파일, cell#7의 박동 프로파일과 cell#8의 박동 프로파일 또한 시간 지연이 '0'일 때 가장 큰 값을 갖음을 알 수 있고, 이를 통해 복수의 셀들 사이의 동기화 특성을 판단할 수 있다.Through cross-correlation, it is possible to determine the degree of similarity of the beat profiles of two cells. For example, it can be seen that the cross-correlation between the beat profile of cell#1 and the beat profile of cell#2 has the greatest value when the time delay is '0'. Through this, it can be seen that the beat profile of cell#1 and the beat profile of cell#2 have high synchronization characteristics in the time domain. Furthermore, referring to FIG. 13, it can be seen that the beat profile of cell#1, the beat profile of cell#3, the beat profile of cell#7, and the beat profile of cell#8 have the largest values when the time delay is '0'. Through this, it is possible to determine synchronization characteristics between a plurality of cells.

도 14는 일 실시예에 따른 세포간 동기화 분석 장치의 구성의 예시도이다.14 is an exemplary diagram of a configuration of an apparatus for analyzing synchronization between cells according to an exemplary embodiment.

도 14를 참조하면, 세포간 동기화 분석 장치(1401)는 프로세서(1402) 및 메모리(1403)를 포함한다. 프로세서(1402)는 도 1 내지 도 13을 통하여 전술한 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 13을 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(1403)는 번역 방법이 구현된 프로그램을 저장할 수 있다. 메모리(1403)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다. 메모리(1403)는 하나 이상의 세포에 대한 입력 영상을 저장할 수 있다.Referring to FIG. 14, the apparatus 1401 for analyzing synchronization between cells includes a processor 1402 and a memory 1403. The processor 1402 may include at least one of the devices described above with reference to FIGS. 1 to 13, or may perform at least one method described above with reference to FIGS. 1 to 13. The memory 1403 may store a program in which a translation method is implemented. The memory 1403 may be a volatile memory or a nonvolatile memory. The memory 1403 may store input images for one or more cells.

프로세서(1402)는 프로그램을 실행하고, 세포간 동기화 분석 장치(1401)를 제어할 수 있다. 프로세서(1402)에 의하여 실행되는 프로그램의 코드는 메모리(1403)에 저장될 수 있다. 세포간 동기화 분석 장치(1401)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.The processor 1402 may execute a program and control the inter-cell synchronization analysis device 1401. The code of a program executed by the processor 1402 may be stored in the memory 1403. The intercellular synchronization analysis device 1401 is connected to an external device (for example, a personal computer or a network) through an input/output device (not shown), and may exchange data.

프로세서(1402)는 k-평균 알고리즘에 기초하여, 입력 영상에서 대상 영상을 추출하고, 대상 영상에 기초하여, 제1 마커를 결정하고, 제1 마커에 기초하여, 제2 마커를 결정하고, 제1 마커와 제2 마커에 기초하여, 대상 영상을 수정하고, 수정된 대상 영상에 워터쉐드(watershed) 알고리즘을 적용하여 입력 영상에 포함된 복수의 세포들이 단일 세포 단위로 분류된 단일 세포에 대응되는 출력 영상을 획득하고, 출력 영상에 기초하여 복수의 세포들 각각 단일 세포의 운동성 정보를 획득하고, 운동성 정보에 기초하여, 복수의 세포들 사이의 동기화 특성을 결정한다.The processor 1402 extracts a target image from the input image based on the k-average algorithm, determines a first marker based on the target image, determines a second marker based on the first marker, and Based on the 1 marker and the second marker, the target image is corrected, and a watershed algorithm is applied to the corrected target image, so that a plurality of cells included in the input image correspond to a single cell classified as a single cell unit. An output image is acquired, motility information of a single cell of each of a plurality of cells is acquired based on the output image, and a synchronization characteristic between the plurality of cells is determined based on the motility information.

세포간 동기화 분석 장치(1401)는 박동 프로파일, 동적 파라미터 중 적어도 하나를 표시하는 디스플레이(도면 미 표시)를 더 포함할 수 있다. 디스플레이는 터치스크린, LCD(Liquid Cristal Display), TFT-LCD(Thin Film Transistor-Liquid Crystal Display), LED(Liquid Emitting Diode) 디스플레이, OLED(Organic LED) 디스플레이, AMOLED(Active Matrix OLED) 디스플레이 또는 플렉서블(flexible) 디스플레이로 구현될 수 있다. 디스플레이는 프로세서(1402)의 제어에 따라 사용자에게 박동 프로파일, 동적 파라미터, 동기화 특성 중 적어도 하나를 디스플레이할 수 있다.The intercellular synchronization analysis apparatus 1401 may further include a display (not shown) that displays at least one of a beat profile and a dynamic parameter. Display is a touch screen, LCD (Liquid Cristal Display), TFT-LCD (Thin Film Transistor-Liquid Crystal Display), LED (Liquid Emitting Diode) display, OLED (Organic LED) display, AMOLED (Active Matrix OLED) display or flexible ( flexible) can be implemented as a display. The display may display at least one of a beat profile, a dynamic parameter, and a synchronization characteristic to the user under the control of the processor 1402.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices, methods, and components described in the embodiments are, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. Further, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to operate as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or, to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited drawings, a person of ordinary skill in the art can apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order from the described method, and/or components such as systems, structures, devices, circuits, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and those equivalent to the claims also fall within the scope of the claims to be described later.

Claims (20)

복수의 세포들에 대한 입력 영상을 수신하는 단계;
k-평균 알고리즘에 기초하여, 상기 입력 영상에서 대상 영상을 추출하는 단계;
상기 대상 영상에 기초하여, 제1 마커를 결정하는 단계;
상기 제1 마커에 기초하여, 제2 마커를 결정하는 단계;
상기 제1 마커와 상기 제2 마커에 기초하여, 상기 대상 영상을 수정하는 단계;
상기 수정된 대상 영상에 워터쉐드(watershed) 알고리즘을 적용하여 상기 입력 영상에 포함된 상기 복수의 세포들이 단일 세포 단위로 분류된 출력 영상을 획득하는 단계;
상기 출력 영상에 기초하여 상기 복수의 세포들 각각의 운동성 정보를 획득하는 단계; 및
상기 운동성 정보에 기초하여, 상기 복수의 세포들 사이의 동기화 특성을 결정하는 단계
를 포함하고,
상기 복수의 세포들 각각의 운동성 정보를 획득하는 단계는
상기 복수의 세포들 각각에 있어서, 해당 단일 세포에 대응되는 박동 프로파일(beating profile)을 획득하는 단계를 포함하고,
상기 복수의 세포들 사이의 동기화 특성을 결정하는 단계는
상기 복수의 세포들 사이의 동기화 특성으로서, 상기 복수의 세포들에 포함된 단일 세포들의 상기 박동 프로파일의 타이밍 유사 정도를 결정하는 단계
를 포함하는 세포간 동기화 분석 방법.
Receiving an input image for a plurality of cells;
extracting a target image from the input image based on a k-means algorithm;
Determining a first marker based on the target image;
Determining a second marker based on the first marker;
Modifying the target image based on the first marker and the second marker;
Obtaining an output image in which the plurality of cells included in the input image are classified into a single cell unit by applying a watershed algorithm to the modified target image;
Acquiring motility information of each of the plurality of cells based on the output image; And
Determining a synchronization characteristic between the plurality of cells based on the motility information
Including,
The step of obtaining motility information of each of the plurality of cells
In each of the plurality of cells, comprising the step of obtaining a beating profile corresponding to the single cell,
The step of determining the synchronization characteristics between the plurality of cells
Determining a timing similarity of the beat profile of single cells included in the plurality of cells as a synchronization characteristic between the plurality of cells
Synchronization analysis method between cells comprising a.
제1항에 있어서,
상기 복수의 세포들 각각의 운동성 정보를 획득하는 단계는
상기 박동 프로파일에 기초하여 상기 해당 단일 세포의 동적 파라미터를 획득하는 단계
를 더 포함하는, 세포간 동기화 분석 방법.
The method of claim 1,
The step of obtaining motility information of each of the plurality of cells
Obtaining dynamic parameters of the single cell based on the beating profile
Further comprising, the cell synchronization analysis method.
제1항에 있어서,
상기 동기화 특성을 결정하는 단계는
상기 복수의 세포들에 포함된 단일 세포들의 상기 박동 프로파일의 상호 상관(crosscorrelation)을 계산하는 단계; 및
상기 상호 상관에 기초하여, 상기 복수의 세포들에 포함된 단일 세포들 사이의 동기화 특성을 결정하는 단계
를 더 포함하는, 세포간 동기화 분석 방법.
The method of claim 1,
The step of determining the synchronization characteristic is
Calculating crosscorrelation of the beat profiles of single cells included in the plurality of cells; And
Determining a synchronization characteristic between single cells included in the plurality of cells based on the cross-correlation
Further comprising, the cell synchronization analysis method.
제1항에 있어서,
상기 복수의 세포들 사이의 동기화 특성에 기초하여, 상기 복수의 세포들과 관련된 질병 분석을 수행하는 단계
를 더 포함하는, 세포간 동기화 분석 방법.
The method of claim 1,
Performing a disease analysis related to the plurality of cells based on the synchronization characteristic between the plurality of cells
Further comprising, the cell synchronization analysis method.
제1항에 있어서,
상기 복수의 세포들은 약물 테스트를 위해 약물이 투여된 세포들을 포함하고,
상기 복수의 세포들 사이의 동기화 특성에 기초하여, 상기 약물의 부작용 발생 여부를 판단하는 단계
를 더 포함하는, 세포간 동기화 분석 방법.
The method of claim 1,
The plurality of cells include cells administered with a drug for drug testing,
Determining whether a side effect of the drug occurs based on the synchronization characteristic between the plurality of cells
Further comprising, the cell synchronization analysis method.
제1항에 있어서,
상기 복수의 세포들 사이의 동기화 특성을 결정하는 단계는
상기 복수의 세포들을 복수의 그룹들로 분류하는 단계; 및
상기 복수의 그룹들 사이의 동기화 특성을 결정하는 단계
를 더 포함하는, 세포간 동기화 분석 방법.
The method of claim 1,
The step of determining the synchronization characteristics between the plurality of cells
Classifying the plurality of cells into a plurality of groups; And
Determining synchronization characteristics between the plurality of groups
Further comprising, the cell synchronization analysis method.
제1항에 있어서,
상기 박동 프로파일을 획득하는 단계는
상기 출력 영상에 있어서, 상기 복수의 세포들에 포함된 단일 세포들에 대해 해당 단일 세포에 대응하는 영역의 평균 픽셀 값의 변화량(variance)으로서, 해당 단일 세포의 수축과 이완에 대한 정보를 포함하는 변화량을 획득하는 단계; 및
상기 평균 픽셀 값의 변화량에 기초하여 상기 박동 프로파일을 획득하는 단계
를 포함하고,
상기 복수의 세포들에 포함된 단일 세포들의 박동 프로파일의 타이밍 유사 정도를 결정하는 단계는
상기 복수의 세포들에 포함된 단일 세포들의 상기 평균 픽셀 값의 변화량에 기반하여 상기 복수의 세포들에 포함된 단일 세포들에 대하여 상기 박동 프로파일의 상승 타이밍 및 하강 타이밍의 유사 정도를 결정하는 단계
를 포함하는, 세포간 동기화 분석 방법.
The method of claim 1,
The step of obtaining the beat profile
In the output image, as a variance of the average pixel value of the region corresponding to the single cell for single cells included in the plurality of cells, including information on contraction and relaxation of the single cell Obtaining a change amount; And
Acquiring the beat profile based on the amount of change in the average pixel value
Including,
Determining the degree of timing similarity of the beat profiles of single cells included in the plurality of cells
Determining a degree of similarity between the rising timing and the falling timing of the beat profile with respect to the single cells included in the plurality of cells based on the amount of change in the average pixel value of the single cells included in the plurality of cells
Containing, cell-to-cell synchronization analysis method.
제1항에 있어서,
상기 대상 영상은
상기 입력 영상에서 상기 복수의 세포들 각각의 세포핵에 대응하는 영역을 추출한 영상을 포함하는, 세포간 동기화 분석 방법.
The method of claim 1,
The target image is
An inter-cell synchronization analysis method comprising an image obtained by extracting a region corresponding to a cell nucleus of each of the plurality of cells from the input image.
제1항에 있어서,
상기 입력 영상을 수신하는 단계는
디지털 홀로그래픽 이미징 기법에 기초하여 생성된 위상 영상(phase image)을 수신하는 단계
를 포함하는, 세포간 동기화 분석 방법.
The method of claim 1,
Receiving the input image
Receiving a phase image generated based on a digital holographic imaging technique
Containing, cell-to-cell synchronization analysis method.
제1항에 있어서,
상기 입력 영상은
상기 복수의 세포들 각각의 두께 정보, 굴절률 정보 중 적어도 하나를 포함하는, 세포간 동기화 분석 방법.
The method of claim 1,
The input image is
Including at least one of thickness information and refractive index information of each of the plurality of cells, synchronization analysis method between cells.
제1항에 있어서,
상기 제1 마커를 결정하는 단계는
상기 대상 영상에 모폴로지 연산(morphological operations)을 적용하여 상기 제1 마커를 결정하는 단계
를 포함하는, 세포간 동기화 분석 방법.
The method of claim 1,
The step of determining the first marker
Determining the first marker by applying morphological operations to the target image
Containing, cell-to-cell synchronization analysis method.
제1항에 있어서,
상기 제1 마커에 기초하여, 제2 마커를 결정하는 단계는
상기 제1 마커에 거리 변환(distance transform) 알고리즘을 적용하여 상기 제2 마커를 결정하는 단계
를 포함하는, 세포간 동기화 분석 방법.
The method of claim 1,
Based on the first marker, determining a second marker comprises:
Determining the second marker by applying a distance transform algorithm to the first marker
Containing, cell-to-cell synchronization analysis method.
제1항에 있어서,
상기 제1 마커와 상기 제2 마커에 기초하여, 상기 대상 영상을 수정하는 단계는
상기 제1 마커와 상기 제2마커에 국부 극솟값이 오도록 상기 대상 영상을 수정하는 단계
를 포함하는, 세포간 동기화 분석 방법.
The method of claim 1,
Modifying the target image based on the first marker and the second marker
Modifying the target image so that local minima values come to the first marker and the second marker
Containing, cell-to-cell synchronization analysis method.
삭제delete 복수의 세포들에 대한 입력 영상을 저장하는 메모리; 및
프로세서를 포함하고,
상기 프로세서는
k-평균 알고리즘에 기초하여, 상기 입력 영상에서 대상 영상을 추출하고, 상기 대상 영상에 기초하여, 제1 마커를 결정하고, 상기 제1 마커에 기초하여, 제2 마커를 결정하고, 상기 제1 마커와 상기 제2 마커에 기초하여, 상기 대상 영상을 수정하고, 상기 수정된 대상 영상에 워터쉐드(watershed) 알고리즘을 적용하여 상기 입력 영상에 포함된 상기 복수의 세포들이 단일 세포 단위로 분류된 출력 영상을 획득하고, 상기 출력 영상에 기초하여 상기 복수의 세포들 각각의 운동성 정보를 획득하고, 상기 운동성 정보에 기초하여, 상기 복수의 세포들 사이의 동기화 특성을 결정하고,
상기 복수의 세포들 각각에 있어서, 해당 단일 세포에 대응되는 박동 프로파일(beating profile)을 획득하고,
상기 복수의 세포들 사이의 동기화 특성으로서, 상기 복수의 세포들에 포함된 단일 세포들의 상기 박동 프로파일의 타이밍 유사 정도를 결정하는
세포간 동기화 분석 장치.
A memory for storing an input image of a plurality of cells; And
Including a processor,
The processor is
Based on the k-average algorithm, a target image is extracted from the input image, a first marker is determined based on the target image, a second marker is determined based on the first marker, and the first Based on a marker and the second marker, the target image is modified, and the plurality of cells included in the input image are classified into a single cell unit by applying a watershed algorithm to the modified target image. Acquire an image, acquire motility information of each of the plurality of cells based on the output image, determine a synchronization characteristic between the plurality of cells based on the motility information,
In each of the plurality of cells, obtaining a beating profile corresponding to the single cell,
As a synchronization characteristic between the plurality of cells, determining a timing similarity of the beat profile of single cells included in the plurality of cells
Cell-to-cell synchronization analysis device.
제15항에 있어서,
상기 프로세서는
상기 박동 프로파일에 기초하여 상기 해당 단일 세포의 동적 파라미터를 획득하는, 세포간 동기화 분석 장치.
The method of claim 15,
The processor is
An intercellular synchronization analysis apparatus for acquiring dynamic parameters of the single cell based on the beat profile.
제15항에 있어서,
상기 프로세서는
상기 복수의 세포들에 포함된 단일 세포들의 상기 박동 프로파일의 상호 상관(crosscorrelation)을 계산하고, 상기 상호 상관에 기초하여, 상기 복수의 세포들에 포함된 단일 세포들 사이의 동기화 특성을 결정하는, 세포간 동기화 분석 장치.
The method of claim 15,
The processor is
Calculating crosscorrelation of the beat profiles of single cells included in the plurality of cells, and determining synchronization characteristics between single cells included in the plurality of cells based on the cross-correlation, Cell-to-cell synchronization analysis device.
제17항에 있어서,
상기 프로세서는
상기 복수의 세포들 사이의 동기화 특성에 기초하여, 상기 복수의 세포들과 관련된 질병 분석을 수행하는, 세포간 동기화 분석 장치.
The method of claim 17,
The processor is
An intercellular synchronization analysis apparatus for performing disease analysis related to the plurality of cells based on the synchronization characteristic between the plurality of cells.
제15항에 있어서,
상기 복수의 세포들은 약물 테스트를 위해 약물이 투여된 세포들을 포함하고,
상기 프로세서는
상기 복수의 세포들 사이의 동기화 특성에 기초하여, 상기 약물의 부작용 발생 여부를 판단하는, 세포간 동기화 분석 장치.
The method of claim 15,
The plurality of cells include cells administered with a drug for drug testing,
The processor is
An inter-cell synchronization analysis device that determines whether or not side effects of the drug occur based on the synchronization characteristic between the plurality of cells.
제15항에 있어서,
상기 프로세서는
상기 복수의 세포들을 복수의 그룹들로 분류하고, 상기 복수의 그룹들 사이의 동기화 특성을 결정하는, 세포간 동기화 분석 장치.

The method of claim 15,
The processor is
Classifying the plurality of cells into a plurality of groups, and determining a synchronization characteristic between the plurality of groups, inter-cell synchronization analysis apparatus.

KR1020190078745A 2019-07-01 2019-07-01 Methods and apparatus for intercellular synchronization analysis KR102225721B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190078745A KR102225721B1 (en) 2019-07-01 2019-07-01 Methods and apparatus for intercellular synchronization analysis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190078745A KR102225721B1 (en) 2019-07-01 2019-07-01 Methods and apparatus for intercellular synchronization analysis

Publications (2)

Publication Number Publication Date
KR20210002899A KR20210002899A (en) 2021-01-11
KR102225721B1 true KR102225721B1 (en) 2021-03-10

Family

ID=74129093

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190078745A KR102225721B1 (en) 2019-07-01 2019-07-01 Methods and apparatus for intercellular synchronization analysis

Country Status (1)

Country Link
KR (1) KR102225721B1 (en)

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Automated Disease, Identification With 3-D Optical Imaging: A Medical Diagnostic Tool, IEEE, 2017.03.*
Automated quantification study of human cardiomyocyte synchronization using holographic imaging, Biomedical Optics Express, 10(2), 2018.02.*
Automated quantitative analysis of multiple cardiomyocytes at the single-cell level with three-dimensional holographic imaging informatics, J.Biophotonics 11(12), 2018.07.*
Automated segmentation of multiple red blood cells with digital holographic microscopy, J. of Biomedical Optics, 18(2), 2013.02.*
Color based segmentation using K-mean clustering and watershed segmentation, 2016 3rd International Conference on Computing for Sustainable Global Development, 2016.03.*

Also Published As

Publication number Publication date
KR20210002899A (en) 2021-01-11

Similar Documents

Publication Publication Date Title
Kaliman et al. Limits of applicability of the voronoi tessellation determined by centers of cell nuclei to epithelium morphology
Sigal et al. Eye-specific IOP-induced displacements and deformations of human lamina cribrosa
Song et al. Neural anatomy and optical microscopy (NAOMi) simulation for evaluating calcium imaging methods
Selig et al. Fully automatic evaluation of the corneal endothelium from in vivo confocal microscopy
US10504223B2 (en) Cell image evaluation device, method, and program
Qian et al. An integrated method for atherosclerotic carotid plaque segmentation in ultrasound image
US20160160170A1 (en) Observation image capturing and evaluation device, method, and program
Loewke et al. Automated cell segmentation for quantitative phase microscopy
KR102209721B1 (en) Methods and apparatus for analyzing single cell motility
Abbasi-Sureshjani et al. Boosted exudate segmentation in retinal images using residual nets
Li et al. Brain-wide shape reconstruction of a traced neuron using the convex image segmentation method
Parameswari et al. RETRACTED ARTICLE: Prediction of atherosclerosis pathology in retinal fundal images with machine learning approaches
US20170169566A1 (en) Automated analysis of intravascular oct image volumes
Freitas-Andrade et al. Unbiased analysis of mouse brain endothelial networks from two-or three-dimensional fluorescence images
KR102225721B1 (en) Methods and apparatus for intercellular synchronization analysis
JP2017175965A (en) Image processing apparatus, image processing method, and image processing system
Tang et al. Automatic classification and segmentation of atherosclerotic plaques in the intravascular optical coherence tomography (IVOCT)
Thanh et al. A real-time classification of glaucoma from retinal fundus images using AI technology
Sanfilippo et al. Application of Elliptic Fourier analysis to describe the lamina cribrosa shape with age and intraocular pressure
Brookes Morphometry of organ cultured corneal endothelium using Voronoi segmentation
Huang et al. Quantitative analysis of intracellular motility based on optical flow model
Jiang et al. DeepRayburst for automatic shape analysis of tree-like structures in biomedical images
Bulusu et al. Fitting synthetic to clinical kymographic images for deriving kinematic vocal fold parameters: Application to left-right vibratory phase differences
US20200020099A1 (en) Information processing device, information processing system, and information processing method
Khanal et al. Fully Automated Artery-Vein ratio and vascular tortuosity measurement in retinal fundus images

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant