WO2021177584A1 - Method and apparatus for monitoring cardiomyocytes using artificial neural network - Google Patents

Method and apparatus for monitoring cardiomyocytes using artificial neural network Download PDF

Info

Publication number
WO2021177584A1
WO2021177584A1 PCT/KR2021/000028 KR2021000028W WO2021177584A1 WO 2021177584 A1 WO2021177584 A1 WO 2021177584A1 KR 2021000028 W KR2021000028 W KR 2021000028W WO 2021177584 A1 WO2021177584 A1 WO 2021177584A1
Authority
WO
WIPO (PCT)
Prior art keywords
cell
cardiomyocyte
region
image
neural network
Prior art date
Application number
PCT/KR2021/000028
Other languages
French (fr)
Korean (ko)
Inventor
김창수
김진영
최홍수
진채원
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Publication of WO2021177584A1 publication Critical patent/WO2021177584A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Definitions

  • the present invention relates to a method and apparatus for monitoring cardiomyocytes. More particularly, it relates to a method and apparatus for monitoring contractility patterns of cardiomyocytes using an artificial neural network and block matching algorithm, and performing contractility analysis on only a region within the cardiomyocytes.
  • Embodiments of the present invention input a cell image into a neural network without an expert's manual input, extract the boundary of cardiomyocytes, accurately monitor the beat corresponding to only the cell region using a block matching technique, and analyze contractility only in the region within the cardiomyocyte A method and an apparatus for doing so are provided.
  • the cardiomyocyte monitoring method includes inputting a cell image to a neural network, acquiring cell mask data corresponding to the cell image using the neural network, and determining a cell region using the cell mask data. detecting, acquiring cell information including at least one of a diameter of a cell, a cell area, and cell center information based on the detected cell area, and movement of a cell using the cell information and the detected cell area It may include generating a tracking map, projecting a radial vector onto the generated motion tracking map, and acquiring a contractility pattern of a cell based on the projected radial vector.
  • the neural network is in the form of a Convolutional Neural Network (CNN) including at least one convolution layer, and may be a pre-trained neural network.
  • CNN Convolutional Neural Network
  • detecting the cell region may include removing a noise region included in the cell mask data, and the cell region may be a region of interest (ROI) region including cells.
  • ROI region of interest
  • the cell center information may be determined based on the center of gravity of the cell.
  • the generating of the movement tracking map of the cell includes obtaining a correlation between a plurality of cell images by using cell information and a cell region corresponding to each of the plurality of cell images, and the correlation between the plurality of cell images. It may include generating a movement tracking map of the cell based on the relationship.
  • generating the motion tracking map of the cell may include designating a target area included in the cell area and generating only a motion tracking map for the target area.
  • projecting the radial vector onto the motion tracking map may include designating a reference point based on the center information of the cell, and projecting the motion vector of the cell onto the radial axis with respect to the motion tracking map.
  • Myocardial cell monitoring apparatus includes a processor, wherein the processor inputs a cell image to a neural network, obtains cell mask data corresponding to the cell image using the neural network, and the cell mask A cell region is detected using the data, and cell information including at least one of a cell diameter, a cell area, and a cell center information is obtained based on the detected cell region, and the cell information and the detected cell region are obtained. It is possible to generate a motion tracking map of the cell using the method, project a radial vector onto the generated motion tracking map, and obtain a contractile pattern of the cell based on the projected radial vector.
  • the neural network is in the form of a Convolutional Neural Network (CNN) including at least one convolution layer, and may be a pre-trained neural network.
  • CNN Convolutional Neural Network
  • the processor may remove a noise region included in the cell mask data, and the cell region may be a region of interest (ROI) region including cells.
  • ROI region of interest
  • the cell center information may be determined based on the center of gravity of the cell.
  • the processor obtains correlations between a plurality of cell images by using cell information and cell regions corresponding to each of the plurality of cell images, and moves the cells based on the correlation between the plurality of cell images. You can create a tracking map.
  • the processor may designate a target region included in the cell region and generate only a motion tracking map for the target region.
  • the processor may designate a reference point based on the center information of the cell, and project the motion vector of the cell to the radial axis with respect to the motion tracking map.
  • a method for analyzing myocardial cells is a method in which each step is performed by a computing device, inputting a cardiomyocyte image to a neural network, and using the neural network to mask the cardiomyocyte image corresponding to the cardiomyocyte image acquiring data, receiving a cardiomyocyte video image including the cardiomyocyte image and generating a motion tracking map based on the entire area of each image frame of the cardiomyocyte video image, and the cardiomyocyte mask data and the The method may include analyzing contractility parameters only within the cardiomyocyte region based on the motion tracking map.
  • the method for analyzing cardiomyocytes includes detecting a cardiomyocyte region in the cardiomyocyte image using the cardiomyocyte mask data, and the cardiomyocyte video image generated based on the entire region of each image frame.
  • the method may include layering and displaying a motion tracking map of cardiomyocytes inside the myocardial cell region among the motion tracking map and contractility parameters analyzed only within the cardiomyocyte region.
  • analyzing the contractility parameter may include generating a motion tracking map of cardiomyocytes only within the cardiomyocyte region by combining the boundary of the detected cardiomyocyte region with a block matching technique. have.
  • the generating a motion tracking map based on the entire area of each image frame of the cardiomyocyte video image includes: acquiring correlations between a plurality of cardiomyocyte images in each image frame of the cardiomyocyte video image; The method may include generating a motion tracking map based on the entire area of each image frame based on the correlation between the plurality of cardiomyocyte images.
  • FIG. 1 is a diagram illustrating an example of a method for monitoring cardiomyocytes according to an embodiment of the present invention.
  • FIG. 2 is a block diagram for explaining the hardware configuration and operation of the myocardial cell monitoring apparatus according to an embodiment of the present invention.
  • FIG. 3 is a flowchart of a method for monitoring cardiomyocytes according to an embodiment of the present invention.
  • FIG. 4 is a diagram for explaining a method of acquiring cell mask data according to an embodiment of the present invention.
  • FIG. 5 is a diagram for explaining a learning method of a neural network according to an embodiment of the present invention.
  • FIG. 6 is a diagram for explaining a method of acquiring cell information using cell mask data according to an embodiment of the present invention.
  • FIG. 7 is a view for explaining a method of measuring cell movement according to an embodiment of the present invention.
  • FIG. 8 is a diagram for explaining a method of detecting a cell region according to an embodiment of the present invention.
  • FIG. 9 is a diagram for explaining a method of tracking cell movement and acquiring a contractile pattern of a cardiomyocyte according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating an example of a method for analyzing contractility parameters of cardiomyocytes according to an embodiment of the present invention.
  • FIG. 11 is a flowchart of a method for analyzing contractility parameters of cardiomyocytes according to an embodiment of the present invention.
  • 14 to 16 show analysis results according to a method for analyzing contractility parameters of cardiomyocytes according to an embodiment of the present invention.
  • Artificial intelligence (AI) disclosed in the present invention may refer to a field for researching artificial intelligence or a methodology that can make it, and machine learning is a field of artificial intelligence technology, in which a computing device is It may be an algorithm that enables a computer to analyze data as a technical method to learn from data to understand a specific object or condition, or to find and classify patterns in data.
  • Machine learning disclosed in the present invention may be understood as meaning including an operation method for learning an artificial intelligence model.
  • FIG. 1 is a diagram illustrating an example of a method for monitoring cardiomyocytes according to an embodiment of the present invention.
  • the motion vector of the cardiomyocyte should be measured.
  • a reference point is required to project the motion vector of the myocardial cell in the radial direction, and the myocardial cell monitoring apparatus according to some embodiments of the present invention detects the myocardial cell using a neural network and uses the detected myocardial cell to determine a predetermined value. According to the condition of the cell center, it is possible to obtain cell center information, which is a reference point for measuring the movement of myocardial cells.
  • the user must manually set the boundary and the cell center of the cardiomyocyte.
  • various information related to myocardial cells may be acquired without a user's manual operation. This reduces human error and enables accurate measurement of various information about cardiomyocytes without an expert.
  • the neural network according to some embodiments of the present invention can perform pixel-level classification, it is possible to accurately extract cell regions even in various types of cell growth stages. That is, according to some embodiments of the present invention, it is possible to significantly reduce the working time of the researcher consumed in the existing method that relies on the manual segmentation method, reduce the analysis time, and increase the measurement accuracy.
  • the acquired cell image (a) can be input to the neural network (b), and the radial movement of the cell can be quantified and measured based on the detected cell region (c),
  • the contractile pattern (d) of cardiomyocytes can be derived using the quantified cell radial motion data.
  • the myocardial cell monitoring apparatus may acquire cell mask data by inputting the previously acquired cell image (a) into a convolutional neural network (CNN)-based neural network (b).
  • the cell mask data may include a region of interest (ROI) region of the cardiomyocyte. Thereafter, the myocardial cell monitoring apparatus may detect the cell region (c) using the cell image and cell mask data.
  • the cell region may be an image extracted based on the cell region in the cell image.
  • the myocardial cell monitoring apparatus may obtain cell information based on the detected cell region, and may obtain cell information using cell mask data.
  • the above-described cell information includes cell morphological information.
  • the cell information may include at least one of a cell diameter, a cell area, and cell center information.
  • the myocardial cell monitoring device may generate a movement tracking map of cells based on the obtained cell information and cell region.
  • the cell movement tracking map may be data including information on the movement of myocardial cells over time. Accordingly, according to some embodiments of the present invention, quantification data of the radial movement of cells may be extracted using the movement tracking map.
  • the cardiomyocyte monitoring apparatus may project a radial vector in a radial direction on the motion tracking map, and quantify the movement of the cell based on the projected radial vector.
  • the cardiomyocyte monitoring apparatus may derive a contractile pattern (d) of the cardiomyocyte using a radial vector of the myocardial cell.
  • the myocardial cell monitoring apparatus 100 may include a memory 110 , a processor 120 , an input/output interface 130 , and a communication module 140 .
  • the memory 110 is a computer-readable recording medium and may include a random access memory (RAM), a read only memory (ROM), and a permanent mass storage device such as a disk drive.
  • the memory 110 may temporarily or permanently store program codes and settings for controlling the myocardial cell monitoring apparatus 100 , a camera image, and pose data of an object.
  • the processor 120 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations.
  • the instructions may be provided to the processor 120 by the memory 110 or the communication module 140 .
  • the processor 120 may be configured to execute a received instruction according to a program code stored in a recording device such as the memory 110 .
  • the processor 120 of the cardiomyocyte monitoring apparatus 100 inputs a cell image to a neural network, acquires cell mask data corresponding to the cell image using the neural network, and obtains the cell mask data Detects a cell region using to generate a motion tracking map of the cell, project a radial vector onto the generated motion tracking map, and obtain a contractile pattern of the cell based on the projected radial vector.
  • the communication module 140 may provide a function for communicating with an external server through a network. For example, a request generated by the processor 120 of the cardiomyocyte monitoring apparatus 100 according to a program code stored in a recording device such as the memory 110 is transmitted to an external server through a network under the control of the communication module 140 . can be Conversely, a control signal, command, content, file, etc. provided under the control of the processor of the external server may be received by the cardiomyocyte monitoring apparatus 100 through the network through the communication module. For example, a control signal or command of an external server received through the communication module 140 may be transmitted to the processor 120 or the memory 110 , and the content or file may be further transmitted by the cardiomyocyte monitoring apparatus 100 . It may be stored in a storage medium that may include.
  • the communication module 140 may communicate with an external server through a network.
  • the network may be a local area wireless network.
  • the network may be a Bluetooth (Bluetooth), BLE (Bluetooth Low Energy), or Wifi communication network.
  • the input/output interface 130 may receive a user input and display output data.
  • the input/output interface 130 may receive information about the size of a virtual block from a user, and may overlay and display the virtual block on a display.
  • the myocardial cell monitoring apparatus 100 may include more components than those of FIG. 2 .
  • the myocardial cell monitoring device 100 may include a battery and a charging device for supplying power to internal components of the myocardial cell monitoring device, and is implemented to include at least some of the above-described input/output devices or a transceiver. It may further include other components such as a transceiver, a global positioning system (GPS) module, various sensors, and a database.
  • GPS global positioning system
  • FIG. 3 is a flowchart of a method for monitoring cardiomyocytes according to an embodiment of the present invention.
  • the cardiomyocyte monitoring apparatus may input a cell image to the neural network.
  • the cell image may be an image obtained by photographing cells, and may be in various formats, and in one embodiment, the cardiomyocyte monitoring device may acquire a microscopic image of the cells.
  • the myocardial cell monitoring apparatus can quantify and measure the movement of cells over time, it is also possible to acquire a plurality of continuous cell images over time.
  • the neural network according to some embodiments of the present invention may be a neural network pre-trained using a plurality of cell images in which cell regions are marked as a neural network of a CNN structure.
  • this is only an example of the structure of the neural network, and the structure or shape of the neural network according to some embodiments of the present invention is not limited thereto.
  • the myocardial cell monitoring apparatus may acquire cell mask data corresponding to the cell image by using a neural network.
  • the cell mask data may be an image obtained by extracting cells included in the cell image.
  • the myocardial cell monitoring apparatus may remove noise (eg, small islands) included in the cell mask.
  • the myocardial cell monitoring apparatus may obtain a plurality of cell mask data corresponding to each of the plurality of cell images.
  • the myocardial cell monitoring apparatus may detect a cell region using the cell mask data.
  • the cell region may be an ROI region of a cardiomyocyte.
  • the cardiomyocyte monitoring device may designate a cell region by overlapping the cell mask data and the cell image.
  • the myocardial cell monitoring apparatus may acquire a plurality of cell regions by overlapping a plurality of cell images and cell mask data corresponding to each of the plurality of cell images. have.
  • the myocardial cell monitoring apparatus may acquire cell information including at least one of cell diameter, cell area, and cell center information based on the cell region.
  • Cell information may be morphological information of a cell.
  • the myocardial cell monitoring device may acquire cell information based on the cell region information acquired in step S130, and in another embodiment, the myocardial cell monitoring device uses the cell mask data acquired in step S120 to obtain cell information. may be obtained.
  • the cell diameter and cell area may be estimated using the above-described cell area or cell mask data.
  • the cell center information may correspond to the cell center of gravity calculated based on the above-described cell region or cell mask data.
  • the cell center information included in the cell information according to some embodiments of the present invention may be a center point of a cell region, or may be designated through an external server or a user input.
  • the myocardial cell monitoring apparatus may generate a motion tracking map using the cell information and the detected cell region.
  • the myocardial cell monitoring apparatus may generate a motion tracking map in which a movement occurring in a cell region is tracked.
  • the myocardial cell monitoring apparatus may generate a motion tracking map through flow visualization using Particle Image Velocimetry (PIV).
  • PIV Particle Image Velocimetry
  • the myocardial cell monitoring apparatus tracks movement related to the movement of cells over time based on the data related to the plurality of cell regions described above. You can create a map.
  • the cardiomyocyte monitoring device may project a radial vector on the motion tracking map.
  • the myocardial cell monitoring apparatus may radially project the velocity vector based on the cell center information obtained in step S140. More specifically, the myocardial cell monitoring apparatus may divide a cell region into sectors having a specified interval, and then acquire a velocity vector in each sector. Each velocity vector can then be projected onto a radial reference vector. And it is possible to obtain a radial velocity vector corresponding to each sector.
  • the myocardial cell monitoring device may acquire the contractile pattern of the cells based on the radial vector.
  • the myocardial cell monitoring apparatus may acquire the contractile pattern of the myocardial cell by using the sum of the projected vectors.
  • the cardiomyocyte monitoring apparatus according to some embodiments of the present invention can quantify the movement of myocardial cells based on the acquired contractile pattern of the myocardial cells, and through this, it is possible to extract the characteristics of the movement of myocardial cells in various situations. can
  • FIG. 4 is a diagram for explaining a method of acquiring cell mask data according to an embodiment of the present invention.
  • the cell image (a) is an image obtained by photographing cells, and may be in various formats, and in one embodiment, the cardiomyocyte monitoring device may acquire a microscopic image of the cells.
  • the cell image (a) may be a frame image obtained from a video recording the beating of myocardial cells. Since the myocardial cell monitoring apparatus according to some embodiments of the present invention can measure and quantify the movement of cells over time, it is also possible to acquire a plurality of continuous cell images over time.
  • a neural network for extracting cell mask data (c) using a cell image (a) may include a CNN-based semantic segmentation algorithm. A more detailed description will be given below with reference to FIG. 5 .
  • the myocardial cell monitoring apparatus may acquire cell information (d) using cell mask data (c) and/or information related to a cell region.
  • the cell information may include the morphological information of the cell
  • the cell information according to some embodiments of the present invention may include at least one of the diameter of the cell, the area of the cell, and the center of gravity of the cell. A more detailed description will be given later with reference to FIG. 6 .
  • the neural network according to the present embodiment may use a Convolutional Neural Network (CNN)-based Semantic Segmentation algorithm. Therefore, the above-described neural network may include at least one convolution layer performing down-sampling and at least one deconvolution layer performing up-sampling.
  • CNN Convolutional Neural Network
  • the neural network (c) for extracting cell mask data is a neural network in which supervised training is performed using a plurality of cell images (a) and a plurality of cell mask data (b) can be
  • FIG. 6 is a diagram for explaining a method of acquiring cell information using cell mask data according to an embodiment of the present invention.
  • Cell mask data (a) obtained by using a neural network according to an embodiment of the present invention may include various noises. Accordingly, the myocardial cell monitoring apparatus according to some embodiments of the present invention may perform noise removal included in the cell mask data in order to clearly detect the cells. For example, a cardiomyocyte monitoring device may perform border smoothing and/or small island removal. Thereafter, the myocardial cell monitoring apparatus may acquire cell information (c) using the cell mask data (b) on which noise has been removed. Cell information according to some embodiments of the present invention may be morphological information of a cell. In an embodiment, the myocardial cell monitoring apparatus may acquire cell information using cell mask data. In an embodiment, the cell diameter and cell area may be estimated using the above-described cell mask data.
  • the cell center information may correspond to the cell center of gravity obtained based on the above-described cell region or cell mask data.
  • the cell center information included in the cell information according to some embodiments of the present invention may be a center point of a cell region, or may be designated through an external server or a user input.
  • FIG. 7 is a view for explaining a method of measuring cell movement according to an embodiment of the present invention.
  • the myocardial cell monitoring apparatus may quantify and measure the movement of cells using the cell center information and the movement tracking map (b) included in the cell information (a).
  • the myocardial cell monitoring apparatus may generate a motion tracking map in which a movement occurring in a cell region is tracked.
  • the myocardial cell monitoring apparatus may generate a motion tracking map through flow visualization using a particle image velocimeter (PIV).
  • PIV particle image velocimeter
  • the myocardial cell monitoring apparatus tracks movement related to the movement of cells over time based on the data related to the plurality of cell regions described above. You can create a map.
  • the myocardial cell monitoring apparatus acquires correlations between a plurality of cell images by using cell information and cell regions corresponding to each of the plurality of cell images, and moves the cells based on the correlation between the plurality of cell images. You can create a tracking map. Also, in another embodiment, the myocardial cell monitoring apparatus may further designate a target region corresponding to the myocardial cell ROI region among the cell regions, and may generate a motion tracking map of the myocardial cell for the target region.
  • the myocardial cell monitoring apparatus may acquire a contractile pattern (d) of the myocardial cell based on the cell region (c) obtained using the cell image and the cell mask data. A more detailed description thereof will be described later with reference to FIG. 9 .
  • FIG. 8 is a diagram for explaining a method of detecting a cell region according to an embodiment of the present invention.
  • the cell region according to some embodiments of the present invention may include a region of interest (ROI) of cardiomyocytes included in the cell image.
  • the myocardial cell monitoring apparatus may acquire a cell image (c) in which a cell region (d) is indicated by overlapping the cell image (a) and the cell mask data (b) acquired through the neural network.
  • the myocardial cell monitoring device when a plurality of cardiomyocytes (or cell clusters) are detected in one cell image, the myocardial cell monitoring device simultaneously detects the plurality of cardiomyocytes described above, and displays the plurality of cardiomyocyte regions in the cell image. can be displayed in In this case, each cell region may be displayed using a different graphic in the cell image to distinguish each cell.
  • FIG. 9 is a diagram for explaining a method of tracking cell movement and acquiring a contractile pattern of a cardiomyocyte according to an embodiment of the present invention.
  • the myocardial cell monitoring apparatus may radially project a velocity vector based on cell center information. More specifically, the myocardial cell monitoring apparatus may divide the cell region (a) into sectors (b) having a specified interval, and then acquire a velocity vector in each sector. Each velocity vector can then be projected onto a radial reference vector. And it is possible to obtain a radial velocity vector corresponding to each sector. For example, when the myocardial cell monitoring apparatus divides a cell region into eight sectors based on cell center information, eight radial vectors corresponding to each sector may be obtained.
  • the myocardial cell monitoring device may acquire the contractile pattern (c) of the cell based on the radial vector.
  • the myocardial cell monitoring apparatus may acquire the contractile pattern of the myocardial cell by using the sum of the projected vectors.
  • the cardiomyocyte monitoring apparatus according to some embodiments of the present invention can quantify the movement of myocardial cells based on the acquired contractile pattern of the myocardial cells, and through this, it is possible to extract the characteristics of the movement of myocardial cells in various situations. can
  • the method of analyzing cardiomyocytes may be a method of analyzing contractility parameters of cardiomyocytes.
  • the cardiomyocyte analysis apparatus inputs the acquired cardiomyocyte image 1010 into the deep learning-based neural network 1030, and the contractility parameter is measured only within the cardiomyocyte region based on the acquired cardiomyocyte mask 1020. analysis can be performed.
  • a motion tracking map is generated based on the entire area of each image frame of a cardiomyocyte video image taken under a microscope for a tissue containing cardiomyocytes for a specific time, and based on the myocardial cell mask 1020 , the motion tracking map is generated. Analysis of contractile parameters can only be performed on the kinetic tracking map inside the cell region.
  • the deep learning-based neural network may be a neural network trained by using an image 1031 including cardiomyocytes as training data and using a mask image 1032 of each cardiomyocyte as a labeling.
  • the method of analyzing the contractility parameter of myocardial cells may be performed by a myocardial cell analysis apparatus, and the myocardial cell analysis apparatus may have the same configuration as the myocardial cell monitoring apparatus 100 of FIG. 2 described above.
  • FIG. 11 is a flowchart of a method for analyzing cardiomyocytes according to an embodiment of the present invention.
  • the cardiomyocyte analysis apparatus may input the cardiomyocyte image to the neural network.
  • the cardiomyocyte image may be in various formats as an image obtained by photographing cells, and in one embodiment, the cardiomyocyte analysis apparatus may acquire a microscopic image of the cardiomyocyte.
  • the microscopic image of cardiomyocytes may be all or part of an image of any one frame of a cardiomyocyte video image obtained by photographing a tissue containing cardiomyocytes under a microscope for a specific period of time. Since the cardiomyocyte analysis apparatus can quantify and measure contractility parameters based on the movement of myocardial cells over time, it is also possible to acquire a plurality of continuous cardiomyocyte images over time.
  • the myocardial cell analysis apparatus may acquire cardiomyocyte mask data corresponding to the cardiomyocyte image by using a neural network based on deep learning.
  • the cardiomyocyte mask data may be an image obtained by extracting cells included in the cell image.
  • the cardiomyocyte mask data may be a binary image in which regions of cells included in the cardiomyocyte image and other regions are distinguished and displayed.
  • the cardiomyocyte analysis apparatus may receive a cardiomyocyte video image including the cardiomyocyte image, and generate a motion tracking map based on the entire area of each image frame of the cardiomyocyte video image. Step S212 may be performed before or after steps S210 and S220.
  • the cardiomyocyte video image may be a cardiomyocyte video image obtained by photographing a tissue containing cardiomyocytes under a microscope for a specific time, for example, a video taken by a bright field microscopy for a specific time. It could be a video.
  • the cardiomyocyte analysis apparatus generates a motion tracking map based on the entire area of each frame image according to time of the cardiomyocyte video image in step S212, and in step S210, each frame image of the cardiomyocyte video image is analyzed by the myocardium.
  • cardiomyocyte mask data for each frame image may be obtained in step S220.
  • the segmentation results of the myocardial cell region using myocardial cell mask data (Auto Seg.) obtained from a deep learning-based neural network by the method for analyzing myocardial cells according to an embodiment of the present invention are different. Comparing it with the segmentation results by hand by experts (Manual A ⁇ Manual E, MA ⁇ ME), it can be confirmed that it is more consistent with the cardiomyocyte region. Therefore, accurate cell regions can be extracted even for low-quality cardiomyocyte images.
  • the cardiomyocyte analysis apparatus generates a motion tracking map based on the same first region of each frame image according to time of the cardiomyocyte video image in step S212, and in step S210, each frame image of the cardiomyocyte video image
  • the cardiomyocyte mask data for the first region of each frame image may be acquired in step S220 by inputting the first region of ?
  • the first region may be an image including at least one myocardial cell and a surrounding background, and may be a specific region at the same position in each frame image according to time of the cardiomyocyte video image.
  • the cardiomyocyte analysis apparatus may detect a myocardial cell region using cardiomyocyte mask data.
  • the cardiomyocyte region may be an ROI region of the cardiomyocyte. More specifically, the cardiomyocyte analysis apparatus may designate a cardiomyocyte region by overlapping the cardiomyocyte mask data, which is a binary image, and the cardiomyocyte image.
  • the cardiomyocyte analysis apparatus acquires a plurality of cardiomyocyte regions by superimposing a plurality of cardiomyocyte images and cardiomyocyte mask data corresponding to each of the plurality of cardiomyocyte images. can do.
  • the cardiomyocyte analysis apparatus may generate a motion tracking map of the cardiomyocytes by combining the boundary of the detected cardiomyocytes with the block matching technique.
  • the myocardial cell movement tracking map is generated by further using information on the shape of the cardiomyocyte including at least one of the diameter of the cardiomyocyte, the area of the cardiomyocyte, and information on the center of the cardiomyocyte. can do.
  • the cardiomyocyte analysis device may analyze contractility parameters only within the cardiomyocyte region based on the motion tracking map generated based on the cardiomyocyte mask data and the entire region of each image frame of the cardiomyocyte video image. have.
  • the myocardial cell analysis apparatus generates a motion tracking map generated based on the same first area of each frame image according to time of the cardiomyocyte video image and cardiomyocyte mask data for the first area of each frame image. Based on this, contractility parameters can be analyzed only within the cardiomyocyte region.
  • the analyzing of the contractility parameter is a step of analyzing the contractile vector only inside the cardiomyocytes at different times, generating a velocity vector map, or changing the absolute velocity signal of the cardiomyocytes, referring to FIG. 14 . may include the step of analyzing over time.
  • a beating velocity (BV), a beating displacement, only the inside of the cardiomyocyte region as a contractility index of the cardiomyocyte administered with a specific drug. : BD), heart rate (beating rate: BR), contraction-relaxation duration (CRD), and contraction-relaxation area (CRA) may include measuring at least one parameter. .
  • the cardiomyocyte analysis apparatus detects a cardiomyocyte region in a cardiomyocyte image using cardiomyocyte mask data as shown in FIG. 16 , and tracks motion generated based on the entire region of each image frame of the cardiomyocyte video image.
  • a motion tracking map of cardiomyocytes inside the cardiomyocyte region and contractility parameters analyzed only within the cardiomyocyte region may be displayed by layering.
  • contractility parameters may be layered and displayed based on the same first region of each frame image according to time of the cardiomyocyte video image.
  • the device described above includes a hardware component; It may be implemented as a software component, and/or a combination of hardware and software components.
  • devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to execution of the software.
  • the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
  • the software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.
  • the software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave.
  • the software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks.
  • - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

Provided are a method and apparatus for monitoring cardiomyocytes using an artificial neural network. According to one embodiment of the present invention, the method for monitoring cardiomyocytes comprises the steps of: inputting a cell image into a neural network; obtaining cell mask data corresponding to the cell image by using the neural network; detecting a cell region by using the cell mask data; obtaining cell information that includes at least one from among cell diameter, cell area, and cell center information on the basis of the detected cell region; generating a motion tracking map of a cell by using the cell information and the detected cell region; projecting a radial vector onto the generated motion tracking map; and obtaining a contraction pattern of the cell on the basis of the projected radial vector.

Description

인공신경망을 이용한 심근 세포 모니터링 방법 및 그 장치Myocardial cell monitoring method using artificial neural network and device therefor
본 발명은 심근 세포 모니터링 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 인공신경망 및 블록 정합 알고리즘을 이용하여 심근 세포의 수축성 패턴을 모니터링 하고, 심근 세포 내의 영역만 대상으로 수축성 분석을 수행하는 방법 및 그 장치에 관한 것이다.The present invention relates to a method and apparatus for monitoring cardiomyocytes. More particularly, it relates to a method and apparatus for monitoring contractility patterns of cardiomyocytes using an artificial neural network and block matching algorithm, and performing contractility analysis on only a region within the cardiomyocytes.
생체 외에서 배양된 다수 심근 세포의 운동을 비침습적으로 정량화하는 방법으로 종래에는 현미경 비디오 영상으로 세포의 박동을 촬영한 후 그 비디오 영상을 분석하는 방법이 존재한다. 이 경우, 심근 세포에만 해당하는 움직임 신호를 선택적으로 배경 노이즈에서 제거하는 것이 중요한데, 종래의 기술들은 세포의 경계를 전문가의 수작업이나 간단한 영상처리 기법으로 추출하는 방법을 주로 사용한다. 하지만 전문가에 의해 심근 세포의 운동 데이터를 측정하는 경우 시간과 비용의 낭비가 심하며, 특히 상술한 심근 세포의 운동 데이터를 활용하는 다양한 분석 데이터의 오류율이 높아질 수 있다. 또한, 영상처리 기법을 이용하여 복잡하고 불 균일한 세포 영상에서 세포 경계를 정확하게 추출하는 것은 매우 어렵다는 문제점이 존재한다. 따라서 전문가의 개입 없이 심근 세포의 운동을 자동적으로 정확하게 측정할 수 있는 기술의 제공이 요구된다.As a method for non-invasively quantifying the movement of a large number of cardiomyocytes cultured in vitro, there is a conventional method of photographing the beating of cells with a microscope video image and then analyzing the video image. In this case, it is important to selectively remove the motion signal corresponding only to myocardial cells from the background noise. Conventional techniques mainly use a method of extracting the cell boundary by a manual expert or a simple image processing technique. However, when an expert measures the movement data of the cardiomyocytes, time and money are wasted, and in particular, the error rate of various analysis data using the movement data of the cardiomyocytes described above may increase. In addition, there is a problem in that it is very difficult to accurately extract cell boundaries from complex and non-uniform cell images using image processing techniques. Therefore, it is required to provide a technology that can automatically and accurately measure the movement of myocardial cells without the intervention of an expert.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.The above-mentioned background art is technical information possessed by the inventor for derivation of the present invention or acquired in the process of derivation of the present invention, and cannot necessarily be said to be a known technique disclosed to the general public prior to the filing of the present invention.
블록 정합 알고리즘을 이용하여 촬영된 세포의 박동을 촬영한 비디오 영상에 기록된 움직임 중 심근 세포에만 해당하는 움직임 신호를 선택적으로 배경 노이즈에서 제거하는 기술이 중요하다.It is important to use a block matching algorithm to selectively remove, from background noise, a motion signal corresponding to only cardiomyocytes among motions recorded in a video image of the captured cell beats.
본 발명의 실시예들은 전문가의 수작업 없이 세포 이미지를 신경망에 입력하여 심근 세포의 경계를 추출하고 세포 영역에만 해당하는 박동을 블록 정합 기법을 이용하여 정확하게 모니터링하고, 심근 세포 내의 영역만 대상으로 수축성 분석을 수행하는 방법 및 그 장치를 제공한다.Embodiments of the present invention input a cell image into a neural network without an expert's manual input, extract the boundary of cardiomyocytes, accurately monitor the beat corresponding to only the cell region using a block matching technique, and analyze contractility only in the region within the cardiomyocyte A method and an apparatus for doing so are provided.
본 발명의 일 실시예에 따른 심근 세포 모니터링 방법은 세포 이미지를 신경망에 입력하는 단계, 상기 신경망을 이용하여 상기 세포 이미지와 대응되는 세포 마스크 데이터 획득하는 단계, 상기 세포 마스크 데이터를 이용하여 세포 영역을 검출하는 단계, 상기 검출된 세포 영역을 기초로 세포의 직경, 세포 면적 및 세포 중심 정보 중 적어도 하나를 포함하는 세포 정보를 획득하는 단계, 상기 세포 정보 및 상기 검출된 세포 영역을 이용하여 세포의 운동 추적 지도를 생성하는 단계, 상기 생성된 운동 추적 지도에 방사상 벡터를 투영하는 단계 및 상기 투영된 방사상 벡터를 기초로 세포의 수축성 패턴을 획득하는 단계를 포함할 수 있다.The cardiomyocyte monitoring method according to an embodiment of the present invention includes inputting a cell image to a neural network, acquiring cell mask data corresponding to the cell image using the neural network, and determining a cell region using the cell mask data. detecting, acquiring cell information including at least one of a diameter of a cell, a cell area, and cell center information based on the detected cell area, and movement of a cell using the cell information and the detected cell area It may include generating a tracking map, projecting a radial vector onto the generated motion tracking map, and acquiring a contractility pattern of a cell based on the projected radial vector.
일 실시예에서 상기 신경망은, 적어도 하나의 컨벌루션(Convolution) 레이어를 포함하는 CNN(Convolutional Neural Network) 형태이고, 기 훈련된 신경망일 수 있다. In an embodiment, the neural network is in the form of a Convolutional Neural Network (CNN) including at least one convolution layer, and may be a pre-trained neural network.
일 실시예에서 상기 세포 영역을 검출하는 단계는, 상기 세포 마스크 데이터에 포함된 노이즈 영역을 제거하는 단계를 포함하고, 상기 세포 영역은, 세포를 포함하는 ROI(Region Of Interest) 영역일 수 있다. In an embodiment, detecting the cell region may include removing a noise region included in the cell mask data, and the cell region may be a region of interest (ROI) region including cells.
일 실시예에서 상기 세포 중심 정보는, 상기 세포의 무게 중심을 기초로 정해질 수 있다. In an embodiment, the cell center information may be determined based on the center of gravity of the cell.
일 실시예에서 상기 세포의 운동 추적 지도를 생성하는 단계는, 복수의 세포 이미지 각각에 대응되는 세포 정보 및 세포 영역을 이용하여, 복수의 세포 이미지간 상관관계를 획득하고, 복수의 세포 이미지간 상관관계를 기반으로 상기 세포의 운동 추적 지도를 생성하는 단계를 포함할 수 있다. In one embodiment, the generating of the movement tracking map of the cell includes obtaining a correlation between a plurality of cell images by using cell information and a cell region corresponding to each of the plurality of cell images, and the correlation between the plurality of cell images. It may include generating a movement tracking map of the cell based on the relationship.
일 실시예에서 상기 세포의 운동 추적 지도를 생성하는 단계는, 상기 세포 영역에 포함된 타겟 영역을 지정하는 단계 및 상기 타겟 영역에 대한 운동 추적 지도만 생성하는 단계를 포함할 수 있다. In an embodiment, generating the motion tracking map of the cell may include designating a target area included in the cell area and generating only a motion tracking map for the target area.
일 실시예에서 상기 운동 추적 지도에 방사상 벡터를 투영하는 단계는, 상기 세포의 중심 정보를 기초로 기준점을 지정하고, 상기 운동 추적 지도에 대하여 세포의 모션 벡터를 방사상 축으로 투영하는 단계를 포함할 수 있다.In one embodiment, projecting the radial vector onto the motion tracking map may include designating a reference point based on the center information of the cell, and projecting the motion vector of the cell onto the radial axis with respect to the motion tracking map. can
본 발명의 다른 실시예에 따른 심근 세포 모니터링 장치는 프로세서를 포함하고, 상기 프로세서는, 세포 이미지를 신경망에 입력하고, 상기 신경망을 이용하여 상기 세포 이미지와 대응되는 세포 마스크 데이터 획득하고, 상기 세포 마스크 데이터를 이용하여 세포 영역을 검출하고, 상기 검출된 세포 영역을 기초로 세포의 직경, 세포 면적 및 세포 중심 정보 중 적어도 하나를 포함하는 세포 정보를 획득하고, 상기 세포 정보 및 상기 검출된 세포 영역을 이용하여 세포의 운동 추적 지도를 생성하고, 상기 생성된 운동 추적 지도에 방사상 벡터를 투영하고, 상기 투영된 방사상 벡터를 기초로 세포의 수축성 패턴을 획득할 수 있다.Myocardial cell monitoring apparatus according to another embodiment of the present invention includes a processor, wherein the processor inputs a cell image to a neural network, obtains cell mask data corresponding to the cell image using the neural network, and the cell mask A cell region is detected using the data, and cell information including at least one of a cell diameter, a cell area, and a cell center information is obtained based on the detected cell region, and the cell information and the detected cell region are obtained. It is possible to generate a motion tracking map of the cell using the method, project a radial vector onto the generated motion tracking map, and obtain a contractile pattern of the cell based on the projected radial vector.
일 실시예에서 상기 신경망은, 적어도 하나의 컨벌루션(Convolution) 레이어를 포함하는 CNN(Convolutional Neural Network) 형태이고, 기 훈련된 신경망일 수 있다.In an embodiment, the neural network is in the form of a Convolutional Neural Network (CNN) including at least one convolution layer, and may be a pre-trained neural network.
일 실시예에서 상기 프로세서는, 상기 세포 마스크 데이터에 포함된 노이즈 영역을 제거하고, 상기 세포 영역은, 세포를 포함하는 ROI(Region Of Interest) 영역일 수 있다. In an embodiment, the processor may remove a noise region included in the cell mask data, and the cell region may be a region of interest (ROI) region including cells.
일 실시예에서 상기 세포 중심 정보는, 상기 세포의 무게 중심을 기초로 정해질 수 있다. In an embodiment, the cell center information may be determined based on the center of gravity of the cell.
일 실시예에서 상기 프로세서는, 복수의 세포 이미지 각각에 대응되는 세포 정보 및 세포 영역을 이용하여, 복수의 세포 이미지간 상관관계를 획득하고, 복수의 세포 이미지간 상관관계를 기반으로 상기 세포의 운동 추적 지도를 생성할 수 있다.In an embodiment, the processor obtains correlations between a plurality of cell images by using cell information and cell regions corresponding to each of the plurality of cell images, and moves the cells based on the correlation between the plurality of cell images. You can create a tracking map.
일 실시예에서 상기 프로세서는, 상기 세포 영역에 포함된 타겟 영역을 지정하고, 상기 타겟 영역에 대한 운동 추적 지도만 생성할 수 있다. In an embodiment, the processor may designate a target region included in the cell region and generate only a motion tracking map for the target region.
일 실시예에서 상기 프로세서는, 상기 세포의 중심 정보를 기초로 기준점을 지정하고, 상기 운동 추적 지도에 대하여 세포의 모션 벡터를 방사상 축으로 투영할 수 있다.In an embodiment, the processor may designate a reference point based on the center information of the cell, and project the motion vector of the cell to the radial axis with respect to the motion tracking map.
본 발명의 다른 실시예에 따른 심근 세포 분석 방법은 각 단계가 컴퓨팅 장치에 의해 수행되는 방법으로서, 심근 세포 이미지를 신경망에 입력하는 단계, 상기 신경망을 이용하여 상기 심근 세포 이미지와 대응되는 심근 세포 마스크 데이터를 획득하는 단계, 상기 심근 세포 이미지가 포함된 심근 세포 비디오 영상을 입력 받고 상기 심근 세포 비디오 영상의 각 영상 프레임의 전체 영역에 기반하여 운동 추적 지도를 생성하는 단계 및 상기 심근 세포 마스크 데이터 및 상기 운동 추적 지도를 기반으로 상기 심근 세포 영역 내부만 대상으로 수축성 파라미터를 분석하는 단계를 포함할 수 있다.A method for analyzing myocardial cells according to another embodiment of the present invention is a method in which each step is performed by a computing device, inputting a cardiomyocyte image to a neural network, and using the neural network to mask the cardiomyocyte image corresponding to the cardiomyocyte image acquiring data, receiving a cardiomyocyte video image including the cardiomyocyte image and generating a motion tracking map based on the entire area of each image frame of the cardiomyocyte video image, and the cardiomyocyte mask data and the The method may include analyzing contractility parameters only within the cardiomyocyte region based on the motion tracking map.
일 실시 예에서, 상기 심근 세포 분석 방법은 상기 심근 세포 마스크 데이터를 이용하여 상기 심근 세포 이미지에서 심근 세포 영역을 검출하는 단계 및 상기 심근 세포 비디오 영상의 각 영상 프레임의 전체 영역에 기반하여 생성된 상기 운동 추적 지도 중 상기 심근 세포 영역 내부의 심근 세포의 운동 추적 지도와 상기 심근 세포 영역 내부만 대상으로 분석된 수축성 파라미터를 레이어링(layering)하여 표시하는 단계를 포함할 수 있다.In an embodiment, the method for analyzing cardiomyocytes includes detecting a cardiomyocyte region in the cardiomyocyte image using the cardiomyocyte mask data, and the cardiomyocyte video image generated based on the entire region of each image frame. The method may include layering and displaying a motion tracking map of cardiomyocytes inside the myocardial cell region among the motion tracking map and contractility parameters analyzed only within the cardiomyocyte region.
일 실시 예에서, 상기 수축성 파라미터를 분석하는 단계는 상기 검출된 심근 세포 영역의 경계와 블록 정합 기법을 결합하여 상기 심근 세포 영역 내부만 대상으로 심근 세포의 운동 추적 지도를 생성하는 단계를 포함할 수 있다.In an embodiment, analyzing the contractility parameter may include generating a motion tracking map of cardiomyocytes only within the cardiomyocyte region by combining the boundary of the detected cardiomyocyte region with a block matching technique. have.
일 실시예에서, 상기 심근 세포 비디오 영상의 각 영상 프레임의 전체 영역에 기반하여 운동 추적 지도를 생성하는 단계는 상기 심근 세포 비디오 영상의 각 영상 프레임에서 복수의 심근 세포 이미지간 상관관계를 획득하고, 복수의 심근 세포 이미지간 상관관계를 기반으로 각 영상 프레임의 전체 영역에 기반하여 운동 추적 지도를 생성하는 단계를 포함할 수 있다.In an embodiment, the generating a motion tracking map based on the entire area of each image frame of the cardiomyocyte video image includes: acquiring correlations between a plurality of cardiomyocyte images in each image frame of the cardiomyocyte video image; The method may include generating a motion tracking map based on the entire area of each image frame based on the correlation between the plurality of cardiomyocyte images.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.
본 발명의 실시예들에 의하여 심근 세포의 박동을 자동적으로 정확하게 모니터링할 수 있다.According to embodiments of the present invention, it is possible to automatically and accurately monitor the beating of myocardial cells.
본 발명의 실시예들에 의하여 심근 세포의 수축성 파라미터를 배경과 구분하여 자동적으로 정확하게 모니터링할 수 있다.According to the embodiments of the present invention, it is possible to automatically and accurately monitor the contractility parameters of myocardial cells by distinguishing them from the background.
도 1은 본 발명의 일 실시예에 따른 심근 세포 모니터링 방법의 예를 도시한 도면이다.1 is a diagram illustrating an example of a method for monitoring cardiomyocytes according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 심근 세포 모니터링 장치의 하드웨어 구성 및 동작을 설명하기 위한 블록도이다.2 is a block diagram for explaining the hardware configuration and operation of the myocardial cell monitoring apparatus according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따른 심근 세포 모니터링 방법의 순서도이다.3 is a flowchart of a method for monitoring cardiomyocytes according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따라 세포 마스크 데이터를 획득하는 방법을 설명하기 위한 도면이다.4 is a diagram for explaining a method of acquiring cell mask data according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른 신경망의 학습 방법을 설명하기 위한 도면이다.5 is a diagram for explaining a learning method of a neural network according to an embodiment of the present invention.
도 6은 본 발명의 일 실시예에 따라 세포 마스크 데이터를 이용하여 세포 정보를 획득하는 방법을 설명하기 위한 도면이다.6 is a diagram for explaining a method of acquiring cell information using cell mask data according to an embodiment of the present invention.
도 7은 본 발명의 일 실시예에 따라 세포의 운동을 측정하는 방법을 설명하기 위한 도면이다.7 is a view for explaining a method of measuring cell movement according to an embodiment of the present invention.
도 8은 본 발명의 일 실시예에 따라 세포 영역을 검출하는 방법을 설명하기 위한 도면이다.8 is a diagram for explaining a method of detecting a cell region according to an embodiment of the present invention.
도 9는 본 발명의 일 실시예에 따라 세포의 운동을 추적하고 심근 세포의 수축성 패턴을 획득하는 방법을 설명하기 위한 도면이다.9 is a diagram for explaining a method of tracking cell movement and acquiring a contractile pattern of a cardiomyocyte according to an embodiment of the present invention.
도 10은 본 발명의 일 실시예에 따른 심근 세포의 수축성 파라미터를 분석하는 방법의 예를 도시한 도면이다.10 is a diagram illustrating an example of a method for analyzing contractility parameters of cardiomyocytes according to an embodiment of the present invention.
도 11은 본 발명의 일 실시예에 따른 심근 세포의 수축성 파라미터를 분석하는 방법의 순서도이다.11 is a flowchart of a method for analyzing contractility parameters of cardiomyocytes according to an embodiment of the present invention.
도 12 내지 도 13은 본 발명의 일 실시예에 따른 심근 세포 영역 추출의 실험 결과를 도시한다.12 to 13 show experimental results of extracting myocardial cell region according to an embodiment of the present invention.
도 14 내지 도 16은 본 발명의 일 실시예에 따른 심근 세포의 수축성 파라미터를 분석하는 방법에 따라 분석된 결과를 도시한다.14 to 16 show analysis results according to a method for analyzing contractility parameters of cardiomyocytes according to an embodiment of the present invention.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0023] Reference is made to the accompanying drawings, which show by way of illustration specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein may be implemented with changes from one embodiment to another without departing from the spirit and scope of the present invention. In addition, it should be understood that the location or arrangement of individual components within each embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the following detailed description is not to be taken in a limiting sense, and the scope of the present invention should be taken as encompassing the scope of the claims and all equivalents thereto. In the drawings, like reference numerals refer to the same or similar elements throughout the various aspects.
본 발명에서 개시하는 인공 지능(artificial intelligence, AI)은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미할 수 있고, 기계 학습(machine learning)은 인공지능 기술의 한 분야로서 컴퓨팅 장치가 데이터를 통해 학습하여 특정 대상 혹은 조건을 이해할 수 있게 하거나 데이터의 패턴을 찾아내 분류하는 기술적 방식으로써 컴퓨터가 데이터를 분석할 수 있게 하는 알고리즘일 수 있다. 본 발명에서 개시하는 기계 학습은 인공지능 모델을 학습하기 위한 동작 방법을 포함하는 의미로서 이해될 수 있다.Artificial intelligence (AI) disclosed in the present invention may refer to a field for researching artificial intelligence or a methodology that can make it, and machine learning is a field of artificial intelligence technology, in which a computing device is It may be an algorithm that enables a computer to analyze data as a technical method to learn from data to understand a specific object or condition, or to find and classify patterns in data. Machine learning disclosed in the present invention may be understood as meaning including an operation method for learning an artificial intelligence model.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to enable those of ordinary skill in the art to easily practice the present invention.
도 1은 본 발명의 일 실시예에 따른 심근 세포 모니터링 방법의 예를 도시한 도면이다.1 is a diagram illustrating an example of a method for monitoring cardiomyocytes according to an embodiment of the present invention.
심근 세포의 운동을 정량적으로 측정하기 위하여는 심근 세포의 모션 벡터를 측정해야 한다. 다만 심근 세포의 모션 벡터를 방사상 방향으로 투영하기 위하여는 기준점이 필요하고, 본 발명의 몇몇 실시예에 따른 심근 세포 모니터링 장치는 신경망을 이용하여 심근 세포를 검출하고, 검출된 심근 세포를 이용하여 소정의 조건에 따라 심근 세포의 움직임 측정에 기준점이 되는 세포 중심 정보를 획득할 수 있다.In order to quantitatively measure the motion of the cardiomyocyte, the motion vector of the cardiomyocyte should be measured. However, a reference point is required to project the motion vector of the myocardial cell in the radial direction, and the myocardial cell monitoring apparatus according to some embodiments of the present invention detects the myocardial cell using a neural network and uses the detected myocardial cell to determine a predetermined value. According to the condition of the cell center, it is possible to obtain cell center information, which is a reference point for measuring the movement of myocardial cells.
즉, 종래 기술의 경우 심근 세포의 경계 및 세포 중심을 사용자가 직접 수동으로 설정해야 하는 한계가 있다. 하지만 본 발명의 몇몇 실시예에 따른 심근 세포 모니터링 방법을 이용하면 사용자의 수작업 없이 심근 세포와 관련된 다양한 정보를 획득할 수 있다. 이는 인적 오류를 줄이고 전문가 없이도 심근 세포에 대한 다양한 정보를 정확하게 측정할 수 있게 한다. 또한, 본 발명의 몇몇 실시예에 따른 신경망은 픽셀 레벨의 분류를 진행할 수 있으므로, 세포 성장 단계의 다양한 형태에서도 정확한 세포 영역 추출을 할 수 있다. 즉, 본 발명의 몇몇 실시예에 따르면, 수동 분할방식에 의존하는 기존 방식에서 소모되는 연구자의 작업시간을 현저히 줄이고 분석 시간을 줄이며 측정 정확도를 높일 수 있다.That is, in the case of the prior art, there is a limitation in that the user must manually set the boundary and the cell center of the cardiomyocyte. However, by using the cardiomyocyte monitoring method according to some embodiments of the present invention, various information related to myocardial cells may be acquired without a user's manual operation. This reduces human error and enables accurate measurement of various information about cardiomyocytes without an expert. In addition, since the neural network according to some embodiments of the present invention can perform pixel-level classification, it is possible to accurately extract cell regions even in various types of cell growth stages. That is, according to some embodiments of the present invention, it is possible to significantly reduce the working time of the researcher consumed in the existing method that relies on the manual segmentation method, reduce the analysis time, and increase the measurement accuracy.
일 실시예에 다른 심근 세포 모니터링 장치는 획득한 세포 이미지(a)를 신경망(b)에 입력할 수 있고, 검출된 세포 영역(c)을 기준으로 세포의 방사형 운동을 정량화 하여 측정할 수 있으며, 정량화된 세포의 방사형 운동 데이터를 이용하여 심근 세포의 수축성 패턴(d)을 도출할 수 있다. 보다 구체적으로 심근 세포 모니터링 장치는 먼저 획득한 세포 이미지(a)를 CNN(Convolutional Neural Network) 기반의 신경망(b)에 입력하여 세포 마스크 데이터를 획득할 수 있다. 세포 마스크 데이터는 심근 세포의 ROI(Region Of Interest) 영역을 포함할 수 있다. 이후, 심근 세포 모니터링 장치는 세포 이미지와 세포 마스크 데이터를 이용하여 세포 영역(c)을 검출할 수 있다. 세포 영역은 세포 이미지 중 세포 영역을 중심으로 추출된 이미지일 수 있다. 일 실시예에서 심근 세포 모니터링 장치는 검출된 세포 영역을 기초로 세포 정보를 획득할 수 있고, 세포 마스크 데이터를 이용하여 세포 정보를 획득할 수도 있다. 상술한 세포 정보는 세포의 형태학적 정보를 포함한다. 예를 들어 세포 정보는 세포의 직경, 세포의 면적 및 세포 중심 정보 중 적어도 하나를 포함할 수 있다. 이후, 심근 세포 모니터링 장치는 획득한 세포 정보 및 세포 영역을 기초로 세포의 운동 추적 지도를 생성할 수 있다. 일 실시예에서 세포의 운동 추적 지도는 시간의 흐름에 따라 심근 세포의 움직임 정보를 포함하는 데이터일 수 있다. 따라서, 본 발명의 몇몇 실시예에 따르면 상기 운동 추적 지도를 이용하여 세포의 방사상 운동의 정량화 데이터를 추출할 수 있다. 일 실시예에서 심근 세포 모니터링 장치는 운동 추적 지도에 방사 방향으로 방사상 벡터를 투영할 수 있고, 투영된 방사상 벡터를 기초로 세포의 움직임을 정량화할 수 있다. 일 예로 심근 세포 모니터링 장치는 심근 세포의 방사상 벡터를 이용하여 해당 심근 세포의 수축성 패턴(d)을 도출할 수 있다. In another myocardial cell monitoring device according to an embodiment, the acquired cell image (a) can be input to the neural network (b), and the radial movement of the cell can be quantified and measured based on the detected cell region (c), The contractile pattern (d) of cardiomyocytes can be derived using the quantified cell radial motion data. More specifically, the myocardial cell monitoring apparatus may acquire cell mask data by inputting the previously acquired cell image (a) into a convolutional neural network (CNN)-based neural network (b). The cell mask data may include a region of interest (ROI) region of the cardiomyocyte. Thereafter, the myocardial cell monitoring apparatus may detect the cell region (c) using the cell image and cell mask data. The cell region may be an image extracted based on the cell region in the cell image. In an embodiment, the myocardial cell monitoring apparatus may obtain cell information based on the detected cell region, and may obtain cell information using cell mask data. The above-described cell information includes cell morphological information. For example, the cell information may include at least one of a cell diameter, a cell area, and cell center information. Thereafter, the myocardial cell monitoring device may generate a movement tracking map of cells based on the obtained cell information and cell region. In an embodiment, the cell movement tracking map may be data including information on the movement of myocardial cells over time. Accordingly, according to some embodiments of the present invention, quantification data of the radial movement of cells may be extracted using the movement tracking map. In an embodiment, the cardiomyocyte monitoring apparatus may project a radial vector in a radial direction on the motion tracking map, and quantify the movement of the cell based on the projected radial vector. For example, the cardiomyocyte monitoring apparatus may derive a contractile pattern (d) of the cardiomyocyte using a radial vector of the myocardial cell.
이하 도 2를 참조하여 심근 세포 모니터링 장치의 구성 및 동작에 대하여 상세히 설명한다.Hereinafter, the configuration and operation of the myocardial cell monitoring device will be described in detail with reference to FIG. 2 .
일 실시예에서 심근 세포 모니터링 장치(100)는 메모리(110), 프로세서(120), 입출력 인터페이스(130) 및 통신 모듈(140)을 포함할 수 있다. 메모리(110)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(110)에는 심근 세포 모니터링 장치(100)를 제어하기 위한 프로그램 코드 및 설정, 카메라 영상, 그리고 물체의 포즈 데이터가 일시적 또는 영구적으로 저장될 수 있다.In an embodiment, the myocardial cell monitoring apparatus 100 may include a memory 110 , a processor 120 , an input/output interface 130 , and a communication module 140 . The memory 110 is a computer-readable recording medium and may include a random access memory (RAM), a read only memory (ROM), and a permanent mass storage device such as a disk drive. In addition, the memory 110 may temporarily or permanently store program codes and settings for controlling the myocardial cell monitoring apparatus 100 , a camera image, and pose data of an object.
프로세서(120)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(110) 또는 통신 모듈(140)에 의해 프로세서(120)로 제공될 수 있다. 예를 들어 프로세서(120)는 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다. 본 발명의 일 실시예에 따른 심근세포 모니터링 장치(100)의 프로세서(120)는 세포 이미지를 신경망에 입력하고, 상기 신경망을 이용하여 상기 세포 이미지와 대응되는 세포 마스크 데이터 획득하고, 상기 세포 마스크 데이터를 이용하여 세포 영역을 검출하고, 상기 검출된 세포 영역을 기초로 세포의 직경, 세포 면적 및 세포 중심 정보 중 적어도 하나를 포함하는 세포 정보를 획득하고, 상기 세포 정보 및 상기 검출된 세포 영역을 이용하여 세포의 운동 추적 지도를 생성하고, 상기 생성된 운동 추적 지도에 방사상 벡터를 투영하고, 상기 투영된 방사상 벡터를 기초로 세포의 수축성 패턴을 획득할 수 있다.The processor 120 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations. The instructions may be provided to the processor 120 by the memory 110 or the communication module 140 . For example, the processor 120 may be configured to execute a received instruction according to a program code stored in a recording device such as the memory 110 . The processor 120 of the cardiomyocyte monitoring apparatus 100 according to an embodiment of the present invention inputs a cell image to a neural network, acquires cell mask data corresponding to the cell image using the neural network, and obtains the cell mask data Detects a cell region using to generate a motion tracking map of the cell, project a radial vector onto the generated motion tracking map, and obtain a contractile pattern of the cell based on the projected radial vector.
통신 모듈(140)은 네트워크를 통해 외부 서버와 통신하기 위한 기능을 제공할 수 있다. 일례로, 심근 세포 모니터링 장치(100)의 프로세서(120)가 메모리(110)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(140)의 제어에 따라 네트워크를 통해 외부 서버로 전달될 수 있다. 역으로, 외부 서버의 프로세서의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 네트워크를 거쳐 통신 모듈을 통해 심근 세포 모니터링 장치(100)로 수신될 수 있다. 예를 들어 통신 모듈(140)을 통해 수신된 외부 서버의 제어 신호나 명령 등은 프로세서(120)나 메모리(110)로 전달될 수 있고, 컨텐츠나 파일 등은 심근 세포 모니터링 장치(100)가 더 포함할 수 있는 저장 매체로 저장될 수 있다.The communication module 140 may provide a function for communicating with an external server through a network. For example, a request generated by the processor 120 of the cardiomyocyte monitoring apparatus 100 according to a program code stored in a recording device such as the memory 110 is transmitted to an external server through a network under the control of the communication module 140 . can be Conversely, a control signal, command, content, file, etc. provided under the control of the processor of the external server may be received by the cardiomyocyte monitoring apparatus 100 through the network through the communication module. For example, a control signal or command of an external server received through the communication module 140 may be transmitted to the processor 120 or the memory 110 , and the content or file may be further transmitted by the cardiomyocyte monitoring apparatus 100 . It may be stored in a storage medium that may include.
또한, 통신 모듈(140)은 외부 서버와 네트워크를 통해 통신할 수 있다. 통신 방식은 제한되지 않지만, 네트워크는 근거리 무선통신망일 수 있다. 예를 들어, 네트워크는 블루투스(Bluetooth), BLE(Bluetooth Low Energy), Wifi 통신망일 수 있다. Also, the communication module 140 may communicate with an external server through a network. Although the communication method is not limited, the network may be a local area wireless network. For example, the network may be a Bluetooth (Bluetooth), BLE (Bluetooth Low Energy), or Wifi communication network.
또한, 입출력 인터페이스(130)는 사용자의 입력을 수신하고, 출력 데이터를 디스플레이 할 수 있다. 일 실시예에 따른 입출력 인터페이스(130)는 사용자로부터 가상 블록의 크기에 대한 정보를 입력 받을 수 있고, 디스플레이에 가상 블록을 오버레이(overlay) 하여 표시할 수 있다.Also, the input/output interface 130 may receive a user input and display output data. The input/output interface 130 according to an embodiment may receive information about the size of a virtual block from a user, and may overlay and display the virtual block on a display.
또한, 다른 실시예들에서 심근 세포 모니터링 장치(100)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 심근 세포 모니터링 장치(100)는 심근 세포 모니터링 장치의 내부 구성요소들에 전력을 공급하는 배터리 및 충전 장치를 포함할 수 있고, 상술한 입출력 장치 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.In addition, in other embodiments, the myocardial cell monitoring apparatus 100 may include more components than those of FIG. 2 . However, there is no need to clearly show most of the prior art components. For example, the myocardial cell monitoring device 100 may include a battery and a charging device for supplying power to internal components of the myocardial cell monitoring device, and is implemented to include at least some of the above-described input/output devices or a transceiver. It may further include other components such as a transceiver, a global positioning system (GPS) module, various sensors, and a database.
도 3은 본 발명의 일 실시예에 따른 심근 세포 모니터링 방법의 순서도이다.3 is a flowchart of a method for monitoring cardiomyocytes according to an embodiment of the present invention.
단계 S110에서 심근 세포 모니터링 장치는 세포 이미지를 신경망에 입력할 수 있다. 세포 이미지는 세포를 촬영한 이미지로 다양한 포맷일 수 있으며, 일 실시예에서 심근 세포 모니터링 장치는 세포의 현미경 이미지를 획득할 수 있다. 또한, 본 발명의 몇몇 실시예에 따른 심근 세포 모니터링 장치는 시간의 흐름에 따른 세포의 운동을 정량화 하여 측정할 수 있으므로 시간의 흐름에 따른 복수의 연속적인 세포 이미지를 획득할 수도 있다. In step S110, the cardiomyocyte monitoring apparatus may input a cell image to the neural network. The cell image may be an image obtained by photographing cells, and may be in various formats, and in one embodiment, the cardiomyocyte monitoring device may acquire a microscopic image of the cells. In addition, since the myocardial cell monitoring apparatus according to some embodiments of the present invention can quantify and measure the movement of cells over time, it is also possible to acquire a plurality of continuous cell images over time.
또한, 본 발명의 몇몇 실시예에 따른 신경망은 CNN 구조의 신경망으로 세포 영역이 표시된 복수의 세포 이미지를 이용하여 기 학습된 신경망일 수 있다. 다만 이는 신경망 구조의 일 예시일 뿐, 본 발명의 몇몇 실시예에 따른 신경망의 구조나 형태가 이에 한정되는 것은 아님에 유의한다.Also, the neural network according to some embodiments of the present invention may be a neural network pre-trained using a plurality of cell images in which cell regions are marked as a neural network of a CNN structure. However, it should be noted that this is only an example of the structure of the neural network, and the structure or shape of the neural network according to some embodiments of the present invention is not limited thereto.
단계 S120에서 심근 세포 모니터링 장치는 신경망을 이용하여 세포 이미지와 대응되는 세포 마스크 데이터를 획득할 수 있다. 일 실시예에서 세포 마스크 데이터는 세포 이미지에 포함된 세포를 추출한 이미지일 수 있다. 또한 일 실시예에서 심근 세포 모니터링 장치는 세포 마스크에 포함된 노이즈(예를 들어, small island)를 제거할 수 있다. 일 실시예에서 단계 S110 에서 복수의 세포 이미지가 획득된 경우, 심근 세포 모니터링 장치는 상기 복수의 세포 이미지 각각에 대응되는 복수의 세포 마스크 데이터를 획득할 수 있다.In step S120, the myocardial cell monitoring apparatus may acquire cell mask data corresponding to the cell image by using a neural network. In an embodiment, the cell mask data may be an image obtained by extracting cells included in the cell image. Also, in an embodiment, the myocardial cell monitoring apparatus may remove noise (eg, small islands) included in the cell mask. In an embodiment, when a plurality of cell images are obtained in step S110, the myocardial cell monitoring apparatus may obtain a plurality of cell mask data corresponding to each of the plurality of cell images.
이후, 단계 S130에서 심근 세포 모니터링 장치는 세포 마스크 데이터를 이용하여 세포 영역을 검출할 수 있다. 일 실시예에서 세포 영역은 심근 세포의 ROI 영역일 수 있다. 보다 구체적으로 심근 세포 모니터링 장치는 세포 마스크 데이터와 세포 이미지를 중첩하여 세포 영역을 지정할 수 있다. 일 실시예에서 단계 S120에서 복수의 세포 마스크 데이터를 획득한 경우, 심근 세포 모니터링 장치는 복수의 세포 이미지와 상기 복수의 세포 이미지 각각에 대응되는 세포 마스크 데이터를 중첩하여 복수의 세포 영역을 획득할 수 있다.Thereafter, in step S130, the myocardial cell monitoring apparatus may detect a cell region using the cell mask data. In one embodiment, the cell region may be an ROI region of a cardiomyocyte. More specifically, the cardiomyocyte monitoring device may designate a cell region by overlapping the cell mask data and the cell image. In an embodiment, when a plurality of cell mask data is obtained in step S120, the myocardial cell monitoring apparatus may acquire a plurality of cell regions by overlapping a plurality of cell images and cell mask data corresponding to each of the plurality of cell images. have.
단계 S140에서 심근 세포 모니터링 장치는 세포 영역을 기초로 세포의 직경, 세포 면적 및 세포 중심 정보 중 적어도 하나를 포함하는 세포 정보를 획득할 수 있다. 본 발명의 몇몇 실시예에 따른 세포 정보는 세포의 형태학적 정보일 수 있다. 일 실시예에서 심근 세포 모니터링 장치는 단계 S130에서 획득한 세포 영역 정보를 기초로 세포 정보를 획득할 수도 있고, 다른 실시예에서 심근 세포 모니터링 장치는 단계 S120에서 획득한 세포 마스크 데이터를 이용하여 세포 정보를 획득할 수도 있다. 일 실시예에서 세포의 직경, 세포 면적은 상술한 세포 영역 또는 세포 마스크 데이터를 이용하여 추정할 수 있다. 일 실시예에서 세포의 중심 정보는 상술한 세포 영역 또는 세포 마스크 데이터를 기초로 연산한 세포의 무게 중심과 대응될 수 있다. 다만, 본 발명의 몇몇 실시에에 따른 세포 정보에 포함된 세포 중심 정보는 세포 영역의 중심점일 수도 있으며, 외부 서버 또는 사용자 입력을 통해 지정될 수도 있다.In operation S140 , the myocardial cell monitoring apparatus may acquire cell information including at least one of cell diameter, cell area, and cell center information based on the cell region. Cell information according to some embodiments of the present invention may be morphological information of a cell. In one embodiment, the myocardial cell monitoring device may acquire cell information based on the cell region information acquired in step S130, and in another embodiment, the myocardial cell monitoring device uses the cell mask data acquired in step S120 to obtain cell information. may be obtained. In an embodiment, the cell diameter and cell area may be estimated using the above-described cell area or cell mask data. In an embodiment, the cell center information may correspond to the cell center of gravity calculated based on the above-described cell region or cell mask data. However, the cell center information included in the cell information according to some embodiments of the present invention may be a center point of a cell region, or may be designated through an external server or a user input.
단계 S150에서 심근 세포 모니터링 장치는 세포 정보 및 상기 검출된 세포 영역을 이용하여 운동 추적 지도를 생성할 수 있다. 일 실시예에서 심근 세포 모니터링 장치는 세포 영역에서 발생한 움직임을 추적한 운동 추적 지도를 생성할 수 있다. 일 실시예에서 심근 세포 모니터링 장치는 입자 영상 유속계 (Particle Image Velocimetry, PIV)를 이용하여 유동 가시화(flow visualization)를 통해 운동 추적 지도를 생성할 수 있다. 일 실시예에서 시간의 흐름에 따른 복수의 세포 영역과 관련된 데이터가 획득된 경우, 심근 세포 모니터링 장치는 상술한 복수의 세포 영역과 관련된 데이터를 기초로 시간의 흐름에 따른 세포의 운동과 관련된 운동 추적 지도를 생성할 수 있다.In step S150, the myocardial cell monitoring apparatus may generate a motion tracking map using the cell information and the detected cell region. In an embodiment, the myocardial cell monitoring apparatus may generate a motion tracking map in which a movement occurring in a cell region is tracked. In an embodiment, the myocardial cell monitoring apparatus may generate a motion tracking map through flow visualization using Particle Image Velocimetry (PIV). In an embodiment, when data related to a plurality of cell regions over time is acquired, the myocardial cell monitoring apparatus tracks movement related to the movement of cells over time based on the data related to the plurality of cell regions described above. You can create a map.
단계 S160에서 심근 세포 모니터링 장치는 운동 추적 지도에 방사상 벡터를 투영할 수 있다. 일 실시예에서 심근 세포 모니터링 장치는 단계 S140에서 획득한 세포 중심 정보를 기준으로 속도 벡터를 방사 방향으로 투영(projection)할 수 있다. 보다 구체적으로 심근 세포 모니터링 장치는 세포 영역을 지정된 간격의 섹터로 나눈 후, 각 섹터에서의 속도 벡터를 획득할 수 있다. 이후, 각각의 속도 벡터를 방사형 기준 벡터에 투영시킬 수 있다. 그리고 각각의 섹터에 대응되는 방사 속도 벡터를 획득할 수 있다. In step S160, the cardiomyocyte monitoring device may project a radial vector on the motion tracking map. In an embodiment, the myocardial cell monitoring apparatus may radially project the velocity vector based on the cell center information obtained in step S140. More specifically, the myocardial cell monitoring apparatus may divide a cell region into sectors having a specified interval, and then acquire a velocity vector in each sector. Each velocity vector can then be projected onto a radial reference vector. And it is possible to obtain a radial velocity vector corresponding to each sector.
단계 S170에서 심근 세포 모니터링 장치는 방사상 벡터를 기초로 상기 세포의 수축성 패턴을 획득할 수 있다. 본 실시예에서 심근 세포 모니터링 장치는 투영된 벡터의 합을 이용하여 심근 세포의 수축성 패턴을 획득할 수 있다. 이후, 본 발명의 몇몇 실시예에 따른 심근 세포 모니터링 장치는 획득한 심근 세포의 수축성 패턴을 기초로 심근 세포의 운동을 정량화 할 수 있고, 이를 통해 다양한 상황에서의 심근 세포의 운동의 특징을 추출할 수 있다.In step S170, the myocardial cell monitoring device may acquire the contractile pattern of the cells based on the radial vector. In the present embodiment, the myocardial cell monitoring apparatus may acquire the contractile pattern of the myocardial cell by using the sum of the projected vectors. Thereafter, the cardiomyocyte monitoring apparatus according to some embodiments of the present invention can quantify the movement of myocardial cells based on the acquired contractile pattern of the myocardial cells, and through this, it is possible to extract the characteristics of the movement of myocardial cells in various situations. can
도 4는 본 발명의 일 실시예에 따라 세포 마스크 데이터를 획득하는 방법을 설명하기 위한 도면이다.4 is a diagram for explaining a method of acquiring cell mask data according to an embodiment of the present invention.
세포 이미지(a)는 세포를 촬영한 이미지로 다양한 포맷일 수 있으며, 일 실시예에서 심근 세포 모니터링 장치는 세포의 현미경 이미지를 획득할 수 있다. 예를 들어 상기 세포 이미지(a)는 심근 세포의 박동을 촬영한 동영상으로부터 획득한 프레임 이미지일 수 있다. 본 발명의 몇몇 실시예에 따른 심근 세포 모니터링 장치는 시간의 흐름에 따른 세포의 운동을 정량화 하여 측정할 수 있으므로 시간의 흐름에 따른 복수의 연속적인 세포 이미지를 획득할 수도 있다. The cell image (a) is an image obtained by photographing cells, and may be in various formats, and in one embodiment, the cardiomyocyte monitoring device may acquire a microscopic image of the cells. For example, the cell image (a) may be a frame image obtained from a video recording the beating of myocardial cells. Since the myocardial cell monitoring apparatus according to some embodiments of the present invention can measure and quantify the movement of cells over time, it is also possible to acquire a plurality of continuous cell images over time.
본 발명의 몇몇 실시예에 따라 세포 이미지(a)를 이용하여 세포 마스크 데이터(c)를 추출하는 신경망은 CNN 기반의 시맨틱 세그멘테이션 알고리즘을 포함할 수 있다. 보다 상세한 설명은 이하 도 5를 참조하여 설명한다.According to some embodiments of the present invention, a neural network for extracting cell mask data (c) using a cell image (a) may include a CNN-based semantic segmentation algorithm. A more detailed description will be given below with reference to FIG. 5 .
본 발명의 일 실시예에 따른 심근 세포 모니터링 장치는 세포 마스크 데이터(c) 및/또는 세포 영역과 관련된 정보를 이용하여 세포 정보(d)를 획득할 수 있다. 본 실시예에서 세포 정보는 세포의 형태학적 정보를 포함할 수 있으며, 본 발명의 몇몇 실시예에 따른 세포 정보는 세포의 직경, 세포의 면적 및 세포의 무게 중심 중 적어도 하나를 포함할 수 있다. 보다 상세한 설명은 도 6을 참조하여 후술한다.The myocardial cell monitoring apparatus according to an embodiment of the present invention may acquire cell information (d) using cell mask data (c) and/or information related to a cell region. In this embodiment, the cell information may include the morphological information of the cell, and the cell information according to some embodiments of the present invention may include at least one of the diameter of the cell, the area of the cell, and the center of gravity of the cell. A more detailed description will be given later with reference to FIG. 6 .
도 5는 본 발명의 일 실시예에 따른 신경망 학습 방법을 설명하기 위한 도면이다. 본 실시예에 따른 신경망은 CNN(Convolutional Neural Network) 기반의 시맨틱 세그멘테이션(Semantic Segmentation) 알고리즘을 이용할 수 있다. 따라서 상술한 신경망은 다운-샘플링(down-sampling)을 수행하는 적어도 하나의 컨벌루션 레이어(convolution layer) 및 업-샘플링(up-sampling)을 수행하는 적어도 하나의 디 컨벌루션 레이어(Deconvolution Layer)를 포함할 수 있다.5 is a diagram for explaining a method for learning a neural network according to an embodiment of the present invention. The neural network according to the present embodiment may use a Convolutional Neural Network (CNN)-based Semantic Segmentation algorithm. Therefore, the above-described neural network may include at least one convolution layer performing down-sampling and at least one deconvolution layer performing up-sampling. can
또한, 본 발명의 몇몇 실시예에 따라 세포 마스크 데이터를 추출하는 신경망(c)은 복수의 세포 이미지(a) 및 복수의 세포 마스크 데이터(b)를 이용하여 지도 학습(supervised training)이 수행된 신경망일 수 있다.In addition, the neural network (c) for extracting cell mask data according to some embodiments of the present invention is a neural network in which supervised training is performed using a plurality of cell images (a) and a plurality of cell mask data (b) can be
도 6은 본 발명의 일 실시예에 따라 세포 마스크 데이터를 이용하여 세포 정보를 획득하는 방법을 설명하기 위한 도면이다.6 is a diagram for explaining a method of acquiring cell information using cell mask data according to an embodiment of the present invention.
본 발명의 일 실시예에 따라 신경망을 이용하여 획득된 세포 마스크 데이터(a)는 다양한 노이즈를 포함할 수 있다. 따라서 본 발명의 몇몇 실시예에 따른 심근 세포 모니터링 장치는 세포를 명확히 검출하기 위해 세포 마스크 데이터에 포함된 노이즈 제거를 수행할 수 있다. 예를 들어 심근 세포 모니터링 장치는 경계에 대한 smoothing 및/또는 small island 제거를 수행할 수 있다. 이후 심근 세포 모니터링 장치는 노이즈 제거가 수행된 세포 마스크 데이터(b)를 이용하여 세포 정보(c)를 획득 할 수 있다. 본 발명의 몇몇 실시예에 따른 세포 정보는 세포의 형태학적 정보일 수 있다. 일 실시예에서 심근 세포 모니터링 장치는 세포 마스크 데이터를 이용하여 세포 정보를 획득할 수 있다. 일 실시예에서 세포의 직경, 세포 면적은 상술한 세포 마스크 데이터를 이용하여 추정될 수 있다. 일 실시예에서 세포의 중심 정보는 상술한 세포 영역 또는 세포 마스크 데이터를 기초로 획득한 세포의 무게 중심과 대응될 수 있다. 다만, 본 발명의 몇몇 실시에에 따른 세포 정보에 포함된 세포 중심 정보는 세포 영역의 중심점일 수도 있으며, 외부 서버 또는 사용자 입력을 통해 지정될 수도 있다.Cell mask data (a) obtained by using a neural network according to an embodiment of the present invention may include various noises. Accordingly, the myocardial cell monitoring apparatus according to some embodiments of the present invention may perform noise removal included in the cell mask data in order to clearly detect the cells. For example, a cardiomyocyte monitoring device may perform border smoothing and/or small island removal. Thereafter, the myocardial cell monitoring apparatus may acquire cell information (c) using the cell mask data (b) on which noise has been removed. Cell information according to some embodiments of the present invention may be morphological information of a cell. In an embodiment, the myocardial cell monitoring apparatus may acquire cell information using cell mask data. In an embodiment, the cell diameter and cell area may be estimated using the above-described cell mask data. In an embodiment, the cell center information may correspond to the cell center of gravity obtained based on the above-described cell region or cell mask data. However, the cell center information included in the cell information according to some embodiments of the present invention may be a center point of a cell region, or may be designated through an external server or a user input.
도 7은 본 발명의 일 실시예에 따라 세포의 운동을 측정하는 방법을 설명하기 위한 도면이다.7 is a view for explaining a method of measuring cell movement according to an embodiment of the present invention.
일 실시예에 따른 심근 세포 모니터링 장치는 세포 정보(a)에 포함된 세포 중심 정보 및 운동 추적 지도(b)를 이용하여 세포의 운동을 정량화 하여 측정할 수 있다. 일 실시예에서 심근 세포 모니터링 장치는 세포 영역에서 발생한 움직임을 추적한 운동 추적 지도를 생성할 수 있다. 일 실시예에서 심근 세포 모니터링 장치는 입자 영상 유속계(PIV)를 이용하여 유동 가시화를 통해 운동 추적 지도를 생성할 수 있다. 일 실시예에서 시간의 흐름에 따른 복수의 세포 영역과 관련된 데이터가 획득된 경우, 심근 세포 모니터링 장치는 상술한 복수의 세포 영역과 관련된 데이터를 기초로 시간의 흐름에 따른 세포의 운동과 관련된 운동 추적 지도를 생성할 수 있다. 보다 구체적으로 심근 세포 모니터링 장치는 복수의 세포 이미지 각각에 대응되는 세포 정보 및 세포 영역을 이용하여, 복수의 세포 이미지간 상관관계를 획득하고, 복수의 세포 이미지간 상관관계를 기반으로 상기 세포의 운동추적지도를 생성할 수 있다. 또한 다른 실시예에서 심근 세포 모니터링 장치는 세포 영역 중 심근 세포 ROI 영역에 대응되는 타겟 영역을 더 지정할 수 있고, 해당 타겟 영역에 대한 심근 세포의 운동 추적 지도를 생성할 수 있다. The myocardial cell monitoring apparatus according to an embodiment may quantify and measure the movement of cells using the cell center information and the movement tracking map (b) included in the cell information (a). In an embodiment, the myocardial cell monitoring apparatus may generate a motion tracking map in which a movement occurring in a cell region is tracked. In an embodiment, the myocardial cell monitoring apparatus may generate a motion tracking map through flow visualization using a particle image velocimeter (PIV). In an embodiment, when data related to a plurality of cell regions over time is acquired, the myocardial cell monitoring apparatus tracks movement related to the movement of cells over time based on the data related to the plurality of cell regions described above. You can create a map. More specifically, the myocardial cell monitoring apparatus acquires correlations between a plurality of cell images by using cell information and cell regions corresponding to each of the plurality of cell images, and moves the cells based on the correlation between the plurality of cell images. You can create a tracking map. Also, in another embodiment, the myocardial cell monitoring apparatus may further designate a target region corresponding to the myocardial cell ROI region among the cell regions, and may generate a motion tracking map of the myocardial cell for the target region.
한편, 본 발명의 몇몇 실시예에 따른 심근 세포 모니터링 장치는 세포 이미지와 세포 마스크 데이터를 이용하여 획득한 세포 영역(c)을 기초로 심근 세포의 수축성 패턴(d)을 획득할 수 있다. 이에 대한 보다 상세한 설명은 이하 도 9에서 후술한다.Meanwhile, the myocardial cell monitoring apparatus according to some embodiments of the present invention may acquire a contractile pattern (d) of the myocardial cell based on the cell region (c) obtained using the cell image and the cell mask data. A more detailed description thereof will be described later with reference to FIG. 9 .
도 8은 본 발명의 일 실시예에 따라 세포 영역을 검출하는 방법을 설명하기 위한 도면이다.8 is a diagram for explaining a method of detecting a cell region according to an embodiment of the present invention.
본 발명의 몇몇 실시예에 따른 세포 영역은 세포 이미지에 포함된 심근 세포의 관심 영역(ROI)을 포함할 수 있다. 본 실시예에 따른 심근 세포 모니터링 장치는 세포 이미지(a) 및 신경망을 통해 획득한 세포 마스크 데이터(b)를 중첩하여 세포 영역(d)이 표시된 세포 이미지(c)를 획득할 수 있다. 이 경우, 일 실시예에서 심근 세포 모니터링 장치는 하나의 세포 이미지에 복수개의 심근 세포(또는 세포 군집)이 검출된 경우, 상술한 복수개의 심근 세포를 동시에 검출하고, 복수개의 심근 세포 영역을 세포 이미지에 표시할 수 있다. 이 경우, 각각의 세포를 구별하기 위해 세포 이미지에 각각의 세포 영역을 상이한 그래픽을 이용하여 표시할 수 있다.The cell region according to some embodiments of the present invention may include a region of interest (ROI) of cardiomyocytes included in the cell image. The myocardial cell monitoring apparatus according to the present embodiment may acquire a cell image (c) in which a cell region (d) is indicated by overlapping the cell image (a) and the cell mask data (b) acquired through the neural network. In this case, in one embodiment, when a plurality of cardiomyocytes (or cell clusters) are detected in one cell image, the myocardial cell monitoring device simultaneously detects the plurality of cardiomyocytes described above, and displays the plurality of cardiomyocyte regions in the cell image. can be displayed in In this case, each cell region may be displayed using a different graphic in the cell image to distinguish each cell.
도 9는 본 발명의 일 실시예에 따라 세포의 운동을 추적하고 심근 세포의 수축성 패턴을 획득하는 방법을 설명하기 위한 도면이다.9 is a diagram for explaining a method of tracking cell movement and acquiring a contractile pattern of a cardiomyocyte according to an embodiment of the present invention.
일 실시예에서 심근 세포 모니터링 장치는 세포 중심 정보를 기준으로 속도 벡터를 방사 방향으로 투영(projection)할 수 있다. 보다 구체적으로 심근 세포 모니터링 장치는 세포 영역(a)을 지정된 간격의 섹터(b)로 나눈 후, 각 섹터에서의 속도 벡터를 획득할 수 있다. 이후, 각각의 속도 벡터를 방사형 기준 벡터에 투영시킬 수 있다. 그리고 각각의 섹터에 대응되는 방사 속도 벡터를 획득할 수 있다. 예를 들어 심근 세포 모니터링 장치가 세포 영역을 세포 중심 정보를 기준으로 8개의 섹터로 나눈 경우, 각각의 섹터에 대응되는 방사상 벡터가 8개 획득될 수 있다.In an embodiment, the myocardial cell monitoring apparatus may radially project a velocity vector based on cell center information. More specifically, the myocardial cell monitoring apparatus may divide the cell region (a) into sectors (b) having a specified interval, and then acquire a velocity vector in each sector. Each velocity vector can then be projected onto a radial reference vector. And it is possible to obtain a radial velocity vector corresponding to each sector. For example, when the myocardial cell monitoring apparatus divides a cell region into eight sectors based on cell center information, eight radial vectors corresponding to each sector may be obtained.
심근 세포 모니터링 장치는 방사상 벡터를 기초로 상기 세포의 수축성 패턴(c)을 획득할 수 있다. 본 실시예에서 심근 세포 모니터링 장치는 투영된 벡터의 합을 이용하여 심근 세포의 수축성 패턴을 획득할 수 있다. 이후, 본 발명의 몇몇 실시예에 따른 심근 세포 모니터링 장치는 획득한 심근 세포의 수축성 패턴을 기초로 심근 세포의 운동을 정량화 할 수 있고, 이를 통해 다양한 상황에서의 심근 세포의 운동의 특징을 추출할 수 있다.The myocardial cell monitoring device may acquire the contractile pattern (c) of the cell based on the radial vector. In the present embodiment, the myocardial cell monitoring apparatus may acquire the contractile pattern of the myocardial cell by using the sum of the projected vectors. Thereafter, the cardiomyocyte monitoring apparatus according to some embodiments of the present invention can quantify the movement of myocardial cells based on the acquired contractile pattern of the myocardial cells, and through this, it is possible to extract the characteristics of the movement of myocardial cells in various situations. can
도 10은 본 발명의 일 실시예에 따른 심근 세포를 분석하는 방법의 예를 도시한 도면이다. 심근 세포를 분석하는 방법은 심근 세포의 수축성 파라미터를 분석하는 방법일 수 있다.10 is a diagram illustrating an example of a method for analyzing cardiomyocytes according to an embodiment of the present invention. The method of analyzing cardiomyocytes may be a method of analyzing contractility parameters of cardiomyocytes.
종래 약물의 심독성 평가를 위해 심근 세포의 수축성을 분석하기 위하여 심근 세포를 포함하는 비디오 영상에 대하여 운동 추적 이미징(Motion Field Imaging: MFI)을 수행하는 방법이 존재하고, 이는 비디오 영상의 서로 다른 시점의 각 프레임에 대하여 모션 벡터를 생성하여 분석하는 방법이다. 하지만 이러한 방법은 각 프레임에서 심근 세포 및 주변 배경을 포함하는 전체 영역에 대해서 모션 벡터를 수행하고 수작업으로 추출되거나 단순한 영상 처리 기법(예를 들어, 문턱값 기반의 영상 처리)으로 추출된 심근 세포 영역을 대상으로 모션 벡터를 분석하므로 실질적으로 다양한 불 균질한 심근 세포들이 포함된 프레임들에서 수축성 파라미터를 정확히 분석하기 어려운 한계가 있다. 하지만 본 발명의 일 실시 예에 따른 심근 세포의 수축성 파라미터를 분석하는 방법은 인적 오류를 줄이고 전문가 없이도 심근 세포 영역 내부만 대상으로 심근 세포의 수축성 파라미터를 정확하고 강인하게 분석할 수 있다.In order to analyze the contractility of cardiomyocytes for cardiotoxicity evaluation of conventional drugs, there is a method of performing motion field imaging (MFI) on a video image containing cardiomyocytes, which It is a method to generate and analyze a motion vector for each frame. However, in this method, motion vectors are performed on the entire region including the cardiomyocytes and the surrounding background in each frame, and the myocardial cell regions extracted manually or by simple image processing techniques (eg, threshold-based image processing). Since the motion vector is analyzed for , there is a limitation in that it is difficult to accurately analyze the contractile parameters in frames containing various non-homogeneous cardiomyocytes. However, the method for analyzing contractility parameters of cardiomyocytes according to an embodiment of the present invention can reduce human error and accurately and robustly analyze contractility parameters of cardiomyocytes only within the cardiomyocyte region without an expert.
일 실시예에 따른 심근 세포 분석 장치는 획득한 심근 세포 이미지(1010)를 딥러닝에 기반한 신경망(1030)에 입력하여 획득된 심근 세포 마스크(1020)에 기반한 심근 세포 영역 내부만 대상으로 수축성 파라미터의 분석을 수행할 수 있다. The cardiomyocyte analysis apparatus according to an embodiment inputs the acquired cardiomyocyte image 1010 into the deep learning-based neural network 1030, and the contractility parameter is measured only within the cardiomyocyte region based on the acquired cardiomyocyte mask 1020. analysis can be performed.
일 실시 예에서, 심근 세포가 포함된 조직을 현미경으로 특정 시간 동안 촬영한 심근 세포 비디오 영상의 각 영상 프레임의 전체 영역에 기반하여 운동 추적 지도를 생성하고, 이를 심근 세포 마스크(1020)에 기반한 심근 세포 영역 내부의 운동 추적 지도만 대상으로 수축성 파라미터의 분석을 수행할 수 있다.In one embodiment, a motion tracking map is generated based on the entire area of each image frame of a cardiomyocyte video image taken under a microscope for a tissue containing cardiomyocytes for a specific time, and based on the myocardial cell mask 1020 , the motion tracking map is generated. Analysis of contractile parameters can only be performed on the kinetic tracking map inside the cell region.
일 실시 예에서 딥러닝에 기반한 신경망은 심근 세포가 포함된 영상(1031)을 훈련 데이터로 하고 각 심근 세포의 마스크 영상(1032)을 레이블링(labeling)으로 하여 훈련된 신경망일 수 있다. In an embodiment, the deep learning-based neural network may be a neural network trained by using an image 1031 including cardiomyocytes as training data and using a mask image 1032 of each cardiomyocyte as a labeling.
심근 세포의 수축성 파라미터를 분석하는 방법은 심근 세포 분석 장치에 의해 수행될 수 있으며, 심근 세포 분석 장치는 앞서 설명한 도 2의 심근 세포 모니터링 장치(100)의 구성과 동일할 수 있다.The method of analyzing the contractility parameter of myocardial cells may be performed by a myocardial cell analysis apparatus, and the myocardial cell analysis apparatus may have the same configuration as the myocardial cell monitoring apparatus 100 of FIG. 2 described above.
도 11은 본 발명의 일 실시예에 따른 심근 세포를 분석하는 방법의 순서도이다.11 is a flowchart of a method for analyzing cardiomyocytes according to an embodiment of the present invention.
단계 S210에서 심근 세포 분석 장치는 심근 세포 이미지를 신경망에 입력할 수 있다. 심근 세포 이미지는 세포를 촬영한 이미지로 다양한 포맷일 수 있으며, 일 실시예에서 심근 세포 분석 장치는 심근 세포의 현미경 이미지를 획득할 수 있다. 심근 세포의 현미경 이미지는 심근 세포가 포함된 조직을 현미경으로 특정 시간 동안 촬영한 심근 세포 비디오 영상의 어느 한 프레임 영상의 전체 또는 일부일 수 있다. 심근 세포 분석 장치는 시간의 흐름에 따른 심근 세포의 운동에 기반하여 수축성 파라미터를 정량화하여 측정할 수 있으므로 시간의 흐름에 따른 복수의 연속적인 심근 세포 이미지를 획득할 수도 있다. In step S210, the cardiomyocyte analysis apparatus may input the cardiomyocyte image to the neural network. The cardiomyocyte image may be in various formats as an image obtained by photographing cells, and in one embodiment, the cardiomyocyte analysis apparatus may acquire a microscopic image of the cardiomyocyte. The microscopic image of cardiomyocytes may be all or part of an image of any one frame of a cardiomyocyte video image obtained by photographing a tissue containing cardiomyocytes under a microscope for a specific period of time. Since the cardiomyocyte analysis apparatus can quantify and measure contractility parameters based on the movement of myocardial cells over time, it is also possible to acquire a plurality of continuous cardiomyocyte images over time.
단계 S220에서 심근 세포 분석 장치는 딥러닝에 기반한 신경망을 이용하여 심근 세포 이미지와 대응되는 심근 세포 마스크 데이터를 획득할 수 있다. In operation S220 , the myocardial cell analysis apparatus may acquire cardiomyocyte mask data corresponding to the cardiomyocyte image by using a neural network based on deep learning.
일 실시예에서 심근 세포 마스크 데이터는 세포 이미지에 포함된 세포를 추출한 이미지일 수 있다. In an embodiment, the cardiomyocyte mask data may be an image obtained by extracting cells included in the cell image.
다른 일 실시예에서 심근 세포 마스크 데이터는 심근 세포 이미지에 포함된 세포의 영역과 그 외 영역을 구별하여 표시한 바이너리 영상일 수 있다.In another exemplary embodiment, the cardiomyocyte mask data may be a binary image in which regions of cells included in the cardiomyocyte image and other regions are distinguished and displayed.
단계 S212에서 심근 세포 분석 장치는 심근 세포 이미지가 포함된 심근 세포 비디오 영상을 입력 받고, 심근 세포 비디오 영상의 각 영상 프레임의 전체 영역에 기반하여 운동 추적 지도를 생성할 수 있다. 단계 S212는 단계 S210 및 단계 S220의 이전 또는 이후에 수행될 수 있다.In operation S212, the cardiomyocyte analysis apparatus may receive a cardiomyocyte video image including the cardiomyocyte image, and generate a motion tracking map based on the entire area of each image frame of the cardiomyocyte video image. Step S212 may be performed before or after steps S210 and S220.
일 실시 예에서, 심근 세포 비디오 영상은 심근 세포가 포함된 조직을 현미경으로 특정 시간 동안 촬영한 심근 세포 비디오 영상일 수 있고, 예를 들어 명시야 현미경(Bright field microscopy)에서 특정 시간 동안 촬영한 비디오 영상일 수 있다.In an embodiment, the cardiomyocyte video image may be a cardiomyocyte video image obtained by photographing a tissue containing cardiomyocytes under a microscope for a specific time, for example, a video taken by a bright field microscopy for a specific time. It could be a video.
일 실시 예에서, 심근 세포 분석 장치는 단계 S212에서 심근 세포 비디오 영상의 시간에 따른 각 프레임 영상의 전체 영역에 기반하여 운동 추적 지도를 생성하고, 단계 S210에서는 심근 세포 비디오 영상의 각 프레임 영상을 심근 세포 이미지로서 신경망에 입력하여 단계 S220에서 각 프레임 영상에 대한 심근 세포 마스크 데이터를 획득할 수 있다.In one embodiment, the cardiomyocyte analysis apparatus generates a motion tracking map based on the entire area of each frame image according to time of the cardiomyocyte video image in step S212, and in step S210, each frame image of the cardiomyocyte video image is analyzed by the myocardium. By inputting the cell image to the neural network, cardiomyocyte mask data for each frame image may be obtained in step S220.
도 12 및 도 13을 참조하면, 본 발명의 일 실시 예에 따른 심근 세포 분석 방법에 의하여 딥러닝에 기반한 신경망으로부터 획득된 심근 세포 마스크 데이터(Auto Seg.)를 이용한 심근 세포 영역의 세그먼테이션 결과를 다른 전문가들(Manual A~Manual E, MA~ME)의 수작업을 통한 세그먼테이션 결과와 비교해 보면 심근 세포 영역과 보다 일치함을 확인할 수 있다. 따라서, 저 품질 심근 세포 이미지에 대해서도 정확한 세포 영역을 추출할 수 있다.12 and 13 , the segmentation results of the myocardial cell region using myocardial cell mask data (Auto Seg.) obtained from a deep learning-based neural network by the method for analyzing myocardial cells according to an embodiment of the present invention are different. Comparing it with the segmentation results by hand by experts (Manual A~Manual E, MA~ME), it can be confirmed that it is more consistent with the cardiomyocyte region. Therefore, accurate cell regions can be extracted even for low-quality cardiomyocyte images.
일 실시 예에서, 심근 세포 분석 장치는 단계 S212에서 심근 세포 비디오 영상의 시간에 따른 각 프레임 영상의 동일한 제1 영역에 기반하여 운동 추적 지도를 생성하고, 단계 S210에서는 심근 세포 비디오 영상의 각 프레임 영상의 상기 제1 영역을 심근 세포 이미지로서 신경망에 입력하여 단계 S220에서 각 프레임 영상의 상기 제1 영역에 대한 심근 세포 마스크 데이터를 획득할 수 있다. 상기 제1 영역은 적어도 하나의 심근 세포와 주변 배경을 포함하는 영상으로서 심근 세포 비디오 영상의 시간에 따른 각 프레임 영상의 동일한 위치의 특정 영역일 수 있다.In an embodiment, the cardiomyocyte analysis apparatus generates a motion tracking map based on the same first region of each frame image according to time of the cardiomyocyte video image in step S212, and in step S210, each frame image of the cardiomyocyte video image The cardiomyocyte mask data for the first region of each frame image may be acquired in step S220 by inputting the first region of ? The first region may be an image including at least one myocardial cell and a surrounding background, and may be a specific region at the same position in each frame image according to time of the cardiomyocyte video image.
일 실시 예에서, 심근 세포 분석 장치는 심근 세포 마스크 데이터를 이용하여 심근 세포 영역을 검출할 수 있다. 일 실시예에서 심근 세포 영역은 심근 세포의 ROI 영역일 수 있다. 보다 구체적으로 심근 세포 분석 장치는 바이너리 이미지인 심근 세포 마스크 데이터와 심근 세포 이미지를 중첩하여 심근 세포 영역을 지정할 수 있다. 일 실시예에서 복수의 심근 세포 마스크 데이터를 획득한 경우, 심근 세포 분석 장치는 복수의 심근 세포 이미지와 상기 복수의 심근 세포 이미지 각각에 대응되는 심근 세포 마스크 데이터를 중첩하여 복수의 심근 세포 영역을 획득할 수 있다. 이 경우, 심근 세포 분석 장치는 검출된 심근 세포의 경계와 블록 정합 기법을 결합하여 심근 세포의 운동 추적 지도를 생성할 수 있다. 일 실시 예에서, 검출된 심근 세포 영역을 기초로 심근 세포의 직경, 심근 세포의 면적 및 심근 세포 중심 정보 중 적어도 하나를 포함하는 심근 세포의 형태 정보를 더 이용하여 심근 세포의 운동 추적 지도를 생성할 수 있다.In an embodiment, the cardiomyocyte analysis apparatus may detect a myocardial cell region using cardiomyocyte mask data. In one embodiment, the cardiomyocyte region may be an ROI region of the cardiomyocyte. More specifically, the cardiomyocyte analysis apparatus may designate a cardiomyocyte region by overlapping the cardiomyocyte mask data, which is a binary image, and the cardiomyocyte image. In an embodiment, when a plurality of cardiomyocyte mask data is acquired, the cardiomyocyte analysis apparatus acquires a plurality of cardiomyocyte regions by superimposing a plurality of cardiomyocyte images and cardiomyocyte mask data corresponding to each of the plurality of cardiomyocyte images. can do. In this case, the cardiomyocyte analysis apparatus may generate a motion tracking map of the cardiomyocytes by combining the boundary of the detected cardiomyocytes with the block matching technique. In one embodiment, based on the detected cardiomyocyte region, the myocardial cell movement tracking map is generated by further using information on the shape of the cardiomyocyte including at least one of the diameter of the cardiomyocyte, the area of the cardiomyocyte, and information on the center of the cardiomyocyte. can do.
단계 S230에서, 심근 세포 분석 장치는 심근 세포 마스크 데이터 및 심근 세포 비디오 영상의 각 영상 프레임의 전체 영역에 기반하여 생성된 운동 추적 지도를 기반으로 상기 심근 세포 영역 내부만 대상으로 수축성 파라미터를 분석할 수 있다. In step S230, the cardiomyocyte analysis device may analyze contractility parameters only within the cardiomyocyte region based on the motion tracking map generated based on the cardiomyocyte mask data and the entire region of each image frame of the cardiomyocyte video image. have.
일 실시 예에서, 심근 세포 분석 장치는 심근 세포 비디오 영상의 시간에 따른 각 프레임 영상의 동일한 제1 영역에 기반하여 생성된 운동 추적 지도와 각 프레임 영상의 상기 제1 영역에 대한 심근 세포 마스크 데이터를 기반으로 상기 심근 세포 영역 내부만 대상으로 수축성 파라미터를 분석할 수 있다.In an embodiment, the myocardial cell analysis apparatus generates a motion tracking map generated based on the same first area of each frame image according to time of the cardiomyocyte video image and cardiomyocyte mask data for the first area of each frame image. Based on this, contractility parameters can be analyzed only within the cardiomyocyte region.
일 실시 예에서, 수축성 파라미터를 분석하는 단계는 도 14를 참조하면, 서로 다른 시간의 심근 세포들의 내부에만 수축 벡터를 분석하는 단계로서, 속도 벡터 맵을 생성하거나, 심근 세포들의 절대 속도 신호의 변화를 시간에 따라 분석하는 단계를 포함할 수 있다.In an embodiment, the analyzing of the contractility parameter is a step of analyzing the contractile vector only inside the cardiomyocytes at different times, generating a velocity vector map, or changing the absolute velocity signal of the cardiomyocytes, referring to FIG. 14 . may include the step of analyzing over time.
일 실시 예에서, 수축성 파라미터를 분석하는 단계는 도 15를 참조하면, 특정 약물을 투여한 심근 세포의 수축성 지표로서 심근 세포 영역 내부만 대상으로 박동 속도(beating velocity: BV), 박동 이동(beating displacement: BD), 심박수(beating rate: BR), 수축-이완기(contraction-relaxation duration: CRD) 및 수축-이완 영역(contraction-relaxation area: CRA) 중 적어도 하나의 파라미터를 측정하는 단계를 포함할 수 있다.In one embodiment, in the step of analyzing the contractile parameter, referring to FIG. 15 , a beating velocity (BV), a beating displacement, only the inside of the cardiomyocyte region as a contractility index of the cardiomyocyte administered with a specific drug. : BD), heart rate (beating rate: BR), contraction-relaxation duration (CRD), and contraction-relaxation area (CRA) may include measuring at least one parameter. .
일 실시 예에서, 심근 세포 분석 장치는 도 16과 같이 심근 세포 마스크 데이터를 이용하여 심근 세포 이미지에서 심근 세포 영역을 검출하고, 심근 세포 비디오 영상의 각 영상 프레임의 전체 영역에 기반하여 생성된 운동 추적 지도 중 심근 세포 영역 내부의 심근 세포의 운동 추적 지도 및 심근 세포 영역 내부만 대상으로 분석된 수축성 파라미터를 레이어링(layering)하여 표시할 수 있다. 다른 실시 예에서, 앞서 설명한 것처럼 심근 세포 비디오 영상의 시간에 따른 각 프레임 영상의 동일한 제1 영역에 기반하여 수축성 파라미터를 레이어링(layering)하여 표시할 수도 있다.이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.In an embodiment, the cardiomyocyte analysis apparatus detects a cardiomyocyte region in a cardiomyocyte image using cardiomyocyte mask data as shown in FIG. 16 , and tracks motion generated based on the entire region of each image frame of the cardiomyocyte video image. Among the maps, a motion tracking map of cardiomyocytes inside the cardiomyocyte region and contractility parameters analyzed only within the cardiomyocyte region may be displayed by layering. In another embodiment, as described above, contractility parameters may be layered and displayed based on the same first region of each frame image according to time of the cardiomyocyte video image. The device described above includes a hardware component; It may be implemented as a software component, and/or a combination of hardware and software components. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible from the above description by those skilled in the art. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
한편, 본 발명은 아래와 같이 기재된 국가연구개발사업에 의해 지원을 받는다.Meanwhile, the present invention is supported by the national R&D project described below.
[과제 1][Task 1]
[과제고유번호] 2019030005[Project unique number] 2019030005
[정부 부처명] 과학기술정보통신부[Name of government department] Ministry of Science and Technology Information and Communication
[연구관리전문기관] 한국연구재단[Research Management Specialized Institution] National Research Foundation of Korea
[연구사업명] (3차) 정밀의학을 위한 지능형 마이크로 로봇 기반 신체 모사 칩[Research project name] (3rd) Intelligent micro-robot-based body simulation chip for precision medicine
[연구과제명] (3차) 정밀의학을 위한 지능형 마이크로 로봇 기반 신체 모사 칩[Research Title] (3rd) Intelligent micro-robot-based body simulation chip for precision medicine
[기여율] 7/10[Contribution rate] 7/10
[주관기관] 대구경북과학기술원[Organizer] Daegu Gyeongbuk Institute of Science and Technology
[연구기간] 2019.03.01 ~ 2020.02.29[Research Period] 2019.03.01 ~ 2020.02.29
[과제 2][Task 2]
[과제고유번호] 2020060015[Project unique number] 2020060015
[정부 부처명] 과학기술정보통신부[Name of government department] Ministry of Science and Technology Information and Communication
[연구관리전문기관] (신)한국연구재단(통합)[Research Management Specialized Institution] (New) National Research Foundation (Integrated)
[연구사업명] 3D 심장-간 네트워크 및 심박동수 기반 유체 흐름 모사 칩[Research project name] 3D heart-to-heart network and heart rate-based fluid flow simulation chip
[연구과제명] 3D 심장-간 네트워크 및 심박동수 기반 유체 흐름 모사 칩[Research project name] 3D heart-to-heart network and heart rate-based fluid flow simulation chip
[기여율] 3/10[Contribution rate] 3/10
[주관기관] 대구경북과학기술원[Organizer] Daegu Gyeongbuk Institute of Science and Technology
[연구기간] 2020.06.01 ~ 2021.02.28[Research Period] 2020.06.01 ~ 2021.02.28

Claims (18)

  1. 세포 이미지를 신경망에 입력하는 단계;inputting the cell image into the neural network;
    상기 신경망을 이용하여 상기 세포 이미지와 대응되는 세포 마스크 데이터를 획득하는 단계;obtaining cell mask data corresponding to the cell image using the neural network;
    상기 세포 마스크 데이터를 이용하여 세포 영역을 검출하는 단계;detecting a cell region using the cell mask data;
    상기 검출된 세포 영역을 기초로 세포의 직경, 세포 면적 및 세포 중심 정보 중 적어도 하나를 포함하는 세포 정보를 획득하는 단계;obtaining cell information including at least one of cell diameter, cell area, and cell center information based on the detected cell area;
    상기 세포 정보 및 상기 검출된 세포 영역을 이용하여 세포의 운동 추적 지도를 생성하는 단계;generating a movement tracking map of cells using the cell information and the detected cell region;
    상기 생성된 운동 추적 지도에 방사상 벡터를 투영하는 단계; 및projecting a radial vector onto the generated motion tracking map; and
    상기 투영된 방사상 벡터를 기초로 세포의 수축성 패턴을 획득하는 단계;obtaining a contractile pattern of cells based on the projected radial vector;
    를 포함하는 심근 세포 모니터링 방법.A method for monitoring cardiomyocytes comprising a.
  2. 제1 항에 있어서, According to claim 1,
    상기 신경망은,The neural network is
    적어도 하나의 컨벌루션(Convolution) 레이어를 포함하는 CNN(Convolutional Neural Network) 형태이고, 기 훈련된 신경망인,In the form of a Convolutional Neural Network (CNN) including at least one convolutional layer, which is a pre-trained neural network,
    심근 세포 모니터링 방법.Methods for monitoring cardiomyocytes.
  3. 제1 항에 있어서, According to claim 1,
    상기 세포 영역을 검출하는 단계는,The step of detecting the cell region comprises:
    상기 세포 마스크 데이터에 포함된 노이즈 영역을 제거하는 단계를 포함하고,removing a noise region included in the cell mask data,
    상기 세포 영역은,The cell region is
    세포를 포함하는 ROI(Region Of Interest) 영역인,ROI (Region Of Interest) region containing cells,
    심근 세포 모니터링 방법.Methods for monitoring cardiomyocytes.
  4. 제1 항에 있어서, According to claim 1,
    상기 세포 중심 정보는,The cell center information is,
    상기 세포의 무게 중심을 기초로 정해진,determined based on the center of gravity of the cell,
    심근 세포 모니터링 방법.Methods for monitoring cardiomyocytes.
  5. 제1 항에 있어서, According to claim 1,
    상기 세포의 운동 추적 지도를 생성하는 단계는,The step of generating a movement tracking map of the cell comprises:
    복수의 세포 이미지 각각에 대응되는 세포 정보 및 세포 영역을 이용하여, 복수의 세포 이미지간 상관관계를 획득하고, 복수의 세포 이미지간 상관관계를 기반으로 상기 세포의 운동 추적 지도를 생성하는 단계를 포함하는,Obtaining a correlation between a plurality of cell images by using cell information and a cell region corresponding to each of the plurality of cell images, and generating a movement tracking map of the cell based on the correlation between the plurality of cell images doing,
    심근 세포 모니터링 방법.Methods for monitoring cardiomyocytes.
  6. 제1 항에 있어서, According to claim 1,
    상기 세포의 운동 추적 지도를 생성하는 단계는,The step of generating a movement tracking map of the cell comprises:
    상기 세포 영역에 포함된 타겟 영역을 지정하는 단계; 및designating a target region included in the cell region; and
    상기 타겟 영역에 대한 운동 추적 지도만 생성하는 단계를 포함하는,Including the step of generating only the motion tracking map for the target area,
    심근 세포 모니터링 방법.Methods for monitoring cardiomyocytes.
  7. 제1 항에 있어서, According to claim 1,
    상기 운동 추적 지도에 방사상 벡터를 투영하는 단계는,Projecting a radial vector on the motion tracking map comprises:
    상기 세포의 중심 정보를 기초로 기준점을 지정하고, 상기 운동 추적 지도에 대하여 세포의 모션 벡터를 방사상 축으로 투영하는 단계를 포함하는,Designating a reference point based on the center information of the cell, and projecting the motion vector of the cell on the radial axis with respect to the motion tracking map,
    심근 세포 모니터링 방법.Methods for monitoring cardiomyocytes.
  8. 메모리 및memory and
    상기 메모리와 전기적으로 연결된 프로세서; 를 포함하고,a processor electrically coupled to the memory; including,
    상기 프로세서는, 세포 이미지를 신경망에 입력하고, 상기 신경망을 이용하여 상기 세포 이미지와 대응되는 세포 마스크 데이터를 획득하고, 상기 세포 마스크 데이터를 이용하여 세포 영역을 검출하고, 검출된 상기 세포 영역을 기초로 세포의 직경, 세포 면적 및 세포 중심 정보 중 적어도 하나를 포함하는 세포 정보를 획득하고, 상기 세포 정보 및 검출된 상기 세포 영역을 이용하여 세포의 운동 추적 지도를 생성하고, 생성된 상기 운동 추적 지도에 방사상 벡터를 투영하고, 투영된 상기 방사상 벡터를 기초로 세포의 수축성 패턴을 획득하도록 설정된,The processor inputs a cell image to a neural network, obtains cell mask data corresponding to the cell image using the neural network, detects a cell region using the cell mask data, and based on the detected cell region to obtain cell information including at least one of the cell diameter, cell area, and cell center information, and generate a movement tracking map of the cell using the cell information and the detected cell region, and the generated movement tracking map configured to project a radial vector onto the , and to obtain a contractile pattern of the cell based on the projected radial vector,
    심근 세포 모니터링 장치.Cardiomyocyte monitoring device.
  9. 제8 항에 있어서, 9. The method of claim 8,
    상기 신경망은,The neural network is
    적어도 하나의 컨벌루션(Convolution) 레이어를 포함하는 CNN(Convolutional Neural Network) 형태이고, 기 훈련된 신경망인,In the form of a Convolutional Neural Network (CNN) including at least one convolutional layer, which is a pre-trained neural network,
    심근 세포 모니터링 장치.Cardiomyocyte monitoring device.
  10. 제8 항에 있어서, 9. The method of claim 8,
    상기 프로세서는,The processor is
    상기 세포 마스크 데이터에 포함된 노이즈 영역을 제거하도록 더 설정되고,further set to remove a noise region included in the cell mask data,
    상기 세포 영역은,The cell region is
    세포를 포함하는 ROI(Region Of Interest) 영역인,ROI (Region Of Interest) region containing cells,
    심근 세포 모니터링 장치.Cardiomyocyte monitoring device.
  11. 제8 항에 있어서, 9. The method of claim 8,
    상기 세포 중심 정보는,The cell center information is,
    상기 세포의 무게 중심을 기초로 정해진,determined based on the center of gravity of the cell,
    심근 세포 모니터링 장치.Cardiomyocyte monitoring device.
  12. 제8 항에 있어서, 9. The method of claim 8,
    상기 프로세서는,The processor is
    복수의 세포 이미지 각각에 대응되는 세포 정보 및 세포 영역을 이용하여, 복수의 세포 이미지간 상관관계를 획득하고, 복수의 세포 이미지간 상관관계를 기반으로 상기 세포의 운동 추적 지도를 생성하는,Obtaining a correlation between a plurality of cell images by using cell information and a cell region corresponding to each of the plurality of cell images, and generating a movement tracking map of the cell based on the correlation between the plurality of cell images,
    심근 세포 모니터링 장치.Cardiomyocyte monitoring device.
  13. 제8 항에 있어서, 9. The method of claim 8,
    상기 프로세서는,The processor is
    상기 세포 영역에 포함된 타겟 영역을 지정하고, 상기 타겟 영역에 대한 운동 추적 지도만 생성하도록 더 설정된,Designating a target region included in the cell region, and further set to generate only a motion tracking map for the target region,
    심근 세포 모니터링 장치.Cardiomyocyte monitoring device.
  14. 제8 항에 있어서, 9. The method of claim 8,
    상기 프로세서는,The processor is
    상기 세포의 중심 정보를 기초로 기준점을 지정하고, 상기 운동 추적 지도에 대하여 세포의 모션 벡터를 방사상 축으로 투영하도록 더 설정된,Further configured to designate a reference point based on the center information of the cell, and to project the motion vector of the cell to the radial axis with respect to the motion tracking map,
    심근 세포 모니터링 장치.Cardiomyocyte monitoring device.
  15. 각 단계가 컴퓨팅 장치에 의해 수행되는 방법으로서, A method in which each step is performed by a computing device, comprising:
    심근 세포 이미지를 신경망에 입력하는 단계;inputting the cardiomyocyte image to the neural network;
    상기 신경망을 이용하여 상기 심근 세포 이미지와 대응되는 심근 세포 마스크 데이터를 획득하는 단계;acquiring cardiomyocyte mask data corresponding to the cardiomyocyte image by using the neural network;
    상기 심근 세포 이미지가 포함된 심근 세포 비디오 영상을 입력 받고, 상기 심근 세포 비디오 영상의 각 영상 프레임의 전체 영역에 기반하여 운동 추적 지도를 생성하는 단계; 및receiving a cardiomyocyte video image including the cardiomyocyte image, and generating a motion tracking map based on an entire area of each image frame of the cardiomyocyte video image; and
    상기 심근 세포 마스크 데이터 및 상기 운동 추적 지도를 기반으로 상기 심근 세포 영역 내부만 대상으로 수축성 파라미터를 분석하는 단계;analyzing contractility parameters only within the cardiomyocyte region based on the cardiomyocyte mask data and the motion tracking map;
    를 포함하는 심근 세포 분석 방법.Cardiomyocyte analysis method comprising a.
  16. 제15 항에 있어서,16. The method of claim 15,
    상기 심근 세포 마스크 데이터를 이용하여 상기 심근 세포 이미지에서 심근 세포 영역을 검출하는 단계; 및detecting a cardiomyocyte region in the cardiomyocyte image using the cardiomyocyte mask data; and
    상기 심근 세포 비디오 영상의 각 영상 프레임의 전체 영역에 기반하여 생성된 상기 운동 추적 지도 중 상기 심근 세포 영역 내부의 심근 세포의 운동 추적 지도 및 상기 심근 세포 영역 내부만 대상으로 분석된 수축성 파라미터를 레이어링(layering)하여 표시하는 단계;Layering ( layering) to display;
    를 포함하는 심근 세포 분석 방법.Cardiomyocyte analysis method comprising a.
  17. 제15 항에 있어서,16. The method of claim 15,
    상기 수축성 파라미터를 분석하는 단계는,Analyzing the contractility parameter comprises:
    상기 검출된 심근 세포 영역의 경계와 블록 정합 기법을 결합하여 상기 심근 세포 영역 내부만 대상으로 심근 세포의 운동 추적 지도를 생성하는 단계;generating a motion tracking map of cardiomyocytes only within the cardiomyocyte region by combining the boundary of the detected cardiomyocyte region with a block matching technique;
    를 포함하는 심근 세포 분석 방법.Cardiomyocyte analysis method comprising a.
  18. 제15 항에 있어서,16. The method of claim 15,
    상기 심근 세포 비디오 영상의 각 영상 프레임의 전체 영역에 기반하여 운동 추적 지도를 생성하는 단계는,The step of generating a motion tracking map based on the entire area of each image frame of the cardiomyocyte video image comprises:
    상기 심근 세포 비디오 영상의 각 영상 프레임에서 복수의 심근 세포 이미지간 상관관계를 획득하고, 복수의 심근 세포 이미지간 상관관계를 기반으로 각 영상 프레임의 전체 영역에 기반하여 운동 추적 지도를 생성하는 단계;obtaining correlations between a plurality of cardiomyocyte images in each image frame of the cardiomyocyte video image, and generating a motion tracking map based on the entire area of each image frame based on the correlations between the plurality of cardiomyocyte images;
    를 포함하는 심근 세포 분석 방법.Cardiomyocyte analysis method comprising a.
PCT/KR2021/000028 2020-03-02 2021-01-04 Method and apparatus for monitoring cardiomyocytes using artificial neural network WO2021177584A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0026121 2020-03-02
KR1020200026121A KR102499070B1 (en) 2020-03-02 2020-03-02 Method and apparatus for monitoring cardiomyocytes using artificial neural network

Publications (1)

Publication Number Publication Date
WO2021177584A1 true WO2021177584A1 (en) 2021-09-10

Family

ID=77612751

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/000028 WO2021177584A1 (en) 2020-03-02 2021-01-04 Method and apparatus for monitoring cardiomyocytes using artificial neural network

Country Status (2)

Country Link
KR (1) KR102499070B1 (en)
WO (1) WO2021177584A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040050445A (en) * 2002-12-10 2004-06-16 한국전자통신연구원 A method for cell image segmentation for development of cell-based assay system
KR20140062374A (en) * 2012-11-14 2014-05-23 삼성전자주식회사 Method for estimating motion information and apparatus for generating image using the same
JP2017107543A (en) * 2015-09-30 2017-06-15 コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド Method and system for automated analysis of cell images
JP2019024495A (en) * 2017-07-31 2019-02-21 静岡県公立大学法人 Cardiomyocyte type determination system, and cardiomyocyte type determination method
KR20190091298A (en) * 2016-12-01 2019-08-05 버클리 라잇츠, 인크. Automated Detection and Repositioning of Micro-Objects in Microfluidic Devices

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201301043D0 (en) 2013-01-21 2013-03-06 Chronos Therapeutics Ltd Method for assessing cell aging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040050445A (en) * 2002-12-10 2004-06-16 한국전자통신연구원 A method for cell image segmentation for development of cell-based assay system
KR20140062374A (en) * 2012-11-14 2014-05-23 삼성전자주식회사 Method for estimating motion information and apparatus for generating image using the same
JP2017107543A (en) * 2015-09-30 2017-06-15 コニカ ミノルタ ラボラトリー ユー．エス．エー．，インコーポレイテッド Method and system for automated analysis of cell images
KR20190091298A (en) * 2016-12-01 2019-08-05 버클리 라잇츠, 인크. Automated Detection and Repositioning of Micro-Objects in Microfluidic Devices
JP2019024495A (en) * 2017-07-31 2019-02-21 静岡県公立大学法人 Cardiomyocyte type determination system, and cardiomyocyte type determination method

Also Published As

Publication number Publication date
KR20210111068A (en) 2021-09-10
KR102499070B1 (en) 2023-02-13

Similar Documents

Publication Publication Date Title
CN106096577B (en) A kind of target tracking method in camera distribution map
WO2019132168A1 (en) System for learning surgical image data
WO2019132169A1 (en) Method, apparatus, and program for surgical image playback control
CN108446585A (en) Method for tracking target, device, computer equipment and storage medium
EP2450832A1 (en) Image processing apparatus and image processing method
WO2014208971A1 (en) Ultrasound image display method and apparatus
JP6715358B2 (en) Method, apparatus, program for learning frame image of moving object for artificial intelligence video learning, and video learning method thereof
JP2017522647A (en) Method and apparatus for object tracking and segmentation via background tracking
WO2021075772A1 (en) Object detection method and device using multiple area detection
WO2016108327A1 (en) Vehicle detection method, database structure for vehicle detection, and database construction method for vehicle detection
WO2022131642A1 (en) Apparatus and method for determining disease severity on basis of medical images
JP2017076394A (en) Moving object counter and method
WO2013039330A2 (en) Method and apparatus for segmenting a medical image
KR102195850B1 (en) Method and system for segmentation of vessel using deep learning
WO2021177584A1 (en) Method and apparatus for monitoring cardiomyocytes using artificial neural network
EP4274478A1 (en) Real-time limb motion tracking
WO2021206518A1 (en) Method and system for analyzing surgical procedure after surgery
CN110910478B (en) GIF map generation method and device, electronic equipment and storage medium
WO2015167081A1 (en) Method and device for detecting human body part
WO2021225422A1 (en) Method and apparatus for providing information associated with immune phenotypes for pathology slide image
JP2815118B2 (en) Flow velocity measuring device
KR20140123399A (en) Apparatus and Method of Body Parts Detection
CN113408394A (en) Safety helmet wearing detection method and system based on deep learning model
Mi et al. Using Lucas-Kanade Algorithms to Measure Human Movement
Bernava et al. An advanced tool for semi-automatic annotation for early screening of neurodevelopmental disorders

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21765335

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21765335

Country of ref document: EP

Kind code of ref document: A1