KR100949460B1 - Modeling based Pharmacokinetic Feature Extraction For Monitoring Peripheral Tissue Perfusion - Google Patents

Modeling based Pharmacokinetic Feature Extraction For Monitoring Peripheral Tissue Perfusion Download PDF

Info

Publication number
KR100949460B1
KR100949460B1 KR1020080057767A KR20080057767A KR100949460B1 KR 100949460 B1 KR100949460 B1 KR 100949460B1 KR 1020080057767 A KR1020080057767 A KR 1020080057767A KR 20080057767 A KR20080057767 A KR 20080057767A KR 100949460 B1 KR100949460 B1 KR 100949460B1
Authority
KR
South Korea
Prior art keywords
perfusion
blood vessel
image
degree
distribution
Prior art date
Application number
KR1020080057767A
Other languages
Korean (ko)
Other versions
KR20090131825A (en
Inventor
최철희
최명환
정인경
김동섭
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020080057767A priority Critical patent/KR100949460B1/en
Publication of KR20090131825A publication Critical patent/KR20090131825A/en
Application granted granted Critical
Publication of KR100949460B1 publication Critical patent/KR100949460B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Medical Informatics (AREA)
  • Mathematical Analysis (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

본 발명은 약물동역학적 지식과 영상처리 기술 및 바이오 정보학에서 사용되는 데이터 분석 방법을 융합하여 혈관을 영상화하는 수학적 모델에 기반한 약물동역학적 혈관 특성 추출 장치 및 방법에 관한 것으로, 관측대상 내에 흐르는 형광 프로브의 시간에 따른 공간적 분포를 촬영하는 영상 획득부, 상기 영상 획득부에 의해 획득된 영상을 통해 시간에 따른 모세혈관 및 정맥 구획에서 빠져나가는 관류에 포함된 형광 프로브의 농도값을 계산하여 서로 다른 관류 정도(perfusion rate)를 가지는 하나 이상의 혈관 분포를 분포 비중 정도에 따라 영상화하는 영상 분석부 및 상기 영상 분석부에서 영상화된 이미지를 출력하는 출력부를 포함하여 구성되어, 혈관 질병에 의해 허혈 조직의 관류 정도가 떨어진 동물모델에서 시간에 따른 혈관의 기능적 특성 변화에 대한 측정이 가능하며, 이를 통해 비정상적인 관류를 보이는 혈관을 진단할 수 있고, 혈관표적약물이 가지는 혈류, 혈관투과도에 대한 효과를 추적 연구할 수 있다. The present invention relates to a device and method for extracting pharmacodynamic blood vessel characteristics based on a mathematical model for imaging blood vessels by fusing pharmacokinetic knowledge, image processing technology, and data analysis methods used in bioinformatics. Different perfusion by calculating the concentration value of the fluorescent probe included in the perfusion exiting the capillary vessel and the vein compartment over time through the image acquisition unit for photographing the spatial distribution over time, the image obtained by the image acquisition unit It comprises an image analysis unit for imaging the distribution of one or more blood vessels having a perfusion rate according to the distribution specific gravity degree and an output unit for outputting the image imaged by the image analysis unit, the degree of perfusion of the ischemic tissue due to vascular disease Changes of Vascular Functional Characteristics in Animal Models with Different Times Measurement is possible for, and it is possible to diagnose a blood vessel showing an abnormal perfusion through it, it is possible to follow-up study the effects on blood flow and vascular permeability of blood vessels targeted drugs with.

형광 프로브, 인도시아닌 그린, ICG, 관류 정도, 모세혈관, 정맥 Fluorescent probe, indocyanine green, ICG, degree of perfusion, capillaries, veins

Description

수학적 모델에 기반한 약물동역학적 혈관 특성 추출 장치 및 방법{Modeling based Pharmacokinetic Feature Extraction For Monitoring Peripheral Tissue Perfusion}Pharmacokinetic Feature Extraction For Monitoring Peripheral Tissue Perfusion}

본 발명은 수학적 모델에 기반한 약물동역학적 혈관 특성 추출 장치 및 방법에 관한 것으로서, 특히 약물동역학적 지식과 영상처리 기술 및 바이오 정보학에서 사용되는 데이터 분석 방법을 융합하여 혈관을 영상화하는 수학적 모델에 기반한 약물동역학적 혈관 특성 추출 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for extracting pharmacokinetic vascular properties based on a mathematical model, and in particular, a drug based on a mathematical model for imaging blood vessels by fusing pharmacokinetic knowledge, image processing technology, and data analysis methods used in bioinformatics. A device and method for extracting kinetic vascular properties.

다양한 혈관 관련 질병에서 비정상적인 혈관 현상을 진단하고 치료하고자 하는 경우 생체 내부의 혈관 밀도와 혈류의 양을 정확히 측정하는 기술이 요구된다. 혈관표적치료제 개발시, 치료 후보 물질을 동물 모델에 투여하고 혈관의 밀도와 혈류 등을 포함한 혈관의 기능적 특성을 측정하는 기술이 필수적이다.  In order to diagnose and treat abnormal vascular phenomena in various vascular diseases, a technique for accurately measuring blood vessel density and blood flow in a living body is required. When developing a vascular target therapeutic agent, a technique for administering a candidate drug to an animal model and measuring functional characteristics of the blood vessel including the density and blood flow of the blood vessel is essential.

이를 위해 동물 실험에서 널리 쓰이는 면역조직 화학적 염색(Immunohistochemistry) 방법은 동물을 죽이고 조직 절편을 만들어 영상화하기 때문에 약물에 대한 반응의 시간적 변화를 살피기에 적절하지 않다. To this end, immunohistochemistry, a widely used method in animal experiments, is not suitable for monitoring the temporal changes in response to drugs because of the killing of animals and imaging of tissue sections.

동물 실험 및 임상용으로 사용되는 동적 명암 강화 자기 공명 영상(Dynamic Contrast-Enhanced Magnetic Resonance Imaging, DCE-MRI)의 경우 혈관의 기능적 특성을 추출할 수 있으나 고가의 MRI 장비를 요구하기에 경제적 효율성이 중요시되는 약물 개발에 적절하지 않고, 해상도도 우수하지 못하다. 효율적인 혈관 영상화를 위해 인도시아닌 그린 등의 형광 프로브를 이용한 광학적 방법이 제안되어 왔으나 관류 정도를 고려하지 않았고, 공간분해능을 가지지 못했다는 한계를 가졌다. Dynamic Contrast-Enhanced Magnetic Resonance Imaging (DCE-MRI), which is used for animal experiments and clinical use, can extract the functional characteristics of blood vessels, but economic efficiency is important to require expensive MRI equipment. It is not suitable for drug development and its resolution is not good. For efficient blood vessel imaging, an optical method using a fluorescent probe such as indocyanine green has been proposed, but it does not consider the degree of perfusion and has no limitation in spatial resolution.

관련된 종래 기술로는 종양 이식 쥐에 광학 프로브를 혈관으로 주입한 후, 약물역동학적 변화를 시간에 따라 영상화하고 모델을 바탕으로 분석해 혈관 투과도를 측정하는 기술(In vivo quantification of optical contrast agent dynamics in rat tumors by use of diffuse optical spectroscopy with MRI coregistration, David J. Cuccica, et al. Applied Optics Vol 42, No.16, 2003)이 있으며, 바이오정보학에 응용되어 의미 있는 패턴이나 기능적인 부분을 추출하는데 사용되는 기술로 모든 값들을 양수로 나타낸다는 제약 조건을 가지고 관찰된 대량의 데이터를 두 개의 매트릭스로 분리하여 분석하는 방법(Projected Gradient Methods for Non-negative Matrix Factorization. Lin C-J., vol. 352: Department of Computer Science National Taiwan University; 2005.)이 있다.Related prior art is a technique for measuring vascular permeability by injecting an optical probe into a tumor-grafted rat into a blood vessel, and then imaging pharmacokinetic changes over time and analyzing the model based on in vivo quantification of optical contrast agent dynamics in rats. tumors by use of diffuse optical spectroscopy with MRI coregistration, David J. Cuccica, et al. Applied Optics Vol 42, No. 16, 2003), which are used in bioinformatics to extract meaningful patterns or functional parts. A technique that separates and analyzes a large amount of observed data into two matrices with the constraint that all values are positive with technology (Projected Gradient Methods for Non-negative Matrix Factorization. Lin CJ., Vol. 352: Department of Computer Science National Taiwan University; 2005.).

또한, 종양 이식 쥐에 주입된 광학 프로브의 약물역동학적 분석을 개선하는 "Extended Kalman Filtering"이라는 방법(Extended Kalman Filtering for the Modeling and Analysis of ICG pharmacokinetics in Cancerous Tumors Using NIR Optical Methods. Burak Alacam et al., IEEE, Vol53, No.10, 2006)이 있다.In addition, Extended Kalman Filtering for the Modeling and Analysis of ICG pharmacokinetics in Cancerous Tumors Using NIR Optical Methods.Burak Alacam et al. , IEEE, Vol53, No. 10, 2006).

이와 같은 상기의 종래 기술들은 각기 다른 특성을 보이는 다수의 혈관을 공 간적으로 분리할 수 없는 문제점이 있다.Such prior arts have a problem in that a plurality of blood vessels showing different characteristics cannot be separated spatially.

본 발명은 상기한 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 형광 프로브의 생체 내 역학을 이용하여 종래 기술에서는 측정할 수 없는 정상 관류 이하의 저하된 관류 정도부터 정상 관류 이상의 증가된 넓은 범위에서 각 부위별 정확한 생체 관류 측정이 가능한 수학적 모델에 기반한 약물동역학적 혈관 특성 추출 장치 및 방법을 제공하는데 그 목적이 있다.The present invention has been made to solve the above problems of the prior art, by using the in vivo dynamics of the fluorescent probe in a wide range of increased perfusion below normal perfusion below the normal perfusion that can not be measured in the prior art An object of the present invention is to provide an apparatus and method for extracting pharmacokinetic vascular properties based on a mathematical model capable of accurate bioperfusion measurement at each site.

상기한 과제를 해결하기 위한 본 발명에 따른 수학적 모델에 기반한 약물동역학적 혈관 특성 추출 장치는 관측대상 내에 흐르는 형광 프로브의 시간에 따른 공간적 분포를 촬영하는 영상 획득부, 상기 영상 획득부에 의해 획득된 영상을 통해 시간에 따른 모세혈관 및 정맥 구획에서 빠져나가는 관류에 포함된 형광 프로브의 농도값을 계산하여 서로 다른 관류 정도(perfusion rate)를 가지는 하나 이상의 혈관 분포를 분포 비중 정도에 따라 영상화하는 영상 분석부 및 상기 영상 분석부에서 영상화된 이미지를 출력하는 출력부를 포함한다.An apparatus for extracting pharmacokinetic vascular characteristics based on a mathematical model according to the present invention for solving the above problems is an image acquisition unit for capturing the spatial distribution over time of a fluorescent probe flowing in an observation object, obtained by the image acquisition unit Image analysis of imaging one or more blood vessel distributions having different perfusion rates according to the distribution ratio by calculating concentration values of fluorescent probes included in perfusion escaping from capillary and venous compartments over time through the images. And an output unit configured to output an image imaged by the image analyzer.

여기서, 상기 영상 분석부는 gm(t)가 상기 영상 획득부에 의해 획득된 영상에 의해 측정된 m 구획에서 시간 t 에 따른 모세혈관 및 정맥 구획에서 빠져나가는 관류에 포함된 형광 프로브의 농도값인 경우 하기의 수학식으로 표현되는 행렬을 행렬 인수분해(matrix facrorization)하여 시간 t 에서 관류 정도가 pn 인 혈관이 형광 프로브의 농도에 미치는 관류 효과(Pn t) 및 해당 관류 정도를 가지는 혈관의 분포 비중(βmn)을 계산한다.Here, the image analyzer is a concentration value of the fluorescent probe included in the perfusion exiting the capillary and venous compartment according to time t in the m section measured by the image obtained by the image acquisition unit g m (t) In this case, matrix facrorization of a matrix represented by the following equation results in the perfusion effect (P n t ) and the perfusion effect on the concentration of the fluorescent probe of a blood vessel having a degree of perfusion p n at time t. Calculate the distribution specific gravity (β mn ).

Figure 112008043886012-pat00001
Figure 112008043886012-pat00001

또한, 상기 관류 효과(Pn t)는 시간 t 에 따라 지수함수적(exponential)으로 감소해야 한다는 제 1 조건, 0 과 1 사이에 분포해야 한다는 제 2 조건 및 임의의 두 값이 설정된 기준값 이상의 차이가 나야 한다는 제 3 조건을 만족하는 값이다.In addition, the perfusion effect (P n t ) is a first condition that must be exponentially reduced over time t, a second condition that must be distributed between 0 and 1 and the difference between any two values above the set reference value Is a value satisfying the third condition.

그리고, 상기 관류 정도는

Figure 112008043886012-pat00002
에 의해 계산된다.And, the degree of perfusion
Figure 112008043886012-pat00002
Is calculated by.

또한, 상기 영상 분석부는 상기 혈관 분포 비중을 색깔기울기 맵(Colorgradient map)의 컬러값과 대응시켜 컬러 영상화한다.In addition, the image analysis unit colorizes the blood vessel distribution specific gravity corresponding to the color value of the color gradient map (Colorgradient map).

상기 영상 분석부는 상기 행렬 인수분해를 한번 이상 반복 수행하여 구한 관류 정도값 중 설정된 기준값 이상의 빈도수를 보이는 관류 정도값을 가지는 혈관을 상기 분포 비중 정도에 따라 영상화한다.The image analyzer may image a blood vessel having a perfusion degree value having a frequency greater than or equal to a set reference value among perfusion degree values obtained by repeatedly performing the matrix factorization one or more times according to the distribution specific gravity.

상기 영상 분석부는 상기 설정된 기준값 이상의 빈도수를 보이는 관류 정도값을 가지는 하나 이상의 혈관을 병합하여 영상화한다.The image analyzer merges and images one or more blood vessels having a perfusion degree value showing a frequency above the set reference value.

상기한 과제를 해결하기 위한 본 발명에 따른 수학적 모델에 기반한 약물동역학적 혈관 특성 추출 방법은 관측대상 내에 흐르는 형광 프로브의 시간에 따른 공간적 분포를 촬영하는 제 1 단계, 상기 제 1 단계에 의해 획득된 영상을 통해 시간에 따른 모세혈관 및 정맥 구획에서 빠져나가는 관류에 포함된 형광 프로브의 농도값을 계산하는 제 2 단계 및 상기 제 2 단계에서 구한 시간에 따른 모세혈관 및 정맥 구획에서 빠져나가는 관류에 포함된 형광 프로브의 농도값을 이용하여 서로 다른 관류 정도(perfusion rate)를 가지는 하나 이상의 혈관 분포를 분포 비중 정도에 따라 영상화하는 제 3 단계를 포함하여 이루어진다.In order to solve the above problems, a method for extracting pharmacokinetic vascular characteristics based on a mathematical model according to the present invention is obtained by a first step of capturing a spatial distribution over time of a fluorescent probe flowing in an observation object, obtained by the first step. In the second step of calculating the concentration value of the fluorescent probe included in the perfusion escaping from the capillary and venous compartments over time through the image and included in the perfusion escaping from the capillary and venous compartments over time obtained in the second step And a third step of imaging one or more blood vessel distributions having different perfusion rates according to the distribution specific gravity using the concentration values of the fluorescent probes.

여기서, 상기 제 3 단계는 gm(t)가 상기 영상 획득부에 의해 획득된 영상에 의해 측정된 m 구획에서 시간 t 에 따른 모세혈관 및 정맥 구획에서 빠져나가는 관류에 포함된 형광 프로브의 농도값인 경우 하기의 수학식으로 표현되는 행렬을 행렬 인수분해(matrix facrorization)하여 시간 t 에서 관류 정도가 pn 인 혈관이 형광 프로브의 농도에 미치는 관류 효과(Pn t) 및 해당 관류 정도를 가지는 혈관의 분포 비중(βmn)을 계산하는 제 1 과정Here, the third step is the concentration value of the fluorescent probes included in the perfusion outgoing g m (t) is out of the capillary and venous compartment according to the time t in m blocks as determined by an image obtained by the image obtaining unit In the case of, the matrix represented by the following equation is subjected to matrix facrorization and the perfusion effect (P n t ) and the perfusion effect on the concentration of the fluorescent probe of the blood vessel having the degree of perfusion p n at time t Process for calculating the distribution specific gravity (β mn )

Figure 112008043886012-pat00003
및 상기 제 1 과정에서 구한 관류 효과(Pn)를 이용하여
Figure 112008043886012-pat00004
에 의해 관류 정도를 계산하는 제 2 과정을 포함하여 이루어진다.
Figure 112008043886012-pat00003
And the perfusion effect P n obtained in the first step.
Figure 112008043886012-pat00004
Including a second process of calculating the degree of perfusion.

여기서, 상기 제 1 과정은 상기 관류 효과(Pn t)가 시간 t 에 따라 지수함수적(exponential)으로 감소해야 한다는 제 1 조건, 상기 관류 효과(Pn t)가 0 과 1 사이에 분포해야 한다는 제 2 조건 및 임의의 두 관류 효과값이 설정된 기준값 이상의 차이가 나야 한다는 제 3 조건하에서 시간 t 에서 관류 정도가 pn 인 혈관이 형광 프로브의 농도에 미치는 관류 효과(Pn t) 및 해당 관류 정도를 가지는 혈관의 분포 비중(βmn)을 계산한다.Here, the first process has to range between 0 and 1, the first condition, the perfusion effect (P n t) that should decrease exponentially (exponential) in accordance with the perfusion effects (P n t), the time t Perfusion effect (P n t ) and the perfusion effect of a blood vessel having a degree of perfusion p n at the time t under the third condition that the second condition and any two perfusion effect values are greater than or equal to the set reference value. Calculate the specific gravity (β mn ) of blood vessels with degree.

또한, 상기 제 3 단계는 상기 제 2 과정에서 구한 관류 정도 및 혈관 분포 비중을 가지는 혈관을 색깔기울기 맵(Colorgradient map)의 컬러값에 상기 혈관 분포 비중을 대응시켜 컬러 영상화하는 제 3 과정을 더 포함하여 이루어진다.The third step may further include a third process of color imaging the blood vessel having the degree of perfusion and the blood vessel distribution specific gravity corresponding to the color distribution of the color gradient map by color matching the blood vessel distribution specific gravity. It is done by

또한, 상기 제 3 단계는 상기 제 1 과정 및 제 2 과정을 한번 이상 반복수행하여 구한 관류 정도값 중 설정된 기준값 이상의 빈도수를 보이는 관류 정도값을 가지는 혈관을 상기 분포 비중 정도에 따라 영상화한다.In the third step, blood vessels having a perfusion degree value showing a frequency higher than or equal to a predetermined reference value among the perfusion degree values obtained by repeating the first and second processes at least once are imaged according to the distribution specific gravity.

상기 제 3 단계는 상기 설정된 기준값 이상의 빈도수를 보이는 관류 정도값을 가지는 하나 이상의 혈관을 병합하여 영상화한다.The third step merges and images one or more blood vessels having a perfusion degree value showing a frequency above the set reference value.

상기 제 3 단계 후에 상기 제 3 단계에서 영상화된 이미지를 출력하는 제 4 단계를 더 포함하여 이루어진다.And a fourth step of outputting the image imaged in the third step after the third step.

또한, 상기 형광 프로브는 일례로 인도시아닌 그린이 사용될 수 있다.In addition, for example, indocyanine green may be used as the fluorescent probe.

상기와 같이 구성되는 본 발명에 따른 수학적 모델에 기반한 약물동역학적 혈관 특성 추출 장치 및 방법은 혈관 질병에 의해 허혈 조직의 관류 정도가 떨어진 동물모델에서 시간에 따른 혈관의 기능적 특성 변화에 대한 측정이 가능하며, 이를 통해 비정상적인 관류를 보이는 혈관을 진단할 수 있고, 혈관표적약물이 가지는 혈류, 혈관투과도에 대한 효과를 추적 연구할 수 있다. Apparatus and method for extracting pharmacokinetic vascular properties based on a mathematical model according to the present invention configured as described above can measure changes in functional characteristics of blood vessels over time in an animal model in which the degree of perfusion of ischemic tissues is reduced due to vascular disease. Through this, it is possible to diagnose blood vessels showing abnormal perfusion, and to study the effects on blood flow and vascular permeability of the vascular target drug.

또한, 공간 분해능을 가지기 때문에 관류 정도에 따라 혈관들의 공간적 분포를 나타낼 수 있으며, 당뇨병에서의 안구 및 하지의 혈관 합병증 등 다양한 혈관 관련 질병의 임상적 진단 연구에 사용될 수 있다.In addition, because of its spatial resolution, the spatial distribution of blood vessels can be shown according to the degree of perfusion, and can be used for clinical diagnosis of various vascular diseases such as vascular complications of eyes and lower extremities in diabetes.

이하, 첨부된 도면을 참조하여 본 발명의 구체적인 내용 및 실시예를 설명하면 다음과 같다.Hereinafter, with reference to the accompanying drawings will be described specific details and embodiments of the present invention.

본 발명은 동물 모델을 만들고, 형광 영상을 위한 기기를 구비해 영상을 측정한 후 측정된 영상을 이용하여 약물동역학적 수학적 모델을 바탕으로 이차원 영상으로부터 기능적 특성이 다른 서로 다른 혈관들을 분리해내고 공간적으로 나타낸다. 서로 다른 특성을 가지는 혈관을 공간상에 독립적으로 표현할 수 있다.The present invention creates an animal model, is equipped with a device for fluorescence imaging to measure the image and then using the measured image to separate the different vessels with different functional characteristics from the two-dimensional image based on the pharmacokinetic mathematical model and spatial Represented by Blood vessels with different characteristics can be expressed independently in space.

도 1은 본 발명에 따른 수학적 모델에 기반한 약물동역학적 혈관 특성 추출 장치의 구성이 도시된 블럭도이다.1 is a block diagram showing the configuration of the pharmacodynamic vascular characteristics extraction apparatus based on a mathematical model according to the present invention.

도 1을 참조하면, 본 발명에 따른 수학적 모델에 기반한 약물동역학적 혈관 특성 추출 장치는 영상 획득부(100), 영상 분석부(200) 및 출력부(300)을 포함한다.Referring to FIG. 1, an apparatus for extracting pharmacokinetic vascular characteristics based on a mathematical model according to the present invention includes an image acquirer 100, an image analyzer 200, and an output unit 300.

상기 영상 획득부(100)는 관측대상 내에 흐르는 형광 물질의 시간에 따른 공간적 분포를 촬영한다.The image acquisition unit 100 captures the spatial distribution of the fluorescent material flowing in the observation object over time.

상기 영상 획득부(100)는 형광물질이 투여된 관측대상을 일정 시간 간격으로 촬영하여 다수의 영상을 획득한다. 예를 들면 약 20초 간격으로 16번의 촬영이 이루어질 수 있다.The image acquisition unit 100 acquires a plurality of images by photographing the observation target to which the fluorescent material is administered at predetermined time intervals. For example, 16 shots may be taken at about 20 second intervals.

도 2는 본 발명에 따른 영상 획득부의 구성의 일 실시예가 도시된 도이다.2 is a diagram illustrating an embodiment of a configuration of an image acquisition unit according to the present invention.

도 2를 참조하여 상세히 설명하면, 영상 획득부(100)는 관측대상(140)이 위치되는 재물대(130), 관측대상에 빛을 비추는 광원(120), 관측대상 내의 형광 물질의 시간적 변화를 촬영하는 광학 센서(110)를 포함한다.Referring to FIG. 2, the image acquisition unit 100 captures the temporal change of the material stage 130 where the observation target 140 is located, the light source 120 that shines light on the observation target, and the fluorescent material within the observation target. It includes an optical sensor 110.

또한, 외부로부터 빛이 차단되는 것을 막기 위하여 상기 재물대, 광원, 광학 센서등을 감싸는 암실(160)을 더 포함한다.In addition, to prevent the light from being blocked from the outside further includes a dark room 160 surrounding the stage, light source, optical sensor, and the like.

상기 광원(120)에는 관측대상에 주입된 형광 물질이 잘 관찰되도록 특정한 파장대의 빛만을 출력하도록 하는 필터(121)가 장착될 수 있다.The light source 120 may be equipped with a filter 121 to output only light of a specific wavelength band so that the fluorescent material injected into the observation target is well observed.

상기 광원(120)은 레이저, LED, 백색광원 등이 될 수 있으며, 균일한 조명을 위해 링 형태를 가질 수 있다.The light source 120 may be a laser, an LED, a white light source, or the like, and may have a ring shape for uniform illumination.

상기 광학 센서(110)에는 관측대상으부터 나오는 특정한 파장대의 빛만을 관측하도록 하는 필터(111)가 장착될 수 있다.The optical sensor 110 may be equipped with a filter 111 to observe only light of a specific wavelength band from the observation target.

상기 광학 센서(110)는 CCD 카메라, COMS 카메라, 광전자 증배관(Photomultiplier tube) 등이 될 수 있다.The optical sensor 110 may be a CCD camera, a COMS camera, a photomultiplier tube, or the like.

또한, 상기 관측대상(140)의 측면을 관측하기 위해 재물대(130)와 소정 각도를 이루며 비스듬하게 형성되는 하나 이상의 반사경(150)이 구비될 수 있다. 여기서, 반사경으로 거울 또는 프리즘이 사용될 수 있다.In addition, at least one reflector 150 formed obliquely at a predetermined angle with the stage 130 may be provided to observe the side surface of the observation target 140. Here, a mirror or prism may be used as the reflector.

상기 영상 분석부(200)는 상기 영상 획득부(100)에 의해 획득된 영상을 통해 시간에 따른 모세혈관 및 정맥 구획에서 빠져나가는 관류에 포함된 형광 프로브의 농도값을 계산하여 서로 다른 관류 정도(perfusion rate)를 가지는 하나 이상의 혈관 분포를 분포 비중 정도에 따라 영상화한다. 여기서, 영상화란 것은 이미지 데이터를 만드는 것이다.The image analyzer 200 calculates concentration values of the fluorescent probes included in the perfusion escaping from the capillary and venous compartments over time based on the images acquired by the image acquisition unit 100, and thus the degree of perfusion of different perfusions ( One or more blood vessel distributions with a perfusion rate are imaged according to their specific gravity. Here, imaging means making image data.

도 3은 본 발명에 사용된 시간에 따른 형광 프로브의 형광 변화에 대한 수학적 모델이 도시된 도이다.Figure 3 is a diagram showing the mathematical model of the change in fluorescence of the fluorescent probe with time used in the present invention.

도 3을 참조하여 상세히 설명하면, 상기 영상 분석부(200)는 상기 영상 획득부(100)에 의해 얻어진 시간에 따른 시공간적 형광 프로브의 분포를 미분방적식으로 표현된 약물동역학적 모델을 통해 분석한다. 본 발명에서는 형광 프로브의 일례 로 인도시아닌 그린(이하, ICG)을 사용하였다.Referring to FIG. 3, the image analyzer 200 analyzes the distribution of the spatiotemporal fluorescent probe according to time obtained by the image acquirer 100 through a pharmacokinetic model expressed by differential equation. In the present invention, indocyanine green (hereinafter referred to as ICG) was used as an example of a fluorescent probe.

인도시아닌 그린이 혈액 내에 주입되면 대부분 혈청 단백질인 알부민과 결합하여 정상적인 경우 혈관 내에만 머무르며, 알부민-인도시아닌그린의 복합체는 간이나 신장에서 분해되는데 이는 하기의 [수학식 1]과 같이 지수 함수로 표현될 수 있다 When indocyanine green is injected into the blood, most of it binds to albumin, a serum protein, and stays in the blood vessel in normal cases. The albumin-indocyanine green complex is decomposed in the liver or kidney, which is expressed in Equation 1 below. Can be expressed as a function

Figure 112008043886012-pat00005
Figure 112008043886012-pat00005

여기서, In은 동맥 내의 ICG 농도, A1은 초기 ICG 농도, t 는 시간, τ는 ICG 분해 반감기이다. Where I n is the ICG concentration in the artery, A 1 is the initial ICG concentration, t is the time, and τ is the ICG degradation half-life.

관류를 일컫는 알부민-인도시아닌그린의 혈관을 따른 흐름은 동맥과 모세혈관 및 정맥의 두 구획으로 구분해서 표시하였다. 아래 [수학식 2]는 시간에 따른 알부민-인도시아닌 그린의 변화를 표현한 것이다.The flow along the blood vessels of albumin-indocyanine green, called perfusion, is divided into two compartments: arteries, capillaries, and veins. Equation 2 below represents the change of albumin-indocyanine green over time.

Figure 112008043886012-pat00006
Figure 112008043886012-pat00006

여기서, Ii는 모세혈관 및 정맥 구획의 ICG 농도, p 는 관류 정도를 나타내 는 변수, In은 동맥 내의 ICG 농도이다.Where I i is the ICG concentration in the capillary and venous compartments, p is a variable representing the degree of perfusion, and I n is the ICG concentration in the artery.

상기 [수학식 1]과 [수학식 2]로부터 시간 t 에 다른 모세혈관 및 정맥 구획의 ICG 농도를 구할 수 있다. ICG concentrations of other capillary and venous compartments at time t can be obtained from Equations 1 and 2 above.

Figure 112008043886012-pat00007
Figure 112008043886012-pat00007

여기서,

Figure 112008043886012-pat00008
는 동맥 내의 ICG 농도가 모세혈관 및 정맥 구획의 ICG 농도에 미치는 효과이며,
Figure 112008043886012-pat00009
는 관류 정도가 모세혈관 및 정맥 구획의 ICG 농도에 미치는 효과를 말한다.here,
Figure 112008043886012-pat00008
Is the effect of ICG concentration in arteries on ICG concentrations in capillary and venous compartments,
Figure 112008043886012-pat00009
Refers to the effect of the degree of perfusion on the ICG concentration of capillary and venous compartments.

상기 [수학식 3]에서 동맥 내의 ICG 농도가 미치는 영향은 양수 값을 가지고 관류 정도에 따른 효과는 음수 값을 가진다. 여기서 관류 효과는 조직 내에 하나의 혈관만 존재하기보다는 여러 혈관이 존재하기 때문에 관류 정도가 미치는 효과를 더 세분화하여 표시할 수 있다. 조직 내의 특정 위치에 n 개의 서로 다른 관류 흐름을 보이는 혈관이 분포한다면 관류 정도는 [수학식 4]와 같이 표현된다.In Equation 3, the effect of the ICG concentration in the arteries has a positive value, and the effect according to the degree of perfusion has a negative value. Here, the perfusion effect can be displayed by more subdividing the effect of the degree of perfusion because there are several blood vessels rather than only one blood vessel in the tissue. If blood vessels showing n different perfusion flows are distributed at specific locations in the tissue, the degree of perfusion is expressed as shown in [Equation 4].

Figure 112008043886012-pat00010
Figure 112008043886012-pat00010

여기서, βn은 pn의 관류를 보이는 혈관이 특정 위치에서 전체 관류에 미치는 영향, 즉 다시 말하면 관류 정도가 pn인 혈관의 분포 비중(weight)을 말한다.Here, β n refers to the effect of the blood vessel showing p n perfusion on the overall perfusion at a specific location, that is, the weight distribution of the blood vessel having a degree of perfusion p n .

최종적으로 [수학식 3]과 [수학식 4]를 조합하여 시간에 따른 특정 위치에서의 관류는 하기의 [수학식 5]로 표현될 수 있다.Finally, in combination with [Equation 3] and [Equation 4], the perfusion at a specific position over time can be represented by the following [Equation 5].

Figure 112008043886012-pat00011
Figure 112008043886012-pat00011

여기서, f(t)는 시간 t 에 따른 모세혈관 및 정맥 구획의 ICG 농도를 의미하며 이는 상기 영상 획득부(100)에서 관찰된 ICG 농도값과 같다. Here, f (t) means the ICG concentration of the capillary and venous compartments over time t, which is the same as the ICG concentration value observed in the image acquisition unit 100.

상기 [수학식 5]에서 g(t)는 f(t)에서 모세혈관 및 정맥 구획에서 들어오는 관류에 포함된 ICG 농도를 뺀 값으로, g(t)는 시간에 따른 모세혈관 및 정맥 구획에서 빠져나가는 관류에 포함된 ICG농도를 의미한다. In Equation 5, g (t) is the value of f (t) minus the ICG concentration included in the perfusion coming from the capillary and venous compartments, and g (t) is out of the capillary and venous compartments over time. ICG concentration in outgoing perfusion.

도 4는 관측대상에 주입된 형광 프로브의 농도변화가 도시된 도이다.4 is a diagram illustrating a change in concentration of a fluorescent probe injected into an observation object.

도 4를 참조하면, 상기 f(t)는 관찰된 형광의 농도에 비례한다는 가정하에 구한다. 혈류 흐름이 느려지는 지역에서 관찰한 시간에 따른 농도 변화 그래프가 도 4의 (c)이다. Referring to FIG. 4, the f (t) is obtained under the assumption that it is proportional to the concentration of fluorescence observed. A graph of concentration change with time observed in a region where blood flow is slow is shown in FIG. 4C.

도 4의 (c)와 같은 농도 변화 그래프는 (b)의 그림처럼 들어오는 관류와(검은색 선) 빠져나가는 관류(초록색, 빨간색, 파란색)로 나타낼 수 있다. The concentration change graph as shown in (c) of FIG. 4 may be represented as the perfusion (black line) and the perfusion (green, red, blue) exiting as shown in (b).

g(t)는 빠져가는 관류의 합을 의미하는데, g(t)를 계산하기 위해서는 f(t)에서 들어오는 관류를 빼주면 된다. 들어오는 관류[수학식 5]의

Figure 112008043886012-pat00012
에 해당하는 값)는 타우(τ) 값을 직접 구해서 빼줄 수도 있지만, 본 발명에서는 정상지역의 시간에 따른 농도 변화의 평균값으로 정의한다. 그리고 각 구획별로, 들어오는 관류 그래프를 관찰된 형광 농도 그래프에 대응시켜 각 구획별로 들어오는 관류 정도를 구한다.g (t) is the sum of the perfusion flowing out. To calculate g (t), simply subtract the incoming perfusion from f (t). Of incoming perfusion [Equation 5]
Figure 112008043886012-pat00012
A value corresponding to) may be directly obtained by subtracting the tau (τ) value, but in the present invention, it is defined as an average value of concentration change over time in a normal region. In each section, the incoming perfusion graph corresponds to the observed fluorescence concentration graph to determine the degree of perfusion coming in each section.

상기 [수학식 5]를 이용해 관찰된 시간 동안 모든 위치에서의 관류 정도는 다음의 [수학식 6]과 같은 행렬(Matrix) 형태로 표현될 수 있다. [수학식 6]은 서로 다른 n개의 관류가 존재한다고 가정할 때 m개의 구획에서 관찰한 결과를 나타낸 것이다. The degree of perfusion at all positions during the time observed using Equation 5 may be expressed in a matrix form as shown in Equation 6 below. Equation (6) shows the results observed in m compartments, assuming that there are n different perfusions.

Figure 112008043886012-pat00013
Figure 112008043886012-pat00013

실험적으로 얻어진 정보는 등식의 우변이며, 본 발명에서는 우변의 값만 보고 역으로 좌변처럼 행렬 인수분해(matrix factorization)를 해야 한다. 이를 위해 Pn값이 시간에 따라 지수함수적으로(exponential) 감소한다는 조건과 0과 1사이에 분포한다는 조건, 및 두 개의 P 값이 서로 일정 기준 이상 차이가 나야 한다는 제약 조건을 집어넣고 행렬 인수분해(Matrix factorization)를 한다. 본 발명을 검증하는 실험에서는 행렬 인수분해(Matrix factorization)방법으로 NMF(Nonnegative matrix factorization)에서 많이 사용하는 프로젝트 그라디언트(project-gradient) 방법을 사용하였다.The experimentally obtained information is the right side of the equation, and in the present invention, only the value of the right side should be used and matrix factorization should be performed like the left side. To do this, we put in the condition that the value of P n decreases exponentially over time, the condition that it is distributed between 0 and 1, and the constraint that the two P values must differ by more than a certain amount from each other. Do matrix factorization. In the experiment verifying the present invention, a project gradient method, which is frequently used in NMF (Nonnegative matrix factorization), was used as a matrix factorization method.

행렬 인수분해하는 과정을 일례를 들어 설명하면 다음과 같다.An example of the process of matrix factorization is as follows.

관찰된 ICG농도로부터 구획별 들어오는 관류 정도를 빼고 나면 각 구획별 빠져나가는 관류 흐름이 하기의 [수학식 7]과 같이 구해진다. [수학식 7]은 g(t)를 의미한다. 이 경우 5개의 구획에서 관찰하였으며, 시간 간격은 20초 간격으로 3번 관찰한 값이다.After subtracting the degree of infusion per compartment from the observed ICG concentration, the perfusion flow out of each compartment is obtained as shown in Equation 7 below. [Equation 7] means g (t). In this case, observation was made in five compartments, and the time interval was observed three times at 20 second intervals.

Figure 112008043886012-pat00014
Figure 112008043886012-pat00014

관찰된 [수학식 7]로부터 서로 다른 관류 흐름과 각 관류 흐름이 구획별 미치는 영향을 분석한다.From the observed Equation 7, we analyze the different perfusion flows and the effects of each perfusion flow.

Figure 112008043886012-pat00015
Figure 112008043886012-pat00015

[수학식 8]에서 우변은 상기 [수학식 7]의 값이며, 좌변은 랜덤으로 초기값을 설정한 것이다. [수학식 8]에서 좌변의 왼쪽 행렬은 3×2 행렬이며, 이는 서로 다른 2 개의 관류 흐름이 존재하는 것이며, 각 열(column)은 관류 흐름의 시간에 따른 변화, 즉 3 개의 시점에서의 변화를 나타낸다. In Equation 8, the right side is the value of Equation 7, and the left side is a random initial value. In Equation 8, the left matrix on the left side is a 3 × 2 matrix, and there are two different perfusion flows, and each column has a change in time, that is, a change at three time points. Indicates.

좌변의 오른쪽 행렬은 2×5 행렬로써, 서로 다른 2 개의 관류 흐름이 5 곳의 각 구획에 미치는 영향 정도를 나타낸 것이다.The matrix on the right side of the left side is a 2 × 5 matrix, showing the degree of effect of two different perfusion flows on each of the five compartments.

하지만 현재 [수학식 8]의 경우 우변과 좌변이 일치하지 않기 때문에 역으로 이를 맞춰주는 과정이 필요하다. 이를 위해 NMF 라는 행렬을 인수분 해(Factorization) 해주는 알고리즘을 도입하여 본 발명의 모델에 맞도록 수정하여 사용하였다. However, in the case of Equation 8, the right side and the left side do not coincide with each other. To this end, an algorithm for factoring a matrix called NMF was introduced and used to modify it to fit the model of the present invention.

이 알고리즘을 통해 좌변과 우변의 차이를 줄여 나가는 방식으로 좌변의 두 행렬 값들을 변화시킨다. 그리하여, 최종적으로 좌변과 우변의 차이가 특정한 값 이하로 떨어지면 최종 결과가 나오는데 그 결과는 하기의 [수학식 9]와 같다.This algorithm changes the two matrix values on the left side by reducing the difference between the left and right sides. Thus, when the difference between the left side and the right side finally falls below a certain value, the final result is obtained. The result is expressed by Equation 9 below.

Figure 112008043886012-pat00016
Figure 112008043886012-pat00016

[수학식 9]에서 좌변과 우변은 일치하며, 좌변의 왼쪽은 서로 다른 두 개의 관류 정도를 나타내고 있는데 실제 관류 값은 -ln(P)*3*100 으로 나타낸다.In Equation 9, the left side and the right side correspond to each other, and the left side of the left side shows two different degrees of perfusion, and the actual perfusion value is represented by -ln (P) * 3 * 100.

P값이 0.9와 0.2 인 경우 각각의 관류 정도는 31%/분 과 482%/분이 된다. 관류 값을 구할 때 3을 곱하는 이유는 본 g(t)값이 20초 간격으로 관찰된 값이며, 현재 관류 값은 분단위로 나타내기 때문이다.For P values of 0.9 and 0.2, the perfusion rates are 31% / min and 482% / min, respectively. The reason for multiplying 3 by the perfusion value is that this g (t) value is observed every 20 seconds, and the current perfusion value is expressed in minutes.

한편 좌변의 오른쪽 파트의 첫 번째 열(column)을 보면 관류 정도가 31%인 혈관이 0.2 정도 482% 정도인 혈관은 0.5 정도 분포함을 의미하는데 여기서 0.2나 0.5 같은 값들은 실질적인 의미는 없고 상대적 비율만 나타낸다. On the other hand, the first column of the right part of the left side indicates that the vessels with 31% perfusion are distributed in the range of 0.2 to 482%, where the values such as 0.2 or 0.5 have no practical meaning and relative proportions. Indicates only.

이상과 같이 행렬 인수분해를 통해 관류정도를 파악하면, 상기 영상 분석 부(200)는 상기 행렬 인수분해를 한번 이상 반복 수행하여 구한 관류 정도값 중 설정된 기준값 이상의 빈도수를 보이는 관류 정도값을 가지는 혈관을 상기 분포 비중 정도에 따라 영상화할 수 있다. 즉, 도 6과 같이 대략 관류 정도가 24%, 122%, 207% 처럼 빈도수에 따라 몇 개의 관류 정도값을 뽑아낼 수 있다.When the degree of perfusion is determined through matrix factorization as described above, the image analysis unit 200 identifies a blood vessel having a perfusion degree value showing a frequency greater than or equal to a set reference value among perfusion degree values obtained by repeatedly performing the matrix factorization one or more times. Imaging can be performed according to the degree of distribution specific gravity. That is, as shown in FIG. 6, several perfusion values may be extracted according to the frequency, such as 24%, 122%, and 207%.

또한, 상기 영상 분석부(200)는 상기 설정된 기준값 이상의 빈도수를 보이는 관류 정도값을 가지는 하나 이상의 혈관을 병합하여 영상화할 수 있다.In addition, the image analyzer 200 may merge and image one or more blood vessels having a perfusion degree value showing a frequency equal to or greater than the set reference value.

상기 영상 분석부(200)는 상기 혈관 분포 비중을 색깔기울기 맵(Colorgradient map)의 컬러값과 대응시켜 컬러 영상화하고, 상기 출력부(300)는 상기 영상 분석부(200)에서 영상화한 이미지를 출력한다.The image analyzer 200 colorizes the distribution of blood vessels to correspond to the color values of a color gradient map, and the output unit 300 outputs the image imaged by the image analyzer 200. do.

이하, 도 5를 참조하여, 본 발명에 따른 수학적 모델에 기반한 약물동역학적 혈관 특성 추출 방법을 설명한다.Hereinafter, with reference to FIG. 5, a method for extracting pharmacokinetic vascular properties based on a mathematical model according to the present invention will be described.

도 5는 본 발명에 따른 수학적 모델에 기반한 약물동역학적 혈관 특성 추출 방법이 도시된 순서도이다.5 is a flowchart illustrating a method for extracting pharmacokinetic vascular properties based on a mathematical model according to the present invention.

먼저, 관찰대상에 형광 프로브(예를 들어 인도시아닌 그린)을 투입 후 형광 프로브의 시간에 따른 공간적 분포를 카메라를 이용하여 일정한 시간 간격으로 촬영하여 영상을 획득한다(S110).First, a fluorescent probe (for example, indocyanine green) is added to an observation target, and an image is obtained by capturing a spatial distribution of the fluorescent probe at regular time intervals using a camera (S110).

다음으로 관찰된 형광 영상으로부터 모세혈관 및 정맥 구획의 형광 프로브의 농도값을 구한다(S120).Next, the concentration values of the fluorescent probes in the capillary and venous compartments are obtained from the observed fluorescence images (S120).

정상지역의 평균시간에 다른 형광 프로브의 농도 변화를 들어오는 관류의 형 광 프로브의 농도 변화라고 가정하고, 각 구획별로 들어오는 관류정도를 측정한다(S130).It is assumed that the change in the concentration of the other fluorescent probe at the mean time in the normal region is the change in the concentration of the fluorescent probe of the perfusion coming from, and the degree of perfusion coming into each compartment is measured (S130).

앞서 형광 영상으로부터 구한 모세혈관 및 정맥 구획의 형광 프로브의 농도값에서 들어오는 관류 정도를 빼주어 시간 t 에 따른 모세혈관 및 정맥 구획에서 빠져나가는 관류에 포함된 형광 프로브의 농도값을 구한다(S140).Subsequently, the degree of perfusion is subtracted from the concentration values of the fluorescent probes in the capillary and venous compartments obtained from the fluorescence image, and the concentration values of the fluorescent probes included in the perfusion escaping from the capillary and venous compartments according to time t are obtained (S140).

다음으로, gm(t)가 상기 영상 획득부에 의해 획득된 영상에 의해 측정된 m 구획에서 시간 t 에 따른 모세혈관 및 정맥 구획에서 빠져나가는 관류에 포함된 형광 프로브의 농도값인 경우 [수학식 6]으로 표현되는 행렬을 행렬 인수분해(matrix facrorization)하여 시간 t 에서 관류 정도가 pn 인 혈관이 형광 프로브의 농도에 미치는 관류 효과(Pn t) 및 해당 관류 정도를 가지는 혈관의 분포 비중(βmn)을 계산하고,

Figure 112008043886012-pat00017
의 관계에 따라 관류 정도(pn)을 계산한다(S150).Next, when g m (t) is the concentration value of the fluorescent probe included in the perfusion escaping from the capillary and venous compartments according to time t in the m compartment measured by the image acquired by the image acquisition unit [Math equation 6] in a matrix of a matrix argument, which is represented decomposition (matrix facrorization) to the blood vessel is perfused degree of p n at time t, the perfusion effects of the concentration of the fluorescent probe (p n t) and the distribution density of the blood vessel with the perfusion level (β mn ),
Figure 112008043886012-pat00017
The degree of perfusion (p n ) is calculated according to the relationship (S150).

다음으로, 앞서 구한 관류 정도 및 혈관 분포 비중을 이용하여 혈관의 공간적 분포 맵을 만드는데, 색깔기울기 맵(Colorgradient map)의 컬러값에 상기 혈관 분포 비중을 대응시켜 컬러 영상화하여 출력한다(S160).Next, a spatial distribution map of blood vessels is created using the previously obtained degree of perfusion and the distribution of blood vessel distribution, and the color image of the vessel distribution corresponds to the color distribution of the color gradient map (S160).

이하, 도 6 내지 도 9를 참조하여 본 발명에 따른 구체적인 실시예를 설명한다.Hereinafter, specific embodiments of the present invention will be described with reference to FIGS. 6 to 9.

도 6은 본 발명에 따라 구한 서로 다른 혈류 흐름을 보이는 관류 정도 분포 가 도시된 그래프이다.Figure 6 is a graph showing the distribution of perfusion showing different blood flow obtained according to the present invention.

본 발명의 일실시예로 서로 다른 관류의 종류는 9가지가 있다고 가정하고 행렬 인수분해(Matrix factoriztion)를 시킨 후, 결과값을 토대로 비중이 높은 관류값을 중심으로 실험 결과를 해석하였다.As an embodiment of the present invention, assuming that there are nine different types of perfusion, matrix factoriztion was performed, and the experimental results were analyzed based on the perfusion value having a high specific gravity based on the result.

도 6을 보면 특정한 몇 개의 관류 값(perfusion rate)이 높은 비중을 차지하고 있음을 알 수 있다. 6, it can be seen that some specific perfusion rates account for a high specific gravity.

본 발명의 방법적 안정성은 여러 번 분석을 통하여 결과값이 유사하게 나오는지에 따라 판단하였다.The methodological stability of the present invention was judged according to whether the results were similar through several times of analysis.

도 7은 여러번 분석을 통해 관찰된 정상인 지역과 비정상인 지역에서의 혈관 분포도가 도시된 그래프이다.FIG. 7 is a graph showing distribution of blood vessels in normal and abnormal regions observed through multiple analyzes.

도 7을 참조하면, 특정 지역별로 관류값은 반복적으로 비슷한 값을 보임을 확인할 수 있다.Referring to Figure 7, it can be seen that the perfusion value for each particular region repeatedly shows similar values.

도 7은 본 발명에 따라 추출한 각기 다른 혈류 흐름을 가지는 혈관 분포의 공간적 맵이 출력된 화면이 도이다.7 is a screen showing a spatial map of blood vessel distribution having different blood flows extracted according to the present invention.

도 7을 참조하면, (a)는 관류 정도가 24%인 경우, (b)는 관류 정도가 122%인경우 (c)는 관류 정도가 207% 경우이며, (d)는 에 해당하는 값을 나타낸 것으로 이는 관류의 양을 의미한다.Referring to FIG. 7, (a) is 24% perfusion, (b) is 122% perfusion, (c) is 207% perfusion, and (d) is This is the value corresponding to the amount of perfusion.

붉은 색이 많이 분포할수록 해당 관류 정도값을 가지는 혈관이 많이 분포함을 의미하고, 파란색의 경우 적게 분포함을 의미한다.The more red color is distributed, the more the blood vessels having the perfusion degree value are distributed, and the blue color is less distributed.

각 p값에 따른 β값의 분포를 이용하여 p의 관류 정도를 보이는 혈관이 분포한 정도를 볼 수 있다. Using the distribution of β values for each p value, the degree of distribution of blood vessels showing the degree of perfusion of p can be seen.

도 8은 본 발명을 인간의 발에 적용하여 설정된 기준값 이상의 다수의 관류 정도값에 해당되는 혈관 분포를 병합하여 출력한 화면이 도시된 도이다.FIG. 8 is a diagram illustrating a screen in which blood vessel distributions corresponding to a plurality of perfusion degree values equal to or greater than a reference value set by applying the present invention to a human foot are merged and output.

도 8과 같이 본 발명을 사람 발에 적용해본 결과 서로 다른 관류정도를 보이는 혈관들을 높은 해상도로 잘 구분해 주는 것을 알 수 있다.As a result of applying the present invention to the human foot as shown in FIG.

이상과 같이 본 발명에 의한 수학적 모델에 기반한 약물동역학적 혈관 특성 추출 장치 및 방법을 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다. As described above, the apparatus and method for extracting pharmacodynamic blood vessel characteristics based on the mathematical model according to the present invention have been described with reference to the illustrated drawings, but the present invention is not limited by the embodiments and drawings disclosed herein, It can be applied within the scope of protection.

도 1은 본 발명에 따른 수학적 모델에 기반한 약물동역학적 혈관 특성 추출 장치의 구성이 도시된 블럭도,1 is a block diagram showing the configuration of a device for extracting pharmacodynamic vascular characteristics based on a mathematical model according to the present invention,

도 2는 본 발명에 따른 영상 획득부의 구성의 일 실시예가 도시된 도,2 is a diagram illustrating an embodiment of a configuration of an image acquisition unit according to the present invention;

도 3은 본 발명에 사용된 시간에 따른 형광 프로브의 형광 변화에 대한 수학적 모델이 도시된 도,3 is a diagram showing a mathematical model of the change in fluorescence of a fluorescent probe with time used in the present invention;

도 4는 관측대상에 주입된 형광 프로브의 농도변화가 도시된 도,4 is a view illustrating a change in concentration of a fluorescent probe injected into an observation target;

도 5는 본 발명에 따른 수학적 모델에 기반한 약물동역학적 혈관 특성 추출 방법이 도시된 순서도,5 is a flowchart illustrating a method for extracting pharmacokinetic vascular properties based on a mathematical model according to the present invention;

도 6은 본 발명에 따라 구한 서로 다른 혈류 흐름을 보이는 관류 정도 분포가 도시된 그래프,Figure 6 is a graph showing the distribution of perfusion degree showing different blood flow obtained according to the present invention,

도 7은 여러번 분석을 통해 관찰된 정상인 지역과 비정상인 지역에서의 혈관 분포도가 도시된 그래프,Figure 7 is a graph showing the distribution of blood vessels in the normal and abnormal areas observed through multiple analyzes,

도 8은 본 발명에 따라 추출한 각기 다른 혈류 흐름을 가지는 혈관 분포의 공간적 맵이 출력된 화면이 도,8 is a screen showing a spatial map of blood vessel distribution having different blood flows extracted according to the present invention;

도 9는 본 발명을 인간의 발에 적용하여 설정된 기준값 이상의 다수의 관류 정도값에 해당되는 혈관 분포를 병합하여 출력한 화면이 도시된 도이다.FIG. 9 is a diagram illustrating a screen in which blood vessel distributions corresponding to a plurality of perfusion degree values equal to or greater than a reference value set by applying the present invention to a human foot are merged and output.

<도면의 주요 부분에 관한 부호의 설명><Explanation of symbols on main parts of the drawings>

100: 영상 획득부 110: 광학 센서100: image acquisition unit 110: optical sensor

111, 121: 필터 120: 광원111, 121: filter 120: light source

130: 재물대 140: 관측대상130: wealth zone 140: observation target

150: 반사경 200: 영상 분석부150: reflector 200: image analysis unit

300: 출력부300: output unit

Claims (16)

관측대상 내의 혈관을 흐르는 형광 프로브의 시간에 따른 공간적 분포를 촬영하는 영상 획득부;An image acquisition unit for photographing a spatial distribution over time of a fluorescent probe flowing through a blood vessel in the observation target; 상기 영상 획득부에 의해 획득된 영상을 통해 시간에 따른 모세혈관 및 정맥 구획의 형광 프로브 농도에서 모세혈관 및 정맥 구획에서 들어오는 관류에 포함된 형광 프로브 농도를 빼서 구한 시간에 따른 모세혈관 및 정맥 구획에서 빠져나가는 관류에 포함된 형광 프로브의 농도값을 계산하여 서로 다른 관류 정도(perfusion rate)를 가지는 하나 이상의 혈관 분포를 분포 비중 정도에 따라 영상화하는 영상 분석부; 및In the capillary and venous compartments over time obtained by subtracting the fluorescent probe concentration included in the perfusion coming from the capillary and venous compartments from the fluorescence probe concentrations of the capillary and venous compartments over time through the image obtained by the image acquisition unit An image analyzer configured to calculate concentration values of fluorescent probes in the exiting perfusion and to image one or more blood vessel distributions having different perfusion rates according to the distribution specific gravity; And 상기 영상 분석부에서 영상화된 이미지를 출력하는 출력부를 포함하는 것을 특징으로 하는 혈관 특성 추출 장치.And a blood vessel characteristic extraction device for outputting the image imaged by the image analyzer. 청구항 1에 있어서,The method according to claim 1, 상기 영상 분석부는 gm(t)가 상기 영상 획득부에 의해 획득된 영상에 의해 측정된 m 구획에서 시간 t 에 따른 모세혈관 및 정맥 구획에서 빠져나가는 관류에 포함된 형광 프로브의 농도값인 경우 하기의 수학식으로 표현되는 행렬을 행렬 인수분해(matrix facrorization)하여 시간 t 에서 관류 정도가 pn 인 혈관이 형광 프로브의 농도에 미치는 관류 효과(Pn t) 및 해당 관류 정도를 가지는 혈관의 분포 비중(βmn)을 계산하는 것을 특징으로 하는 혈관 특성 추출 장치.If the g m (t) is the concentration value of the fluorescent probe included in the perfusion exiting the capillary and venous compartment according to time t in the m section measured by the image obtained by the image acquisition unit decomposing matrix acquired the matrix expressed by the equation (matrix facrorization) to the blood vessel is perfused degree of p n at time t, the perfusion effects of the concentration of the fluorescent probe (P n t) and the distribution density of the blood vessel with the perfusion level (β mn ) to calculate the blood vessel characteristic extraction device.
Figure 112009073231997-pat00019
Figure 112009073231997-pat00019
 청구항 2에 있어서,The method according to claim 2, 상기 관류 효과(Pn t)는 시간 t 에 따라 지수함수적(exponential)으로 감소해야 한다는 제 1 조건, 0 과 1 사이에 분포해야 한다는 제 2 조건 및 두 관류 효과값이 설정된 기준값 이상의 차이가 나야 한다는 제 3 조건을 만족하는 값인 것을 특징으로 하는 혈관 특성 추출 장치.The perfusion effect (P n t ) must be exponentially reduced with time t, a second condition that must be distributed between 0 and 1, and the two perfusion effect values must differ by more than a set reference value. The blood vessel characteristic extraction device, characterized in that the value satisfying the third condition. 청구항 2 또는 청구항 3에 있어서,The method according to claim 2 or 3, 상기 관류 정도는 하기의 수학식에 의해 계산되는 것을 특징으로 하는 혈관 특성 추출 장치.The degree of perfusion is a blood vessel characteristic extraction device, characterized in that calculated by the following equation.
Figure 112009073231997-pat00020
Figure 112009073231997-pat00020
 청구항 4에 있어서,The method according to claim 4, 상기 영상 분석부는 상기 혈관 분포 비중을 색깔기울기 맵(Color gradient map)의 컬러값과 대응시켜 컬러 영상화하는 것을 특징으로 하는 혈관 특성 추출 장치.And the image analyzer is configured to color image the specific gravity of the blood vessel distribution by matching a color value of a color gradient map. 청구항 4에 있어서,The method according to claim 4, 상기 영상 분석부는 상기 행렬 인수분해를 한번 이상 반복 수행하여 구한 관류 정도값 중 설정된 기준값 이상의 빈도수를 보이는 관류 정도값을 가지는 혈관을 상기 분포 비중 정도에 따라 영상화하는 것을 특징으로 하는 혈관 특성 추출 장치.And the image analyzer is configured to image blood vessels having a perfusion degree value having a frequency higher than or equal to a set reference value among the perfusion degree values obtained by repeating the matrix factorization one or more times according to the distribution specific gravity. 청구항 6에 있어서,The method according to claim 6, 상기 영상 분석부는 상기 설정된 기준값 이상의 빈도수를 보이는 관류 정도값을 가지는 하나 이상의 혈관을 병합하여 영상화하는 것을 특징으로 하는 혈관 특성 추출 장치.And the image analyzing unit merges and images one or more blood vessels having a perfusion degree value showing a frequency greater than or equal to the set reference value. 청구항 1에 있어서,The method according to claim 1, 상기 형광 프로브는 인도시아닌 그린인 것을 특징으로 하는 혈관 특성 추출 장치.The fluorescent probe is indocyanine green, characterized in that the blood vessel characteristic extraction device. 관측대상 내의 혈관을 흐르는 형광 프로브의 시간에 따른 공간적 분포를 촬영하는 제 1 단계;A first step of photographing a spatial distribution over time of a fluorescent probe flowing through a blood vessel in the observation target; 상기 제 1 단계에 의해 획득된 영상을 통해 시간에 따른 모세혈관 및 정맥 구획의 형광 프로브 농도에서 모세혈관 및 정맥 구획에서 들어오는 관류에 포함된 형광 프로브 농도를 빼서 구한 시간에 따른 모세혈관 및 정맥 구획에서 빠져나가는 관류에 포함된 형광 프로브의 농도값을 계산하는 제 2 단계;In the capillary and venous compartment according to time obtained by subtracting the concentration of the fluorescent probe in the perfusion coming from the capillary and venous compartment from the fluorescence probe concentration of the capillary and venous compartment over time through the image obtained by the first step Calculating a concentration value of the fluorescent probe included in the exiting perfusion; 상기 제 2 단계에서 구한 시간에 따른 모세혈관 및 정맥 구획에서 빠져나가는 관류에 포함된 형광 프로브의 농도값을 이용하여 서로 다른 관류 정도(perfusion rate)를 가지는 하나 이상의 혈관 분포를 분포 비중 정도에 따라 영상화하는 제 3 단계를 포함하는 것을 특징으로 하는 혈관 특성 추출 방법.Imaging one or more blood vessel distributions having different perfusion rates according to the distribution specific gravity using concentration values of the fluorescent probes included in the perfusion exiting the capillary and venous compartments according to the time obtained in the second step. And a third step of extracting the vascular characteristics extraction method. 청구항 9에 있어서,The method according to claim 9, 상기 제 3 단계는 gm(t)가 영상 획득부에 의해 획득된 영상에 의해 측정된 m 구획에서 시간 t 에 따른 모세혈관 및 정맥 구획에서 빠져나가는 관류에 포함된 형광 프로브의 농도값인 경우 하기의 수학식으로 표현되는 행렬을 행렬 인수분해(matrix facrorization)하여 시간 t 에서 관류 정도가 pn 인 혈관이 형광 프로브의 농도에 미치는 관류 효과(Pn t) 및 해당 관류 정도를 가지는 혈관의 분포 비중(βmn)을 계산하는 제 1 과정In the third step, when g m (t) is a concentration value of a fluorescent probe included in perfusion escaping from the capillary and venous compartments according to time t in the m compartment measured by the image acquired by the image acquisition unit, decomposing matrix acquired the matrix expressed by the equation (matrix facrorization) to the blood vessel is perfused degree of p n at time t, the perfusion effects of the concentration of the fluorescent probe (P n t) and the distribution density of the blood vessel with the perfusion level First process to calculate (β mn )
Figure 112009073231997-pat00021
; 및
Figure 112009073231997-pat00021
; And 상기 제 1 과정에서 구한 관류 효과(Pn)를 이용하여 하기의 수학식에 의해 관류 정도를 계산하는 제 2 과정A second process of calculating the degree of perfusion by the following equation using the perfusion effect (P n ) obtained in the first process
Figure 112009073231997-pat00022
;
Figure 112009073231997-pat00022
; 을 포함하는 것을 특징으로 하는 혈관 특성 추출 방법.Vascular characteristic extraction method comprising a. 청구항 10에 있어서,The method according to claim 10, 상기 제 1 과정은 상기 관류 효과(Pn t)가 시간 t 에 따라 지수함수적(exponential)으로 감소해야 한다는 제 1 조건, 상기 관류 효과(Pn t)가 0 과 1 사이에 분포해야 한다는 제 2 조건 및 두 관류 효과값이 설정된 기준값 이상의 차이가 나야 한다는 제 3 조건하에서 시간 t 에서 관류 정도가 pn 인 혈관이 형광 프로브의 농도에 미치는 관류 효과(Pn t) 및 해당 관류 정도를 가지는 혈관의 분포 비중(βmn)을 계산하는 것을 특징으로 하는 혈관 특성 추출 방법.Claim that the first step should be distributed between the first condition, the perfusion effect (P n t) that should decrease exponentially (exponential) in accordance with the perfusion effects (P n t), the time t 0 and 1 2 conditions, and the vessel having a perfusion effect (P n t) and the perfusion degree on the concentration in the perfusion around the blood vessels of p n at time t, the fluorescent probe under a third condition that the two perfusion effect value is a reference value or more difference me set A blood vessel characteristic extraction method, characterized in that for calculating the specific gravity (β mn ) of. 청구항 10 또는 청구항 11에 있어서,The method according to claim 10 or 11, 상기 제 3 단계는 상기 제 2 과정에서 구한 관류 정도 및 혈관 분포 비중을 가지는 혈관을 색깔기울기 맵(Color gradient map)의 컬러값에 상기 혈관 분포 비중을 대응시켜 컬러 영상화하는 제 3 과정을 더 포함하는 것을 특징으로 하는 혈관 특성 추출 방법.The third step may further include a third step of color imaging the blood vessel having the degree of perfusion and the distribution of blood vessel distribution obtained by the second process by matching the distribution of the blood vessel distribution with a color value of a color gradient map. A blood vessel characteristic extraction method, characterized in that. 청구항 10 또는 청구항 11에 있어서,The method according to claim 10 or 11, 상기 제 3 단계는 상기 제 1 과정 및 제 2 과정을 한번 이상 반복수행하여 구한 관류 정도값 중 설정된 기준값 이상의 빈도수를 보이는 관류 정도값을 가지는 혈관을 상기 분포 비중 정도에 따라 영상화하는 것을 특징으로 하는 혈관 특성 추출 방법.In the third step, blood vessels having a perfusion degree value showing a frequency greater than or equal to a predetermined reference value among the perfusion degree values obtained by repeating the first and second processes at least once are imaged according to the distribution specific gravity. Property extraction method. 청구항 13에 있어서,14. The method of claim 13, 상기 제 3 단계는 상기 설정된 기준값 이상의 빈도수를 보이는 관류 정도값을 가지는 하나 이상의 혈관을 병합하여 영상화하는 것을 특징으로 하는 혈관 특성 추출 방법.The third step is a blood vessel characteristic extraction method, characterized in that by merging one or more vessels having a perfusion degree value showing a frequency above the set reference value. 청구항 9에 있어서,The method according to claim 9, 상기 제 3 단계 후에 상기 제 3 단계에서 영상화된 이미지를 출력하는 제 4 단계를 더 포함하는 것을 특징으로 하는 혈관 특성 추출 방법.And a fourth step of outputting the image imaged in the third step after the third step. 청구항 9에 있어서,The method according to claim 9, 상기 형광 프로브는 인도시아닌 그린인 것을 특징으로 하는 혈관 특성 추출 방법.The fluorescent probe is indocyanine green, characterized in that the vascular characteristics extraction method.
KR1020080057767A 2008-06-19 2008-06-19 Modeling based Pharmacokinetic Feature Extraction For Monitoring Peripheral Tissue Perfusion KR100949460B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080057767A KR100949460B1 (en) 2008-06-19 2008-06-19 Modeling based Pharmacokinetic Feature Extraction For Monitoring Peripheral Tissue Perfusion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080057767A KR100949460B1 (en) 2008-06-19 2008-06-19 Modeling based Pharmacokinetic Feature Extraction For Monitoring Peripheral Tissue Perfusion

Publications (2)

Publication Number Publication Date
KR20090131825A KR20090131825A (en) 2009-12-30
KR100949460B1 true KR100949460B1 (en) 2010-03-29

Family

ID=41690957

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080057767A KR100949460B1 (en) 2008-06-19 2008-06-19 Modeling based Pharmacokinetic Feature Extraction For Monitoring Peripheral Tissue Perfusion

Country Status (1)

Country Link
KR (1) KR100949460B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101032479B1 (en) * 2009-07-07 2011-05-03 한국과학기술원 Measurement apparatus for perfusion rate in peripheral tissue and method for the same
KR101635409B1 (en) * 2015-06-26 2016-07-04 연세대학교 산학협력단 Apparatus for tracing vessel and tracing method of the same of

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020064287A (en) * 1999-09-24 2002-08-07 내셔날 리서치 카운실 오브 캐나다 Method and apparatus for performing intra-operative angiography
KR20020064206A (en) * 2001-02-01 2002-08-07 지이 메디컬 시스템즈 글로발 테크놀러지 캄파니 엘엘씨 Blood flow imaging method, blood flow imaging apparatus and ultrasonic diagnostic apparatus
KR20030029983A (en) * 2000-09-13 2003-04-16 아머샴 헬스 에이에스 Mri method involving the use of a hyperpolarized contrast agent
KR20050008660A (en) * 2002-03-20 2005-01-21 노바다크 테크놀러지즈 인코포레이티드 System and method for visualizing fluid flow through vessels

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020064287A (en) * 1999-09-24 2002-08-07 내셔날 리서치 카운실 오브 캐나다 Method and apparatus for performing intra-operative angiography
KR20030029983A (en) * 2000-09-13 2003-04-16 아머샴 헬스 에이에스 Mri method involving the use of a hyperpolarized contrast agent
KR20020064206A (en) * 2001-02-01 2002-08-07 지이 메디컬 시스템즈 글로발 테크놀러지 캄파니 엘엘씨 Blood flow imaging method, blood flow imaging apparatus and ultrasonic diagnostic apparatus
KR20050008660A (en) * 2002-03-20 2005-01-21 노바다크 테크놀러지즈 인코포레이티드 System and method for visualizing fluid flow through vessels

Also Published As

Publication number Publication date
KR20090131825A (en) 2009-12-30

Similar Documents

Publication Publication Date Title
US11395590B2 (en) Multimodal transcranial brain optical imaging
EP2663222B1 (en) Methods and systems for non-invasive determination of blood flow distribution using speckle imaging techniques and hemodynamic modeling
US11701016B2 (en) Facilitating assessment of blood flow and tissue perfusion using fluorescence-mediated photoplethysmography
EP3203902B1 (en) Quantification of absolute blood flow in tissue using fluorescence-mediated photoplethysmography
US11696695B2 (en) Quantification of absolute blood flow in tissue using fluorescence mediated photoplethysmography
EP3047796B1 (en) Method and system for image processing of intravascular hemodynamics
EP2840957B1 (en) Optical coherent imaging medical device and method
Tam et al. Speed quantification and tracking of moving objects in adaptive optics scanning laser ophthalmoscopy
Choi et al. Dynamic fluorescence imaging for multiparametric measurement of tumor vasculature
KR100971458B1 (en) Apparatus And Method For Measuring Vascular Functionalities Using Pharmacokinetic Analysis
JP2013502263A (en) System and method for analyzing imaging data
JP6695414B2 (en) Device and method for measuring blood flow direction using a phosphor
KR100949460B1 (en) Modeling based Pharmacokinetic Feature Extraction For Monitoring Peripheral Tissue Perfusion
CN113038868A (en) Medical image processing system
Deneux et al. A processing work-flow for measuring erythrocytes velocity in extended vascular networks from wide field high-resolution optical imaging data
JP2008142297A (en) Program for removing anisotropic noise and anisotropic noise eliminating method
JP4068098B2 (en) Blood flow measuring device
KR101488775B1 (en) Segmental analysis and disease diagnosis by representative blood flow dynamics value
Vanzetta et al. High-resolution wide-field optical imaging of microvascular characteristics: from the neocortex to the eye
KR101032479B1 (en) Measurement apparatus for perfusion rate in peripheral tissue and method for the same
KR101488767B1 (en) disease diagnosis device and method using asymmetry of representative blood flow value
Kumar Tomographic fluorescence lifetime imaging
JP2022525063A (en) Correlated image analysis for 3D biopsy
Choi et al. Dynamic fluorescence imaging for multiparametric measurement of tumor vasculature
Levy Multiple modality optical neural imaging with VCSELs

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130304

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140303

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160225

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee