KR20210055881A - 소장 정결도를 진단하는 시스템 및 방법 - Google Patents

소장 정결도를 진단하는 시스템 및 방법 Download PDF

Info

Publication number
KR20210055881A
KR20210055881A KR1020190142203A KR20190142203A KR20210055881A KR 20210055881 A KR20210055881 A KR 20210055881A KR 1020190142203 A KR1020190142203 A KR 1020190142203A KR 20190142203 A KR20190142203 A KR 20190142203A KR 20210055881 A KR20210055881 A KR 20210055881A
Authority
KR
South Korea
Prior art keywords
small intestine
images
cleanliness
image
collection
Prior art date
Application number
KR1020190142203A
Other languages
English (en)
Other versions
KR102430946B1 (ko
Inventor
김유진
Original Assignee
주식회사 인트로메딕
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인트로메딕 filed Critical 주식회사 인트로메딕
Priority to KR1020190142203A priority Critical patent/KR102430946B1/ko
Priority to CN202080048089.2A priority patent/CN114080644A/zh
Priority to PCT/KR2020/013636 priority patent/WO2021091092A1/ko
Priority to US17/612,486 priority patent/US20220304617A1/en
Priority to GB2117924.7A priority patent/GB2604706B/en
Publication of KR20210055881A publication Critical patent/KR20210055881A/ko
Application granted granted Critical
Publication of KR102430946B1 publication Critical patent/KR102430946B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4255—Intestines, colon or appendix
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Optics & Photonics (AREA)
  • Gastroenterology & Hepatology (AREA)

Abstract

본 발명은 소장(small bowel) 정결도를 진단하는 시스템에 관한 것으로, 다수의 소장 영상 중에서 유사한 소장 영상들의 대표 영상을 선별하도록 분석하는 유사도 분석부, 다수의 소장 영상을 학습한 상태에서 정결도를 진단하고자 하는 일련의 다수의 소장 영상을 수신하였을 시 상기 대표 영상을 학습 결과물에 적용하여 소장 정결도를 예측함으로써 점수별로 소장 정결도를 분류하는 영상 분류부 및 상기 대표 영상의 소장 정결도에 관한 점수 및 상기 대표 영상과 유사한 소장 영상의 개수를 기반으로 상기 일련의 다수의 소장 영상에 관한 최종 소장 정결도를 산출하는 정결도 진단부를 포함할 수 있다.

Description

소장 정결도를 진단하는 시스템 및 방법{System and method for diagnosing small bowel preparation scale}
본 발명은 소장 정결도를 진단하는 시스템 및 방법에 관한 것으로, 더욱 구체적으로는 소장의 정결도를 미리 학습하여 소장의 정결도를 자동으로 진단함으로써 UI에 표시할 수 있도록 하는 시스템 및 방법에 관한 것이다.
소장은 위와 대장 사이에 있는 길이 6∼7m에 이르는 소화관으로 소화운동을 하면서 영양분을 소화 및 흡수하는 중요한 부분이다. 소장은 위에서부터 십이지장, 공장, 회장의 세 부분으로 구분된다.
이와 같은 소장의 정결도는 소장의 상태를 진단하여 진단 보고서를 작성할 시 필수 항목으로 기재해야 하는 부분이다. 현재는 전문의가 수 만장 이상의 소장에 관한 영상을 학습한 후 학습한 영상을 기반으로 전문의의 판단에 따라 정결도를 평가하고 있다.
하지만 위와 같은 종래의 소장 정결도에 대한 진단은 전문의가 스스로 판단하여 정결도를 결정하기 때문에 주관적인 판단이 들어갈 수밖에 없고, 소장 정결도를 진단하는 전문의마다 상이한 결정을 내릴 수 있는 여지가 다분하여 일관적이지 않은 문제점이 있다. 따라서 소장 정결도를 자동으로 진단하여 객관화 할 수 있는 시스템이 필요한 실정이다.
일본 등록특허 JP4991319B9
본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 소장 정결도를 객관적이고, 일관되게 진단하는 데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 소장(small bowel) 정결도를 진단하는 시스템에 관한 것으로, 다수의 소장 영상 중에서 유사한 소장 영상들의 대표 영상을 선별하도록 분석하는 유사도 분석부; 다수의 소장 영상을 학습한 상태에서 정결도를 진단하고자 하는 일련의 다수의 소장 영상을 수신하였을 시 상기 대표 영상을 학습 결과물에 적용하여 소장 정결도를 예측함으로써 점수별로 소장 정결도를 분류하는 영상 분류부; 및 상기 대표 영상의 소장 정결도에 관한 점수 및 상기 대표 영상과 유사한 소장 영상의 개수를 기반으로 상기 일련의 다수의 소장 영상에 관한 최종 소장 정결도를 산출하는 정결도 진단부;를 포함할 수 있다.
여기서, 상기 유사도 분석부가 대표 영상을 선별하는 것은 바타챠랴 거리(Bhattacharyya Distance) 알고리즘을 기반으로 2개의 소장 영상의 컬러 히스토그램을 비교하는 것으로 유사도를 측정하고, 정해진 유사도 기준에 따라 유사도별로 선별된 상기 다수의 소장 영상 중에서 대표 영상을 선별하는 것을 특징으로 한다.
또, 상기 유사도 기준은 상기 2개의 소장 영상이 유사도가 작을수록 0에 수렴하고, 유사도가 클수록 1에 수렴하는 것을 특징으로 한다.
또한, 상기 영상 분류부는 CNN(Convolution Neural Network) 모델을 기반으로 상기 다수의 소장 영상의 컬러와 텍스처에 대한 특징을 학습하고, 랜드마크 정보를 기반으로 상기 학습 결과물에 적용하여 소장 정결도 예측하는 것을 특징으로 한다.
아울러, 상기 영상 분류부는 다수의 이미지 센서에서 출력된 상기 다수의 소장 영상의 컬러 기준을 통일한 후 학습하는 것을 특징으로 한다.
또한, 상기 컬러 기준은 RGB, HSV(Hue Saturation Value), Lab(색 좌표)를 적어도 하나 이상 사용하는 것을 특징으로 한다.
또, 상기 다수의 소장 영상은 1부터 10까지 소장 정결도에 대한 점수화가 완료되어 있는 것을 특징으로 한다.
또한, 상기 최종 소장 정결도는 1부터 n까지 각각 상기 대표 영상이 포함하는 유사 영상 수에 정결도 점수를 곱하여 더한 값을 상기 다수의 소장 영상의 총 개수로 나눈 것을 특징으로 한다.
아울러, 상기 영상 분류부는 상기 다수의 소장 영상에서 소장 구간을 컬러와 텍스처 기반으로 학습하고, 상기 소장 구간에 설정된 랜드마크 정보를 기반으로 상기 소장 구간에 따라 상기 다수의 소장 영상을 분류하는 것을 특징으로 한다.
한편, 상기 목적을 달성하기 위한 본 발명에 따른 소장(small bowel) 정결도를 진단하는 시스템에 관한 것으로, 점수화가 완료된 다수의 소장 영상을 수신하는 단계; 상기 점수화가 완료된 다수의 소장 영상을 학습하는 단계; 소장 정결도를 진단하고자 하는 일련의 다수의 소장 영상을 수신하였을 시 다수의 소장 영상 중에서 유사한 소장 영상들의 대표 영상을 선별하도록 분석하는 단계; 상기 대표 영상을 학습 결과물에 적용하여 소장 정결도를 예측함으로써 점수별로 소장 정결도를 분류하는 단계; 및 상기 대표 영상을 기반으로 상기 다수의 소장 영상에 관한 최종 소장 정결도를 산출하는 단계;를 포함할 수 있다.
본 발명에 따른 소장 정결도를 진단하는 시스템 및 방법은 다음과 같은 효과가 있다.
첫째, 소장 정결도에 대한 일관적이고, 객관적 지표를 제공할 수 있다. 본 발명에 따른 소장 정결도를 진단하는 시스템 및 방법은 다량의 소장에 대한 사진 또는 영상을 시스템이 사전에 학습하여 소장 정결도를 자동으로 진단해주기 때문에 종래와 같이 전문의의 주관적인 판단에 따라 일관적이지 못하게 진단하였던 소장 정결도를 보다 일관적이고, 제공할 수 있다.
둘째, 시간을 절약할 수 있다. 본 발명에 따른 소장 정결도를 진단하는 시스템 및 방법은 사전에 학습된 소장에 대한 사진 또는 영상을 기반으로 사용자가 진단하고자 하는 소장의 사진을 입력하였을 시 학습된 알고리즘에 따라 소장 정결도를 즉시 진단하기 때문에 단시간에 소장 정결도를 진단할 수 있고, 이에 따라 소장 정결도를 진단하는 시간을 절약할 수 있다.
셋째, 편의성을 제공할 수 있다. 앞서 언급한 바와 같이, 사용자가 진단하고자 하는 소장의 사진을 입력하였을 시 학습된 알고리즘에 따라 소장 정결도를 즉시 진단하기 때문에 사용자는 용이하게 소장 정결도를 진단할 수 있다.
도1은 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템의 블록도이다.
도2는 본 발명의 실시예에 따른 소장 정결도를 진단하는 방법의 순서도이다.
도3은 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 소장 영상에 대한 소장 정결도의 점수화가 완료된 것을 예시적으로 나타낸 도면이다.
도4는 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 CNN 모델 기반으로 소장 영상을 학습하기 전에 복수의 컬러 기준을 통일하는 것을 개략적으로 나타낸 도면이다.
도5는 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 CNN 모델 기반으로 소장 영상을 학습하는 것을 개략적으로 나타낸 도면이다.
도6은 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 바타챠랴 거리 알고리즘을 이용하여 2개의 소장 영상에 대한 컬러 히스토그램을 비교하는 것을 개략적으로 나타낸 도면이다.
도7은 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 유사도를 기준으로 대표 영상을 선별하는 것을 개략적으로 나타낸 도면이다.
도8은 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 최종 소장 정결도를 산출하는 것을 개략적으로 나타낸 도면이다.
이하에서는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명한다. 다만 발명의 요지와 무관한 일부 구성은 생략 또는 압축할 것이나, 생략된 구성이라고 하여 반드시 본 발명에서 필요가 없는 구성은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 결합되어 사용될 수 있다.
<소장 정결도 진단 시스템의 구성>
도1은 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템의 블록도이다.
도1에 도시된 바와 같이, 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템은 데이터 수신부(100), 영상 분류부(110), 유사도 분석부(120), 정결도 진단부(130) 및 데이터베이스(140)를 포함할 수 있다.
데이터 수신부(100)는 전문의로부터 다수의 소장 영상을 수신하는 구성이다. 이러한 데이터 수신부(100)는 전문의 측의 단말과 유무선의 네트워크로 연결되어 정보를 수신할 수 있다. 전문의는 다수의 소장 영상에 대해 리뷰 및 진단의 용이성 정도에 따라 1부터 10까지 소장 정결도를 점수화할 수 있다. 여기서, 다수의 소장 영상은 수 만장의 소장 영상의 개수가 포함될 수 있다.
영상 분류부(110)는 데이터 수신부(100)에서 수신한 다수의 소장 영상을 기반으로 소장 의 정결도를 학습한 후 실시간으로 일련의 다수의 소장 영상을 수신하였을 시 대표 영상에 대해 소장 정결도의 점수를 매겨 분류하는 구성이다. 이러한 영상 분류부(110)는 인공신경망을 통해 다수의 소장 영상을 학습할 수 있다. 이 때 다수의 소장 영상을 학습하는 것은 CNN(Convolution Neural Network) 모델을 기반으로 학습할 수 있다. 소장 영상에는 1부터 10까지 소장 정결도에 관한 점수가 매겨져 있으며, 영상 분류부(110)는 1부터 10까지 소장 정결도의 점수가 매겨진 소장 영상과 관련하여 각 점수에 대한 소장 영상의 컬러와 텍스처에 대한 특징을 학습하고, 랜드마크 정보를 근거로 소장 구간의 영상을 학습 결과물에 적용하여 추후 일련의 다수의 소장 영상이 입력되었을 시 소장 정결도를 예측하여 소장 정결도의 점수에 따라 소장 영상을 분류할 수 있다.
유사도 분석부(120)는 데이터 수신부(100)로부터 실시간 수신한 일련의 다수의 소장 영상 중에서 유사한 소장 영상들의 대표 영상을 선별하도록 분석하는 구성이다. 이러한 유사도 분석부(120)는 다수의 소장 영상 중에서 두 소장 영상이 유사한 소장 영상인지를 분석하여 대표 영상을 선별함으로써 영상 분류부(110)가 다수의 소장 영상에 대해 소장 정결도를 분류하고, 이에 따라 정결도 진단부(130)가 최종 소장 정결도를 빠르게 진단할 수 있도록 한다. 유사도 분석부(120)는 유사도 알고리즘을 적용하여 수 만장의 소장 영상을 모두 분석하지 않고, 유사한 소장 영상들의 대표 영상만을 취하여 영상 분류부(110)가 소장 정결도를 분류할 수 있도록 하는 것이다. 이렇게 유사도 분석부(120)는 소장 정결도를 진단하기 위해 소장 영상을 분류하는 속도를 증가시킴으로써, 소장 정결도 진단 시스템(1)을 최적화시키는데 일조할 수 있다.
정결도 진단부(130)는 실시간으로 일련의 다수의 소장 영상이 수신된 상태에서 소장 영상들에 대한 최종 소장 정결도를 산출하는 구성이다. 최종 소장 정결도는 대표 영상이 몇 장의 유사 영상들을 대표하는지 고려하여 산출해야 한다. 즉, 소장 영상은 소장의 구간에 따라 각각 소장 정결도가 상이할 것이다. 따라서 각 소장의 구간별로 점수를 취합하여 수신한 일련의 다수의 소장 영상에 대해 소장 정결도의 평균을 산출함으로써 최종적으로 소장 정결도를 진단하는 것이다.
데이터베이스(140)는 전문의로부터 수신한 다수의 소장 영상을 소장 정결도에 대한 점수별로 저장하여 보관하는 구성이다. 또한, 데이터베이스(140)는 정결도 진단부(130)가 소장 정결도를 진단한 내역들을 저장하여 보관할 수도 있다.
이하에서는 본 발명에 따라 소장 정결도를 진단하는 방법에 대해 설명하기로 한다.
도2는 본 발명의 실시예에 따른 소장 정결도를 진단하는 방법의 순서도이다.
도2에 도시된 바와 같이, 본 발명의 실시예에 따른 소장 정결도를 진단하는 방법은 최초에 점수화가 완료된 다수의 소장 영상을 수신한다.<S20>
여기서, 점수화가 완료된 다수의 소장 영상에 대해 구체적으로 설명을 이어가기로 한다. 이를 위해 도3을 참고한다.
도3은 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 소장 영상에 대한 소장 정결도의 점수화가 완료된 것을 예시적으로 나타낸 도면이다.
도3에 도시된 바와 같이, 소장 영상에 대한 소장 정결도는 1부터 10까지 점수가 매겨질 수 있다. 구체적으로, 소장 정결도는 전문의가 다양한 경험을 토대로 소장 영상을 보고 주관적인 판단으로 점수화 하여 매겨질 수 있다. 이 때 전문의는 소장 영상의 이미지 상에서 소장의 선명함 정도, 이미지의 전체 크기 중에서 소장을 표현한 영역의 비중 및 이미지 상에서 부유물 정도에 따라 소장 정결도를 결정하게 된다.
도3에서 보는 바와 같이, 소장 정결도가 1점인 경우 소장 영상의 이미지 상에서 소장의 형태가 거의 확인되지 않고, 선명하지 않은 상태이다. 이에 따라, 전문의는 해당 소장 영상의 소장 정결도가 1점인 것으로 판단할 수 있다.
또한, 소장 정결도가 2점인 경우에는 1점보다는 소장의 윤곽이나 내벽 등의 형태가 선명한 편이나 부유물이 다량 존재하기 때문에 전문의는 해당 소장 영상의 소장 정결도가 2점인 것으로 판단할 수 있다.
아울러, 소장 정결도가 10점인 경우에는 소장 영상의 이미지 상에서 소장이 매우 선명하여 소장 내벽의 형태와 융털까지 관찰할 수 있는 수준이며, 부유물이 거의 존재하지 않는 깨끗한 상태이기 때문에 전문의는 해당 소장 영상의 소장 정결도가 10점인 것으로 판단할 수 있다.
이렇게 다수의 소장 영상에 대하여 전문의가 점수화한 소장 영상의 정보를 데이터 수신부(100)가 수신하여 소장 정결도의 점수별로 데이터베이스(140)에 저장할 수 있다.
다음으로, 점수화 완료된 다수의 소장 영상을 영상 분류부(110)가 학습한다.<S21>
영상 분류부(110)는 인공신경망을 통해 전문의가 소장 영상에 대하여 소장 정결도를 점수화한 것을 학습할 수 있다. 이 과정을 도4 및 도5를 참고하여 구체적으로 설명하기로 한다.
도4는 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 CNN 모델 기반으로 소장 영상을 학습하기 전에 복수의 컬러 기준을 통일하는 것을 개략적으로 나타낸 도면이고, 도5는 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 CNN 모델 기반으로 소장 영상을 학습하는 것을 개략적으로 나타낸 도면이다.
먼저 도4에 도시된 바와 같이, 영상 분류부(110)는 다수의 소장 영상을 학습하기 전에 각각의 소장 영상에 대하여 전처리(Pre-processing) 과정을 거칠 수 있다. 구체적으로, 다수의 소장 영상은 다양한 이미지 센서에서 출력된 영상들이기 때문에 각각의 소장 영상들은 컬러 기준이 상이하다. 즉, 동일한 소장 정결도의 점수로 저장된 소장 영상이라 하더라도 각각 RGB(Red, Blue, Green), HSV(Hue Saturation Value), Lab(색 좌표)이 다르게 설정되어 출력될 수 있기 때문에 다수의 소장 영상을 학습하기 위해서는 컬러 기준이 동일해야 학습에 대한 기준이 명확해질 수 있는 것이다. 이는 학습 입력값이 된다.
예를 들어 도4에 도시된 바와 같이, 소장 정결도가 6점인 영상을 학습한다고 할 시 각각의 소장 영상은 다양한 이미지 센서에서 출력될 수 있으므로 소장 정결도가 6점인 영상들의 컬러 기준이 동일하지 않을 수 있다. 이에 따라, 영상 분류부(110)는 소장 정결도가 6점인 영상들을 RGB는 gray 스케일로 변환하여 입력하고, HSV는 S 성분을 선택하여 입력하며, Lab은 b 성분을 선택하여 입력함으로써, 다수의 소장 영상들을 전처리 할 수 있다.
이처럼 영상 분류부(110)는 각각의 소장 정결도의 점수별로 저장된 다수의 소장 영상을 소장 정결도의 점수별로 전처리하는 과정을 통해 컬러 기준을 통일하여 학습할 수 있다. 또한, 영상 분류부(110)는 1점부터 10점까지 모든 소장 정결도의 점수에 관한 다수의 소장 영상에 대하여 동일한 컬러 기준으로 전처리 과정을 수행하는 것도 가능하다.
아울러, 도5에 도시된 바와 같이, 본 발명에서는 인공신경망을 통해 영상 분류부(110)가 다수의 소장 영상을 학습할 수 있다. 구체적으로, 영상 분류부(110)는 소장 정결도의 점수에 따라 저장된 다수의 소장 영상에 대해 소장 영상의 상태와 대응하는 소장 정결도의 점수를 매칭하여 학습하는 것이다. 이 때 인공신경망이 다수의 소장 영상을 학습하는 모델은 CNN(Convolution Neural Network)이 사용될 수 있다.
CNN은 일반적으로 다층의 숨겨진 레이어 뿐만 아니라 입력 및 출력 레이어로 구성되어 컨볼루션 연산을 사용하는 인공신경망이다. CNN의 숨겨진 레이어는 일반적으로 곱셈 또는 다른 내적과 관련이 있는 일련의 컨볼루셔널(convolutional) 레이어로 구성된다. 활성 함수는 일반적으로 ReLU(Rectified Linear Unit) 계층이며, 이후 입력 및 출력이 활성 함수 및 최종 컨볼루션에 의해 마스킹되기 때문에 이후 숨겨진 레이어로 언급된 풀링 레이어, 완전히 연결된 레이어 및 정규화 레이어와 같은 추가 컨볼루션이 이어진다. 이러한 CNN은 2차원 데이터의 학습에 적합한 구조를 가지고 있으며, 역전달((Backpropagation algorithm)을 통해 훈련될 수 있다. 영상 내 객체 분류, 객체 탐지 등 다양한 응용 분야에 폭넓게 활용되는 대표적 모델 중 하나이기 때문에 이미지를 분류하는 작업에 사용된다. 이에 따라, 본 발명에서도 CNN 모델을 기반으로 영상 분류부(110)가 학습하여 다수의 소장 영상을 분류할 수 있다. CNN은 공지된 기술이므로 자세한 설명은 생략하기로 한다.
예를 들어 도5에 도시된 바와 같이, 5개의 소장 영상을 학습하는 것을 가정하기로 한다. 5개의 영상은 각각 1번 소장 영상이 Stride=1, Filter=3x3, 이미지 너비와 높이는 320x320인 이미지, 2번 소장 영상이 Stride=1, Filter=3x3, 이미지 너비와 높이는 160x160인 이미지, 3번 소장 영상이 Stride=1, Filter=3x3, 이미지 너비와 높이는 80x80인 이미지, 4번 소장 영상이 Stride=1, Filter=1x1, 이미지 너비와 높이는 40x40인 이미지, 5번 소장 영상이 Stride=1, Filter=3x3, 이미지 너비와 높이는 20x20인 이미지로 구성되어 있다.
따라서 1번 소장 영상은 영상 분류부(110)가 CNN을 이용하여 컨볼루션1을 진행하고, ReLU 레이어를 거쳐 Max Pooling 또는 Avg Pooling을 거치게 된다. 이러한 1번 소장 영상과 동일하게 2번 소장 영상, 3번 소장 영상, 4번 소장 영상 및 5번 소장 영상에 대해서도 각각 컨볼루션 2, 3, 4 및 5를 진행하여 ReLU 레이어와 Max Pooling 또는 Avg Pooling을 거치게 된다.
여기서, 학습 입력으로 설정된 RGB, HSV, Lab으로부터 HSV는 S 스케일, Lab는 b 스케일일 때 Avg Pooling를 사용하고, RGB가 gray 일 시 Max Pooling을 사용하게 된다.
이 때 소장 정결도를 학습할 시 소장 영상의 컬러와 텍스처에 대한 특징을 학습하게 된다. 즉, 소장 영상에 관한 특징으로는 각각의 소장 영상의 선명한 정도, 색상 및 텍스처가 점수별로 상이하다. 따라서 1점일 때의 소장 영상의 색상과 텍스처, 2점일 때의 소장 영상의 색상과 텍스처 및 10점일 때의 소장의 색상과 텍스처를 구분하여 영상 분류가 학습함으로써 각각의 소장 정결도 점수에 대한 특징을 학습할 수 있다.
또한, 소장 구간의 구분을 위해 랜드마크 정보를 기반으로 소장 구간을 학습하는 것도 가능하다. 즉, 소장의 융털이나 내벽의 특징을 기반으로 랜드마크를 설정하여 이를 소장 구간의 구분을 위해 사용하는 것이다. 이러한 소장 구간의 구분을 통해 영상 분류부(110)는 소장 구간별로도 소장 정결도 점수를 분류할 수도 있다. 이러한 랜드마크 정보는 시스템 사용자가 설정한 특정 표식이 사용될 수 있다.
이와 같은 과정을 통해 영상 분류부(110)는 컬러 기준으로 Gray, S, b 일 때 소장 정결도가 6점인 영상을 학습할 수 있다.
이후 소장 정결도를 진단하고자 하는 일련의 다수의 소장 영상을 수신하였을 시 다수의 소장 영상 중에서 유사한 소장 영상들의 대표 영상을 선별하도록 분석한다.<S22>
다수의 소장 영상 중에서 유사도를 분석하는 것을 도6을 통해 설명하기로 한다.
도6은 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 바타챠랴 거리 알고리즘을 이용하여 2개의 소장 영상에 대한 컬러 히스토그램을 비교하는 것을 개략적으로 나타낸 도면이다.
도6에 도시된 바와 같이, 유사도 분석부(120)는 다수의 소장 영상 중에서 소장 정결도가 유사한 소장 영상들을 분석하여 대표 영상을 선별할 수 있다. 이렇게 다수의 소장 영상 중에서 대표 영상을 선별하는 것은 소장 정결도를 진단하는 과정의 속도를 증가시켜 단시간에 소장 정결도를 진단하는 것을 가능하게 한다.
본 발명에서는 유사도 분석부(120)가 바타챠랴 거리 알고리즘을 이용하여 소장 영상의 유사도를 분석할 수 있다. 바타챠랴 거리 알고리즘은 정확한 분류의 확률값이 주어질 때, 분광 등급의 통계적 분리성을 측정하는 수치 영상 처리 기술로 알려져 있다. 이러한 바타챠랴 거리 알고리즘은 두 분포 사이의 거리를 구하는 알고리즘 중에서 가장 강건하다. 즉, 두 소장 영상의 컬러 히스토그램을 비교하여 유사도 분석부(120)가 유사도를 측정할 수 있다. 이에 따라, 두 영상의 컬러 히스토그램을 비교하여 유사도가 작을수록 "0"에 수렴하고, 유사도가 클수록 "1"에 수렴하게 된다.
도6에는 이러한 컬러 히스토그램이 도시되어 있다. 컬러 히스토그램은 비교 타입으로써 gray 스케일을 사용할 수도 있고, 또는 LBP(Local Binary Pattern) 또는 MB-LBP(Multi-Block Local Binary Pattern) 이미지 방식을 사용할 수도 있다. 여기서, LBP는 컴퓨터 비전 분류에 사용되는 시각적 설명 유형 방식이다. LBP는 공지된 기술이기 때문에 자세한 설명은 생략하기로 한다. 따라서 유사도 분석부(120)는 컬러 히스토그램으로 비교하기 위해 다수의 소장 영상들을 비교 타입으로 변형시킬 수도 있다.
컬러 히스토그램에 대해 구체적으로 설명하기로 한다. 도6에서 위에 도시된 두 소장 영상은 유사도 분석부(120)에 의해 각각 gray 스케일로 컬러 히스토그램 H1 및 H2로 변환되었다. 이러한 두 소장 영상의 컬러 히스토그램은 좌측은 높이 솟아 있고, 우측으로 진행될수록 낮은 형태를 보여주고 있다. 또한, 도6의 아래에 도시된 두 소장 영상은 유사도 분석부(120)에 의해 각각 MB-LBP 방식으로 컬러 히스토그램 H1 및 H2로 변환되었다. 이러한 두 소장 영상의 컬러 히스토그램은 대략 'ㅂ'자의 형태로 형성될 수 있다.
이와 같은 두 소장 영상의 gray 스케일의 컬러 히스토그램이나 LBP 이미지 방식의 컬러 히스토그램을 기반으로 유사도 분석부(120)는 컬러 히스토그램을 비교하여 유사도를 측정할 수 있다.
구체적으로, 두 소장 영상의 컬러 히스토그램에 대하여 바타챠랴 거리 d(H1, H2)를 유사도 분석부(120)가 산출할 수 있다. 여기서, H1, H2는 앞서 설명한 바와 같이 두 소장 영상에 대한 컬러 히스토그램이며,
Figure pat00001
,
Figure pat00002
는 두 소장 영상에 대한 컬러 히스토그램의 평균이고, I는 픽셀값, N은 총 컬러 히스토그램 빈 수이다.
따라서 유사도 분석부(120)는 이와 같은 요소를 기반으로 바타챠랴 거리 d(H1, H2)를 아래와 같이 산출할 수 있다.
Figure pat00003
이러한 바타챠랴 거리를 산출함으로써 두 분포 간의 거리를 산출하고, 이에 따라 두 소장 영상의 컬러 히스토그램을 비교하여 유사도를 측정할 수 있다. 이러한 유사도는 0과 1 사이의 값으로 산출되며, 두 영상의 컬러 히스토그램을 비교했을 시 유사도가 작을수록 "0"에 수렴하고, 유사도가 클수록 "1"에 수렴하게 된다.
또한, 이하에서는 유사도가 분석된 소장 영상에서 대표 영상을 선별하는 것을 설명하기로 한다.
도7은 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 유사도를 기준으로 대표 영상을 선별하는 것을 개략적으로 나타낸 도면이다.
도7에 도시된 바와 같이, 유사도 분석부(120)가 유사도를 측정한 후에는 다수의 소장 영상을 비교하여 유사한 소장 영상들을 선별할 수 있다.
구체적으로, 두 소장 영상의 유사도를 유사도의 기준값과 비교하는 것을 소장 구간의 연속된 프레임 상에서 반복적으로 수행하여 대표 영상을 선별할 수 있다. 예를 들어, 유사도의 기준이 0.850이라 가정한다. 이 때 도7과 같이 유사도 분석부(120)는 제일 처음 비교된 소장 영상 중에 하나를 대표 영상으로 선택하고, 이 소장 영상과 추후 소장 영상들을 비교 및 분석함으로써, 대표 영상과 유사한 소장 영상들을 선별할 수 있다.
즉, 도7에서 제일 왼쪽에 위치한 제1 소장 영상과, 제1 소장 영상의 오른쪽에 위치한 제2, 제3,
Figure pat00004
, 제n 의 소장 영상들을 비교해나가는 것이다. 이에 따라, 제2 소장 영상은 제1 소장 영상과 유사도가 0.923이고, 이는 기준 유사도인 0.850보다 크므로 제1 소장 영상과 제2 소장 영상은 유사한 것으로 분석할 수 있다. 이 중에서 유사도 분석부(120)는 제1 소장 영상을 대표 영상으로 A를 선택하여 추후 소장 영상들을 비교 및 분석할 수 있다. 이에 따라, 제1 소장 영상과 제3 소장 영상에 대해 동일하게 바타챠랴 거리 알고리즘을 적용하여 유사도 분석부(120)가 두 소장 영상의 히스토그램을 비교 및 분석함으로써 유사도가 0.921인 것을 산출할 수 있고, 이는 기준 유사도인 0.850보다 높기 때문에 제1 소장 영상과 제3 소장 영상은 서로 유사한 것으로 분석할 수 있다. 아울러, 제4 소장 영상과 제1 소장 영상을 비교해보면, 제4 소장 영상과 제1소장 영상은 유사도가 0.918이므로 기준 유사도인 0.850보다 높기 때문에 제1 소장 영상과 제4 소장 영상이 서로 유사한 것으로 분석할 수 있다.
이처럼 유사도 분석부(120)는 대표 영상과, 다른 영상들을 각각 비교 및 분석함으로써 제n 소장 영상의 유사도를 산출하고, 유사한 소장 영상들은 대표 영상을 필두로 하는 소장 영상 군으로 포함될 수 있다. 이 때 유사도가 기준 유사도인 0.850보다 낮은 소장 영상이 나타나면, 새로운 대표 영상을 선별한다.
구체적으로, 대표 영상 A와 B는 두 소장 영상의 유사도가 0.754이기 때문에 기준 유사도인 0.850보다 낮고, 이에 따라 두 소장 영상은 유사하지 않는 것으로 분석된다. 따라서 B를 새로운 대표 영상으로 하여 유사한 영상들을 유사도 분석부(120)가 선별할 수 있다. 앞서 대표 영상 A와 유사한 영상들과 동일하게 대표 영상 B 이후의 소장 영상들을 비교하였을 시 유사도가 각각 0.874, 0.856이므로 두 소장 영상은 대표 영상 B와 유사한 것으로 분석된다. 이에 따라, 대표 영상 B를 필두로 하는 소장 영상 군이 선별될 수 있다.
다음으로, 대표 영상을 학습 결과물에 적용하여 소장 정결도를 예측함으로써 점수별로 소장 정결도를 분류한다.<S23>
영상 분류부(110)는 학습한 다수의 소장 영상을 기반으로 하여 실시간으로 다수의 소장 영상이 수신되었을 시 유사도 분석부(120)가 먼저 다수의 소장 영상에 대해 대표 영상을 선별한 것을 기반으로 소장 정결도에 따라 분류한다. 즉, 소장 정결도는 1점부터 10점까지 점수화가 되어 있고, 영상 분류부(110)는 학습 결과물을 적용하여 대표 영상들을 1점부터 10점까지 분류하고, 대표 영상과 유사한 것으로 선별된 소장 영상들도 대표 영상과 함께 점수별로 분류할 수 있다.
마지막으로, 대표 영상을 기반으로 다수의 소장 영상에 관한 최종 소장 정결도를 산출한다.<S24>
정결도 진단부(130)가 최종 소장 정결도를 산출하는 것을 도8을 참고하여 설명하기로 한다.
도8은 본 발명의 실시예에 따른 소장 정결도를 진단하는 시스템에서 최종 소장 정결도를 산출하는 것을 개략적으로 나타낸 도면이다.
도8에 도시된 바와 같이, 최종 소장 정결도는 유사한 소장 영상들에 대하여 대표 영상이 몇 장의 소장 영상들을 대표하는지를 고려하여 진단될 수 있다.
구체적으로, 최종 소장 정결도는 대표 영상이 대표하는 유사한 소장 영상 수와 대표 영상의 소장 정결도를 곱하여 모두 더한 값을 전체 소장 영상의 수로 나눈 값이다. 즉, 최종 소장 정결도는 전체 소장 영상의 소장 정결도에 대해 평균적인 값을 계산하여 최종 소장 정결도를 진단하는 것이다. 이를 식으로 표현하면 아래와 같다.
Figure pat00005
예를 들어, 실시간으로 데이터 수신부(100)가 수신한 다수의 소장 영상을 영상 분류부(110)가 도8과 같이 소장 정결도의 점수를 분류하였다고 가정하자. 이 때 대표 영상 A는 소장 정결도의 점수가 9점이고, 대표 영상 A와 유사한 소장 영상은 대표 영상 A를 포함하여 총 7장이다. 또한, 대표 영상 B는 소장 정결도의 점수가 8점이고, 대표 영상 B와 유사한 소장 영상은 대표 영상 B를 포함하여 총 3장이다. 이에 따라, 최종 소장 정결도는 대표 영상 A가 포함하는 유사 소장 영상 수 7장에 대표 영상 A의 소장 정결도 점수인 9점을 곱한 값과, 또한 대표 영상 B가 포함하는 유사 소장 영상 수 3장에 대표 영상 B의 소장 정결도 점수인 8점을 곱한 값을 더하여 전체 소장 영상의 수인 10장으로 나눈 값을 정결도 진단부(130)가 최종 소장 정결도로 진단하는 것이다. 이를 수식으로 표현하면 아래와 같다.
Figure pat00006
이와 같이, 정결도 진단부(130)가 최종적으로 소장 정결도에 대한 점수를 진단하면, 실시간으로 수신된 일련의 다수의 소장 영상에 대한 소장 정결도는 8.7점으로 진단할 수 있다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면, 본 발명의 사상과 범위 안에서 다양한 수정, 변경 및 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 본 발명의 특허청구 범위에 속하는 것으로 보아야 할 것이다.
1 : 소장 정결도 진단 시스템
100 : 데이터 수신부
110 : 영상 분류부
120 : 유사도 분석부
130 : 정결도 진단부
140 : 데이터베이스

Claims (10)

  1. 소장(small bowel) 정결도를 진단하는 시스템에 있어서,
    다수의 소장 영상 중에서 유사한 소장 영상들의 대표 영상을 선별하도록 분석하는 유사도 분석부;
    다수의 소장 영상을 학습한 상태에서 정결도를 진단하고자 하는 일련의 다수의 소장 영상을 수신하였을 시 상기 대표 영상을 학습 결과물에 적용하여 소장 정결도를 예측함으로써 점수별로 소장 정결도를 분류하는 영상 분류부; 및
    상기 대표 영상의 소장 정결도에 관한 점수 및 상기 대표 영상과 유사한 소장 영상의 개수를 기반으로 상기 일련의 다수의 소장 영상에 관한 최종 소장 정결도를 산출하는 정결도 진단부;를 포함하는 것을 특징으로 하는 소장 정결도를 진단하는 시스템.
  2. 제1항에 있어서,
    상기 유사도 분석부가 대표 영상을 선별하는 것은 바타챠랴 거리(Bhattacharyya Distance) 알고리즘을 기반으로 2개의 소장 영상의 컬러 히스토그램을 비교하는 것으로 유사도를 측정하고, 정해진 유사도 기준에 따라 유사도별로 선별된 상기 다수의 소장 영상 중에서 대표 영상을 선별하는 것을 특징으로 하는 소장 정결도를 진단하는 시스템.
  3. 제2항에 있어서,
    상기 유사도 기준은 상기 2개의 소장 영상이 유사도가 작을수록 0에 수렴하고, 유사도가 클수록 1에 수렴하는 것을 특징으로 하는 소장 정결도를 진단하는 시스템.
  4. 제1항에 있어서,
    상기 영상 분류부는 CNN(Convolution Neural Network) 모델을 기반으로 상기 다수의 소장 영상의 컬러와 텍스처에 대한 특징을 학습하고, 랜드마크 정보를 기반으로 상기 학습 결과물에 적용하여 소장 정결도 예측하는 것을 특징으로 하는 소장 정결도를 진단하는 시스템.
  5. 제1항에 있어서,
    상기 영상 분류부는 다수의 이미지 센서에서 출력된 상기 다수의 소장 영상의 컬러 기준을 통일한 후 학습하는 것을 특징으로 하는 소장 정결도를 진단하는 시스템.
  6. 제5항에 있어서,
    상기 컬러 기준은 RGB(Red, Green, Blue), HSV(Hue Saturation Value), Lab(색 좌표)를 적어도 하나 이상 사용하는 것을 특징으로 하는 소장 정결도를 진단하는 시스템.
  7. 제1항에 있어서,
    상기 다수의 소장 영상은 1부터 10까지 소장 정결도에 대한 점수화가 완료되어 있는 것을 특징으로 하는 소장 정결도를 진단하는 시스템.
  8. 제1항에 있어서,
    상기 최종 소장 정결도는 1부터 n까지 각각 상기 대표 영상이 포함하는 유사 영상 수에 정결도 점수를 곱하여 더한 값을 상기 다수의 소장 영상의 총 개수로 나눈 것을 특징으로 하는 소장 정결도를 진단하는 시스템.
  9. 제1항에 있어서,
    상기 영상 분류부는 상기 다수의 소장 영상에서 소장 구간을 컬러와 텍스처 기반으로 학습하고, 상기 소장 구간에 설정된 랜드마크 정보를 기반으로 상기 소장 구간에 따라 상기 다수의 소장 영상을 분류하는 것을 특징으로 하는 소장 정결도를 진단하는 시스템.
  10. 소장(small bowel) 정결도를 진단하는 방법에 있어서,
    점수화가 완료된 다수의 소장 영상을 수신하는 단계;
    상기 점수화 완료된 다수의 소장 영상을 학습하는 단계;
    소장 정결도를 진단하고자 하는 일련의 다수의 소장 영상을 수신하였을 시 다수의 소장 영상 중에서 유사한 소장 영상들의 대표 영상을 선별하도록 분석하는 단계;
    상기 대표 영상을 학습 결과물에 적용하여 소장 정결도를 예측함으로써 점수별로 소장 정결도를 분류하는 단계; 및
    상기 대표 영상을 기반으로 상기 다수의 소장 영상에 관한 최종 소장 정결도를 산출하는 단계;를 포함하는 것을 특징으로 하는 소장 정결도를 진단하는 방법.
KR1020190142203A 2019-11-08 2019-11-08 소장 정결도를 진단하는 시스템 및 방법 KR102430946B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020190142203A KR102430946B1 (ko) 2019-11-08 2019-11-08 소장 정결도를 진단하는 시스템 및 방법
CN202080048089.2A CN114080644A (zh) 2019-11-08 2020-10-07 用于诊断小肠清洁度的***和方法
PCT/KR2020/013636 WO2021091092A1 (ko) 2019-11-08 2020-10-07 소장 정결도를 진단하는 시스템 및 방법
US17/612,486 US20220304617A1 (en) 2019-11-08 2020-10-07 System and method for diagnosing small bowel cleanliness
GB2117924.7A GB2604706B (en) 2019-11-08 2020-10-07 System and method for diagnosing small bowel cleanliness

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190142203A KR102430946B1 (ko) 2019-11-08 2019-11-08 소장 정결도를 진단하는 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210055881A true KR20210055881A (ko) 2021-05-18
KR102430946B1 KR102430946B1 (ko) 2022-08-10

Family

ID=75848002

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190142203A KR102430946B1 (ko) 2019-11-08 2019-11-08 소장 정결도를 진단하는 시스템 및 방법

Country Status (5)

Country Link
US (1) US20220304617A1 (ko)
KR (1) KR102430946B1 (ko)
CN (1) CN114080644A (ko)
GB (1) GB2604706B (ko)
WO (1) WO2021091092A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332019A (zh) * 2021-12-29 2022-04-12 小荷医疗器械(海南)有限公司 内窥镜图像检测辅助***、方法、介质和电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082448B (zh) * 2022-07-26 2023-05-23 青岛美迪康数字工程有限公司 肠道清洁度评分方法、装置和计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8185185B2 (en) * 2006-03-31 2012-05-22 Given Imaging Ltd. System and method for assessing a patient condition using tertiles derived from capsule endoscope images of the small bowel
JP4991319B2 (ja) 2007-01-11 2012-08-01 株式会社東芝 干渉検知装置及びそれを利用した医用画像診断装置
KR20160063128A (ko) * 2014-11-26 2016-06-03 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법
KR101889722B1 (ko) * 2017-02-10 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101928302B1 (ko) * 2018-04-10 2018-12-13 주식회사 뷰노 콘텐츠 기반 의료 영상 검색 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8185185B2 (en) * 2006-03-31 2012-05-22 Given Imaging Ltd. System and method for assessing a patient condition using tertiles derived from capsule endoscope images of the small bowel
JP4991319B2 (ja) 2007-01-11 2012-08-01 株式会社東芝 干渉検知装置及びそれを利用した医用画像診断装置
KR20160063128A (ko) * 2014-11-26 2016-06-03 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법
KR101889722B1 (ko) * 2017-02-10 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332019A (zh) * 2021-12-29 2022-04-12 小荷医疗器械(海南)有限公司 内窥镜图像检测辅助***、方法、介质和电子设备
CN114332019B (zh) * 2021-12-29 2023-07-04 小荷医疗器械(海南)有限公司 内窥镜图像检测辅助***、方法、介质和电子设备

Also Published As

Publication number Publication date
WO2021091092A1 (ko) 2021-05-14
CN114080644A (zh) 2022-02-22
GB2604706A (en) 2022-09-14
KR102430946B1 (ko) 2022-08-10
GB2604706B (en) 2024-02-07
GB202117924D0 (en) 2022-01-26
US20220304617A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
Aquino et al. A new methodology for estimating the grapevine-berry number per cluster using image analysis
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
US7136524B1 (en) Robust perceptual color identification
CN111915572B (zh) 一种基于深度学习的自适应齿轮点蚀定量检测***及方法
CN108564085B (zh) 一种自动读取指针式仪表读数的方法
TWI696145B (zh) 大腸鏡影像電腦輔助辨識系統及方法
CN114283469B (zh) 一种基于改进YOLOv4-tiny的轻量型目标检测方法及***
CN108009560B (zh) 商品图像相似类别判定方法及装置
CN111563887A (zh) 一种口腔图像的智能分析方法与装置
CN108647625A (zh) 一种表情识别方法及装置
CN108734283A (zh) 神经网络***
CN106023151A (zh) 一种开放环境下中医舌象目标检测方法
CN110879982A (zh) 一种人群计数***及方法
KR102430946B1 (ko) 소장 정결도를 진단하는 시스템 및 방법
Bondre et al. Review on leaf diseases detection using deep learning
CN117115147B (zh) 一种基于机器视觉的纺织品检测方法及***
Syu et al. Psoriasis detection based on deep neural network
CN113221812A (zh) 人脸关键点检测模型的训练方法和人脸关键点检测方法
Shweta et al. External feature based quality evaluation of Tomato using K-means clustering and support vector classification
Abdullah et al. A portable rice disease diagnosis tool basedon bi-level color image thresholding
Khavalko et al. Classification and Recognition of Medical Images Based on the SGTM Neuroparadigm.
CN115661042A (zh) 一种基于注意力机制指导的分层分类缺陷检测方法
Liang et al. Automated detection of coffee bean defects using multi-deep learning models
Jeny et al. Machine vision-based expert system for automated cucumber diseases recognition and classification
JP2005214682A (ja) 被検出体の判別システム及び画像の判別システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)