KR102566183B1 - Method for providing information on automatic pelvic measurement and apparatus using the same - Google Patents

Method for providing information on automatic pelvic measurement and apparatus using the same Download PDF

Info

Publication number
KR102566183B1
KR102566183B1 KR1020220062902A KR20220062902A KR102566183B1 KR 102566183 B1 KR102566183 B1 KR 102566183B1 KR 1020220062902 A KR1020220062902 A KR 1020220062902A KR 20220062902 A KR20220062902 A KR 20220062902A KR 102566183 B1 KR102566183 B1 KR 102566183B1
Authority
KR
South Korea
Prior art keywords
pelvis
measurement
region
measuring
pelvic
Prior art date
Application number
KR1020220062902A
Other languages
Korean (ko)
Inventor
김광기
백정흠
김영재
전영배
Original Assignee
가천대학교 산학협력단
(의료)길의료재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단, (의료)길의료재단 filed Critical 가천대학교 산학협력단
Priority to KR1020220062902A priority Critical patent/KR102566183B1/en
Application granted granted Critical
Publication of KR102566183B1 publication Critical patent/KR102566183B1/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Dentistry (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Quality & Reliability (AREA)
  • Robotics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은, 프로세서에 의해 구현되는 골반 자동 계측에 대한 정보제공 방법으로서, 개체의 골반을 포함하는 의료 영상을 수신하는 단계, 의료 영상을 입력으로 하여, 분할된 골반 영역을 출력하도록 구성된 인공 신경망 네트워크 기반 분할 모델을 이용하여 수신된 상기 의료 영상을 기초로, 골반 영역을 분할하는 단계, 분할된 골반 영역에 기초하여, 수술 난이도 측정에 필요한 골반과 관련된 치수를 계측하는 단계를 포함하는, 골반 자동 계측에 대한 정보 제공 방법 및 이를 이용한 골반 자동 계측에 대한 정보 제공용 장치를 제공한다. The present invention is a method for providing information for automatic measurement of the pelvis implemented by a processor, comprising the steps of receiving a medical image including the pelvis of an object, and an artificial neural network configured to output a segmented pelvic region using the medical image as an input. Segmenting a pelvic region based on the received medical image using a segmentation model based on the received medical image, and measuring a dimension related to the pelvis necessary for measuring the difficulty of surgery based on the divided pelvic region, automatically measuring the pelvis. A method for providing information on and a device for providing information on automatic measurement of the pelvis using the same are provided.

Description

골반 자동 계측에 대한 정보 제공 방법 및 이를 이용한 장치{METHOD FOR PROVIDING INFORMATION ON AUTOMATIC PELVIC MEASUREMENT AND APPARATUS USING THE SAME}Method for providing information on automatic pelvic measurement and apparatus using the same

본 발명은 골반 자동 계측에 대한 정보 제공 방법 및 이를 이용한 장치에 관한 것이다. The present invention relates to a method for providing information on automatic pelvic measurement and an apparatus using the same.

직장암 수술로 복강경 전직장간막 절제술 (TME) 이 많이 채택되고 있다. '전직장간막 절제'란, 종양을 포함한 직장을 둘러싸고 있는 지방조직과 림프혈관조직인 직장간막을 다치지 않고 완전히 절제해 내는 것이다.Laparoscopic total mesenteric resection (TME) has been widely adopted as a rectal cancer surgery. 'Entire mesenteric resection' is the complete resection of the rectal mesentery, which is the adipose tissue and lymphatic vascular tissue surrounding the rectum, including the tumor, without damaging it.

수술의 난이도는 여러 요인에 의해서 측정되는데, 그 중 중요한 부분을 차지하는 것이 골반의 길이, 넓이 등의 모양새이다. 일반적으로 좁고 깊은 골반을 가지고 있을수록 수술이 어려워진다고 알려져 있다.The difficulty of surgery is measured by several factors, and the most important part among them is the shape of the pelvis, such as length and width. It is generally known that the narrower and deeper the pelvis, the more difficult the surgery becomes.

골반 측정은 임상의에 의해 수동적으로 이루어지는데, 오랜 시간이 걸리고, 정확한 측정에 어려움이 있다. Pelvic measurement is performed passively by a clinician, which takes a long time and is difficult to accurately measure.

발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.The background description of the invention has been prepared to facilitate understanding of the present invention. It should not be construed as an admission that matters described in the background art of the invention exist as prior art.

전술한 한계를 극복하기 위한 방안으로, 환자에 따라 상이한 골반의 해부학적 구조와 장기의 위치, 그리고 이에 따라 어려워질 수 있는 수술법에 대비하여 다양한 해부학적 환경에서 수술법을 실습할 수 있는 시뮬레이터가 소개된 바 있다.As a way to overcome the above-mentioned limitations, a simulator that can practice surgical methods in various anatomical environments was introduced in preparation for the different anatomical structures of the pelvis and the location of organs depending on the patient, and surgical methods that may be difficult accordingly. there is a bar

상기 시스템은, 골반 영역의 정확한 측정을 고려하기 보다는 실제 장기와 조직을 모방하는 표준화된 모형에 대한 발명으로, 골반 계측 수치에 따라 수술 난이도를 예측하는데 한계가 있다. The system is an invention for a standardized model that imitates real organs and tissues rather than considering accurate measurement of the pelvic region, and thus has limitations in predicting the difficulty of surgery according to pelvic measurement values.

이에, 본 발명의 발명자들은, 수술 전에 복강경 TME 수술 난이도를 예측하여 임상의사에게 보다 편리한 수술 환경을 제공하고자 하였고, 골반과 관련된 치수에 기초하여 수술 난이도 예측 결과를 결정하고자 하였다. Therefore, the inventors of the present invention tried to provide a more convenient surgical environment to the clinician by predicting the difficulty of laparoscopic TME surgery before surgery, and tried to determine the surgical difficulty prediction result based on the dimensions related to the pelvis.

그 결과, 본 발명의 발명자들은 분할된 골반 영역에 기초하여 수술 난이도 측정에 필요한 골반과 관련된 치수를 계측하도록 구성된, 골반 자동 계측 시스템을 개발하기에 이르렀다.As a result, the inventors of the present invention have developed an automatic pelvic measurement system configured to measure dimensions related to the pelvis necessary for measuring the difficulty of surgery based on the divided pelvis regions.

나아가, 본 발명의 발명자들은 골반 분할 및 깊이와 넓이 측정을 자동화 함으로써, 수동 측정 방법보다 소요시간을 단축하고, 실제 임상 실무에 있어서 의료진의 워크 플로우를 향상시킬 수 있음을 기대할 수 있었다. Furthermore, the inventors of the present invention could expect to shorten the required time compared to manual measurement methods and improve the workflow of medical staff in actual clinical practice by automating the pelvic segmentation and depth and width measurement.

이에, 본발명이 해결하고자 하는 과제는, 인공 신경망 네트워크에 기초한 분할 모델을 이용하여 수신된 의료 영상에 대하여 골반 영역을 분할하고, 이를 기초로 골반과 관련된 치수를 계측하도록 구성된, 골반 자동 계측에 대한 정보 제공 방법 및 이를 이용한 장치에 관한 것이다. Therefore, the problem to be solved by the present invention is to automatically measure the pelvis, which is configured to divide the pelvis region of the received medical image using a segmentation model based on an artificial neural network and measure dimensions related to the pelvis based on this segmentation. It relates to an information providing method and a device using the same.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The tasks of the present invention are not limited to the tasks mentioned above, and other tasks not mentioned will be clearly understood by those skilled in the art from the following description.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 골반 자동 계측에 대한 정보 제공 방법이 제공된다. 본 정보 제공 방법은, 프로세서에 의해 구현되는 골반 자동 계측에 대한 정보제공 방법으로서, 개체의 골반을 포함하는 의료 영상을 수신하는 단계; 의료 영상을 입력으로 하여, 분할된 골반 영역을 출력하도록 구성된 인공 신경망 네트워크 기반 분할 모델을 이용하여 수신된 의료 영상을 기초로, 골반 영역을 분할하는 단계; 분할된 골반 영역에 기초하여, 수술 난이도 측정에 필요한 골반과 관련된 치수를 계측하는 단계를 포함한다.In order to solve the above problems, a method for providing information on automatic measurement of the pelvis according to an embodiment of the present invention is provided. The present information providing method is a method for providing information on automatic measurement of a pelvis implemented by a processor, comprising the steps of receiving a medical image including a pelvis of an individual; Segmenting the pelvic region based on the received medical image using a segmentation model based on an artificial neural network configured to output the divided pelvic region by taking the medical image as an input; Based on the divided pelvis region, measuring a dimension related to the pelvis necessary for measuring the difficulty of surgery.

본 발명의 특징에 따르면, 인공 신경망 네트워크 기반 분할 모델은 시상면 (segittal) 영상에서 골반 계측에 필요한 영역을 분할하도록 학습된 제 1 분할 모델을 포함할 수 있다.According to a feature of the present invention, the artificial neural network-based segmentation model may include a first segmentation model learned to segment a region required for pelvic measurement in a sagittal image.

본 발명의 다른 특징에 따르면, 제 1 분할 모델은, 의료 영상을 입력으로 하여 꼬리뼈 (coccyx) 와 치골 결합 (pubic symphysis) 영역을 분할하도록 학습된 모델일 수 있다.According to another feature of the present invention, the first segmentation model may be a model learned to segment the coccyx and pubic symphysis regions using a medical image as an input.

본 발명의 또 다른 특징에 따르면 인공 신경망 네트워크 기반 분할 모델은 수평면(axial) 영상에서 골반 계측에 필요한 영역을 분할하도록 학습된 제 2 분할 모델을 포함할 수 있다.According to another feature of the present invention, the artificial neural network-based segmentation model may include a second segmentation model learned to segment a region required for pelvis measurement in an axial image.

본 발명의 또 다른 특징에 따르면 제 2 분할 모델은, 의료 영상을 입력으로 하여 직장 (rectum) 과 직장간막 (mesorectum) 또는 궁둥뼈결절 (ischial tuberosity) 과 궁둥뼈가시(ischial spine) 영역을 분할하도록 학습된 모델일 수 있다.According to another feature of the present invention, the second segmentation model divides the rectum and mesorectum or the ischial tuberosity and the ischial spine regions using medical images as input It can be a model that has been trained to

본 발명의 또 다른 특징에 따르면 인공 신경망 네트워크 기반 분할 모델은, 의료 영상이 시상면 영상 및 수평면 영상을 모두 포함하는 경우, 시상면(segittal) 영상에서 골반 계측에 필요한 영역을 분할하도록 학습된 제 1 분할 모델 및 수평면(axial) 영상에서 골반 계측에 필요한 영역을 분할하도록 학습된 제 2 분할 모델을 포함하고, 제 1 분할 모델은, 의료 영상을 입력으로 하여 꼬리뼈 (coccyx) 와 치골 결합 (pubic symphysis) 영역을 분할하도록 학습된 모델이고, 제 2 분할 모델은 직장 (rectum) 과 직장간막 (mesorectum) 또는 궁둥뼈결절 (ischial tuberosity) 과 궁둥뼈가시(ischial spine) 영역울 분할하도록 학습된 모델일 수 있다.According to another feature of the present invention, the artificial neural network-based segmentation model is trained to segment a region required for pelvic measurement in a sagittal image when a medical image includes both a sagittal image and a horizontal image. It includes a segmentation model and a second segmentation model learned to segment a region required for pelvic measurement in an axial image, and the first segmentation model takes a medical image as an input and uses a coccyx and a pubic symphysis. A model learned to divide the region, and the second segmentation model may be a model learned to divide the rectum and mesorectum or the ischial tuberosity and the ischial spine region. there is.

본 발명의 또 다른 특징에 따르면 수술 난이도 측정에 필요한 골반과 관련된 치수를 계측하는 단계는, 꼬리뼈의 상단 및 하단 끝점과 치골 결합의 상단 및 하단 끝점을 연결하여, 골반입구(pelvic inlet), 골반출구(pelvic outlet), 골반 깊이(pelvic depth), 치골 높이(pubic height), 천골 길이(sacral length), 천골 깊이(sacral depth) , angle α, angle β, angle γ및 angle δ를 측정하는 단계를 포함할 수 있다.According to another feature of the present invention, the step of measuring the dimensions related to the pelvis necessary for measuring the difficulty of surgery is to connect the upper and lower end points of the tailbone and the upper and lower end points of the pubic symphysis to obtain a pelvic inlet, pelvic outlet (pelvic outlet), pelvic depth, pubic height, sacral length, sacral depth, angle α, angle β, angle γ, and angle δ. can do.

본 발명의 또 다른 특징에 따르면 수술 난이도 측정에 필요한 골반과 관련된 치수를 계측하는 단계는, 직장과 직장간막의 면적을 측정하여 직장 주위의 지방 면적 (mesorectal fat) 을 측정하는 단계를 포함할 수 있다.According to another feature of the present invention, the step of measuring the dimensions related to the pelvis required to measure the difficulty of surgery may include measuring the area of the rectum and the rectal membrane to measure the area of mesorectal fat around the rectum. .

본 발명의 또 다른 특징에 따르면 수술 난이도 측정에 필요한 골반과 관련된 치수를 계측하는 단계는, 궁둥뼈결절과 궁둥뼈가시의 좌우 하단 끝점을 연결해 좌골조면간거리 (intertuberous distance) 와 좌골가시간 거리 (interspinous distance) 를 측정하는 단계를 포함할 수 있다.According to another feature of the present invention, the step of measuring the dimensions related to the pelvis necessary for measuring the difficulty of surgery is to connect the ischial tuberosity and the left and right lower end points of the ischial spine to determine the intertuberous distance and the interspinous distance ) may include measuring.

본 발명의 또 다른 특징에 따르면, 수술 난이도 측정에 필요한 골반과 관련된 치수를 계측하는 단계 이후에, 수술 난이도 측정에 필요한 골반과 관련된 치수에 기초하여 수술 난이도 예측 결과를 결정하는 단계를 더 포함할 수 있다.According to another feature of the present invention, after the step of measuring the dimensions related to the pelvis required for measuring the difficulty of surgery, the step of determining the surgical difficulty prediction result based on the dimensions related to the pelvis required for measuring the difficulty of surgery may be further included. there is.

본 발명의 또 다른 특징에 따르면, 수술 난이도 예측 결과는, 수술 난이도, 수술 시간, 예상 출혈량, 수술 후 합병증 중 적어도 하나를 포함할 수 있다.According to another feature of the present invention, the surgery difficulty prediction result may include at least one of surgery difficulty, surgery time, expected blood loss, and postoperative complications.

본 발명의 또 다른 특징에 따르면, 개체의 골반을 포함하는 의료 영상의 길이, 면적, 각도, 깊이 및 수술 난이도 예측 결과 중 적어도 하나를 포함하는 계측 결과 데이터를 나타내는 인터페이스 화면을 표시하는 단계를 더 포함할 수 있다.According to another feature of the present invention, the step of displaying an interface screen displaying measurement result data including at least one of the length, area, angle, depth, and surgical difficulty prediction result of the medical image including the pelvis of the subject is further included. can do.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 골반 자동 계측에 대한 정보 제공용 장치가 제공된다. 본 장치는, 개체의 골반을 포함하는 의료 영상을 수신하도록 구성된 통신부, 및 통신부와 연결된 프로세서를 포함하고, 프로세서는, 의료 영상을 입력으로 하여, 분할된 골반 영역을 출력하도록 구성된 인공 신경망 네트워크 기반 분할 모델을 이용하여 수신된 의료 영상을 기초로, 골반 영역을 분할하고, 분할된 골반 영역에 기초하여, 수술 난이도 측정에 필요한 골반과 관련된 치수를 계측하는 단계를 포함하도록 구성된다.In order to solve the above problems, an apparatus for providing information on automatic measurement of the pelvis according to another embodiment of the present invention is provided. The apparatus includes a communication unit configured to receive a medical image including a pelvis of an object, and a processor connected to the communication unit, wherein the processor receives the medical image as an input and outputs a segmented pelvis region based on an artificial neural network. and dividing the pelvis region based on the received medical image using the model, and measuring a dimension related to the pelvis required to measure the difficulty of surgery based on the divided pelvis region.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other embodiment specifics are included in the detailed description and drawings.

본 발명은, 딥 러닝 모델에 기초하여 의료 영상으로부터 복강경 전직장간막 절제술 (TME)의 수술 난이도 측정에 중요한 부분인 골반과 관련된 치수를 측정함으로써, 정확도 높은 골반 계측 결과를 제공할 수 있다. The present invention can provide highly accurate pelvic measurement results by measuring dimensions related to the pelvis, which is an important part in measuring the surgical difficulty of laparoscopic total mesenteric resection (TME), from medical images based on a deep learning model.

보다 구체적으로, 본 발명은, 골반 영역을 분할하도록 학습된 분할 모델을 이용하여, 골반 영역을 분할하고, 분할 완료된 영상에서 계측을 위해 필요한 부분들을 자동으로 찾아, 골반의 길이, 면적, 각도 등을 자동으로 측정한 결과를 제공할 수 있다. More specifically, the present invention divides the pelvis region using a segmentation model learned to segment the pelvis region, automatically finds parts necessary for measurement in the segmented image, and calculates the length, area, angle, etc. of the pelvis. The measured results can be provided automatically.

또한 본 발명은, 딥러닝 기법과 알고리즘을 활용하여, 골반 분할 및 깊이와 넓이 측정을 자동화함으로써 수동 측정 방법보다 소요 시간을 단축할 수 있다.In addition, the present invention can reduce the time required compared to manual measurement methods by automating the pelvis segmentation and depth and width measurement using deep learning techniques and algorithms.

나아가 수술 전에 복강경 TME 수술 난이도를 예측하여 임상의사에게 보다 편리한 수술 환경을 제공할 수 있다. Furthermore, it is possible to provide a more convenient surgical environment to clinicians by predicting the difficulty of laparoscopic TME surgery before surgery.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.Effects according to the present invention are not limited by the contents exemplified above, and more various effects are included in the present invention.

도 1은 본 발명의 일 실시예에 따른 골반 자동 계측에 대한 정보 제공용 장치에 기초한 골반 자동 계측 시스템을 예시적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 골반 자동 계측에 대한 정보 제공용 장치의 구성을 예시적으로 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 골반 자동 계측에 대한 정보 제공용 장치로부터 골반 자동 계측에 대한 정보를 수신 받아 출력하는 의료진 장치 구성을 예시적으로 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 골반 자동 계측에 대한 정보 제공 방법의 절차를 도시한 것이다.
도 5a 및 5b는 본 발명의 일 실시예에 따른 골반 자동 계측에 대한 정보 제공 방법에서, 골반 영역을 분할하는 단계를 예시적으로 도시한 것이다.
도 6a 및 6b는 본 발명의 일 실시예에 따른 골반 자동 계측에 대한 정보 제공 방법에서, 골반과 관련된 치수를 계측하는 단계를 예시적으로 도시한 것이다.
도 7은 본 발명의 다양한 실시예에 이용되는 계측 결과 데이터를 도시한 것이다. 1 illustrates an automatic pelvis measurement system based on an apparatus for providing information on automatic pelvis measurement according to an embodiment of the present invention.
FIG. 2 illustratively illustrates the configuration of an apparatus for providing information on automatic pelvic measurement according to an embodiment of the present invention.
FIG. 3 illustratively illustrates the configuration of a medical staff device that receives and outputs information on automatic pelvic measurement from a device for providing information on automatic pelvis measurement according to an embodiment of the present invention.
4 illustrates a procedure of a method for providing information on automatic measurement of a pelvis according to an embodiment of the present invention.
5A and 5B exemplarily illustrate dividing a pelvis region in a method for providing information on automatic pelvis measurement according to an embodiment of the present invention.
6A and 6B illustratively illustrate steps of measuring dimensions related to the pelvis in the information providing method for automatic measurement of the pelvis according to an embodiment of the present invention.
7 illustrates measurement result data used in various embodiments of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and will be implemented in various forms different from each other, only these embodiments make the disclosure of the present invention complete, and common knowledge in the art to which the present invention pertains. It is provided to completely inform the person who has the scope of the invention, and the present invention is only defined by the scope of the claims. In connection with the description of the drawings, like reference numerals may be used for like elements.

본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.In this document, expressions such as "has," "may have," "includes," or "may include" indicate the existence of a corresponding feature (eg, numerical value, function, operation, or component such as a part). , which does not preclude the existence of additional features.

본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.In this document, expressions such as “A or B,” “at least one of A and/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together. . For example, “A or B,” “at least one of A and B,” or “at least one of A or B” (1) includes at least one A, (2) includes at least one B, Or (3) may refer to all cases including at least one A and at least one B.

본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.Expressions such as “first,” “second,” “first,” or “second,” used in this document may modify various elements, regardless of order and/or importance, and refer to one element as It is used only to distinguish it from other components and does not limit the corresponding components. For example, a first user device and a second user device may represent different user devices regardless of order or importance. For example, without departing from the scope of rights described in this document, a first element may be named a second element, and similarly, the second element may also be renamed to the first element.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.A component (e.g., a first component) is "(operatively or communicatively) coupled with/to" another component (e.g., a second component); When referred to as "connected to", it should be understood that the certain component may be directly connected to the other component or connected through another component (eg, a third component). On the other hand, when an element (eg, a first element) is referred to as being “directly connected” or “directly connected” to another element (eg, a second element), the element and the above It may be understood that other components (eg, third components) do not exist between the other components.

본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것 만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.As used in this document, the expression "configured to" means "suitable for," "having the capacity to," depending on the circumstances. ," "designed to," "adapted to," "made to," or "capable of." The term "configured (or set) to" may not necessarily mean only "specifically designed to" hardware. Instead, in some contexts, the phrase "device configured to" may mean that the device is "capable of" in conjunction with other devices or components. For example, the phrase "a processor configured (or configured) to perform A, B, and C" may include a dedicated processor (e.g., embedded processor) to perform those operations, or by executing one or more software programs stored in a memory device. , may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.

본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시예들을 배제하도록 해석될 수 없다.Terms used in this document are only used to describe a specific embodiment, and may not be intended to limit the scope of other embodiments. Singular expressions may include plural expressions unless the context clearly dictates otherwise. Terms used herein, including technical or scientific terms, may have the same meaning as commonly understood by a person of ordinary skill in the art described in this document. Among the terms used in this document, terms defined in a general dictionary may be interpreted as having the same or similar meaning as the meaning in the context of the related art, and unless explicitly defined in this document, an ideal or excessively formal meaning. not be interpreted as In some cases, even terms defined in this document cannot be interpreted to exclude the embodiments of this document.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.Each feature of the various embodiments of the present invention can be partially or entirely combined or combined with each other, and as those skilled in the art can fully understand, various interlocking and driving operations are possible, and each embodiment can be implemented independently of each other. It may be possible to implement together in an association relationship.

본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.For clarity of interpretation of this specification, terms used in this specification will be defined below.

본 명세서에서 사용되는 용어, "개체"는 골반을 계측하고자 하는 모든 대상을 의미할 수 있다. 예를 들어, 개체는, 직장암 의심 개체일 수도 있다. 이때, 본 명세서 내에 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다. As used herein, the term "subject" may refer to any subject whose pelvis is to be measured. For example, the individual may be a suspected rectal cancer individual. In this case, the subject disclosed in this specification may be any mammal except for humans, but is not limited thereto.

본 명세서에서 사용되는 용어, “의료 영상”은, 영상 진단 장치로부터 촬영된 의료 영상으로, 골반 영역을 포함하는 의료 영상일 수 있다.As used herein, the term “medical image” is a medical image captured by an imaging diagnosis device, and may include a pelvic area.

예를 들어, 의료 영상은, 개체에 대하여 촬영된 MRI 의료 영상으로, 시상면(sagittal) 영상 또는 수평면(axial) 영상을 포함할 수 있다. 그러나, 이에 제한되는 것은 아니다.For example, the medical image is an MRI medical image captured of an object and may include a sagittal image or an axial image. However, it is not limited thereto.

한편, 의료 영상은, 복수 개의 컷으로 구성된 동영상일 수 있다. 본 발명의 일 실시예에 따른 골반 자동 계측에 대한 정보 제공 방법은, 복수 개의 의료 영상 각각에 대하여 골반 영역을 분할하고, 골반과 관련된 치수 계측을 수행하여 수술 난이도 예측 결과를 제공할 수도 있다. Meanwhile, the medical image may be a video composed of a plurality of cuts. In the method for providing information on automatic measurement of the pelvis according to an embodiment of the present invention, a result of predicting the difficulty of surgery may be provided by segmenting a pelvis region for each of a plurality of medical images and measuring dimensions related to the pelvis.

본 명세서에서 사용되는 용어, “제 1 분할 모델”은 의료 영상을 입력으로 하여, 분할된 골반 영역을 출력하도록 구성된 모델일 수 있다.As used herein, the term “first segmentation model” may be a model configured to output a segmented pelvic region using a medical image as an input.

보다 구체적으로, 제 1 분할 모델은, 시상면(sagittal) 영상에서 골반 계측에 필요한 영역을 분할하도록 학습된 모델일 수 있다. 예를 들어, 꼬리뼈(coccyx) 와 치골 결합(pubic symphysis) 영역을 분할하도록 학습된 모델일 수 있다.More specifically, the first segmentation model may be a model learned to segment a region required for pelvic measurement in a sagittal image. For example, it may be a model learned to segment the coccyx and pubic symphysis regions.

본 명세서에서 사용되는 용어, “제 2 분할 모델”은 의료 영상을 입력으로 하여, 분할된 골반 영역을 출력하도록 구성된 모델일 수 있다. As used herein, the term “second segmentation model” may be a model configured to output a segmented pelvic region using a medical image as an input.

보다 구체적으로 제 2 분할 모델은, 수평면(axial) 영상에서 골반 계측에 필요한 영역을 분할하도록 학습된 모델일 수 있다. 예를 들어, 직장(rectum)과 직장간막 (mesorectum) 또는 궁둥뼈 결절 (ischial tuberosity) 과 궁둥뼈 가시 (ischial spine) 영역을 분할하도록 학습된 모델일 수 있다.More specifically, the second segmentation model may be a model learned to segment a region required for pelvis measurement in an axial image. For example, it may be a model trained to segment the rectum and mesorectum or ischial tuberosity and ischial spine regions.

분할 모델은, U-net일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 분할 모델은 VGG net, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+, U-net와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50, Resnet101, Inception-v3 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다. The split model may be U-net, but is not limited thereto. For example, split models include VGG net, DenseNet, fully convolutional networks (FCNs) with encoder-decoder structures, deep neural networks (DNNs) such as SegNet, DeconvNet, DeepLAB V3+, U-net, SqueezeNet, Alexnet, and ResNet18. , MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50, Resnet101, and Inception-v3.

본 명세서에서 사용되는 용어, “골반과 관련된 치수”는 골반입구(pelvic inlet), 골반출구(pelvic outlet), 골반 깊이(pelvic depth), 치골 높이(pubic height), 천골 길이(sacral length), 천골 깊이(sacral depth) , angle α, angle βangle γ, angle δ, 지방 면적 (mesorectal fat), 좌골조면간거리 (intertuberous distance) 및 좌골가시간 거리 (interspinous distance) 일 수 있으나, 이에 제한되는 것은 아니다. As used herein, the term "pelvic-related dimensions" includes pelvic inlet, pelvic outlet, pelvic depth, pubic height, sacral length, sacrum It may be sacral depth, angle α, angle β angle γ, angle δ, mesorectal fat, intertuberous distance, and interspinous distance, but is not limited thereto.

이하에서는 도 1 내지 3을 참조하여, 본 발명의 일 실시예에 따른 골반 자동 계측에 대한 정보 제공용 장치에 기초한 골반 자동 계측 시스템을 설명한다.Hereinafter, an automatic pelvis measurement system based on an apparatus for providing information on automatic pelvis measurement according to an embodiment of the present invention will be described with reference to FIGS. 1 to 3 .

도 1은 본 발명의 일 실시예에 따른 골반 자동 계측에 대한 정보 제공용 장치에 기초한 골반 자동 계측 시스템을 예시적으로 도시한 것이다. 1 illustrates an automatic pelvis measurement system based on an apparatus for providing information on automatic pelvis measurement according to an embodiment of the present invention.

먼저, 도 1을 참조하면, 골반 자동 계측 시스템 (1000) 은, 개체에 대한 의료 영상을 기초로 골반 계측과 관련된 정보를 제공하도록 구성된 시스템일 수 있다. First, referring to FIG. 1 , an automatic pelvis measurement system 1000 may be a system configured to provide information related to pelvis measurement based on a medical image of an object.

골반 자동 계측 시스템 (1000) 은, 의료 영상에 기초하여, 골반 영역을 분할하고, 이를 기초로 수술 난이도 측정에 필요한 골반과 관련된 치수를 계측하도록 구성된, 골반 자동 계측에 대한 정보 제공용 장치 (100), 골반 자동 계측에 대한 정보를 수신하는 의료진 장치 (200) 및 MRI 영상과 같은 의료 영상을 제공하는 의료 영상 촬영용 장치 (300) 를 포함한다.The automatic pelvis measurement system 1000 is an apparatus for providing information on automatic pelvis measurement, configured to divide a pelvis region based on a medical image and measure dimensions related to the pelvis necessary for measuring the difficulty of surgery based on the segmentation of the pelvis region. , a medical staff device 200 that receives information on automatic measurement of the pelvis, and a medical imaging device 300 that provides medical images such as MRI images.

먼저, 골반 자동 계측에 대한 정보 제공용 장치 (100) 는 의료 영상 촬영용 장치 (300) 로부터 제공된 사용자의 의료 영상을 기초로 골반과 관련된 치수를 계측하기 위해 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다. 의료진 장치 (200)는 골반 자동 계측에 대한 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server)에 엑세스하기 위한 장치일 수 있으나, 이에 한정되지 않는다. First, the apparatus 100 for providing information on automatic measurement of the pelvis includes a general-purpose computer, a laptop, and / or may include a data server and the like. The medical staff device 200 may be a device for accessing a web server providing a web page for automatic pelvic measurement or a mobile web server providing a mobile web site, but is not limited thereto. .

구체적으로, 골반 자동 계측에 대한 정보 제공용 장치 (100)는 의료 영상 촬영용 장치 (300) 로부터 의료 영상을 수신하고, 외부 DB (미도시)로부터 개체에 대한 의료 기록 데이터를 수신한 후, 수신된 의료 영상으로부터 골반 영역을 분할하여, 수술 난이도 측정에 필요한 골반과 관련된 치수를 계측하고, 의료 영상, 이들에 대한 특징, 나아가 의료 데이터를 이용하여 최종적으로 수술 난이도 예측하여 결과를 제공할 수 있다.Specifically, the apparatus 100 for providing information on automatic measurement of the pelvis receives a medical image from the apparatus 300 for taking a medical image, receives medical record data for an object from an external DB (not shown), and then receives the received data. It is possible to segment the pelvic region from the medical image, measure dimensions related to the pelvis required to measure the difficulty of surgery, and finally predict the difficulty of surgery using the medical image, characteristics thereof, and furthermore, medical data, and provide a result.

이때, 골반 자동 계측에 대한 정보 제공용 장치 (100)는 개체에 대한 골반과 관련된 치수 또는 수술 난이도 예측과 연관된 데이터를 의료진 장치 (200) 로 제공할 수 있다.In this case, the apparatus 100 for providing information on automatic measurement of the pelvis may provide the device 200 with data related to the prediction of the size of the pelvis or the surgical difficulty of the subject.

이와 같이 골반 자동 계측에 대한 정보 제공용 장치 (100) 로부터 제공되는 데이터는, 의료진 장치 (200)에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.In this way, data provided from the device 100 for providing information on automatic pelvic measurement may be provided as a web page through a web browser installed in the medical staff device 200, or may be provided in the form of an application or program. In various embodiments, this data may be provided in a form incorporated into the platform in a client-server environment.

다음으로 의료진 장치 (200)는 개체에 대한 골반 영역에 대한 정보 제공을 요청하고 계측 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하는 전자 장치로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다. Next, the medical staff device 200 is an electronic device that requests provision of information on the pelvic region of an object and provides a user interface for displaying measurement result data, such as a smart phone, a tablet PC (Personal Computer), a laptop and/or It may include at least one of PC and the like.

의료진 장치 (200)는 골반 자동 계측에 대한 정보 제공용 장치 (100) 로부터 개체에 대한 골반 영역에 대한 계측 결과를 수신하고, 수신된 결과를 표시부를 통해 표시할 수 있다. 여기서, 계측 결과는, 개체의 골반을 포함하는 의료 영상의 길이, 면적, 각도, 깊이 및 수술 난이도 예측 결과 등을 포함할 수 있다. The medical staff device 200 may receive a measurement result of the pelvic region of an object from the device 100 for providing information on automatic pelvis measurement, and display the received result through the display unit. Here, the measurement result may include the length, area, angle, and depth of the medical image including the subject's pelvis, and a predictive result of surgical difficulty.

다음으로, 도 2를 참조하여, 본 발명의 골반 자동 계측에 대한 정보 제공용 장치 (100)의 구성 요소에 대하여 구체적으로 설명한다. Next, with reference to FIG. 2, components of the apparatus 100 for providing information on automatic pelvic measurement according to the present invention will be described in detail.

도 2는 본 발명의 일 실시예에 따른 골반 자동 계측에 대한 정보 제공용 장치를 설명하기 위한 개략도이다.2 is a schematic diagram illustrating an apparatus for providing information on automatic measurement of a pelvis according to an embodiment of the present invention.

도 2를 참조하면, 골반 자동 계측에 대한 정보 제공용 장치 (100)는 저장부 (110), 통신부(120) 및 프로세서 (130)를 포함한다.Referring to FIG. 2 , an apparatus 100 for providing information on automatic pelvic measurement includes a storage unit 110 , a communication unit 120 and a processor 130 .

먼저, 저장부 (110)는 개체에 대한 골반을 계측 하기 위한 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (110)는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장 매체를 포함할 수 있다.First, the storage unit 110 may store various data for measuring the pelvis of an object. In various embodiments, the storage unit 110 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), RAM, SRAM, ROM, EEPROM, PROM, magnetic memory. , magnetic disks, and optical disks, and may include at least one type of storage medium.

통신부 (120)는 골반 자동 계측에 대한 정보 제공용 장치 (100)가 외부 장치와 통신이 가능하도록 연결한다. 통신부 (120)는 유/무선 통신을 이용하여 의료진 장치 (200), 나아가 의료 영상 촬영용 장치 (300) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (120)는 의료 영상 촬영용 장치 (300) 로부터 개체의 골반을 포함하는 의료 영상을 수신할 수 있다. 또한 통신부 (120)는 의료진 장치 (200)로 계측 결과를 전달할 수 있다.The communication unit 120 connects the device 100 for providing information on automatic pelvic measurement to enable communication with an external device. The communication unit 120 may transmit/receive various data by being connected to the medical staff device 200 and furthermore the medical imaging device 300 using wired/wireless communication. Specifically, the communication unit 120 may receive a medical image including the pelvis of an object from the apparatus 300 for photographing a medical image. Also, the communication unit 120 may transmit measurement results to the medical device 200 .

프로세서(130)는 저장부(110) 및 통신부(120) 와 동작 가능하게 연결되며, 개체에 대한 의료 영상을 분석하기 위한 다양한 명령들을 수행할 수 있다. The processor 130 is operatively connected to the storage unit 110 and the communication unit 120, and may perform various commands for analyzing a medical image of an object.

구체적으로, 프로세서 (130)는 통신부 (120)를 통해 수신된 의료 영상을 기초하여 개체의 골반과 관련된 치수를 계측하도록 구성될 수 있다.In detail, the processor 130 may be configured to measure dimensions related to the pelvis of the object based on the medical image received through the communication unit 120 .

이때, 프로세서 (130)는 의료 영상에 대하여 개체의 골반 영역을 분할하도록 학습된 분할 모델에 기초하여 골반 영역을 분할하고, 분할된 골반 영역에 기초하여, 수술 난이도 측정에 필요한 골반과 관련된 치수를 계측할 수 있다. 그 다음, 프로세서 (130)는, 의료 영상, 골반과 관련된 치수에 기초하여 수술 난이도를 예측할 수 있다. In this case, the processor 130 divides the pelvis region from the medical image based on a segmentation model learned to divide the pelvis region of the object, and measures dimensions related to the pelvis required to measure the difficulty of surgery based on the divided pelvis region. can do. Next, the processor 130 may predict the degree of difficulty of surgery based on the medical image and the dimensions related to the pelvis.

한편, 골반 자동 계측 결과에 대한 정보 제공용 장치 (100)는 하드웨어적으로 설계된 것에 제한되는 것은 아니다. 예를 들어, 골반 자동 계측에 대한 정보 제공용 장치 (100)의 프로세서 (130)는 소프트웨어로 구현될 수 있다. 이에, 계측 결과는 상기 소프트웨어가 연결된 의료 영상 촬영용 장치 (300)의 표시부 (미도시)를 통해 표시될 수도 있다.Meanwhile, the device 100 for providing information on the result of automatic pelvic measurement is not limited to being designed in terms of hardware. For example, the processor 130 of the apparatus 100 for providing information on automatic pelvic measurement may be implemented as software. Accordingly, the measurement result may be displayed through a display unit (not shown) of the apparatus 300 for medical imaging to which the software is connected.

도 3은 본 발명의 일 실시예에 따른 골반 자동 계측에 대한 정보 제공용 장치로부터 골반 자동 계측에 대한 정보를 수신 받아 출력하는 의료진 장치 구성을 예시적으로 도시한 것이다.FIG. 3 illustratively illustrates the configuration of a medical staff device that receives and outputs information on automatic pelvic measurement from a device for providing information on automatic pelvis measurement according to an embodiment of the present invention.

도 3을 함께 참조하면, 의료진 장치 (200)는 통신부 (210), 표시부 (220), 저장부 (230) 및 프로세서 (240)를 포함한다.Referring to FIG. 3 together, the medical device 200 includes a communication unit 210, a display unit 220, a storage unit 230, and a processor 240.

통신부 (210)는 의료진 장치 (200) 가 외부 장치와 통신이 가능하도록 연결한다. 통신부 (210)는 유/무선 통신을 이용하여 골반 자동 계측에 대한 정보 제공용 장치 (100) 와 연결되어 골반과 연관된 다양한 데이터를 송신할 수 있다. 구체적으로, 통신부 (210)는 골반 자동 계측에 대한 정보 제공용 장치 (100) 로부터 개체의 골반과 연관된 계측 결과, 예를 들어 개체의 골반을 포함하는 의료 영상의 길이, 면적, 각도, 깊이 및 수술 난이도 등 골반과 관련된 치수를 계측하는 과정에서 결정되는 임상 정보를 수신할 수 있다. 상기 정보들은 의료 영상에 대하여 표시되어 제공될 수 있으나, 이에 제한되는 것은 아니다. The communication unit 210 connects the medical staff device 200 to enable communication with an external device. The communication unit 210 may transmit various data related to the pelvis by being connected to the device 100 for providing information on automatic measurement of the pelvis using wired/wireless communication. Specifically, the communication unit 210 transmits measurement results related to the object's pelvis from the device 100 for providing information on automatic pelvis measurement, for example, the length, area, angle, depth, and surgery of a medical image including the object's pelvis. Clinical information determined in the process of measuring dimensions related to the pelvis, such as difficulty, may be received. The information may be displayed and provided for a medical image, but is not limited thereto.

표시부 (220)는 개체의 골반과 연관된 계측 결과를 나타내기 위한 다양한 인터페이스 화면을 표시할 수 있다. The display unit 220 may display various interface screens for displaying measurement results related to the pelvis of the subject.

다양한 실시예에서 표시부 (220)는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치 (touch), 제스처 (gesture), 근접, 드래그 (drag), 스와이프 (swipe) 또는 호버링 (hovering) 입력 등을 수신할 수 있다. In various embodiments, the display unit 220 may include a touch screen, and for example, a touch using an electronic pen or a part of the user's body, a gesture, a proximity, a drag, or a swipe can be performed. A swipe or hovering input may be received.

저장부 (230)는 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (230)는 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램 (Random Access Memory, RAM), SRAM (Static Random Access Memory), 롬 (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The storage unit 230 may store various data used to provide a user interface for displaying result data. In various embodiments, the storage unit 230 may be a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (for example, SD or XD memory, etc.), RAM (Random Access Memory, RAM), SRAM (Static Random Access Memory), ROM (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) , a magnetic memory, a magnetic disk, and an optical disk may include at least one type of storage medium.

프로세서 (240)는 통신부 (210), 표시부 (220) 및 저장부 (230)와 동작 가능하게 연결되며, 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위한 다양한 명령들을 수행할 수 있다. The processor 240 is operatively connected to the communication unit 210, the display unit 220, and the storage unit 230, and may perform various commands to provide a user interface for displaying result data.

이하에서는, 도 4, 도 5a 및 도5b, 도 6a 및, 도 6b를 참조하여, 본 발명의 일 실시예에 따른 골반 자동 계측에 대한 정보 제공 방법을 구체적으로 설명한다. 도 4는 본 발명의 일 실시예에 따른 골반 자동 계측에 대한 정보 제공 방법의 절차를 도시한 것이다. 도 5a 및 5b는 본 발명의 일 실시예에 따른 골반 자동 계측에 대한 정보 제공 방법에서, 골반 영역을 분할하는 단계를 예시적으로 도시한 것이다. 도 6a 및 6b는 본 발명의 일 실시예에 따른 골반 자동 계측에 대한 정보 제공 방법에서, 골반과 관련된 치수를 계측하는 단계를 예시적으로 도시한 것이다.Hereinafter, a method for providing information on automatic measurement of a pelvis according to an embodiment of the present invention will be described in detail with reference to FIGS. 4, 5A and 5B, and 6A and 6B. 4 illustrates a procedure of a method for providing information on automatic measurement of a pelvis according to an embodiment of the present invention. 5A and 5B exemplarily illustrate dividing a pelvis region in a method for providing information on automatic pelvis measurement according to an embodiment of the present invention. 6A and 6B illustratively illustrate steps of measuring dimensions related to the pelvis in the information providing method for automatic measurement of the pelvis according to an embodiment of the present invention.

먼저 도 4를 참조하면, 본 발명의 일 실시예에 따른 골반 자동 계측에 대한 정보 제공의 절차는 다음과 같다. 먼저, 개체의 골반을 포함하는 의료 영상이 수신된다. (S410). 그 다음, 분할된 골반 영역을 출력하도록 구성된 인공 신경망 네트워크 분할 모델을 이용하여 수신된 상기 의료 영상을 기초로, 골반 영역이 분할된다. (S420) 마지막으로 분할된 골반 영역에 기초하여, 수술 난이도 측정에 필요한 골반과 관련된 치수가 계측된다. (S430)First, referring to FIG. 4 , a procedure for providing information on automatic measurement of the pelvis according to an embodiment of the present invention is as follows. First, a medical image including the pelvis of an object is received. (S410). Then, the pelvis region is segmented based on the received medical image using an artificial neural network segmentation model configured to output the segmented pelvis region. (S420) Based on the finally divided pelvis region, dimensions related to the pelvis necessary for measuring the difficulty of surgery are measured. (S430)

보다 구체적으로, 의료 영상이 수신되는 단계 (S410)에서 골반 영역을 포함하는 의료 영상이 수신될 수 있다. 이때, 의료 영상은 MRI 영상일 수 있다. MRI 영상은 시상면(sagittal) 영상 또는 수평면(axial) 영상을 포함할 수 있으나, 이에 제한되는 것은 아니다.More specifically, in the receiving of the medical image (S410), a medical image including the pelvis region may be received. In this case, the medical image may be an MRI image. The MRI image may include a sagittal image or an axial image, but is not limited thereto.

본 발명의 일 실시예에 따르면, 의료 영상이 수신되는 단계 (S410)에서 복수 개의 의료 영상이 수신될 수 있다. 예를 들어, 의료 영상 촬영 장치가 구동되어 실시간으로 촬영된 의료 영상이 획득될 수 있음에 따라, 의료 영상이 수신되는 단계 (S410)에서 복수 개의 의료 영상이 획득될 수 있다. According to an embodiment of the present invention, a plurality of medical images may be received in step S410 of receiving the medical images. For example, since the medical imaging apparatus is driven and medical images taken in real time can be obtained, a plurality of medical images may be obtained in the receiving of the medical images ( S410 ).

다음으로 골반 영역을 분할하는 단계 (S420)에서 골반을 포함하는 의료 영상을 입력으로 하여 분할된 골반 영역을 출력하도록 구성된 인공 신경망 네트워크 기반 분할 모델이 이용될 수 있다.Next, in the step of segmenting the pelvis region (S420), an artificial neural network-based segmentation model configured to output the segmented pelvis region by taking the medical image including the pelvis as an input may be used.

보다 구체적으로, 입력 영상은, 수신된 복수개의 의료 영상 중 sagittal 영상과 axial 영상 각각에서 임상의가 직접 선택한 슬라이스 또는 모든 슬라이스일 수 있으나, 이에 제한되는 것은 아니다. More specifically, the input image may be a slice or all slices directly selected by a clinician from each of a sagittal image and an axial image among a plurality of received medical images, but is not limited thereto.

이때, 입력 영상은, 전처리가 진행된 영상일 수 있다. 도 5a를 참조하면, 원본 이미지의 명암 대비를 개선시키기 위해 이미지 처리 기법이 적용될 수 있다. 예를 들어, 이미지 선명화(Image Sharpening, IS), 히스토그램 평활화(Histogram Equalization, HE), 대비 제한 적응 히스토그램 평활화(Contrast Limited Adaptive Histogram Equalization, CLAHE) 기법을 적용하여 전체 의료 영상에 균일화를 적용시킬 수 있다. In this case, the input image may be a preprocessed image. Referring to FIG. 5A , an image processing technique may be applied to improve contrast of an original image. For example, equalization can be applied to the entire medical image by applying Image Sharpening (IS), Histogram Equalization (HE), and Contrast Limited Adaptive Histogram Equalization (CLAHE) techniques. there is.

다음으로, 인공 신경망 네트워크 기반 분할 모델은, 시상면(sagittal) 영상에서 골반 계측에 필요한 영역을 분할하도록 학습된 제 1 분할 모델 또는 수평면 (axial) 영상에서 골반 계측에 필요한 영역을 분할하도록 학습된 제 2 분할 모델일 수 있다. 더 나아가, 인공 신경망 네트워크 기반 분할 모델은 제 1 분할 모델 및 제 2 분할 모델을 포함한 모델일 수 있다.Next, the artificial neural network-based segmentation model is a first segmentation model learned to segment a region required for pelvic measurement in a sagittal image or a first segmentation model learned to segment a region necessary for pelvis measurement in an axial image. It may be a two-part model. Furthermore, the artificial neural network-based segmentation model may include a first segmentation model and a second segmentation model.

도 5b를 참조하면, 본 발명의 일 실시예에서 이용되는 분할 모델은, U-net 구조를 가질 수 있다. 도 5b의 U 자 형태의 분할 모델에서 왼쪽 영역은 컨볼루션 (convolutional) 층과 지역적 최대값을 뽑아 특징으로 사용하는 맥스 풀링 (max pooling) 층으로 구성된다. 최하단 영역에서 의료 영상은 전역적 특징으로 표현될 수 있다. 나아가, 분할 모델의 오른쪽 영역에서는, 최하단 영역에서 얻어졌던 특징들이 상단으로 올라가면서 업 샘플링 (upsampling) 된다. 결과적으로, 제 1 분할 모델에 의해 의료 영상에서, 꼬리뼈 (coccyx) 와 치골 결합 (pubic symphysis) 영역이 분할되어 결정될 수 있고, 제 2 분할 모델에 의해 직장 (rectum) 과 직장간막 (mesorectum) 또는 궁둥뼈 결절 (ischial tuberosity) 과 궁둥뼈 가시 (ischial spine) 영역이 분할되어 결정될 수 있다.Referring to FIG. 5B , a partition model used in an embodiment of the present invention may have a U-net structure. In the U-shaped segmentation model of FIG. 5B, the left region is composed of a convolutional layer and a max pooling layer that extracts a local maximum and uses it as a feature. In the lowermost region, a medical image may be expressed as a global feature. Furthermore, in the right region of the segmentation model, the features obtained in the lowermost region are upsampled as they go up to the top. As a result, in the medical image by the first segmentation model, the coccyx and pubic symphysis regions can be segmented and determined, and the rectum and mesorectum or the buttocks by the second segmentation model. The ischial tuberosity and ischial spine regions can be segmented and determined.

한편, U 형태의 평가 모델에서 왼쪽에서 오른쪽으로 연결된 선 (concatenate) 을 통해, 왼쪽 영역의 특징이 오른쪽 영역의 동일 레벨의 위치에 복사하여 붙여질 수 있다. 이를 통해, 입력된 영상이 작아짐에 따라 유발되는 손실된 특징들이 보정될 수 있고, 복사된 특징들은 최하단 영역으로부터 전달되는 특징과 함께 이용될 수 있다.Meanwhile, in the U-shaped evaluation model, features of the left region may be copied and pasted to locations of the same level in the right region through concatenation from left to right. Through this, lost features caused as the input image becomes smaller can be corrected, and copied features can be used together with features transmitted from the lowermost area.

나아가, 분할 모델은 VGG net, R, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+, SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50, Resnet101, Inception-v3 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다. Furthermore, the split model is VGG net, R, DenseNet, and Fully Convolutional Network (FCN) with an encoder-decoder structure, SegNet, DeconvNet, DeepLAB V3+, SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50. , Resnet101, and Inception-v3.

의료 영상이 수신되는 단계 (S410) 를 통해 수신된 개체의 골반을 포함하는 의료 영상이, 골반 영역을 분할하는 단계 (S420) 에서 제 1 분할 모델 및 제 2 분할 모델에 입력될 때, sagittal 영상 및 axial 영상에서 선택된 슬라이스가 입력될 수 있고, 또는 해당 영상의 모든 슬라이스가 입력될 수 있으나, 이에 제한되는 것은 아니다. When the medical image including the pelvis of the object received through the receiving of the medical image (S410) is input to the first segmentation model and the second segmentation model in the segmentation of the pelvis region (S420), the sagittal image and A slice selected from an axial image may be input, or all slices of the corresponding image may be input, but is not limited thereto.

이때, 선택된 슬라이스를 입력으로 한 경우 제 1 분할 모델 및 제 2 분할 모델은 선택된 슬라이스에 대한 분할, 또는 선택된 슬라이스 앞, 뒤로 3장 내지 5장씩 분할한 골반 영역을 출력하도록 구성될 수 있다. 제시된 실시예에서 설명한 입력 방법 및 출력 방법은 상술한 내용으로 한정되지 않으며, 다양하게 구성될 수 있다. In this case, when the selected slice is input, the first segmentation model and the second segmentation model may be configured to output the segmentation of the selected slice or the pelvic area divided by 3 to 5 segments in front and back of the selected slice. The input method and the output method described in the presented embodiment are not limited to the above and may be configured in various ways.

골반 영역을 분할하는 단계 (S420)에서 분할된 골반 영역은 후술할 골반과 관련된 치수를 계측하는 단계 (S430)에서 이용될 수 있다.The pelvis region divided in the step of dividing the pelvis (S420) can be used in the step of measuring dimensions related to the pelvis (S430), which will be described later.

다시, 도 2를 참조하면, 골반과 관련된 치수를 계측하는 단계 (S430)에서, 분할된 골반 영역에 기초하여 수술 난이도 측정에 필요한 골반과 관련된 치수를 계측할 수 있다.Referring again to FIG. 2 , in step S430 of measuring dimensions related to the pelvis, dimensions related to the pelvis necessary for measuring the difficulty of surgery may be measured based on the divided pelvis region.

예를 들어, 계측에 필요한 지점과 영역을 찾는 알고리즘을 이용하여, 골반과 관련된 치수가 계측될 수 있다. 알고리즘은 골반 영역을 분할하는 단계 (S420)에서 모든 슬라이스에 대해 분할이 된 경우, 분할된 슬라이스 중 계측할 대표 슬라이스를 추출하여 계측 또는 대표 슬라이스 앞, 뒤로 3장 내지 5장씩 추출하여 계측을 진행하도록 구성될 수 있다. 또는 모든 슬라이스에 대해 계측을 진행한 후 깊이가 제일 깊거나, 길이가 제일 긴 부분 포함하는 슬라이스를 대표 슬라이스로 추출하여 제공하도록 구성될 수 있으나, 이에 제한되는 것은 아니다. For example, measurements related to the pelvis may be measured using an algorithm that finds points and areas necessary for measurement. In the step of segmenting the pelvic region (S420), if all slices are segmented, the algorithm extracts representative slices to be measured from among the segmented slices and extracts 3 to 5 slices from the front and back of the representative slice to proceed with measurement. can be configured. Alternatively, after measuring all slices, a slice having the deepest depth or the longest length may be extracted and provided as a representative slice, but is not limited thereto.

보다 구체적으로, 시상면 (sagittal) 영상과 수평면 (axial) 영상에서 골반의 길이, 넓이 및 각도를 측정할 수 있다. More specifically, the length, width, and angle of the pelvis may be measured in a sagittal image and an axial image.

먼저, 시상면 (sagittal) 영상에서의 계측 방법은, 도 6a를 참조하면, 꼬리뼈의 상단 및 하단 끝점과 치골 결합의 상단 및 하단 끝점을 찾아 연결하여, 길이 계측 지표 (606) 즉, 골반입구(pelvic inlet), 골반출구(pelvic outlet), 골반 깊이(pelvic depth), 치골 높이(pubic height), 천골 길이(sacral length), 천골 깊이(sacral depth) 와 각도 계측 지표 (620) angle α, angle β, angle γ및 angle δ를 측정할 수 있다. First, the measurement method in the sagittal image, referring to FIG. 6A, finds and connects the upper and lower end points of the coccyx and the upper and lower end points of the pubic symphysis to obtain a length measurement index 606, that is, the entrance of the pelvis ( pelvic inlet, pelvic outlet, pelvic depth, pubic height, sacral length, sacral depth and angle measurement index (620) angle α, angle β , angle γ and angle δ can be measured.

예를 들어, 골반 영역을 분할하는 단계 (S420)에서 분할된 골반 영역의 결과 이미지를 마스크 이미지로 만들고, 마스크 이미지에서 윤곽선을 추출할 수 있다. 추출된 두 개의 윤곽선 중 더 면적이 넓은 것을 꼬리뼈 영역, 면적이 좁은 것을 치골 결합으로 설정할 수 있다. For example, in the segmenting of the pelvis region ( S420 ), a resulting image of the divided pelvis region may be made into a mask image, and an outline may be extracted from the mask image. Of the two extracted contours, the larger area can be set as the coccyx region, and the narrower area can be set as the pubic symphysis.

꼬리뼈 윤곽선에서는 제일 좌측에 위치해 있는 끝점과 제일 하단에 위치해 있는 끝점을 찾아 각각 상단 끝점, 하단 끝점으로 지정할 수 있다. 치골 결합의 윤곽선에서는, 서로 제일 먼 거리에 있는 두 점을 찾아 각각 상단 끝점, 하단 끝점으로 지정할 수 있다.In the tailbone outline, the leftmost endpoint and the lowest endpoint can be found and designated as the upper and lower endpoints, respectively. In the contour of the pubic symphysis, two points that are the farthest from each other can be found and designated as the upper end point and the lower end point, respectively.

보다 구체적으로, 길이 측정은, 꼬리뼈 상단 끝점과 치골 결합 상단 끝점을 연결해 골반입구(pelvic inlet) (608)을 측정할 수 있다. 꼬리뼈 하단 끝점과 치골 결합 하단 끝점을 연결해 골반출구(pelvic outlet) (610)을 측정할 수 있다. 꼬리뼈 하단 끝점을 지나는 골반입구(pelvic inlet) (608)의 수선을 찾아 골반깊이(pelvic depth) (612)를 측정할 수 있다. 치골 결합 상단 끝점과 하단 끝점을 연결해 치골 높이(pubic height) (614)을 측정할 수 있다. 꼬리뼈 상단 끝점과 하단 끝점을 연결해 천골 길이(sacral length) (616)를 측정할 수 있다. 천골 길이(sacral length) (616)에서 꼬리뼈 영역과 제일 먼 지점을 수선의 발로 둔 후 꼬리뼈 영역까지 수선을 그어 천골 깊이(sacral depth) (618) 를 측정할 수 있다. More specifically, the length measurement may measure the pelvic inlet 608 by connecting the upper end point of the coccyx and the upper end point of the pubic symphysis. The pelvic outlet 610 can be measured by connecting the lower end of the coccyx and the lower end of the symphysis pubis. The pelvic depth 612 can be measured by finding the perpendicular of the pelvic inlet 608 passing through the lower end point of the tailbone. The pubic height 614 can be measured by connecting the upper and lower ends of the pubic symphysis. The sacral length (616) can be measured by connecting the upper and lower ends of the tailbone. The sacral depth 618 can be measured by placing the farthest point from the coccyx area as the foot of the waterline in the sacral length 616 and then drawing a waterline to the coccyx area.

각도 측정은, 꼬리뼈 윤곽선에서 천골 길이(sacral length) (616)와 제일 먼 점과 꼬리뼈 상단 끝점을 연결한 선과 골반입구(pelvic inlet) (608)이 이루는 angle α 를 측정할 수 있다. 꼬리뼈 상단 끝점과 치골 결합 상단 끝점을 연결한 연장선, 꼬리뼈 하단 끝점과 치골 결합 하단 끝점을 연결한 연장선이 이루는 angle β 를 측정할 수 있다. 꼬리뼈 윤곽선에서 천골 길이(sacral length) (616) 와 제일 먼 점과 꼬리뼈 상단 끝점을 연결한 선과 꼬리뼈 윤곽선에서 천골 길이(sacral length) (616) 와 제일 먼 점과 꼬리뼈 하단 끝점을 연결한 선이 이루는 angle γ 를 측정할 수 있다. 꼬리뼈 윤곽선에서 천골 길이(sacral length) (616)와 제일 먼 점과 꼬리뼈 하단 끝점을 연결한 선, 골반출구(pelvic outlet) (610) 이 이루는 angle δ를 측정할 수 있다.The angle measurement can measure the angle α formed by the pelvic inlet 608 and the line connecting the farthest point from the tailbone contour to the sacral length 616 and the upper end point of the tailbone. The angle β formed by the extension line connecting the upper end point of the tailbone and the upper end point of the pubic symphysis and the extension line connecting the lower end point of the tailbone and the lower end point of the pubic symphysis can be measured. The line connecting the sacral length (616) and the farthest point from the tailbone contour to the upper end point of the tailbone and the line connecting the sacral length (616) and the farthest point from the tailbone contour to the lower end point of the tailbone are formed angle γ can be measured. The angle δ formed by the sacral length (616), the line connecting the farthest point and the lower end point of the tailbone, and the pelvic outlet (610) in the tailbone contour can be measured.

수평면 (axial) 영상에서의 계측 방법은 도 6b를 참조하면, 직장 면적 (632) 과 직장간막 (630) 의 면적을 측정하여 직장 주위의 지방 면적 (mesorectal fat)을 측정할 수 있고, 궁둥뼈결절과 궁둥뼈가시의 좌우 하단 끝점을 연결해 좌골조면간거리 (intertuberous distance) (636)와 좌골가시간 거리 (interspinous distance) (634)를 측정할 수 있다.Referring to FIG. 6B, the measurement method in the axial image can measure the area of the rectum 632 and the mesorectal membrane around the rectum by measuring the area of the rectal membrane 630, and the ischial tubercle The intertuberous distance (636) and interspinous distance (634) can be measured by connecting the left and right lower end points of the ischial spine.

더 나아가, 골반과 관련된 치수를 계측하는 단계 이후에, 수술 난이도 측정에 필요한 골반과 관련된 치수에 기초하여 수술 난이도 예측 결과를 결정하는 단계를 더 포함할 수 있다. Furthermore, after the step of measuring the size related to the pelvis, a step of determining a surgical difficulty prediction result based on the size related to the pelvis necessary for measuring the difficulty of surgery may be further included.

수술 난이도 예측 결과는, 수술 난이도, 수술 시간, 예상 출혈량, 수술 후 합병증 등을 포함할 수 있으나, 이에 제한되는 것은 아니다. The surgery difficulty prediction result may include, but is not limited to, surgery difficulty, surgery time, expected blood loss, and postoperative complications.

예를 들어, 수술 난이도는 짧은 극간 거리, 작은 각도 및 직장 주위의 지방 면적이 더 클수록 높을 수 있다. For example, surgical difficulty may be higher with shorter interspinous distances, smaller angles, and larger areas of fat around the rectum.

도 7은 본 발명의 다양한 실시예에 이용되는 계측 결과 데이터를 도시한 것이다. 계측 결과 데이터는 개체의 골반을 포함하는 의료 영상의 길이. 면적, 각도, 깊이 및 수술 난이도 예측 결과 중 적어도 하나를 포함할 수 있다. 7 illustrates measurement result data used in various embodiments of the present invention. The measurement result data is the length of the medical image including the subject's pelvis. It may include at least one of area, angle, depth, and surgical difficulty prediction results.

예를 들어, 도 7의 (a)는 도 6a를 함께 참조하면, 골반입구(pelvic inlet) 117.57, 골반출구(pelvic outlet) 69.18, 골반 깊이(pelvic depth) 103.17, 치골 높이(pubic height) 53.01, 천골 길이(sacral length) 127.38, 천골 깊이(sacral depth) 42.48 이고, 각도는 angle α 83.75, angle β 45.55, angle γ 111.51 및 angle δ 119.02 이다. For example, in (a) of FIG. 7 , referring to FIG. 6A together, the pelvic inlet is 117.57, the pelvic outlet is 69.18, the pelvic depth is 103.17, the pubic height is 53.01, The sacral length is 127.38, the sacral depth is 42.48, and the angles are angle α 83.75, angle β 45.55, angle γ 111.51, and angle δ 119.02.

도 7의 (b)와 도 6b를 함께 참조하면, 직장 주위의 지방 면적 (mesorectal fat)은 2225.91, 좌골조면간거리 (intertuberous distance) (636) 는 9.87, 좌골가시간 거리 (interspinous distance) (634) 는 8.65 이다. Referring to FIG. 7(b) and FIG. 6b together, the mesorectal fat area around the rectum is 2225.91, the intertuberous distance (636) is 9.87, and the interspinous distance (634) is It is 8.65.

더 나아가, 골반과 관련된 치수에 기초하여 수술 난이도 예측 결과를 나타내는 그래픽 객체를 더 포함할 수 있다. 계측 결과 데이터를 나타내는 화면 구성은 상술한 내용으로 한정되지 않으며 다양하게 구성될 수 있다. Furthermore, it may further include a graphic object indicating a surgical difficulty prediction result based on the dimensions related to the pelvis. The configuration of the screen displaying the measurement result data is not limited to the above and may be configured in various ways.

이상 첨부된 도면을 참조하여 본 발명의 일 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although one embodiment of the present invention has been described in more detail with reference to the accompanying drawings, the present invention is not necessarily limited to these embodiments, and may be variously modified and implemented without departing from the technical spirit of the present invention. there is. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.

100: 골반 자동 계측에 대한 정보 제공용 장치
110, 230: 저장부
120, 210: 통신부
130, 240: 프로세서
200: 의료진 장치
220: 표시부
300: 영상 진단 장치
606: 길이 계측 지표
620: 각도 계측 지표
630, 632: 면적 계측 지표
634, 636: 길이 계측 지표100: Device for providing information on automatic pelvic measurement
110, 230: storage unit
120, 210: communication department
130, 240: processor
200: medical staff device
220: display unit
300: imaging diagnosis device
606: length measurement index
620: Angle measurement index
630, 632: Area measurement index
634, 636: length measurement index

Claims (13)

프로세서에 의해 구현되는 골반 자동 계측에 대한 정보제공 방법으로서,
개체의 골반을 포함하는 의료 영상을 수신하는 단계;
상기 의료 영상을 입력으로 하여, 분할된 골반 영역을 출력하도록 구성되며,
시상면 (segittal) 영상에서 골반 계측에 필요한 영역을 분할하도록 학습된 제 1 분할 모델 및 수평면(axial) 영상에서 골반 계측에 필요한 영역을 분할하도록 학습된 제 2 분할 모델을 포함하는 인공 신경망 네트워크 기반 분할 모델을 이용하여 수신된 상기 의료 영상을 기초로, 골반 영역을 분할하는 단계;
상기 분할된 골반 영역에 기초하여, 복강경 전직장간막 절제술 수술 난이도 측정에 필요한 골반과 관련된 치수를 계측하는 단계를 포함하는, 골반 자동 계측에 대한 정보 제공 방법.As a method for providing information on automatic measurement of the pelvis implemented by a processor,
Receiving a medical image including a pelvis of an object;
It is configured to output the divided pelvic region by taking the medical image as an input,
Segmentation based on an artificial neural network including a first segmentation model learned to segment a region necessary for pelvis measurement in a sagittal image and a second segmentation model learned to segment a region necessary for pelvis measurement in an axial image segmenting a pelvic region based on the received medical image using a model;
Based on the divided pelvic region, measuring a dimension related to the pelvis necessary for measuring the degree of difficulty of laparoscopic total mesenteric resection surgery. 삭제delete 제1항에 있어서,
상기 제 1 분할 모델은,
의료 영상을 입력으로 하여 꼬리뼈 (coccyx) 와 치골 결합 (pubic symphysis) 영역을 분할하도록 학습된 모델인, 골반 자동 계측에 대한 정보 제공 방법.According to claim 1,
The first split model,
A method for providing information for automatic measurement of the pelvis, which is a model learned to segment the coccyx and pubic symphysis regions using medical images as input. 삭제delete 제1항에 있어서,
상기 제 2 분할 모델은,
의료 영상을 입력으로 하여 직장 (rectum) 과 직장간막 (mesorectum) 또는 궁둥뼈결절 (ischial tuberosity) 과 궁둥뼈가시(ischial spine) 영역을 분할하도록 학습된 모델인, 골반 자동 계측에 대한 정보 제공 방법.According to claim 1,
The second split model,
A method for providing information for automatic measurement of the pelvis, which is a model learned to segment the rectum and mesorectum or ischial tuberosity and ischial spine regions using medical images as input . 제1항에 있어서,
상기 인공 신경망 네트워크 기반 분할 모델은, 의료 영상이 시상면 영상 및 수평면 영상을 모두 포함하는 경우, 시상면(segittal) 영상에서 골반 계측에 필요한 영역을 분할하도록 학습된 제 1 분할 모델 및 수평면(axial) 영상에서 골반 계측에 필요한 영역을 분할하도록 학습된 제 2 분할 모델을 포함하고, 상기 제 1 분할 모델은, 의료 영상을 입력으로 하여 꼬리뼈 (coccyx) 와 치골 결합 (pubic symphysis) 영역을 분할하도록 학습된 모델이고, 상기 제 2 분할 모델은 직장 (rectum) 과 직장간막 (mesorectum) 또는 궁둥뼈결절 (ischial tuberosity) 과 궁둥뼈가시(ischial spine) 영역을 분할하도록 학습된 모델인, 골반 자동 계측에 대한 정보 제공 방법.According to claim 1,
The artificial neural network-based segmentation model is a first segmentation model learned to segment a region required for pelvic measurement in a sagittal image when a medical image includes both a sagittal image and a horizontal image, and an axial A second segmentation model learned to segment a region required for pelvic measurement in an image, wherein the first segmentation model is learned to segment a coccyx and pubic symphysis region using a medical image as an input. model, and the second division model is a model learned to divide the rectum and mesorectum or the ischial tuberosity and the ischial spine region, for automatic measurement of the pelvis How to Provide Information. 제1항에 있어서,
상기 수술 난이도 측정에 필요한 골반과 관련된 치수를 계측하는 단계는,
꼬리뼈의 상단 및 하단 끝점과 치골 결합의 상단 및 하단 끝점을 연결하여, 골반입구(pelvic inlet), 골반출구(pelvic outlet), 골반 깊이(pelvic depth), 치골 높이(pubic height), 천골 길이(sacral length), 천골 깊이(sacral depth) , angle α, angle β, angle γ 및 angle δ 를 측정하는 단계를 포함하는 골반 자동 계측에 대한 정보 제공 방법.According to claim 1,
The step of measuring the dimensions related to the pelvis required to measure the difficulty of the surgery,
By connecting the upper and lower ends of the tailbone and the upper and lower ends of the pubic symphysis, the pelvic inlet, pelvic outlet, pelvic depth, pubic height, and sacral length length), sacral depth, angle α, angle β, angle γ, and angle δ. 제1항에 있어서,
상기 수술 난이도 측정에 필요한 골반과 관련된 치수를 계측하는 단계는,
직장과 직장간막의 면적을 측정하여 직장 주위의 지방 면적 (mesorectal fat) 을 측정하는 단계를 포함하는 골반 자동 계측에 대한 정보 제공 방법.According to claim 1,
The step of measuring the dimensions related to the pelvis required to measure the difficulty of the surgery,
A method of providing information for automatic measurement of a pelvis, comprising the step of measuring mesorectal fat around the rectum by measuring the area of the rectum and the rectum. 제1항에 있어서,
상기 수술 난이도 측정에 필요한 골반과 관련된 치수를 계측하는 단계는,
궁둥뼈결절과 궁둥뼈가시의 좌우 하단 끝점을 연결해 좌골조면간거리 (intertuberous distance) 와 좌골가시간 거리 (interspinous distance) 를 측정하는 단계를 포함하는 골반 자동 계측에 대한 정보 제공 방법.According to claim 1,
The step of measuring the dimensions related to the pelvis required to measure the difficulty of the surgery,
A method for providing information on automatic measurement of the pelvis, including the step of measuring the intertuberous distance and interspinous distance of the ischium by connecting the ischial tuberosity and the left and right lower end points of the ischial spine. 제1항에 있어서,
상기 수술 난이도 측정에 필요한 골반과 관련된 치수를 계측하는 단계 이후에,
상기 수술 난이도 측정에 필요한 골반과 관련된 치수에 기초하여 수술 난이도 예측 결과를 결정하는 단계를 더 포함하는 골반 자동 계측에 대한 정보 제공 방법.According to claim 1,
After the step of measuring the dimensions related to the pelvis required for measuring the difficulty of the operation,
The method of providing information for automatic measurement of the pelvis, further comprising determining a surgical difficulty prediction result based on the dimensions related to the pelvis required for the measurement of the surgical difficulty. 제10항에 있어서,
상기 수술 난이도 예측 결과는, 수술 난이도, 수술 시간, 예상 출혈량, 수술 후 합병증 중 적어도 하나를 포함하는 골반 자동 계측에 대한 정보 제공 방법.According to claim 10,
Wherein the surgical difficulty prediction result includes at least one of surgical difficulty, operation time, expected blood loss, and postoperative complications. 제10항에 있어서,
개체의 골반을 포함하는 의료 영상의 길이, 면적, 각도, 깊이 및 수술 난이도 예측 결과 중 적어도 하나를 포함하는 계측 결과 데이터를 나타내는 인터페이스 화면을 표시하는 단계를 더 포함하는 골반 자동 계측에 대한 정보 제공 방법.According to claim 10,
A method for providing information about automatic pelvis measurement, further comprising displaying an interface screen displaying measurement result data including at least one of the length, area, angle, depth, and surgery difficulty prediction result of the medical image including the pelvis of the subject. . 개체의 골반을 포함하는 의료 영상을 수신하도록 구성된 통신부,
및 상기 통신부와 연결된 프로세서를 포함하고,
상기 프로세서는,
상기 의료 영상을 입력으로 하여, 분할된 골반 영역을 출력하도록 구성되며,
시상면 (segittal) 영상에서 골반 계측에 필요한 영역을 분할하도록 학습된 제 1 분할 모델 및 수평면(axial) 영상에서 골반 계측에 필요한 영역을 분할하도록 학습된 제 2 분할 모델을 포함하는 인공 신경망 네트워크 기반 분할 모델을 이용하여 수신된 상기 의료 영상을 기초로, 골반 영역을 분할하고,
상기 분할된 골반 영역에 기초하여, 복강경 전직장간막 절제술 수술 난이도 측정에 필요한 골반과 관련된 치수를 계측하는 단계를 포함하도록 구성된, 골반 자동 계측에 대한 정보 제공용 장치.A communication unit configured to receive a medical image including a pelvis of an object;
And a processor connected to the communication unit,
the processor,
It is configured to output the divided pelvic region by taking the medical image as an input,
Segmentation based on an artificial neural network including a first segmentation model learned to segment a region necessary for pelvis measurement in a sagittal image and a second segmentation model learned to segment a region necessary for pelvis measurement in an axial image Segmenting a pelvic region based on the received medical image using a model;
An apparatus for providing information for automatic measurement of the pelvis, comprising the step of measuring dimensions related to the pelvis required for measuring the difficulty of laparoscopic total mesenteric resection based on the divided pelvis region.
KR1020220062902A 2022-05-23 2022-05-23 Method for providing information on automatic pelvic measurement and apparatus using the same KR102566183B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220062902A KR102566183B1 (en) 2022-05-23 2022-05-23 Method for providing information on automatic pelvic measurement and apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220062902A KR102566183B1 (en) 2022-05-23 2022-05-23 Method for providing information on automatic pelvic measurement and apparatus using the same

Publications (1)

Publication Number Publication Date
KR102566183B1 true KR102566183B1 (en) 2023-08-10

Family

ID=87560687

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220062902A KR102566183B1 (en) 2022-05-23 2022-05-23 Method for providing information on automatic pelvic measurement and apparatus using the same

Country Status (1)

Country Link
KR (1) KR102566183B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101930644B1 (en) * 2017-09-15 2018-12-18 한국과학기술원 Method and apparatus for fully automated segmenation of a joint using the patient-specific optimal thresholding and watershed algorithm
KR20200137178A (en) * 2019-05-29 2020-12-09 전북대학교산학협력단 Method and device for medical image processing using machine learning
KR20220005326A (en) * 2020-07-06 2022-01-13 메디컬아이피 주식회사 Method for analyzing human tissue based on medical image and apparatus therefor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101930644B1 (en) * 2017-09-15 2018-12-18 한국과학기술원 Method and apparatus for fully automated segmenation of a joint using the patient-specific optimal thresholding and watershed algorithm
KR20200137178A (en) * 2019-05-29 2020-12-09 전북대학교산학협력단 Method and device for medical image processing using machine learning
KR20220005326A (en) * 2020-07-06 2022-01-13 메디컬아이피 주식회사 Method for analyzing human tissue based on medical image and apparatus therefor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
비특허문헌 2 *

Similar Documents

Publication Publication Date Title
US10776922B2 (en) Systems and methods for analysis of blood flow state
CN105938628B (en) The direct calculating of biological marker from image
US9141763B2 (en) Method and system for patient-specific computational modeling and simulation for coupled hemodynamic analysis of cerebral vessels
Joldes et al. BioPARR: A software system for estimating the rupture potential index for abdominal aortic aneurysms
EP2157905B1 (en) A method for tracking 3d anatomical and pathological changes in tubular-shaped anatomical structures
ES2914387T3 (en) immediate study
US8761473B2 (en) Tree structure creation apparatus, method and program
US20080137921A1 (en) Analyzing lesions in a medical digital image
US20100130878A1 (en) Systems, apparatus and processes for automated blood flow assessment of vasculature
CN107644420A (en) Blood-vessel image dividing method, MRI system based on central line pick-up
JP2010119850A (en) System, apparatus, and process for automated medical image segmentation using statistical model
CN102138161B (en) Segmentation of the long-axis late-enhancement cardiac MRI
WO2007026598A1 (en) Medical image processor and image processing method
JP6975235B2 (en) Vascular tree standardization for biophysical simulation and / or extended simulation for pruned parts
US11043296B2 (en) Systems and methods for semi-automatic tumor segmentation
Xu et al. Automated temporal tracking and segmentation of lymphoma on serial CT examinations
Qi et al. Automatic lacunae localization in placental ultrasound images via layer aggregation
KR20210060923A (en) Apparatus and method for medical image reading assistant providing representative image based on medical use artificial neural network
Cid et al. QuantImage: an online tool for high-throughput 3D radiomics feature extraction in PET-CT
Termeer et al. Visualization of myocardial perfusion derived from coronary anatomy
KR102389067B1 (en) Method for evaluating scoliosis and device evaluating scoliosis using the same
CN111528918B (en) Tumor volume change trend graph generation device after ablation, equipment and storage medium
KR102566183B1 (en) Method for providing information on automatic pelvic measurement and apparatus using the same
CN113129297B (en) Diameter automatic measurement method and system based on multi-phase tumor image
Wu et al. Automatic segmentation of ultrasound tomography image

Legal Events

Date Code Title Description
GRNT Written decision to grant