KR20240000253A - Method for providing information of joint space and device using the same - Google Patents
Method for providing information of joint space and device using the same Download PDFInfo
- Publication number
- KR20240000253A KR20240000253A KR1020220077010A KR20220077010A KR20240000253A KR 20240000253 A KR20240000253 A KR 20240000253A KR 1020220077010 A KR1020220077010 A KR 1020220077010A KR 20220077010 A KR20220077010 A KR 20220077010A KR 20240000253 A KR20240000253 A KR 20240000253A
- Authority
- KR
- South Korea
- Prior art keywords
- line
- region
- determining
- tibia
- joint
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 210000002303 tibia Anatomy 0.000 claims abstract description 145
- 210000000689 upper leg Anatomy 0.000 claims abstract description 86
- 210000003141 lower extremity Anatomy 0.000 claims abstract description 74
- 238000005259 measurement Methods 0.000 claims abstract description 74
- 238000004891 communication Methods 0.000 claims abstract description 42
- 230000006870 function Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 11
- 210000000988 bone and bone Anatomy 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 210000002414 leg Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 206010003246 arthritis Diseases 0.000 description 3
- 210000000845 cartilage Anatomy 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 210000001699 lower leg Anatomy 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 208000017234 Bone cyst Diseases 0.000 description 1
- 206010051728 Bone erosion Diseases 0.000 description 1
- 206010007710 Cartilage injury Diseases 0.000 description 1
- 206010011732 Cyst Diseases 0.000 description 1
- 208000012659 Joint disease Diseases 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 208000023178 Musculoskeletal disease Diseases 0.000 description 1
- 208000001132 Osteoporosis Diseases 0.000 description 1
- 208000034189 Sclerosis Diseases 0.000 description 1
- 108010015780 Viral Core Proteins Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000001188 articular cartilage Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 208000031513 cyst Diseases 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000005065 subchondral bone plate Anatomy 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 210000001258 synovial membrane Anatomy 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Physiology (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
본 발명은, 프로세서 및 통신부에 의해 구현되는 관절강 (Joint space) 에 대한 정보 제공 방법으로서, 통신부를 통해, 개체의 하지 의료 영상을 수신하는 단계; 프로세서를 통해, 하지 의료 영상을 입력으로 하여, 대퇴 (Femur) 영역, 경골 내곽 (Tibia inner) 영역 및 경골 외곽 (Tibia outer) 영역 각각을 분할하도록 학습된 복수의 모델을 이용하여, 수신된 상기 하지 의료 영상을 기초로 대퇴 영역, 경골 내곽 영역 및 경골 외곽 영역 각각을 예측하는 단계; 대퇴 영역, 경골 내곽 영역 및 경골 외곽 영역을 기초로 관절강 측정을 위한 가이드선을 결정하되, 가이드선은 상기 경골 내곽 영역 또는 경골 외곽 영역의 적어도 한 점과 대퇴 영역 내의 적어도 한 점을 잇는 선인, 가이드선을 결정하는 단계, 및 가이드선을 기초로 관절강 측정치를 결정하는 단계를 포함하는, 관절강에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공한다.The present invention provides a method of providing information about a joint space implemented by a processor and a communication unit, comprising: receiving a lower extremity medical image of an individual through the communication unit; Through the processor, the lower extremity medical image is input, and a plurality of models learned to segment each of the femur region, tibia inner region, and tibia outer region are used to obtain the received lower limb. Predicting each of the femoral region, tibial inner region, and tibial outer region based on the medical image; A guide line for joint space measurement is determined based on the femoral region, tibia inner region, and tibia outer region, wherein the guide line is a line connecting at least one point in the tibia inner region or tibia outer region and at least one point in the femoral region. Provided is a method for providing information on the joint space, including the step of determining a line, and the step of determining a joint space measurement value based on the guide line, and a device using the same.
Description
본 발명은 관절강에 대한 정보 제공 방법 및 이를 이용한 관절강에 대한 정보 제공용 디바이스에 관한 것이다.The present invention relates to a method for providing information on the joint space and a device for providing information on the joint space using the same.
관절염의 종류에 따라 관절을 이루는 관절연골과 연골하골, 활액막, 힘줄과 인대의 변화가 각각 다른 양상으로 나타나므로 임상소견과 더불어 영상 진단은 관절염의 감별에 적용될 수 있다.Depending on the type of arthritis, changes in the articular cartilage, subchondral bone, synovial membrane, tendons, and ligaments that form the joint appear in different ways, so imaging diagnosis in addition to clinical findings can be applied to differentiate arthritis.
한편, 관절은 일정한 부피의 연골층을 지니고 있으며 연골층을 포함하는 관절 사이의 공간을 관절강 (Joint space) 이라고 한다.Meanwhile, joints have a certain volume of cartilage layer, and the space between joints containing the cartilage layer is called joint space.
이때, 관절강은 관절염과 같은 근골격계 질환과 연관이 있을 수 있다. 예를 들어, 영상 진단을 통해 관절 연골손상에 따른 관절강 협착 (joint space narrowing) 과 대칭성 (symmetricity), 관절주위 골다공증, 관절주위 골 경화 (sclerosis), 골 미란 (bone erosion), 연골하 낭종 (subchondral cyst), 관절주위 연부조직 변화, 석회질 침착, 관절 모양의 변화, 침범관절의 개수와 분포 등이 평가되며, 여기서 관절강의 협소화는 임상적으로 연골층의 변성 또는 파괴를 의미할 수 있다.At this time, the joint space may be associated with musculoskeletal diseases such as arthritis. For example, through imaging diagnosis, joint space narrowing and symmetry due to joint cartilage damage, periarticular osteoporosis, sclerosis, bone erosion, and subchondral cysts are diagnosed. cyst), soft tissue changes around joints, calcification deposition, changes in joint shape, and the number and distribution of affected joints, etc., where narrowing of the joint space can clinically mean degeneration or destruction of the cartilage layer.
한편, 이처럼 관절강은 의료 영상 촬영을 통해 확인 가능할 수 있으나, X-선 촬영에서 보여지는 관절 연극은 해부학적으로 보여지는 실제 관절의 간극보다 넓을 수 있고, 임상의에 의하여 수동으로 측정될 수 있음에 따라, 객관적이며 일관적인 측정이 어려울 수 있다.On the other hand, although the joint space can be confirmed through medical imaging, the joint play shown in the X-ray may be wider than the actual joint gap shown anatomically, and can be measured manually by the clinician. Accordingly, objective and consistent measurement may be difficult.
이에, 관절강의 측정치를 정확하게 판별하기 위해, 관절강과 연관된 신뢰도 높은 정보를 제공하는 방법의 개발이 지속적으로 요구되고 있는 실정이다. Accordingly, in order to accurately determine the measurement value of the joint space, there is a continuous need for the development of a method that provides highly reliable information related to the joint space.
발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.The technology behind the invention has been written to facilitate easier understanding of the invention. It should not be understood as an admission that matters described in the technology underlying the invention exist as prior art.
한편, 본 발명의 발명자들은 관절강의 측정치가 다양한 임상 상황에서 측정될 수 있으며, 의료인의 숙련도에 따라 다르게 측정될 수 있음에 주목하였다. Meanwhile, the inventors of the present invention noted that joint space measurements can be measured in various clinical situations and can be measured differently depending on the skill of the medical professional.
이때, 본 발명의 발명자들은 인공 신경망 알고리즘 기반의 시스템을 도입함으로써 종래의 의료 영상에 기초한 정보 제공 시스템이 갖는 한계 및 문제점들을 보완하고자 하였다. At this time, the inventors of the present invention sought to complement the limitations and problems of the conventional information provision system based on medical images by introducing a system based on an artificial neural network algorithm.
본 발명의 발명자들은, X-레이 영상을 포함하는 의료 영상에 기초한 진단과 관련하여 의료 영상의 데이터에 의해 학습된 예측 모델을 이용할 수 있음을 인지할 수 있었다. The inventors of the present invention were able to recognize that a prediction model learned by data from medical images can be used in connection with diagnosis based on medical images, including X-ray images.
특히, 본 발명의 발명자들은, 예측 모델에 기초하여 의료 영상에 대하여 관절강 평가의 대상이 되는 골 영역 각각을 결정하고, 이의 해부학적 구조에 따라 미리 결정된 특징점을 예측함으로써, 어떠한 환경에서도 표준화되고 재현성 있는 관절강에 대한 평가가 가능함을 인지할 수 있었다. In particular, the inventors of the present invention determine each bone region that is the subject of joint space evaluation for medical images based on a prediction model and predict predetermined feature points according to its anatomical structure, thereby providing standardized and reproducible results in any environment. It was recognized that evaluation of the joint space was possible.
보다 구체적으로, 본 발명의 발명자들은, 의료 영상을 입력으로 하여 대퇴 (Femur) 영역 및 경골 (Tibia) 영역 각각을 분할하도록, 복수의 예측 모델을 구축하고자 하였다. More specifically, the inventors of the present invention attempted to build a plurality of prediction models to segment each of the femur region and tibia region using medical images as input.
나아가, 본 발명의 발명자들은 예측된 각각의 영역 내에서 관절강 측정치를 결정하기 위한 가이드선과 관절강의 측정치를 반자동 또는 자동으로 결정하여 관절강에 대한 정보를 제공하고자 하였다.Furthermore, the inventors of the present invention attempted to provide information about the joint space by semi-automatically or automatically determining the guide line for determining the joint space measurement value within each predicted region and the joint space measurement value.
본 발명의 발명자들은, 특히 인공 신경망 알고리즘을 이용한 계측 정보를 제시함으로써 의료진이 관절강에 대한 신뢰도 높은 분석 결과를 제공할 수 있음을 인지할 수 있었다.The inventors of the present invention were able to recognize that medical staff can provide highly reliable analysis results for the joint space, especially by presenting measurement information using an artificial neural network algorithm.
그 결과, 본 발명의 발명자들은, 예측 모델에 의해 예측된 대퇴 영역 및 경골 영역에 기초하여 관절강 측정치를 결정하도록 구성된 정보 제공 시스템을 개발하기에 이르렀다. As a result, the inventors of the present invention have developed an information provision system configured to determine joint space measurements based on the femoral region and tibial region predicted by the prediction model.
특히, 본 발명의 발명자들은, 새로운 정보 제공 시스템을 제공함으로써, 영상 촬영 시 개체의 상태, 및 의료인의 숙련도에 따른 진단의 오류의 발생과 같은 종래의 의료 영상에 기초한 정보 제공 시스템이 갖는 한계들을 극복할 것을 기대할 수 있었다.In particular, by providing a new information provision system, the inventors of the present invention overcome the limitations of the conventional information provision system based on medical images, such as the occurrence of diagnostic errors depending on the state of the object at the time of imaging and the skill level of the medical personnel. could be expected to do so.
이때, 본 발명의 발명자들은 새로운 정보 제공 시스템에 대하여, 기 생성된 가이드선을 확장한 후 대퇴 영역 및 경골 영역에 대한 픽셀 강도 및 예측 모델에 의해 분할된 각 영역을 기초로 복수의 관절선을 결정하고 관절강 측정의 기준이 되는 기준점을 자동 결정하는 알고리즘을 적용할 수 있었다. 이를 통해, 본 발명의 발명자들은 사용자의 숙련도에 관계 없이 관절강 측정치를 높은 신뢰도로 결정할 수 있음을 기대할 수 있었다. At this time, for the new information provision system, the inventors of the present invention expanded the previously created guide lines and then determined a plurality of joint lines based on each region divided by the pixel intensity and prediction model for the femur region and tibia region. And it was possible to apply an algorithm that automatically determines the reference point that serves as the standard for joint space measurement. Through this, the inventors of the present invention were able to expect that joint space measurements could be determined with high reliability regardless of the user's skill level.
나아가, 본 발명의 발명자들은 새로운 정보 제공 시스템에 대하여 생성된 가이드선으로부터 관절강 측정의 기준이 되는 기준점에 대한 선택을 입력 받도록 상기 시스템을 더욱 구축할 수 있었다. 이를 통해, 본 발명의 발명자들은 반자동화 시스템을 구현할 수 있었다. Furthermore, the inventors of the present invention were able to further construct the system to receive a selection input for a reference point that serves as a standard for joint space measurement from the guide line generated for the new information provision system. Through this, the inventors of the present invention were able to implement a semi-automated system.
이에, 본 발명이 해결하고자 하는 과제는 수신된 의료 영상을 기초로 예측 모델을 이용하여 의료 영상에 대한 대퇴 영역 및 경골 영역을 예측하고, 가이드선을 결정하고, 이를 기초로 관절강 측정치를 결정하도록 구성된, 정보 제공 방법 및 디바이스를 제공하는 것이다. Accordingly, the problem to be solved by the present invention is to predict the femoral region and tibial region for the medical image using a prediction model based on the received medical image, determine the guide line, and determine the joint space measurement value based on this. , to provide information provision methods and devices.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 실시예에 따른 관절강에 대한 정보 제공 방법이 제공된다. 상기 정보 제공 방법은, 프로세서 및 통신부에 의해 구현되는 관절강에 대한 정보 제공 방법으로 통신부를 통해, 개체의 하지 의료 영상을 수신하는 단계, 프로세서를 통해, 하지 의료 영상을 입력으로 하여, 대퇴 (Femur) 영역, 경골 내곽 (Tibia inner) 영역 및 경골 외곽 (Tibia outer) 영역 각각을 분할하도록 학습된 복수의 모델을 이용하여, 수신된 하지 의료 영상을 기초로 대퇴 영역, 경골 내곽 영역 및 경골 외곽 영역 각각을 예측하는 단계, 대퇴 영역, 경골 내곽 영역 및 경골 외곽 영역을 기초로 관절강 측정을 위한 가이드선을 결정하되, 가이드선은 경골 내곽 영역 또는 경골 외곽 영역의 적어도 한 점과 대퇴 영역 내의 적어도 한 점을 잇는 선인, 가이드선을 결정하는 단계, 및 가이드선을 기초로 관절강 측정치를 결정하는 단계를 포함한다.In order to solve the problems described above, a method for providing information about the joint space according to an embodiment of the present invention is provided. The information providing method is a method of providing information about the joint space implemented by a processor and a communication unit, and includes receiving a lower extremity medical image of an object through the communication unit, inputting the lower extremity medical image through the processor, and Using multiple models learned to segment each region, the tibia inner region and the tibia outer region, each of the femoral region, tibia inner region, and tibia outer region is divided based on the received lower extremity medical images. In the predicting step, a guide line for joint space measurement is determined based on the femoral region, tibia inner region, and tibia outer region, where the guide line connects at least one point in the tibia inner region or tibia outer region and at least one point in the femoral region. It includes determining a line, a guide line, and determining a joint space measurement based on the guide line.
본 발명의 특징에 따르면, 상기 정보 제공 방법은 가이드선을 결정하는 단계 이후에, 가이드선 및 대퇴 영역을 기초로 대퇴부 관절구 (femoral condyle) 의 관절선 (joint line) 을 결정하는 단계, 및 가이드선, 경골 내곽 영역 및 경골 외곽 영역을 기초로, 경골의 관절선을 결정하는 단계를 더 포함할 수 있다. 나아가, 관절강 측정치를 결정하는 단계는, 대퇴부의 관절구의 관절선 및 경골의 관절선을 기초로 관절강 측정치를 결정하는 단계를 포함할 수 있다. According to a feature of the present invention, the information providing method includes, after determining a guide line, determining a joint line of the femoral condyle based on the guide line and the femoral region, and the guide The method may further include determining a joint line of the tibia based on the line, the tibia inner region and the tibia outer region. Furthermore, determining the joint space measurement may include determining the joint space measurement based on the joint line of the femoral condyle and the joint line of the tibia.
본 발명의 다른 특징에 따르면, 대퇴부 관절구의 관절선을 결정하는 단계는, 가이드선 내의 대퇴 영역에 대한 픽셀 강도 (intensity) 및 대퇴 영역에 대한 경계선에 기초하여 대퇴부 관절구의 관절선을 결정하는 단계를 포함하거나, 또는 경골의 관절선을 결정하는 단계는, 가이드선 내의 경골 내곽 영역 또는 경골 외곽 영역에 대한 픽셀 강도 및 경골 내곽 영역 또는 경골 외곽 영역에 대한 경계선에 기초하여 경골 관절선을 결정하는 단계를 포함할 수 있다. According to another feature of the present invention, the step of determining the joint line of the femoral condyle includes determining the joint line of the femoral condyle based on the pixel intensity for the femoral region in the guide line and the boundary line for the femoral region. Or, the step of determining the joint line of the tibia includes determining the tibial joint line based on the pixel intensity for the tibial inner region or tibial outer region within the guide line and the boundary line for the tibial inner region or tibial outer region. It can be included.
본 발명의 또 다른 특징에 따르면, 경골의 관절선을 결정하는 단계는, 경골 외곽 영역에 대한 픽셀 강도에 기초하여 복수의 제1 특징점을 결정하는 단계, 경골 내곽 영역에 대한 경계선을 기초로 복수의 제2 특징점을 결정하는 단계, 및 제1 특징점 및 제2 특징점에 기초하여 경골 관절선을 결정하는 단계를 포함할 수 있다.According to another feature of the present invention, the step of determining the joint line of the tibia includes determining a plurality of first feature points based on pixel intensity for the tibia outer region, and determining a plurality of first feature points based on the boundary line for the tibia inner region. It may include determining a second feature point, and determining a tibial joint line based on the first feature point and the second feature point.
본 발명의 또 다른 특징에 따르면, 제1 특징점을 결정하는 단계는, 경골 외곽 영역에 대한 픽셀의 거리값 또는 기울기에 기초하여 제1 특징점을 결정하는 단계를 포함할 수 있다.According to another feature of the present invention, the step of determining the first feature point may include determining the first feature point based on the distance value or inclination of the pixel with respect to the tibia outer region.
본 발명의 또 다른 특징에 따르면, 제1 특징점 및 제2 특징점에 기초하여 경골 관절선을 결정하는 단계는, 가이드선 내에서 제1 특징점을 우선순위로 경골 관절선을 결정하되, 제1 특징점이 없을 경우 제2 특징점을 기초로 경골 관절선을 결정하는 단계를 포함할 수 있다.According to another feature of the present invention, the step of determining the tibial joint line based on the first feature point and the second feature point includes determining the tibial joint line by prioritizing the first feature point within the guide line, wherein the first feature point is If not present, the step of determining the tibial joint line based on the second feature point may be included.
본 발명의 또 다른 특징에 따르면, 가이드선을 결정하는 단계는, 대퇴 영역을 기초로 제1 가이드선을 결정하는 단계를 포함하고, 상기 방법은 가이드선을 결정하는 단계 이후에, 제2 가이드선을 획득하도록, 제1 가이드선을 확장하는 단계를 더 포함할 수 있다. 나아가, 대퇴부 관절구의 관절선을 결정하는 단계는, 제2 가이드선 내에서 확장된 대퇴부 관절구의 관절선을 결정하는 단계를 더 포함하고, 경골의 관절선을 결정하는 단계는, 제2 가이드선 내에서 확장된 경골의 관절선을 결정하는 단계를 더 포함할 수 있다. According to another feature of the present invention, the step of determining the guide line includes determining a first guide line based on the thigh area, and the method includes determining a second guide line after the step of determining the guide line. It may further include extending the first guide line to obtain . Furthermore, the step of determining the joint line of the femoral condyle further includes determining the joint line of the expanded femoral condyle within the second guide line, and the step of determining the joint line of the tibia includes determining the joint line of the tibia within the second guide line. It may further include the step of determining the joint line of the expanded tibia.
본 발명의 또 다른 특징에 따르면, 관절강 측정치를 결정하는 단계는, 확장된 대퇴부 관절구의 관절선 및 확장된 경골의 관절선을 기초로 관절강 측정치를 결정하는 단계를 더 포함할 수 있다. According to another feature of the present invention, determining the joint space measurement may further include determining the joint space measurement based on the joint line of the expanded femoral condyle and the joint line of the expanded tibia.
본 발명의 또 다른 특징에 따르면, 가이드선을 결정하는 단계는, 하지의 내측 (medial) 에 대한 가이드선을 결정하는 단계, 및 하지 외측 (lateral) 에 대한 가이드선을 결정하는 단계를 포함할 수 있다. According to another feature of the present invention, determining the guide line may include determining a guide line for the medial side of the lower limb, and determining a guide line for the lateral side of the lower leg. there is.
본 발명의 또 다른 특징에 따르면, 대퇴 영역은, 내측 대퇴 (medial femur) 영역 및 외측 대퇴 (lateral femur) 영역을 포함하고, 가이드선을 결정하는 단계는, 내측 대퇴 영역 및 외측 대퇴 영역 각각과 한 점에서 만나는 제1 기준선을 결정하는 단계, 제1 기준선과 수직이되, 내측 대퇴 영역의 상과 (epicondyle) 또는 외측 대퇴 영역의 상과와 접하는 제2 기준선을 결정하는 단계, 및 제1 기준선 및 제2 기준선을 기초로 가이드선을 결정하는 단계를 더 포함할 수 있다. According to another feature of the present invention, the femur region includes a medial femur region and a lateral femur region, and the step of determining the guide line is performed on each of the medial femur region and the lateral femur region. determining a first reference line meeting at a point, determining a second reference line perpendicular to the first reference line and tangential to the epicondyle of the medial thigh region or the epicondyle of the lateral thigh region, and the first reference line and A step of determining a guide line based on the second reference line may be further included.
본 발명의 또 다른 특징에 따르면, 상기 방법은 제1 기준선 및 제2 기준선을 기초로 가이드선을 결정하는 단계 이전에, 제1 기준선 또는 제2 기준선을 입력 받는 단계를 더 포함할 수 있다. According to another feature of the present invention, the method may further include receiving a first reference line or a second reference line before determining a guide line based on the first reference line and the second reference line.
본 발명의 또 다른 특징에 따르면, 관절강 측정치를 결정하는 단계는, 가이드선 내에서 제1 기준선 상의 기준점을 입력받는 단계, 및 기준점 및 제2 기준선을 기초로 관절강 폭 (Joint space width) 을 결정하는 단계를 포함할 수 있다. According to another feature of the present invention, the step of determining the joint space measurement includes receiving a reference point on a first reference line within a guide line, and determining the joint space width based on the reference point and the second reference line. May include steps.
본 발명의 또 다른 특징에 따르면, 각각을 예측하는 단계는, 복수의 모델을 이용하여 하지 의료 영상 내에서 복수의 ROI (region of interest) 각각 결정하는 단계, 및 각각의 ROI 를 기초로 대퇴 영역, 경골 내곽 영역 및 경골 외곽 영역 각각을 예측하는 단계를 포함할 수 있다.According to another feature of the present invention, the step of predicting each includes determining a plurality of ROIs (regions of interest) in a lower extremity medical image using a plurality of models, and a thigh region based on each ROI, It may include predicting each of the tibia inner region and tibia outer region.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 관절강에 대한 정보 제공용 디바이스가 제공된다.In order to solve the problems described above, a device for providing information about the joint space according to an embodiment of the present invention is provided.
상기 디바이스는 개체의 하지 의료 영상을 수신하도록 구성된 통신부, 및 통신부와 기능적으로 연결된 프로세서를 포함한다. 이때, 프로세서는, 하지 의료 영상을 입력으로 하여, 대퇴 (Femur) 영역, 경골 내곽 (Tibia inner) 영역 및 경골 외곽 (Tibia outer) 영역 각각을 분할하도록 학습된 복수의 모델을 이용하여, 수신된 하지 의료 영상을 기초로 대퇴 영역, 경골 내곽 영역 및 경골 외곽 영역 각각을 예측하고, 대퇴 영역, 경골 내곽 영역 및 경골 외곽 영역을 기초로 관절강 측정을 위한 가이드선을 결정하되, 가이드선은 경골 내곽 영역 또는 경골 외곽 영역과 대퇴 영역을 지나가는 선인, 가이드선을 결정하고, 가이드선을 기초로 관절강 측정치를 결정하도록 구성된다.The device includes a communication unit configured to receive a lower extremity medical image of an entity, and a processor functionally connected to the communication unit. At this time, the processor takes the lower extremity medical image as input and uses a plurality of models learned to segment each of the femur region, tibia inner region, and tibia outer region, and divides the received lower limb. Based on the medical image, predict each of the femoral region, tibial inner region, and tibia outer region, and determine the guide line for joint space measurement based on the femoral region, tibial inner region, and tibia outer region. The guide line is the tibial inner region or It is configured to determine a guide line, which is a line passing through the outer area of the tibia and the femur area, and determine joint space measurements based on the guide line.
본 발명의 특징에 따르면, 프로세서는, 가이드선 및 대퇴 영역을 기초로 대퇴부 관절구 (femoral condyle) 의 관절선 (joint line) 을 결정하고, 가이드선, 경골 내곽 영역 및 경골 외곽 영역을 기초로, 경골의 관절선을 결정하고, 대퇴부의 관절구의 관절선 및 경골의 관절선을 기초로 관절강 측정치를 결정하도록 더 구성될 수 있다.According to a feature of the invention, the processor determines a joint line of the femoral condyle based on the guide line and the femoral region, and based on the guide line, the tibial inner region and the tibial outer region, The method may be further configured to determine a joint line of the tibia and determine a joint space measurement based on the joint line of the femoral condyle and the joint line of the tibia.
본 발명의 다른 특징에 따르면 프로세서는, 가이드선 내의 대퇴 영역에 대한 픽셀 강도 (intensity) 및 대퇴 영역에 대한 경계선에 기초하여 대퇴부 관절구의 관절선을 결정하고, 가이드선 내의 경골 내곽 영역 또는 경골 외곽 영역에 대한 픽셀 강도 및 경골 내곽 영역 또는 경골 외곽 영역에 대한 경계선에 기초하여 경골 관절선을 결정하도록 더 구성될 수 있다.According to another feature of the present invention, the processor determines the joint line of the femoral condyle based on the pixel intensity for the femoral region within the guide line and the boundary line for the femoral region, and the tibial inner region or tibial outer region within the guide line. and determine the tibial joint line based on the pixel intensity and the boundary line for the tibial inner region or tibial outer region.
본 발명의 또 다른 특징에 따르면, 프로세서는, 경골 외곽 영역에 대한 픽셀 강도에 기초하여 복수의 제1 특징점을 결정하고, 경골 내곽 영역에 대한 경계선을 기초로 복수의 제2 특징점을 결정하고, 제1 특징점 및 제2 특징점에 기초하여 경골 관절선을 결정하도록 더 구성될 수 있다.According to another feature of the present invention, the processor determines a plurality of first feature points based on the pixel intensity for the tibia outer region, determines a plurality of second feature points based on the boundary line for the tibia inner region, and It may be further configured to determine the tibial joint line based on the first feature point and the second feature point.
본 발명의 또 다른 특징에 따르면, 프로세서는, 대퇴 영역을 기초로 제1 가이드선을 결정하고, 제2 가이드선을 획득하도록, 제1 가이드선을 확장하고, 제2 가이드선 내에서 확장된 대퇴부 관절구의 관절선을 결정하고, 제2 가이드선 내에서 확장된 경골의 관절선을 결정하도록 더 구성될 수 있다.According to another feature of the invention, the processor determines a first guide line based on the thigh area, extends the first guide line to obtain a second guide line, and extends the thigh area within the second guide line. The method may be further configured to determine a joint line of the condyle and determine a joint line of the extended tibia within the second guide line.
본 발명의 또 다른 특징에 따르면, 프로세서는, 하지의 내측 (medial) 에 대한 가이드선을 결정하고, 하지 외측 (lateral) 에 대한 가이드선을 결정하도록 더 구성될 수 있다.According to another feature of the present invention, the processor may be further configured to determine a guide line for the medial side of the lower extremity and to determine a guide line for the lateral side of the lower extremity.
본 발명의 또 다른 특징에 따르면, 대퇴 영역은, 내측 대퇴 (medial femur) 영역 및 외측 대퇴 (lateral femur) 영역을 포함하고, 프로세서는, 내측 대퇴 영역 및 외측 대퇴 영역 각각과 한 점에서 만나는 제1 기준선을 결정하고, 제1 기준선과 수직이되, 내측 대퇴 영역의 상과 (epicondyle) 또는 외측 대퇴 영역의 상과와 접하는 제2 기준선을 결정하고, 제1 기준선 및 제2 기준선을 기초로 가이드선을 결정하도록 더 구성될 수 있다.According to another feature of the present invention, the femoral region includes a medial femur region and a lateral femur region, and the processor includes a first member that meets at a point each of the medial femur region and the lateral femur region. Determine a reference line, determine a second reference line perpendicular to the first reference line and bordering the epicondyle of the medial thigh region or the epicondyle of the lateral thigh region, and establish a guide line based on the first and second reference lines. It can be further configured to determine .
본 발명의 또 다른 특징에 따르면, 상기 디바이스는 제1 기준선 또는 제2 기준선을 입력 받도록 구성된, 입력부를 더 포함할 수 있다.According to another feature of the present invention, the device may further include an input unit configured to receive a first reference line or a second reference line.
본 발명의 또 다른 특징에 따르면, 상기 디바이스는 가이드선 내에서 제1 기준선 상의 기준점을 입력받도록 구성된, 입력부를 더 포함하고, 프로세서는, 입력된 기준점 및 제2 기준선을 기초로 관절강 폭 (Joint space width) 을 결정하도록 더 구성될 수 있다.According to another feature of the present invention, the device further includes an input unit configured to receive a reference point on a first reference line within the guide line, and the processor controls the joint space width based on the input reference point and the second reference line. It can be further configured to determine width).
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Specific details of other embodiments are included in the detailed description and drawings.
본 발명은, 예측 모델에 기초하여 의료 영상에 대하여 주요 영역을 결정하고, 이를 기초로 가이드선 및 관절강 측정치를 결정하도록 구성된 정보 제공 방법 및 이를 이용한 디바이스를 제공할 수 있다. 이에, 본 발명은 재현성 높게 관절강의 계측 결과 및 이에 따른 관절강 평가 결과를 제공할 수 있는 효과가 있다. The present invention can provide an information provision method and a device using the method configured to determine a main area of a medical image based on a prediction model and determine guide lines and joint space measurements based on this. Accordingly, the present invention has the effect of providing joint space measurement results and joint space evaluation results with high reproducibility.
보다 구체적으로, 본 발명은, 복수의 예측 모델을 이용하여 의료 영상에 대한 대퇴 영역 및 경골 영역 각각을 분할하고, 이를 기초로 가이드선을 결정하고, 관절강 측정의 기준점을 포함하는 대퇴 및 경골의 관절선을 자동으로 결정하여 제공할 수 있다. More specifically, the present invention divides each of the femur region and tibia region for the medical image using a plurality of prediction models, determines a guide line based on this, and joints of the femur and tibia including reference points for joint space measurement. The line can be automatically determined and provided.
이에, 본 발명은, 개체별로 상이한 골격의 해부학적 구조, 및 의료인의 숙련도에 따라 관절강 측정치가 다르게 결정될 수 있는 종래의 의료 영상에 기초한 정보 제공 시스템이 갖는 한계 및 문제점들을 극복할 수 있는 효과가 있다.Accordingly, the present invention has the effect of overcoming the limitations and problems of the conventional medical image-based information provision system in which joint space measurements may be determined differently depending on the anatomical structure of the skeleton that differs for each individual and the skill level of the medical personnel. .
특히, 본 발명은 관절강에 대한 측정치 결정에 있어서, 예측 모델의 분할 결과와 함께 영상의 픽셀 강도 기반 핏팅을 수행하여 관절선 (또는, 핏팅선) 을 결정하고, 이로부터 관절강의 측정을 위한 기준점을 결정하여 제공함으로써 의료진의 숙련도에 관계 없이 정확도 높은 관절강 측정치의 결정이 가능할 수 있다. In particular, the present invention determines the joint space measurement value by performing pixel intensity-based fitting of the image together with the segmentation result of the prediction model to determine the joint line (or fitting line), and from this, a reference point for measuring the joint space is determined. By determining and providing it, it may be possible to determine highly accurate joint space measurements regardless of the skill level of the medical staff.
즉, 본 발명은 실제 의료진이 의료 영상 내에서 밝기를 기준으로 관절선을 결정한다는 점을 고려하여 하여 예측 모델에 의한 분할된 영역의 윤곽선을 보정한 후 최종 관절선을 결정함으로써 보다 신뢰도 높은 관절강에 대한 정보를 제공할 수 있다.In other words, the present invention takes into account the fact that actual medical staff determines the joint line based on the brightness in the medical image, corrects the outline of the divided area by the prediction model, and then determines the final joint line, thereby providing a more reliable joint space. Information can be provided.
나아가, 본 발명은, 예측 모델의 학습용 의료 영상에 대하여 ROI를 설정하고, 주요 핵심 영역만을 포함하도록 크로핑 (cropping) 하여 예측 모델을 학습시킴으로써 영역 분할의 정확도 향상에 기여할 수 있다. Furthermore, the present invention can contribute to improving the accuracy of region segmentation by setting an ROI for a medical image for training a prediction model and learning the prediction model by cropping it to include only major core regions.
이에, 본 발명은, 예측 모델에 입력된 의료 영상의 퀄리티에 상관 없이 관절강을 높은 정확도로 평가하여 제공할 수 있다. Accordingly, the present invention can evaluate and provide joint space with high accuracy regardless of the quality of the medical image input to the prediction model.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.The effects according to the present invention are not limited to the contents exemplified above, and further various effects are included in the present specification.
도 1은 본 발명의 일 실시예에 따른 관절강에 대한 정보 제공용 디바이스를 이용한 관절강에 대한 정보 제공 시스템을 도시한 것이다.
도 2a는 본 발명의 일 실시예에 따른 의료진 디바이스의 구성을 나타낸 블록도이다.
도 2b는 본 발명의 일 실시예에 따른 정보 제공용 서버의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 관절강에 대한 정보 제공 방법의 절차를 도시한 것이다.
도 4a 및 4b, 도 5a 및 5b는 본 발명의 다양한 실시예에 따른 관절강에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
도 6은 본 발명의 다양한 실시예에 따른 관절강에 대한 정보 제공 방법에서, 반자동 시스템의 사용자 인터페이스를 예시적으로 도시한 것이다.
도 7은 본 발명의 다양한 실시예에 따른 관절강에 대한 정보 제공 방법에서, 예측 모델의 학습 절차를 예시적으로 도시한 것이다
도 8a 내지 8c는 본 발명의 다양한 실시예에 따른 관절강에 대한 정보 제공 방법에서, 자동 시스템 기반의 측정치와 수동 시스템 기반의 측정치를 비교하여 도시한 결과이다.1 shows a system for providing information on the joint space using a device for providing information on the joint space according to an embodiment of the present invention. It is shown.
Figure 2a is a block diagram showing the configuration of a medical staff device according to an embodiment of the present invention.
Figure 2b is a block diagram showing the configuration of an information providing server according to an embodiment of the present invention.
Figure 3 illustrates the procedure of a method for providing information on the joint space according to an embodiment of the present invention.
FIGS. 4A and 4B and FIGS. 5A and 5B exemplarily illustrate procedures of a method for providing information on the joint space according to various embodiments of the present invention.
Figure 6 exemplarily illustrates a user interface of a semi-automatic system in a method of providing information about the joint space according to various embodiments of the present invention.
Figure 7 exemplarily illustrates a learning procedure for a prediction model in a method for providing information about the joint space according to various embodiments of the present invention.
8A to 8C show a method of providing information about the joint space according to various embodiments of the present invention, This is the result of comparing the measurements based on the automatic system and the measurements based on the manual system.
발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. The advantages of the invention and how to achieve them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and will be implemented in various different forms. The present embodiments only serve to ensure that the disclosure of the present invention is complete and that common knowledge in the technical field to which the present invention pertains is not limited. It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다. The shapes, sizes, proportions, angles, numbers, etc. disclosed in the drawings for explaining embodiments of the present invention are illustrative, and the present invention is not limited to the matters shown. Additionally, in describing the present invention, if it is determined that a detailed description of related known technologies may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. When 'includes', 'has', 'consists of', etc. mentioned in this specification are used, other parts may be added unless 'only' is used. In cases where a component is expressed in the singular, the plural is included unless specifically stated otherwise.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다. When interpreting components, it is interpreted to include the margin of error even if there is no separate explicit description.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다. Each feature of the various embodiments of the present invention can be partially or fully combined or combined with each other, and as can be fully understood by those skilled in the art, various technical interconnections and operations are possible, and each embodiment may be implemented independently of each other. It may be possible to conduct them together due to a related relationship.
본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다. For clarity of interpretation of this specification, terms used in this specification will be defined below.
본 명세서에서 사용되는 용어, "개체"는 관절강 측정치를 평가하고자 하는 모든 대상을 의미할 수 있다. 이때, 본 명세서 내에 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다. As used herein, the term “subject” may refer to any object for which joint space measurements are to be evaluated. At this time, the entity disclosed in this specification may be any mammal except human, but is not limited thereto.
본 명세서에서 사용되는 용어, "관절강 (Joint space)"은 관절 사이의 공간 또는 관절 간격을 의미할 수 있다. 나아가, "관절강 측정치"는 무릎 관절강의 너비, 즉 대퇴 관절구 (femoral condyle) 로부터 경골까지의 직선 거리를 포함할 수 있다. 그러나, 관절강 측정치는 전술한 것에 제한되는 것은 아니다.As used herein, the term “joint space” may refer to the space between joints or the joint gap. Furthermore, “joint space measurements” may include the width of the knee joint space, i.e., the straight line distance from the femoral condyle to the tibia. However, joint space measurements are not limited to those described above.
본 명세서에서 사용되는 용어, "하지 의료 영상"은, 영상 진단 디바이스로부터 촬영된 하지 의료 영상을 의미할 수 있다. 이때, 하지 의료 영상은 대퇴 영역 (특히, 대퇴 관절구), 경골 영역을 포함할 수 있다. 바람직하게, 하지 의료 영상은 무릎을 구부려 찍는 로젠버그 뷰 (Rosenberg view) 영상일 수 있으나, 이에 제한되는 것은 아니다. The term “lower extremity medical image” used in this specification may refer to a lower extremity medical image captured by an imaging diagnostic device. At this time, the lower extremity medical image may include the femur area (particularly, the femoral condyle) and the tibia area. Preferably, the lower extremity medical image may be a Rosenberg view image taken with the knee bent, but is not limited thereto.
한편, 하지 의료 영상은, 2차원 영상, 3차원 영상, 한 컷의 스틸 영상, 또는 복수개의 컷으로 구성된 동영상일 수 있다. 예를 들어, 하지 의료 영상이 복수개의 컷으로 구성된 동영상일 경우, 본 발명의 일 실시예에 따른 하지 정렬 평가 방법에 따라 복수개의 하지 의료 영상 각각에 대한 대퇴 영역 및 경골 영역이 예측되고, 이로부터 기초하여 관절강 측정치가 결정될 수 있다. 그 결과, 본 발명은 영상 진단 디바이스로부터의 하지 의료 영상의 수신과 동시에 대퇴 영역 및 경골 영역의 예측, 관절강 측정치의 예측을 수행함으로써, 실시간으로 하지 정렬에 대한 진단 정보를 제공할 수도 있다. Meanwhile, the lower extremity medical image may be a two-dimensional image, a three-dimensional image, a single still image, or a video composed of multiple cuts. For example, when the lower extremity medical image is a video composed of a plurality of cuts, the femur region and tibia region for each of the plurality of lower extremity medical images are predicted according to the lower limb alignment evaluation method according to an embodiment of the present invention, and from this, Based on this, joint space measurements can be determined. As a result, the present invention may provide diagnostic information on lower extremity alignment in real time by simultaneously receiving lower extremity medical images from an imaging diagnostic device and performing prediction of the femoral region and tibial region and joint space measurements.
본 명세서에서 사용되는 용어, "대퇴 영역"은, 하지 의료 영상 내에서 대퇴가 존재하는 영역을 의미할 수 있다. 바람직하게, 대퇴 영역은 대퇴 관절구의 관절선을 포함할 수 있다. 한편, 대퇴 영역은 우측/좌측 하지의 안쪽에 대응하는 내측 (medial) 대퇴 영역 및 우측/좌측 하지의 바깥쪽에 대응하는 외측 (lateral) 대퇴 영역을 포함할 수 있다.As used herein, the term “femur area” may refer to an area where the thigh is present in a lower extremity medical image. Preferably, the femoral region may include the joint line of the femoral condyle. Meanwhile, the thigh region may include a medial thigh region corresponding to the inside of the right/left lower extremities and a lateral thigh region corresponding to the outside of the right/left lower extremities.
본 명세서에서 사용되는 용어, "경골 영역"은, 하지 의료 영상 내에서 경골이 존재하는 영역을 의미할 수 있다. 바람직하게 경골 영역은 경골의 상단의 윤곽선을 포함할 수 있다. As used herein, the term “tibia region” may refer to an area where the tibia is present in a lower extremity medical image. Preferably the tibial region may comprise the outline of the top of the tibia.
한편, 경골 영역의 경우 높이에 따라 복수의 관절선을 가질 수 있다. 보다 구체적으로, 경골 영역은 윤곽의 가장 안 쪽의 경골 내곽 (Tibia inner) 영역 및 윤곽의 가장 바깥쪽의 경골 외곽 (Tibia outer) 영역을 포함할 수 있다. 나아가, 경골 영역은 양 다리의 안쪽에 대응하는 내측 (medial) 경골 영역 및 양 다리의 바깥쪽에 대응하는 외측 (lateral) 경골 영역을 포함할 수 있다.Meanwhile, the tibia region may have multiple joint lines depending on the height. More specifically, the tibia region may include the innermost tibia inner region of the outline and the outermost tibia outer region of the outline. Furthermore, the tibial region may include a medial tibial region corresponding to the inside of both legs and a lateral tibial region corresponding to the outside of both legs.
본 명세서에서 사용되는 용어, "가이드선"은 관절강 측정치의 기준점을 포함하는 관절 내의 영역에 대한 가이드선으로서, 대퇴 영역과 경골 영역을 잇는 선을 의미할 수 있다.The term “guide line” used in this specification is a guide line for the area within the joint including the reference point of the joint space measurement value, and may mean a line connecting the femoral area and the tibia area.
보다 구체적으로, 가이드선은 내측 대퇴부 관절구의 관절선과 내측 경골 관절선을 지나가는 내측 가이드선 및 외측 대퇴부 관절구의 관절선과 외측 경골 윤곽을 지나가는 외측 가이드선을 포함할 수 있다.More specifically, the guide line may include an inner guide line passing through the joint line of the medial femoral condyle and the medial tibial joint line, and an outer guide line passing through the joint line of the lateral femoral condyle and the lateral tibial contour.
즉, 내측 가이드선과 외측 가이드선 사이의 영역에서 관절강 측정의 기준이 되는 기준점이 결정될 수 있다. That is, a reference point that serves as a standard for joint space measurement may be determined in the area between the inner guide line and the outer guide line.
이때, 가이드선은 제1 가이드선 및 제1 가이드선보다 영역이 확장된 제2 가이드선을 포함할 수 있다. At this time, the guide line may include a first guide line and a second guide line whose area is expanded than the first guide line.
이때, 제2 가이드선은 관절 영역에 모양, 크기 및 각도에 기초하여 의료 영상 내에서 최대의 영역을 확보할 수 있는 알고리즘에 기초하여 결정될 수도 있다.At this time, the second guide line may be determined based on an algorithm that can secure the maximum area in the medical image based on the shape, size, and angle of the joint area.
이때, 본 명세서에서 사용되는 용어, "기준선"은, 가이드선을 결정하기 위한 선으로서, 내측 대퇴 영역 및 외측 대퇴 영역 각각과 한 점에서 만나는 제1 기준선 (즉, X 선), 및 제1 기준선과 수직이되 내측 대퇴 영역의 상과 (epicondyle) 또는 상기 외측 대퇴 영역의 상과와 접하는 제2 기준선 (즉, Y 선) 으로 이루어질 수 있다.At this time, the term "reference line" used in this specification refers to a line for determining a guide line, which includes a first reference line (i.e., It may be composed of a second reference line (i.e., Y line) that is perpendicular to the epicondyle of the inner thigh region or in contact with the epicondyle of the outer thigh region.
여기서, 내측 상과 접선과 X선의 제1 기준선이 만나는 지점이 X = 0, 외측 상과 접선과 X선의 제1 기준선이 만나는 지점이 X = 100으로 설정될 수 있고, 제1 기준선 상의 X = 0 내지 X = 100 사이에서 관절강 측정의 기준이 되는 기준점 (예를 들어, X = 2.5, X= 25, X= 87.5 또는 X= 75) 이 결정될 수 있다. 즉, 가이드선은 제1 기준선 상의 기준점을 포함하며, 제2 기준선과 평행인 선일 수 있다. Here, the point where the medial epicondyle tangent and the first reference line of the A reference point (for example, X = 2.5, X = 25, X = 87.5, or That is, the guide line includes a reference point on the first reference line and may be a line parallel to the second reference line.
이때, 관절강 측정치는 기준점 (예를 들어, X = 2.5, X= 25, X= 87.5 또는 X= 75) 에서의 관절강의 너비, 즉 기준점에서 대퇴부 관절구 윤곽선과 경골 관절선의 직선 거리일 수 있다. 그러나, 관절강 측정치는 전술한 것에 제한되는 것은 아니다.At this time, the joint space measurement may be the width of the joint space at a reference point (e.g., X = 2.5, However, joint space measurements are not limited to those described above.
본 명세서에서 사용되는 용어, "예측 모델"은 하지 의료 영상에 대하여 대퇴 영역, 경골 내곽 영역 및 경골 외곽 영역을 예측하도록 구성된 모델일 수 있다. As used herein, the term “prediction model” may be a model configured to predict the femur region, tibia inner region, and tibia outer region for lower extremity medical images.
보다 구체적으로, 예측 모델은, 하지 의료 영상을 입력으로 하여 대퇴 영역을 출력하도록 구성된 제1 예측 모델, 하지 의료 영상을 입력으로 하여 경골 내곽 영역을 출력하도록 구성된 제2 예측 모델, 하지 의료 영상을 입력으로 하여 경골 외곽 영역을 출력하도록 구성된 제3 모델로 이루어질 수 있다.More specifically, the prediction model includes a first prediction model configured to output a femur region using a lower extremity medical image as an input, a second prediction model configured to output a tibia inner area using a lower extremity medical image as input, and a lower extremity medical image as input. It may be formed as a third model configured to output the tibia outer area.
본 발명의 다른 특징에 따르면, 3 개의 예측 모델은 좌측 영역 및 우측 영역 각각을 예측하는 독립된 모델로 존재할 수 있다. 이에, 복수의 모델은, 6 개의 모델을 포함할 수 있다. According to another feature of the present invention, the three prediction models may exist as independent models predicting each of the left and right areas. Accordingly, the plurality of models may include six models.
그러나, 이에 제한되지 않고 예측 모델은 단일의 모델로서, 대퇴 영역, 경골 내곽 영역 및 경골 외곽 영역의 3 영역을 예측 및 분할하도록 학습된 모델일 수도 있다.However, the prediction model is not limited to this and may be a single model that is learned to predict and segment three regions: the femur region, the tibia inner region, and the tibia outer region.
예를 들어, 본 발명의 예측 모델은, 입력된 하지 의료 영상에 대하여 대퇴 영역, 경골 내곽 영역 및 경골 외곽 영역을 분할하도록 학습된 모델일 수 있다. For example, the prediction model of the present invention may be a model learned to segment the femur region, tibia inner region, and tibia outer region with respect to the input lower extremity medical image.
한편, 본 발명의 예측 모델은, 대퇴 영역, 경골 내곽 영역 및 경골 외곽 영역의 예측의 정확도 향상을 위해 2 번의 학습 단계를 통해 학습된 모델일 수 있다.Meanwhile, the prediction model of the present invention may be a model learned through two learning steps to improve the accuracy of prediction of the femur region, tibia inner region, and tibia outer region.
예를 들어, 본 발명의 예측 모델은, 학습용 하지 의료 영상을 입력으로 하여 대퇴 부위 또는 경골 부위가 존재하는 ROI (region of interest) 를 결정하도록 1차 학습될 수 있다. 그 다음, 예측 모델은 ROI를 포함하는 ROI 영상을 입력으로 하여, 실제 대퇴 영역 또는 경골 내곽 영역 또는 경골 외곽 영역의 경계를 분할하도록 2차 학습될 수 있다.For example, the prediction model of the present invention may be initially trained to determine a region of interest (ROI) in which the femur or tibia is located by using lower extremity medical images for training as input. Next, the prediction model may be secondarily trained to segment the boundary of the actual femur region, tibia inner region, or tibia outer region by using the ROI image including the ROI as input.
이에, 본 발명의 예측 모델은, 실제 대퇴 또는 경골이 존재하는 정답 영역 내에서의 예측이 활성화 되도록 하는, 핵심 영역 중심의 학습이 진행되었음에 따라, 대퇴 영역 및 경골 영역들을 높은 정확도로 분할할 수 있다.Accordingly, the prediction model of the present invention is capable of segmenting the femur and tibia regions with high accuracy as learning is centered on the core region, which activates prediction within the correct answer region where the actual femur or tibia exists. there is.
한편, 본 발명의 예측 모델은, SegNet 네트워크에 기초한 모델일 수 있다. 그러나 이에 제한되는 것은 아니다. 예를 들어, 본 발명의 예측 모델은, VGG-16, DCNN (Deep Convolutional Neural Network) 및 ResNet DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), SSD (Single Shot Detector) 모델 또는 U-net을 기반으로 하는 예측 모델일 수도 있다. Meanwhile, the prediction model of the present invention may be a model based on a SegNet network. However, it is not limited to this. For example, the prediction models of the present invention include VGG-16, Deep Convolutional Neural Network (DCNN), and ResNet Deep Neural Network (DNN), Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), and Restricted Boltzmann Machine (RBM). ), DBN (Deep Belief Network), SSD (Single Shot Detector) model, or a prediction model based on U-net.
본 발명의 특징에 따르면, 복수의 예측 모델로부터 분할된 대퇴 영역 경골 내곽 영역 및 경골 외곽 영역에 기초하여, 확장된 제2 가이드선 내에서 확장된 관절구의 관절선 및 확장된 경골 관절선이 결정될 수 있다.According to a feature of the present invention, the joint line of the expanded condyle and the expanded tibial joint line can be determined within the expanded second guide line based on the femoral region, tibial inner region, and tibia outer region divided from the plurality of prediction models. there is.
보다 구체적으로, 경골 외곽 영역의 픽셀에 대한 강도 (intensity) 에 기초하여 경골 외곽 영역 내에서 복수의 제1 특징점이 결정되고, 경골 내곽 영역에 대한 경계선 (즉, 관절선) 에 기초하여 복수의 제2 특징점이 결정된 후, 확장된 영역에서 제1 특징점과 제2 특징점을 기초로 제3 특징점이 결정될 수 있다. 그 다음, 제3 특징점에 기초하여 확장된 관절선에 대응하는 핏팅 (fitting) 선이 결정될 수 있다. More specifically, a plurality of first feature points are determined within the tibia outer region based on the intensity of the pixels of the tibia outer region, and a plurality of first feature points are determined based on the boundary line (i.e., joint line) for the tibia inner region. After two feature points are determined, a third feature point may be determined based on the first feature point and the second feature point in the expanded area. Then, a fitting line corresponding to the expanded joint line may be determined based on the third feature point.
이때, "복수의 제1 특징점"은 영역 내에서 픽셀 강도가 미리 결정된 수준 이상인 엣지 (edge) 로 정의될 수 있다. 즉, 복수의 제1 특징점은 실제 의료진이 의료 영상 내에서 밝기를 기준으로 관절선을 결정하는 특징을 반영할 수 있다. At this time, the “plurality of first feature points” may be defined as edges within the area where the pixel intensity is higher than a predetermined level. That is, the plurality of first feature points may reflect the characteristics of actual medical staff determining the joint line based on brightness in a medical image.
여기서 제1 특징점은 픽셀의 거리값과 기울기에 기초하여 결정될 수 있어, 골 영역 내에서 벗어나는 엣지들은 제외될 수 있다. Here, the first feature point can be determined based on the distance value and slope of the pixel, so edges that fall within the goal area can be excluded.
한편, "복수의 제2 특징점"은, 골 영역을 이루는 경계선에 대한 엣지로 정의될 수 있다. Meanwhile, the “plurality of second feature points” may be defined as edges relative to the boundary line forming the goal area.
한편, "복수의 제3 특징점"은, 확장된 제2 가이드선에서 제1 특징점 및 제2 특징점에 기초하여 결정된 엣지로 정의될 수 있다.Meanwhile, the “plurality of third feature points” may be defined as edges determined based on the first feature point and the second feature point in the extended second guide line.
이러한, 제3 특징점에 기초하여 확장된 관절선에 대응하는 핏팅선이 결정되어, 보다 신뢰도 높은 관절강 측정치의 결정이 가능할 수 있다. A fitting line corresponding to the expanded joint line is determined based on the third feature point, making it possible to determine a more reliable joint space measurement value.
이하에서는 도 1 및 2a 및 2b를 참조하여, 본 발명의 일 실시예에 따른 관절강에 대한 정보 제공용 디바이스를 이용한 관절강에 대한 정보 제공 시스템 및 관절강에 대한 정보 제공용 디바이스를 설명한다. Hereinafter, with reference to FIGS. 1 and 2a and 2b, a system for providing information on the joint space and a device for providing information on the joint space using a device for providing information on the joint space according to an embodiment of the present invention will be described.
도 1은 본 발명의 일 실시예에 따른 관절강에 대한 정보 제공용 디바이스를 이용한 관절강에 대한 정보 제공 시스템을 도시한 것이다. 도 2a는 본 발명의 일 실시예에 따른 관절강에 대한 정보를 제공받는 의료진 디바이스의 구성을 예시적으로 도시한 것이다. 도 2b는 본 발명의 일 실시예에 따른 관절강에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.Figure 1 illustrates a system for providing information on the joint space using a device for providing information on the joint space according to an embodiment of the present invention. FIG. 2A exemplarily shows the configuration of a medical staff device that receives information about the joint space according to an embodiment of the present invention. Figure 2b exemplarily shows the configuration of a device for providing information on the joint space according to an embodiment of the present invention.
먼저, 도 1을 참조하면, 정보 제공 시스템 (1000) 은, 개체에 대한 하지 의료 영상을 기초로 관절강과 연관된 정보를 제공하도록 구성된 시스템일 수 있다. 이때, 정보 제공 시스템 (1000) 은, 관절강과 연관된 정보를 수신하는 의료진 디바이스 (100), 하지 의료 영상을 제공하는, 의료 영상 제공용 디바이스 (200), 및 관절강과 연관된 정보를 생성하고 제공하는 정보 제공용 서버 (300) 로 구성될 수 있다.First, referring to FIG. 1 , the information providing system 1000 may be a system configured to provide information related to the joint space based on a lower extremity medical image of an individual. At this time, the information providing system 1000 includes a medical staff device 100 that receives information related to the joint space, a medical image providing device 200 that provides lower extremity medical images, and information that generates and provides information related to the joint space. It may consist of a provision server 300.
먼저, 의료진 디바이스 (100) 는 관절강과 연관된 정보를 나타내기 위한 사용자 인터페이스를 제공하는 전자 디바이스로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.First, the medical staff device 100 is an electronic device that provides a user interface for displaying information related to the joint space, and may include at least one of a smartphone, a tablet PC (personal computer), a laptop, and/or a PC.
이때, 의료진 디바이스 (100) 는 정보 제공용 서버 (300) 로부터 개체에 대한 관절강과 연관된 예측 결과를 수신하고, 수신된 결과를 표시부를 통해 표시할 수 있다. At this time, the medical staff device 100 may receive a prediction result related to the joint space for the object from the information provision server 300 and display the received result through the display unit.
다음으로, 정보 제공용 서버 (300) 는 후술할 의료 영상 제공용 디바이스 (200) 로부터 제공된 하지 의료 영상을 기초로 관절강과 연관된 정보를 결정하기 위한 다양한 연산을 수행하는 범용 컴퓨터, 랩탑일 수도 있다. 이때, 정보 제공용 서버 (300) 는 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 를 포함할 수 있으나, 이에 제한되는 것은 아니다. Next, the information providing server 300 may be a general-purpose computer or laptop that performs various calculations to determine information related to the joint space based on the lower extremity medical image provided from the medical image providing device 200, which will be described later. At this time, the information providing server 300 may include, but is not limited to, a web server providing web pages or a mobile web server providing a mobile website.
보다 구체적으로, 정보 제공용 서버 (300) 는 의료 영상 제공용 디바이스 (200) 로부터 하지 의료 영상을 수신하고, 수신된 하지 의료 영상을 기초로 특정 영역을 결정한 후 관절강과 연관된 정보를 제공할 수 있다. 이때, 정보 제공용 서버 (300) 예측 모델을 이용하여 하지 의료 영상으로부터 관절강과 연관된 정보를 예측할 수 있다. More specifically, the information providing server 300 may receive a lower extremity medical image from the medical image providing device 200, determine a specific area based on the received lower extremity medical image, and then provide information related to the joint space. . At this time, information related to the joint space can be predicted from the lower extremity medical image using the prediction model of the information provision server 300.
정보 제공용 서버 (300) 는 관절강과 연관된 예측 결과를 의료진 디바이스 (100) 로 제공할 수 있다. The information provision server 300 may provide prediction results related to the joint space to the medical staff device 100.
이와 같이 정보 제공용 서버 (300) 로부터 제공되는 정보는 의료진 디바이스 (100) 에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.In this way, the information provided from the information providing server 300 may be provided as a web page through a web browser installed on the medical staff device 100, or may be provided in the form of an application or program. In various embodiments, such data may be provided as part of a platform in a client-server environment.
다음으로, 도 2a 및 2b를 참조하여, 본 발명의 정보 제공용 서버 (300) 의 구성 요소에 대하여 구체적으로 설명한다. Next, with reference to FIGS. 2A and 2B, the components of the information provision server 300 of the present invention will be described in detail.
먼저, 도 2a를 참조하면, 의료진 디바이스 (100) 는 메모리 인터페이스 (110), 하나 이상의 프로세서 (120) 및 주변 인터페이스 (130) 를 포함할 수 있다. 의료진 디바이스 (100) 내의 다양한 컴포넌트들은 하나 이상의 통신 버스 또는 신호 선에 의해 연결될 수 있다.First, referring to FIG. 2A , medical staff device 100 may include a memory interface 110, one or more processors 120, and a peripheral interface 130. The various components within the medical staff device 100 may be connected by one or more communication buses or signal lines.
메모리 인터페이스 (110) 는 메모리 (150) 에 연결되어 프로세서 (120) 로 다양한 데이터를 전할 수 있다. 여기서, 메모리 (150) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 네트워크 저장 스토리지, 클라우드, 블록체인 데이터베이스 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.The memory interface 110 is connected to the memory 150 and can transmit various data to the processor 120. Here, the memory 150 is a flash memory type, hard disk type, multimedia card micro type, card type memory (e.g. SD or XD memory, etc.), RAM, SRAM, ROM, EEPROM, PROM, network storage storage, and cloud. , It may include at least one type of storage medium among the blockchain database.
다양한 실시예에서, 메모리 (150) 는 운영 체제 (151), 통신 모듈 (152), 그래픽 사용자 인터페이스 모듈 (GUI) (153), 센서 처리 모듈 (154), 전화 모듈 (155) 및 애플리케이션 모듈 (156) 중 적어도 하나 이상을 저장할 수 있다. 구체적으로, 운영 체제 (151) 는 기본 시스템 서비스를 처리하기 위한 명령어 및 하드웨어 작업들을 수행하기 위한 명령어를 포함할 수 있다. 통신 모듈 (152) 은 다른 하나 이상의 디바이스, 컴퓨터 및 서버 중 적어도 하나와 통신할 수 있다. 그래픽 사용자 인터페이스 모듈 (GUI) (153) 은 그래픽 사용자 인터페이스를 처리할 수 있다. 센서 처리 모듈 (154) 은 센서 관련 기능 (예를 들어, 하나 이상의 마이크 (192) 를 이용하여 수신된 음성 입력을 처리함) 을 처리할 수 있다. 전화 모듈 (155) 은 전화 관련 기능을 처리할 수 있다. 애플리케이션 모듈 (156) 은 사용자 애플리케이션의 다양한 기능들, 예컨대 전자 메시징, 웹 브라우징, 미디어 처리, 탐색, 이미징, 기타 프로세스 기능을 수행할 수 있다. 아울러, 의료진 디바이스 (100) 는 메모리 (150) 에 어느 한 종류의 서비스와 연관된 하나 이상의 소프트웨어 애플리케이션 (156-1, 156-2) (예를 들어, 정보 제공 어플리케이션) 을 저장할 수 있다.In various embodiments, memory 150 includes operating system 151, communications module 152, graphical user interface module (GUI) 153, sensor processing module 154, telephony module 155, and application module 156. ) can be stored. Specifically, the operating system 151 may include instructions for processing basic system services and instructions for performing hardware tasks. Communication module 152 may communicate with at least one of one or more other devices, computers, and servers. A graphical user interface module (GUI) 153 can handle graphical user interfaces. Sensor processing module 154 may process sensor-related functions (e.g., processing voice input received using one or more microphones 192). The phone module 155 can handle phone-related functions. Application module 156 may perform various functions of a user application, such as electronic messaging, web browsing, media processing, navigation, imaging, and other processing functions. In addition, the medical staff device 100 may store one or more software applications 156-1 and 156-2 (eg, information provision applications) associated with one type of service in the memory 150.
다양한 실시예에서, 메모리 (150) 는 디지털 어시스턴트 클라이언트 모듈 (157) (이하, DA 클라이언트 모듈) 을 저장할 수 있으며, 그에 따라 디지털 어시스턴트의 클라이언트 측의 기능을 수행하기 위한 명령어 및 다양한 사용자 데이터 (158) (예를 들어, 사용자 맞춤형 어휘 데이터, 선호도 데이터, 사용자의 전자 주소록, 할 일 목록, 쇼핑 리스트 등과 같은 기타 데이터) 를 저장할 수 있다. In various embodiments, memory 150 may store a digital assistant client module 157 (hereinafter referred to as the DA client module), thereby storing various user data 158 and instructions for performing the functions of the client side of the digital assistant. (For example, user-customized vocabulary data, preference data, other data such as the user's electronic address book, to-do list, shopping list, etc.) may be stored.
한편, DA 클라이언트 모듈 (157) 은 의료진 디바이스 (100) 에 구비된 다양한 사용자 인터페이스 (예를 들어, I/O 서브시스템 (140)) 를 통해 사용자의 음성 입력, 텍스트 입력, 터치 입력 및/또는 제스처 입력을 획득할 수 있다. Meanwhile, the DA client module 157 uses the user's voice input, text input, touch input, and/or gesture through various user interfaces (e.g., I/O subsystem 140) provided in the medical staff device 100. Input can be obtained.
또한, DA 클라이언트 모듈 (157) 은 시청각적, 촉각적 형태의 데이터를 출력할 수 있다. 예를 들어, DA 클라이언트 모듈 (157) 은 음성, 소리, 알림, 텍스트 메시지, 메뉴, 그래픽, 비디오, 애니메이션 및 진동 중 적어도 둘 하나 이상의 조합으로 이루어진 데이터를 출력할 수 있다. 아울러, DA 클라이언트 모듈 (157) 은 통신 서브시스템 (180) 을 이용하여 디지털 어시스턴트 서버 (미도시) 와 통신할 수 있다.Additionally, the DA client module 157 can output data in audiovisual and tactile forms. For example, the DA client module 157 may output data consisting of a combination of at least two or more of voice, sound, notification, text message, menu, graphics, video, animation, and vibration. In addition, the DA client module 157 can communicate with a digital assistant server (not shown) using the communication subsystem 180.
다양한 실시예에서, DA 클라이언트 모듈 (157) 은 사용자 입력과 연관된 상황 (context) 을 구성하기 위하여 다양한 센서, 서브시스템 및 주변 디바이스로부터 의료진 디바이스 (100) 의 주변 환경에 대한 추가 정보를 수집할 수 있다. 예를 들어, DA 클라이언트 모듈 (157) 은 사용자 입력과 함께 상황 정보를 디지털 어시스턴트 서버에 제공하여 사용자의 의도를 추론할 수 있다. 여기서, 사용자 입력에 동반될 수 있는 상황 정보는 센서 정보, 예를 들어, 광 (lighting), 주변 소음, 주변 온도, 주변 환경의 이미지, 비디오 등을 포함할 수 있다. 다른 예를 들어, 상황 정보는 의료진 디바이스 (100) 의 물리적 상태 (예를 들어, 디바이스 배향, 디바이스 위치, 디바이스 온도, 전력 레벨, 속도, 가속도, 모션 패턴, 셀룰러 신호 강도 등) 을 포함할 수 있다. 또 다른 예를 들어, 상황 정보는 의료진 디바이스 (100) 의 소프트웨어 상태에 관련된 정보 (예를 들어, 의료진 디바이스 (100) 에서 실행 중인 프로세스, 설치된 프로그램, 과거 및 현재 네트워크 활동성, 백그라운드 서비스, 오류 로그, 리소스 사용 등) 를 포함할 수 있다. In various embodiments, DA client module 157 may collect additional information about the surrounding environment of medical staff device 100 from various sensors, subsystems, and peripheral devices to construct a context associated with user input. . For example, the DA client module 157 may provide context information along with user input to the digital assistant server to infer the user's intent. Here, context information that may accompany the user input may include sensor information, for example, lighting, ambient noise, ambient temperature, images of the surrounding environment, video, etc. As another example, the contextual information may include the physical state of the medical staff device 100 (e.g., device orientation, device location, device temperature, power level, speed, acceleration, motion pattern, cellular signal strength, etc.) . As another example, the context information may include information related to the software state of the medical staff device 100 (e.g., processes running on the medical staff device 100, installed programs, past and current network activity, background services, error logs, resource usage, etc.).
다양한 실시예에서, 메모리 (150) 는 추가 또는 삭제된 명령어를 포함할 수 있으며, 나아가 의료진 디바이스 (100) 도 도 2a에 도시된 구성 외에 추가 구성을 포함하거나, 일부 구성을 제외할 수도 있다. In various embodiments, memory 150 may include added or deleted instructions, and further, medical device 100 may include additional elements other than those shown in FIG. 2A or exclude some elements.
프로세서 (120) 는 의료진 디바이스 (100) 의 전반적인 동작을 제어할 수 있으며, 메모리 (150) 에 저장된 어플리케이션 또는 프로그램을 구동하여 관절강과 연관된 정보를 제공하는 인터페이스를 구현하기 위한 다양한 명령들을 수행할 수 있다. The processor 120 can control the overall operation of the medical staff device 100 and executes various commands to implement an interface that provides information related to the joint space by running an application or program stored in the memory 150. .
프로세서 (120) 는 CPU (Central Processing Unit) 나 AP (Application Processor) 와 같은 연산 장치에 해당할 수 있다. 또한, 프로세서 (120) 는 NPU (Neural Processing Unit) 과 같은 다양한 연산 장치가 통합된 SoC (System on Chip) 와 같은 통합 칩 (Integrated Chip (IC)) 의 형태로 구현될 수 있다. The processor 120 may correspond to a computing device such as a CPU (Central Processing Unit) or AP (Application Processor). Additionally, the processor 120 may be implemented in the form of an integrated chip (IC) such as a system on chip (SoC) in which various computing devices such as a neural processing unit (NPU) are integrated.
주변 인터페이스 (130) 는 다양한 센서, 서브 시스템 및 주변 디바이스와 연결되어, 의료진 디바이스 (100) 가 다양한 기능을 수행할 수 있도록 데이터를 제공해 줄 수 있다. 여기서, 의료진 디바이스 (100) 가 어떠한 기능을 수행한다는 것은 프로세서 (120) 에 의해 수행되는 것으로 이해될 수 있다. The peripheral interface 130 is connected to various sensors, subsystems, and peripheral devices, and can provide data so that the medical staff device 100 can perform various functions. Here, what function the medical staff device 100 performs may be understood as being performed by the processor 120.
주변 인터페이스 (130) 는 모션 센서 (160), 조명 센서 (광 센서) (161) 및 근접 센서 (162) 로부터 데이터를 제공받을 수 있으며, 이를 통해, 의료진 디바이스 (100) 는 배향, 광, 및 근접 감지 기능 등을 수행할 수 있다. 다른 예를 들어, 주변 인터페이스 (130) 는 기타 센서들 (163) (포지셔닝 시스템-GPS 수신기, 온도 센서, 생체인식 센서) 로부터 데이터를 제공받을 수 있으며, 이를 통해 의료진 디바이스 (100) 가 기타 센서들 (163) 과 관련된 기능들을 수행할 수 있다.The peripheral interface 130 may receive data from the motion sensor 160, the light sensor (light sensor) 161, and the proximity sensor 162, through which the medical staff device 100 can detect orientation, light, and proximity. It can perform detection functions, etc. For another example, the peripheral interface 130 may receive data from other sensors 163 (positioning system-GPS receiver, temperature sensor, biometric sensor), through which the medical staff device 100 can use other sensors. (163) It is possible to perform functions related to .
다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 카메라 서브시스템 (170) 및 이와 연결된 광학 센서 (171) 를 포함할 수 있으며, 이를 통해 의료진 디바이스 (100) 는 사진 촬영 및 비디오 클립 녹화 등의 다양한 촬영 기능을 수행할 수 있다. In various embodiments, the medical staff device 100 may include a camera subsystem 170 connected to the peripheral interface 130 and an optical sensor 171 connected thereto, through which the medical staff device 100 can take pictures and video. You can perform various shooting functions such as clip recording.
다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 통신 서브 시스템 (180) 을 포함할 수 있다. 통신 서브 시스템 (180) 은 하나 이상의 유/무선 네트워크로 구성되며, 다양한 통신 포트, 무선 주파수 송수신기, 광학 송수신기를 포함할 수 있다.In various embodiments, medical staff device 100 may include a communication subsystem 180 coupled with peripheral interface 130 . The communication subsystem 180 is comprised of one or more wired/wireless networks and may include various communication ports, radio frequency transceivers, and optical transceivers.
다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 오디오 서브 시스템 (190) 을 포함하며, 이러한 오디오 서브 시스템 (190) 은 하나 이상의 스피커 (191) 및 하나 이상의 마이크 (192) 를 포함함으로써, 의료진 디바이스 (100) 는 음성 작동형 기능, 예컨대 음성 인식, 음성 복제, 디지털 녹음, 및 전화 기능 등을 수행할 수 있다.In various embodiments, medical staff device 100 includes an audio subsystem 190 coupled with a peripheral interface 130, which includes one or more speakers 191 and one or more microphones 192. By including this, clinician device 100 can perform voice-activated functions, such as voice recognition, voice replication, digital recording, and telephony functions.
다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 I/O 서브시스템 (140) 을 포함할 수 있다. 예를 들어, I/O 서브시스템 (140) 은 터치 스크린 제어기 (141) 를 통해 의료진 디바이스 (100) 에 포함된 터치 스크린 (143) 을 제어할 수 있다. 일 예로서, 터치 스크린 제어기 (141) 는 정전용량형, 저항형, 적외형, 표면 탄성파 기술, 근접 센서 어레이 등과 같은 복수의 터치 감지 기술 중 어느 하나의 기술을 사용하여 사용자의 접촉 및 움직임 또는 접촉 및 움직임의 중단을 검출할 수 있다. 다른 예를 들어, I/O 서브시스템 (140) 은 기타 입력 제어기(들) (142) 를 통해 의료진 디바이스 (100) 에 포함된 기타 입력/제어 디바이스 (144) 를 제어할 수 있다. 일 예로서, 기타 입력 제어기(들) (142) 은 하나 이상의 버튼, 로커 스위치 (rocker switches), 썸 휠 (thumb-wheel), 적외선 포트, USB 포트 및 스타일러스 등과 같은 포인터 디바이스를 제어할 수 있다.In various embodiments, medical staff device 100 may include an I/O subsystem 140 coupled with a peripheral interface 130 . For example, the I/O subsystem 140 may control the touch screen 143 included in the medical staff device 100 through the touch screen controller 141. As an example, the touch screen controller 141 uses any one of a plurality of touch sensing technologies such as capacitive, resistive, infrared, surface acoustic wave technology, proximity sensor array, etc. to sense the user's contact and movement or contact. and cessation of movement can be detected. As another example, the I/O subsystem 140 may control other input/control devices 144 included in the medical staff device 100 through other input controller(s) 142. As an example, other input controller(s) 142 may control one or more buttons, rocker switches, thumb-wheels, infrared ports, USB ports, and pointer devices such as a stylus.
다음으로, 도 2b를 참조하면, 정보 제공용 서버 (300) 는 통신 인터페이스 (310), 메모리 (320), I/O 인터페이스 (330) 및 프로세서 (340) 를 포함할 수 있으며, 각 구성은 하나 이상의 통신 버스 또는 신호 선을 통해 서로 통신할 수 있다.Next, referring to FIG. 2B, the information providing server 300 may include a communication interface 310, a memory 320, an I/O interface 330, and a processor 340, each component being one. They can communicate with each other through one or more communication buses or signal lines.
통신 인터페이스 (310) 는 유/무선 통신 네트워크를 통해 의료진 디바이스 (100) 및 의료 영상 제공용 디바이스 (200) 와 연결되어 데이터를 주고받을 수 있다. 예를 들어, 통신 인터페이스 (310) 는 의료 영상 제공용 디바이스 (200) 로부터 하지 의료 영상을 수신할 수 있고, 결정된 관절강과 연관된 정보를 의료진 디바이스 (100) 에 송신할 수 있다. The communication interface 310 can be connected to the medical staff device 100 and the medical image providing device 200 through a wired/wireless communication network to exchange data. For example, the communication interface 310 may receive a lower extremity medical image from the medical image providing device 200 and may transmit information associated with the determined joint cavity to the medical staff device 100 .
한편, 이러한 데이터의 송수신을 가능하게 하는 통신 인터페이스 (310) 는 통신 포드 (311) 및 무선 회로 (312) 를 포함하며, 여기 유선 통신 포트 (311) 는 하나 이상의 유선 인터페이스, 예를 들어, 이더넷, 범용 직렬 버스 (USB), 파이어와이어 등을 포함할 수 있다. 또한, 무선 회로 (312) 는 RF 신호 또는 광학 신호를 통해 외부 디바이스와 데이터를 송수신할 수 있다. 아울러, 무선 통신은 복수의 통신 표준, 프로토콜 및 기술, 예컨대 GSM, EDGE, CDMA, TDMA, 블루투스, Wi-Fi, VoIP, Wi-MAX, 또는 임의의 기타 적합한 통신 프로토콜 중 적어도 하나를 사용할 수 있다. Meanwhile, the communication interface 310 that enables transmission and reception of such data includes a communication pod 311 and a wireless circuit 312, where the wired communication port 311 is connected to one or more wired interfaces, for example, Ethernet, May include Universal Serial Bus (USB), Firewire, etc. Additionally, the wireless circuit 312 can transmit and receive data with an external device through RF signals or optical signals. Additionally, wireless communications may use at least one of a plurality of communication standards, protocols and technologies, such as GSM, EDGE, CDMA, TDMA, Bluetooth, Wi-Fi, VoIP, Wi-MAX, or any other suitable communication protocol.
메모리 (320) 는 정보 제공용 서버 (300) 에서 사용되는 다양한 데이터를 저장할 수 있다. 예를 들어, 메모리 (320) 는 하지 의료 영상을 저장하거나, 하지 의료 영상을 기초로 대퇴 영역, 경골 내곽 영역 및 경골 외곽 영역 각각을 분할하도록 학습된 복수의 예측모델, 관절선을 결정하는 알고리즘 등을 저장할 수 있다. The memory 320 can store various data used in the information provision server 300. For example, the memory 320 stores lower extremity medical images, or uses a plurality of prediction models learned to segment each of the femoral region, tibial inner region, and tibial outer region based on the lower limb medical images, an algorithm for determining joint lines, etc. can be saved.
다양한 실시예에서, 메모리 (320) 는 각종 데이터, 명령 및 정보를 저장할 수 있는 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 예를 들어, 메모리 (320) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 네트워크 저장 스토리지, 클라우드, 블록체인 데이터베이스 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.In various embodiments, memory 320 may include volatile or non-volatile recording media capable of storing various data, instructions, and information. For example, the memory 320 may be a flash memory type, hard disk type, multimedia card micro type, card type memory (e.g. SD or XD memory, etc.), RAM, SRAM, ROM, EEPROM, PROM, network storage storage. , cloud, or blockchain database may include at least one type of storage medium.
다양한 실시예에서, 메모리 (320) 는 운영 체제 (321), 통신 모듈 (322), 사용자 인터페이스 모듈 (323) 및 하나 이상의 애플리케이션 (324) 중 적어도 하나의 구성을 저장할 수 있다. In various embodiments, memory 320 may store configuration of at least one of operating system 321, communication module 322, user interface module 323, and one or more applications 324.
운영 체제 (321) (예를 들어, LINUX, UNIX, MAC OS, WINDOWS, VxWorks 등의 내장형 운영 체제) 는 일반적인 시스템 작업 (예를 들어, 메모리 관리, 저장 디바이스 제어, 전력 관리 등) 를 제어하고 관리하기 위한 다양한 소프트웨어 컴포넌트 및 드라이버를 포함할 수 있으며, 다양한 하드웨어, 펌웨어, 및 소프트웨어 컴포넌트 간의 통신을 지원할 수 있다.Operating system 321 (e.g., embedded operating system such as LINUX, UNIX, MAC OS, WINDOWS, VxWorks, etc.) controls and manages general system operations (e.g., memory management, storage device control, power management, etc.) It may include various software components and drivers to do so, and may support communication between various hardware, firmware, and software components.
통신 모듈 (323) 은 통신 인터페이스 (310) 를 통해 다른 디바이스와 통신을 지원할 수 있다. 통신 모듈 (320) 은 통신 인터페이스 (310) 의 유선 통신 포트 (311) 또는 무선 회로 (312) 에 의해 수신되는 데이터를 처리하기 위한 다양한 소프트웨어 구성 요소들을 포함할 수 있다.The communication module 323 may support communication with other devices through the communication interface 310. The communication module 320 may include various software components for processing data received by the wired communication port 311 or the wireless circuit 312 of the communication interface 310.
사용자 인터페이스 모듈 (323) 은 I/O 인터페이스 (330) 를 통해 키보드, 터치 스크린, 마이크 등으로부터 사용자의 요청 또는 입력을 수신하고, 디스플레이 상에 사용자 인터페이스를 제공할 수 있다. 예를 들어, 사용자 인터페이스 모듈 (323) 은 I/O 인터페이스 (330) 를 통해 반자동 시스템에서 관절강 측정치 결정을 위한 기준점, 보정된 기준선의 입력을 수신할 수 있다.The user interface module 323 may receive a user's request or input from a keyboard, touch screen, microphone, etc. through the I/O interface 330 and provide a user interface on the display. For example, the user interface module 323 may receive an input of a reference point or a corrected baseline for determining joint space measurements in a semi-automatic system through the I/O interface 330.
애플리케이션 (324) 은 하나 이상의 프로세서 (330) 에 의해 실행되도록 구성되는 프로그램 또는 모듈을 포함할 수 있다. 여기서, 관절강과 연관된 정보를 제공하기 위한 애플리케이션은 서버 팜 (server farm) 상에서 구현될 수 있다.Applications 324 may include programs or modules configured to be executed by one or more processors 330 . Here, an application for providing information related to the joint space may be implemented on a server farm.
I/O 인터페이스 (330) 는 정보 제공용 서버 (300) 의 입출력 디바이스 (미도시), 예컨대 디스플레이, 키보드, 터치 스크린 및 마이크 중 적어도 하나를 사용자 인터페이스 모듈 (323) 과 연결할 수 있다. I/O 인터페이스 (330) 는 사용자 인터페이스 모듈 (323) 과 함께 사용자 입력 (예를 들어, 음성 입력, 키보드 입력, 터치 입력 등) 을 수신하고, 수신된 입력에 따른 명령을 처리할 수 있다. The I/O interface 330 may connect at least one of input/output devices (not shown) of the information providing server 300, such as a display, keyboard, touch screen, and microphone, to the user interface module 323. The I/O interface 330 may receive user input (eg, voice input, keyboard input, touch input, etc.) together with the user interface module 323 and process commands according to the received input.
프로세서 (340) 는 통신 인터페이스 (310), 메모리 (320) 및 I/O 인터페이스 (330) 와 연결되어 정보 제공용 서버 (300) 의 전반적인 동작을 제어할 수 있으며, 메모리 (320) 에 저장된 애플리케이션 또는 프로그램을 통해 정보 제공을 위한 다양한 명령들을 수행할 수 있다. The processor 340 is connected to the communication interface 310, the memory 320, and the I/O interface 330 to control the overall operation of the information server 300, and operates the application or The program can execute various commands to provide information.
프로세서 (340) 는 CPU (Central Processing Unit) 나 AP (Application Processor) 와 같은 연산 장치에 해당할 수 있다. 또한, 프로세서 (340) 는 다양한 연산 장치가 통합된 SoC (System on Chip) 와 같은 통합 칩 (Integrated Chip (IC)) 의 형태로 구현될 수 있다. 또는 프로세서 (340) 는 NPU (Neural Processing Unit) 과 같이 인공 신경망 모델을 계산하기 위한 모듈을 포함할 수 있다.The processor 340 may correspond to a computing device such as a CPU (Central Processing Unit) or AP (Application Processor). Additionally, the processor 340 may be implemented in the form of an integrated chip (IC) such as a system on chip (SoC) in which various computing devices are integrated. Alternatively, the processor 340 may include a module for calculating an artificial neural network model, such as a Neural Processing Unit (NPU).
이하에서는, 도 3, 도 4a 및 4b, 도 5a 및 5b, 도 6을 참조하여, 본 발명의 일 실시예에 따른 관절강에 대한 정보 제공 방법을 구체적으로 설명한다. 도 3은 본 발명의 일 실시예에 따른 관절강에 대한 정보 제공 방법의 절차를 도시한 것이다. 도 4a 및 4b, 도 5a 및 5b는 본 발명의 일 실시예에 따른 관절강에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다. 도 6은 본 발명의 다양한 실시예에 따른 관절강에 대한 정보 제공 방법에서, 반자동 시스템의 사용자 인터페이스를 예시적으로 도시한 것이다. Hereinafter, with reference to FIGS. 3, 4A and 4B, 5A and 5B, and 6, a method of providing information on the joint space according to an embodiment of the present invention will be described in detail. Figure 3 illustrates the procedure of a method for providing information on the joint space according to an embodiment of the present invention. FIGS. 4A and 4B and FIGS. 5A and 5B exemplarily illustrate procedures of a method for providing information on the joint space according to an embodiment of the present invention. Figure 6 exemplarily illustrates a user interface of a semi-automatic system in a method of providing information about the joint space according to various embodiments of the present invention.
먼저, 도 3을 참조하면, 본 발명의 일 실시예에 따른 정보 제공 절차는 다음과 같다. 먼저, 개체에 대한 하지 의료 영상이 수신된다 (S310). 그 다음, 하지 의료 영상에 대하여, 대퇴 영역, 경골 내곽 영역 및 경골 외곽 영역을 예측하도록 구성된 복수의 예측 모델에 의해, 대퇴 영역과 경골 영역들 각각이 예측된다 (S320). 다음으로, 대퇴 영역과 경골 영역들 각각에 기초하여 가이드선이 결정되고 (S330), 가이드선에 기초하여 관절강 측정치가 결정되고 (S340) 이 결정된다.First, referring to Figure 3, the information provision procedure according to an embodiment of the present invention is as follows. First, a lower extremity medical image for the object is received (S310). Next, for the lower extremity medical image, each of the femur region and tibia region is predicted by a plurality of prediction models configured to predict the femur region, tibia inner region, and tibia outer region (S320). Next, a guide line is determined based on each of the femur region and tibia region (S330), and a joint space measurement value is determined based on the guide line (S340).
보다 구체적으로, 하지 의료 영상이 수신되는 단계 (3210) 에서 개체에 대한 하지 의료 영상이 수신될 수 있다. 이때, 하지 의료 영상은 대퇴 영역 (특히, 대퇴 관절구), 경골 영역을 포함할 수 있다. 바람직하게, 하지 의료 영상은 무릎을 구부려 찍는 로젠버그 뷰 (Rosenberg view) 영상일 수 있으나, 이에 제한되는 것은 아니다.More specifically, in step 3210 where a lower extremity medical image is received, a lower extremity medical image for an entity may be received. At this time, the lower extremity medical image may include the femur area (particularly, the femoral condyle) and the tibia area. Preferably, the lower extremity medical image may be a Rosenberg view image taken with the knee bent, but is not limited thereto.
다음으로, 각각의 영역이 예측되는 단계 (S320) 에서, 복수의 예측 모델에 의해 대퇴 영역 및 경골 영역들이 예측될 수 있다.Next, in the step S320 where each region is predicted, the femur region and tibia region may be predicted by a plurality of prediction models.
본 발명의 특징에 따르면, 각각의 영역이 예측되는 단계 (S320) 에서, 대퇴 영역, 경골 내곽 영역 및 경골 외곽 영역 각각이 복수의 모델 각각에 의해 결정될 수 있다. According to a feature of the present invention, in the step of predicting each region (S320), each of the femur region, tibia inner region, and tibia outer region may be determined by each of a plurality of models.
이때, 복수의 모델은, 하지 의료 영상을 입력으로 하여 대퇴 영역을 출력하도록 구성된 제1 예측 모델, 하지 의료 영상을 입력으로 하여 경골 내곽 영역을 출력하도록 구성된 제2 예측 모델, 및 하지 의료 영상을 입력으로 하여 경골 외곽 영역을 출력하도록 구성된 제3 예측 모델로 이루어질 수 있다.At this time, the plurality of models include a first prediction model configured to output the femur region by taking the lower extremity medical image as input, a second prediction model configured to output the inner tibia region by taking the lower extremity medical image as input, and inputting the lower extremity medical image. It can be formed as a third prediction model configured to output the tibia outer area.
예를 들어, 도 4a를 함께 참조하면 각각의 영역이 예측되는 단계 (S220) 에서, 하지 의료 영상 (412) 이, 제1 예측 모델 (420a), 제2 예측 모델 (420b) 및 제3 예측 모델 (420c) 로 구성된 복수의 모델 (420) 에 입력된다. 그 결과, 제1 예측 모델 (420a) 에 의해 대퇴 영역 (422a) 이 예측 (분할) 되고, 제2 예측 모델 (420b) 에 의해 경골 내곽 영역 (422b) 이 예측 (분할) 된다. 나아가, 제3 예측 모델 (420c) 에 경골 외곽 영역 (422c) 이 예측 (분할) 된다. For example, referring to FIG. 4A together, in step S220 where each region is predicted, the lower extremity medical image 412 is divided into a first prediction model 420a, a second prediction model 420b, and a third prediction model. It is input to a plurality of models (420) consisting of (420c). As a result, the femur region 422a is predicted (segmented) by the first prediction model 420a, and the inner tibia region 422b is predicted (segmented) by the second prediction model 420b. Furthermore, the tibia outer region 422c is predicted (segmented) in the third prediction model 420c.
이때, 대퇴 영역 (422a) 은 관절강 측정치 결정의 기준이 되는 대퇴부 관절구 (femoral condyle) 의 관절선 (joint line) 을 포함하고, 경골 내곽 영역 (422b) 및 경골 외곽 영역 (422c) 은 경골 관절선을 포함한다.At this time, the femoral region 422a includes the joint line of the femoral condyle, which is the standard for determining joint space measurements, and the tibial inner region 422b and tibial outer region 422c include the tibial joint line. Includes.
한편, 골 영역의 예측은 전술한 것에 제한되는 것은 아니며 단일 모델에 의해 대퇴 영역, 경골 내곽 영역 및 경골 외곽 영역이 결정될 수도 있다. 나아가, 예측 모델은 좌측 다리 및 우측 다리 각각에 대하여 3 개의 골 영역을 분할하도록 구성된 6 개의 모델로 이루어질 수도 있다.Meanwhile, prediction of the bone area is not limited to the above, and the femur area, tibia inner area, and tibia outer area may be determined by a single model. Furthermore, the prediction model may be composed of six models configured to segment three goal regions for each of the left leg and right leg.
즉, 대퇴 영역 및 경골 영역이 예측되는 단계 (S220) 의 결과로 하지 의료 영상 내에서 3 개의 영역 (또는, 좌측-우측의 6 개 영역) 이 분할 및 출력될 수 있다. That is, as a result of the step S220 in which the femur region and tibia region are predicted, three regions (or six regions from left to right) can be divided and output within the lower extremity medical image.
다시 도 3으로 돌아오면, 분할된 골 영역에 기초하여 가이드선이 결정되고 (S330), 이를 기초로 관절강 측정치가 결정된다 (S340).Returning to Figure 3, a guide line is determined based on the divided bone area (S330), and a joint space measurement value is determined based on this (S340).
이때, 가이드선은 경골 내곽 영역 또는 경골 외곽 영역의 적어도 한 점과 대퇴 영역 내의 적어도 한 점을 잇는 선으로서, 관절강 측정치 결정을 위한 골 영역 범위를 제시할 수 있다. At this time, the guide line is a line connecting at least one point in the tibia inner area or tibia outer area and at least one point in the femur area, and can present the bone area range for determining the joint space measurement value.
한편, 본 발명의 특징에 따르면 가이드 선이 결정되는 단계에서, 하지의 내측 (medial) 에 대한 가이드선 및 하지 외측 (lateral) 에 대한 가이드선이 결정될 수 있다. 즉, 하지 내측 및 외측 각각의 해부학적 특징에 기초하여 측정치 결정을 위한 가이드선이 결정될 수 있다.Meanwhile, according to a feature of the present invention, in the step of determining the guide line, a guide line for the medial side of the lower leg and a guide line for the lateral side of the lower leg may be determined. That is, a guide line for determining the measurement value can be determined based on the anatomical characteristics of each of the inner and outer lower limbs.
본 발명의 다른 특징에 따르면 가이드선이 결정되는 단계 (S330) 이후에, 가이드선 및 대퇴 영역을 기초로 대퇴부 관절구 (femoral condyle) 의 관절선 (joint line) 이 결정되고, 가이드선, 경골 내곽 영역 및 경골 외곽 영역을 기초로, 경골의 관절선이 결정될 수 있다. According to another feature of the present invention, after the step of determining the guide line (S330), the joint line of the femoral condyle is determined based on the guide line and the femoral region, and the guide line and the inner tibia are determined. Based on the area and the outer area of the tibia, the joint line of the tibia can be determined.
나아가, 관절강 측정치가 결정되는 단계 (S340) 에서, 대퇴부 관절구의 관절선 및 경골의 관절에 기초하여 관절강 측정치가 결정될 수 있다.Furthermore, in the step S340 in which the joint space measurement value is determined, the joint space measurement value may be determined based on the joint line of the femoral condyle and the joint of the tibia.
예를 들어, 도 4b를 참조하면, 분할된 각각의 골 영역 (422a, 422b 및 422c) 에 기초하여, 관절강 측정치 결정을 위한 영역의 범위를 제시하는 복수의 가이드선 (432a, 432b, 432c 및 432d) 이 결정되고, 외측 (lateral) 및 내측 (medial) 의 경골의 관절선 (434a 및 434c) 과 함께, 외측 및 내측의 대퇴부 관절구의 관절선 (434b 및 434d) 이 결정된다. 그 다음, 이를 기초로 측정치 결정을 위한 기준점 (442) 이 결정된다. 최종적으로, 기준점 (442) 에서, 관절강 너비 (미도시) 가 결정된다.For example, referring to FIG. 4B, based on each of the divided bone regions 422a, 422b, and 422c, a plurality of guide lines 432a, 432b, 432c, and 432d present a range of regions for determining joint space measurements. ) are determined, and the joint lines 434a and 434c of the lateral and medial tibia are determined, along with the joint lines 434b and 434d of the lateral and medial femoral condyles. Then, based on this, a reference point 442 for determining the measurement value is determined. Finally, at reference point 442, the joint space width (not shown) is determined.
한편, 관절 선의 결정은, 가이드선 내의 대퇴 영역 또는 경골 영역을 이루는 픽셀의 강도와 함께, 분할된 대퇴 영역 또는 분할된 경골 영역에 대한 경계선에 기초하여 수행될 수 있다.Meanwhile, determination of the joint line may be performed based on the boundary line for the divided femur region or divided tibia region along with the intensity of pixels forming the femur region or tibia region within the guide line.
본 발명의 다른 특징에 따르면, 경골 관절선의 결정은 경골 외곽 영역에 대한 픽셀 강도에 기초하여 복수의 제1 특징점을 결정하고, 경골 내곽 영역에 대한 경계선을 기초로 복수의 제2 특징점을 결정하고, 제1 특징점 및 제2 특징점에 기초하여 수행될 수 있다.According to another feature of the present invention, the tibial joint line is determined by determining a plurality of first feature points based on pixel intensity for the tibia outer region, and determining a plurality of second feature points based on the boundary line for the tibia inner region, It may be performed based on the first feature point and the second feature point.
본 발명의 또 다른 특징에 따르면, 관절선의 결정은, 대퇴 영역에 기초하여 제1 가이드선이 결정되고, 제1 가이드선을 확장하여 제2 가이드선이 획득된 후, 제2 가이드선 내에서 확장된 대퇴부 관절구의 과절선 및/또는 확장된 경골의 관절선이 결정됨으로써 수행될 수 있다.According to another feature of the present invention, in determining the joint line, a first guide line is determined based on the femoral region, a second guide line is obtained by expanding the first guide line, and then the second guide line is expanded within the second guide line. This may be performed by determining the joint line of the expanded femoral condyle and/or the joint line of the expanded tibia.
예를 들어, 도 5a를 참조하면 하지 내측에서, 경골 외곽 영역 (422c) 의 픽셀 강도에 기초하여 미리 결정된 수준 이상의 강도를 갖는 엣지에 대응하는 복수의 제1 특징점이 결정되고, 분할된 경골 내곽 영역 (422b) 의 경계의 엣지에 대응하는 복수의 제2 특징점이 결정된다. 이때, 제1 가이드선이 알고리즘에 의해 확장되어 제2 가이드선이 결정되는데, 확장된 제2 가이드선의 영역 내에서 최종 특징점 (또는, 제3 특징점) 이 결정되고, 이를 기초로 단일의 핏팅선인 내측 경골 관절선 (434c) 이 결정된다. 즉, 경계가 불분명하여 예측 모델의 학습을 통한 정확한 관절선 추출이 어려울 수 있는 경골의 내측 (medial) 의 경우 정확도 높은 관절선의 결정이 가능할 수 있다. 한편, 이러한 강도 기반 관절선의 결정은 경골의 내측에 제한되는 것이 아니며, 경골 외측의 경골 관절선, 나아가 대퇴부 관절구의 내측 및 외측의 대퇴부 관절구의 관절선의 결정에 적용될 수 있다. 나아가 관절선의 결정은 전술한 방법에 제한되는 것이 아니다.For example, referring to FIG. 5A, on the inner side of the lower extremity, a plurality of first feature points corresponding to edges having an intensity equal to or higher than a predetermined level are determined based on the pixel intensity of the tibia outer region 422c, and the divided tibia inner region region 422c is determined. A plurality of second feature points corresponding to the edges of the boundary of 422b are determined. At this time, the first guide line is expanded by an algorithm to determine the second guide line. The final feature point (or third feature point) is determined within the area of the expanded second guide line, and based on this, the inner feature point, which is a single fitting line, is determined. The tibial joint line 434c is determined. That is, in the case of the medial tibia, where the boundary is unclear and it may be difficult to extract an accurate joint line through learning a prediction model, it may be possible to determine a joint line with high accuracy. Meanwhile, the determination of this strength-based joint line is not limited to the inner side of the tibia, and can be applied to the determination of the tibial joint line on the outside of the tibia, and further the joint lines of the inner and outer femoral condyles of the femoral condyle. Furthermore, determination of the joint line is not limited to the above-described method.
다른 예를 들어, 도 5b를 더욱 참조하면, 하지 외측에서 경골 외곽 영역 (422c) 의 경계선에 기초하여 복수의 특징점이 결정되고, 특징점에 기초하여 핏팅선의 외측 경골 관절선 (434a) 이 결정된다. 이때, 특징점은 자연스러운 외측 경골 관절선 (434a) 이 결정되도록, 확장된 제2 가이드선의 영역 내에서 추출될 수 있다. 그 결과, 정확도 높고, 자연스러운 외측 경골 관절선 (434a) 의 획득이 가능할 수 있다. For another example, further referring to FIG. 5B, a plurality of feature points are determined on the outer side of the lower extremity based on the boundary line of the tibial outer region 422c, and the outer tibial joint line 434a of the fitting line is determined based on the feature points. At this time, the feature point may be extracted within the area of the expanded second guide line so that the natural lateral tibial joint line 434a is determined. As a result, it may be possible to obtain a highly accurate and natural lateral tibial joint line 434a.
다시, 도 3으로 돌아오면, 가이드선이 결정되는 단계 (S330) 에서, 복수의 기준선에 기초하여 가이드선이 결정될 수 있다.Returning again to FIG. 3, in the step of determining the guide line (S330), the guide line may be determined based on a plurality of reference lines.
보다 구체적으로, 가이드선이 결정되는 단계 (S330) 에서, 내측 대퇴 영역 및 외측 대퇴 영역 각각과 한 점에서 만나는 제1 기준선, 제1 기준선과 수직이되, 내측 대퇴 영역의 상과 (epicondyle) 및 외측 대퇴 영역의 상과와 접하는 제2 기준선이 결정되고, 제1 기준선 및 제2 기준선에 기초하여 가이드선이 결정될 수 있다.More specifically, in the step (S330) in which the guide line is determined, a first reference line meets each of the inner thigh region and the outer thigh region at one point, is perpendicular to the first reference line, and is located at the epicondyle of the inner thigh region and A second reference line bordering the epicondyle of the lateral thigh region is determined, and a guide line can be determined based on the first reference line and the second reference line.
이때, 사용자로부터 생성된 제1 기준선 또는 제2 기준선에 대한 보정된 기준선을 입력받을 수 있다. 그 다음, 보정된 기준선을 기준으로 가이드선이 결정될 수 있다. At this time, a corrected baseline for the first or second baseline created by the user may be input. Then, a guide line can be determined based on the corrected baseline.
본 발명의 특징에 따르면, 관절강 측정치가 결정되는 단계 (S340) 에서, 사용자로부터 가이드선의 영역 내에서 제1 기준선 상의 기준점을 입력받고, 기준점과 제2 기준선을 기초로 관절강 폭 (Joint space width) 이 결정될 수 있다.According to a feature of the present invention, in the step (S340) in which the joint space measurement value is determined, a reference point on the first reference line within the area of the guide line is input from the user, and the joint space width is determined based on the reference point and the second reference line. can be decided.
즉, 본 발명의 다양한 실시예에 따른 정보 제공 방법은 반자동 시스템으로 제공될 수 있다.That is, the information provision method according to various embodiments of the present invention may be provided as a semi-automatic system.
예를 들어, 도 6을 참조하면, 출력부를 통해 제공되는 반자동 시스템의 사용자 인터페이스가 도시된다. 보닥 구체적으로 사용자 인터페이스는 하지 의료 영상에 대하여 좌측 또는 우측을 선택하는, 선택 영역 (612) 을 포함한다. 나아가 가이드선 추출을 위한 기준선의 변형 및 설정을 입력받는, 기준선 설정 영역 (613), 가이드선 최종 추출을 위한 가이드선 추출 영역 (614) 이 포함된다. 또한, 가이드선의 영역 내에서 관절강 측정치의 기준점의 설정을 입력받는 기준점 설정 영역 (615) 이 포함된다. 다양한 실시예에서, 관절강 측정치는 기준점 (예를 들어, X = 2.5, X= 25, X= 87.5 또는 X= 75) 에서의 관절강의 너비, 즉 기준점에서 대퇴부 관절구 윤곽선과 경골 관절선의 직선 거리일 수 있다. 그러나, 관절강 측정치는 전술한 것에 제한되는 것은 아니다.For example, referring to Figure 6, a user interface of a semi-automatic system provided through an output unit is shown. Specifically, the user interface includes a selection area 612, which selects left or right for the lower extremity medical image. Furthermore, it includes a baseline setting area 613 that receives input of modifications and settings of the baseline for guide line extraction, and a guide line extraction area 614 for final extraction of the guide line. In addition, a reference point setting area 615 that receives the setting of a reference point of the joint space measurement value within the area of the guide line is included. In various embodiments, the joint space measurement is the width of the joint space at a reference point (e.g., You can. However, joint space measurements are not limited to those described above.
또 다른 실시예에 따르면, 사용자 인터페이스는 관절강의 너비의 결정을 위한 가이드선 생성을 입력받는 가이드선 생성 영역 (616), 및 기준점의 설정을 입력받는 기준점 설정 영역 (617) 을 더욱 포함할 수 있다.According to another embodiment, the user interface may further include a guide line creation area 616 that receives input for creating a guide line for determining the width of the joint space, and a reference point setting area 617 that receives input for setting a reference point. .
이때, 사용자 인터페이스는 사용자로부터 입력이 용이하도록, 제1 기준선 및 제2 기준선과 함께 가이드선을 도시하는 의료 영상 (618) 을 함께 제공할 수도 있다.At this time, the user interface may also provide a medical image 618 showing a guide line along with the first and second reference lines to facilitate input from the user.
이에, 의료진은, 본 발명의 다양한 실시예에 따른 정보 제공 방법에 따라, 개체의 관절강과 연관된 다양한 정보를 제공받을 수 있어, 보다 빠르게 관절 질환에 대한 의사 결정 및 치료 계획을 수립할 수 있다. 나아가, 반자동 시스템에 의해 잘못 제공된 기준선 등에 대한 보정이 가능할 수 있다. Accordingly, medical staff can receive various information related to the joint space of an individual according to the information provision method according to various embodiments of the present invention, and can more quickly make decisions and establish treatment plans for joint diseases. Furthermore, correction for baselines, etc. provided incorrectly by a semi-automatic system may be possible.
따라서, 의료진의 숙련도에 관계 없이 관절강에 대한 빠른 측정치 결정이 가능하며 이에 대한 신뢰도 높은 정보의 제공이 가능할 수 있다.Therefore, regardless of the skill level of the medical staff, it is possible to quickly determine measurements of the joint space and provide highly reliable information about this.
이하에서는, 도 7을 참조하여 예측 모델의 골 영역 분할을 위한 학습 단계를 구체적으로 설명한다. Below, the learning step for segmenting the goal area of the prediction model will be described in detail with reference to FIG. 7.
도 7을 참조하면, SegNet 기반의 본 발명의 다양한 실시예에 적용되는 예측 모델은, 학습용 하지 의료 영상 (Raw image) 을 입력으로 하여 대퇴 부위 또는 경골 부위가 존재하는 ROI (region of interest) 를 결정하도록 1차 학습될 수 있다. 이때, SegNet 기반의 예측 모델은 배치 크기 4, 최대 반복 횟수 에코 120, 학습률 1xe-2로 학습될 수 있으며. 학습용 영상의 크기는 [0,1]로 스케일된 강도를 갖는 311 X 932 픽셀로 설정될 수 있다.Referring to FIG. 7, the SegNet-based prediction model applied to various embodiments of the present invention determines a region of interest (ROI) in which the femur or tibia region exists by using a lower extremity medical image (raw image) for learning as an input. It can be first learned to do so. At this time, the SegNet-based prediction model can be trained with a batch size of 4, a maximum repetition number of echoes of 120, and a learning rate of 1xe-2. The size of the training image can be set to 311 x 932 pixels with intensity scaled as [0,1].
그 다음, 예측 모델은 ROI를 포함하는 ROI 영상 (ROI image) 을 입력으로 하여, 실제 대퇴 영역 또는 경골 내곽/외곽 영역의 경계를 분할하도록 2차 학습될 수 있다. 즉, 예측 모델은 영역이 분할된 영상 (segmented image) 을 출력하도록 학습될 수 있다. 이때, SegNet 기반의 예측 모델은 배치 크기 4, 최대 반복 횟수 에코 120, 학습률 1xe-2로 학습될 수 있으며, 학습용 영상은 뼈의 크기에 따라, [0,1]로 스케일된 강도를 갖는 다른 픽셀로 크기가 조정될 수 있다.Next, the prediction model can be secondarily trained to segment the boundary of the actual femur region or tibia inner/outer region by using the ROI image including the ROI as input. In other words, the prediction model can be learned to output a segmented image. At this time, the SegNet-based prediction model can be trained with a batch size of 4, a maximum repetition number of echoes of 120, and a learning rate of 1xe-2, and the training image is different pixels with intensity scaled to [0,1] depending on the size of the bone. The size can be adjusted.
즉, 2 단계의 학습 과정에 의해 영역을 분할하도록 학습된 본 발명의 예측 모델은, 입력된 새로운 하지 의료 영상에 대하여 높은 정확도로 영역을 분할할 수 있다.In other words, the prediction model of the present invention, which has been learned to segment a region through a two-step learning process, can segment a region with high accuracy for a new input lower extremity medical image.
이에, 본 발명의 예측 모델은, 예측 과정에 있어서 하지 의료 영상에 대하여 ROI를 설정하고, 핵심 영역만을 포함하도록 크로핑하는 것과 하지 의료 영상의 확대, 변형과 같은 영상의 전처리 과정이 생략될 수 있다. 그럼에도, 본 발명의 예측 모델은, 대퇴 영역, 경골 외곽/내곽 영역과 같은 특정 영역의 예측 능력이 다른 예측 모델들 보다 우수할 수 있다.Accordingly, in the prediction model of the present invention, in the prediction process, image preprocessing processes such as setting an ROI for the lower extremity medical image, cropping to include only the core area, and enlarging and deforming the lower extremity medical image can be omitted. . Nevertheless, the prediction model of the present invention may have better prediction ability in specific areas, such as the femur area and tibia outer/inner area, than other prediction models.
한편, 예측 모델은, 각 부위 별 단일 영역을 분할하도록 학습된 복수의 모델로 존재할 수 있으나, 이에 제한되는 것은 아니며 복수의 영역을 분할하도록 학습된 단일 모델일 수도 있다. Meanwhile, the prediction model may exist as a plurality of models learned to segment a single region for each part, but is not limited thereto and may be a single model learned to segment a plurality of areas.
나아가, 본 발명의 예측 모델의 구조 및 파라미터, 학습 방법은 이에 제한되는 것이 아니다. Furthermore, the structure, parameters, and learning method of the prediction model of the present invention are not limited thereto.
평가: 하지 의료 영상의 중요도 평가Assessment: Assessing the Importance of Lower Extremity Medical Imaging
이하에서는 도 8a 내지 8c를 참조하여 관절강 측정치 평가 결과를 설명한다.Hereinafter, the joint space measurement evaluation results will be described with reference to FIGS. 8A to 8C.
이때, 본 평가를 위해 KL 그레이드 (grade) (0~3) 별 약 12 명 환자 데이터 (총 51 명의 데이터) 가 이용되었고, 3 명의 전문의 (영상의학과 2명, 정형외과 1 명) 가 2 번씩 측정한 결과 각각이 비교예 1, 2 및 3으로, 본 발명의 다양한 실시예에 따른 정보 제공 방법에 따라 자동 결정된 측정치가 실시예로 설정되었다.At this time, for this evaluation, data from approximately 12 patients (total of 51 patients) in each KL grade (0~3) were used, and 3 specialists (2 from the radiology department and 1 from the orthopedics department) reviewed the data twice. The measurement results were Comparative Examples 1, 2, and 3, respectively, and the measurement values automatically determined according to the information provision method according to various embodiments of the present invention were set as examples.
여기서, 왼/오른쪽 하지에 대하여 17%, 20%, 82.5%, 85%의 기준점에서 과절강 너비가 결정되었고, 전체 결과 데이터에 대한 ICC가 측정되었다.Here, the condyle width was determined at reference points of 17%, 20%, 82.5%, and 85% for the left and right lower extremities, and the ICC for the entire outcome data was measured.
먼저, 도 8a를 참조하면 수동툴 기반의 비교예에서 평균 측정 시간이 56 초로, 자동화 알고리즘 기반의 실시예에서 평균 측정 시간이 17 초로 나타난다. 이는, 본 발명의 다양한 실시예에 따른 정보 제공 방법에 적용되는 자동화 알고리즘이 측정치 결정 시간을 단축할 수 있음을 의미할 수 있다.First, referring to FIG. 8A, the average measurement time is 56 seconds in the manual tool-based comparative example, and 17 seconds in the automated algorithm-based example. This may mean that the automated algorithm applied to the information provision method according to various embodiments of the present invention can shorten the measurement value determination time.
다음으로, 도 8b를 참조하면 수동툴 기반의 비교예들 간 ICC가 도시된다. 이때, ICC는 0.928 내지 0.964로, 이러한 결과는 전문의들 간의 실력이 유사한 것을 의미할 수 있다. Next, referring to FIG. 8B, ICC between comparative examples based on manual tools is shown. At this time, the ICC was 0.928 to 0.964, and these results may mean that the skills among the specialists were similar.
다음으로, 도 8c를 참조하면, 수동툴 기반의 측정치와 본 발명의 다양한 실시예에 따른 정보 제공 방법에 적용되는 자동화 알고리즘의 측정의 결과간 ICC는 0.947 내지 0.977의 높은 값을 갖는 것으로 나타난다. 이러한 결과는, 자동화 알고리즘의 자동 측정 수준이 의료진의 수동툴 기반 측정과 유사한 것을 의미할 수 있고, 나아가 자동화 알고리즘이 신뢰성, 재현성, 시간에 대해 향상된 결과를 제공함을 의미할 수 있다. Next, referring to FIG. 8C, the ICC between the manual tool-based measurement and the measurement result of the automated algorithm applied to the information provision method according to various embodiments of the present invention appears to have a high value of 0.947 to 0.977. These results may mean that the automated measurement level of the automated algorithm is similar to the manual tool-based measurement of medical staff, and furthermore, that the automated algorithm provides improved results in terms of reliability, reproducibility, and time.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although embodiments of the present invention have been described in more detail with reference to the accompanying drawings, the present invention is not necessarily limited to these embodiments, and may be modified and implemented in various ways without departing from the technical spirit of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but rather to explain it, and the scope of the technical idea of the present invention is not limited by these embodiments. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive. The scope of protection of the present invention should be interpreted in accordance with the claims below, and all technical ideas within the equivalent scope should be construed as being included in the scope of rights of the present invention.
100: 의료진 디바이스
110: 메모리 인터페이스
120: 프로세서
130: 주변 인터페이스
140: I/O 서브 시스템
141: 터치 스크린 제어기
142: 기타 입력 제어기
143: 터치 스크린
144: 기타 입력 제어 디바이스
150: 메모리
151: 운영 체제
152: 통신 모듈
153: GUI 모듈
154: 센서 처리 모듈
155: 전화 모듈
156: 애플리케이션들
156-1, 156-2: 애플리케이션
157: 디지털 어시스턴트 클라이언트 모듈
158: 사용자 데이터
160: 모션 센서
161: 조명 센서
162: 근접 센서
163: 기타 센서
170: 카메라 서브 시스템
171: 광학 센서
180: 통신 서브 시스템
190: 오디오 서브 시스템
191: 스피커
192: 마이크
300: 정보 제공용 서버
310: 통신 인터페이스
311: 유선 통신 포트
312: 무선 회로
320: 메모리
321: 운영 체제
322: 통신 모듈
323: 사용자 인터페이스 모듈
324: 애플리케이션
330: I/O 인터페이스
340: 프로세서100: Medical staff device
110: memory interface 120: processor
130: peripheral interface 140: I/O subsystem
141: Touch screen controller 142: Other input controller
143: touch screen
144: Other input control devices
150: Memory 151: Operating system
152: Communication module 153: GUI module
154: sensor processing module 155: phone module
156: Applications
156-1, 156-2: Application
157: Digital assistant client module
158: User data
160: motion sensor 161: light sensor
162: Proximity sensor 163: Other sensors
170: Camera subsystem 171: Optical sensor
180: Communication subsystem
190: Audio subsystem
191: Speaker 192: Microphone
300: Server for providing information
310: communication interface
311: wired communication port 312: wireless circuit
320: memory
321: operating system 322: communication module
323: user interface module 324: application
330: I/O interface 340: Processor
Claims (22)
상기 통신부를 통해, 개체의 하지 의료 영상을 수신하는 단계;
상기 프로세서를 통해, 하지 의료 영상을 입력으로 하여, 대퇴 (Femur) 영역, 경골 내곽 (Tibia inner) 영역 및 경골 외곽 (Tibia outer) 영역 각각을 분할하도록 학습된 복수의 모델을 이용하여, 수신된 상기 하지 의료 영상을 기초로 상기 대퇴 영역, 경골 내곽 영역 및 상기 경골 외곽 영역 각각을 예측하는 단계;
상기 대퇴 영역, 상기 경골 내곽 영역 및 상기 경골 외곽 영역을 기초로 관절강 측정을 위한 가이드선을 결정하되, 상기 가이드선은 상기 경골 내곽 영역 또는 상기 경골 외곽 영역의 적어도 한 점과 상기 대퇴 영역 내의 적어도 한 점을 잇는 선인, 가이드선을 결정하는 단계, 및
상기 가이드선을 기초로 관절강 측정치를 결정하는 단계를 포함하는, 관절강에 대한 정보 제공 방법.A method of providing information about a joint space implemented by a processor and a communication unit,
Receiving a lower extremity medical image of an entity through the communication unit;
Through the processor, a lower extremity medical image is input, and a plurality of models are learned to segment each of the femur region, tibia inner region, and tibia outer region, and the received Predicting each of the femur region, tibia inner region, and tibia outer region based on lower extremity medical images;
A guide line for joint space measurement is determined based on the femur region, the tibia inner region, and the tibia outer region, wherein the guide line is at least one point in the tibia inner region or the tibia outer region and at least one point in the femur region. Steps to determine the line connecting the points, the guide line, and
A method of providing information about the joint space, including the step of determining a joint space measurement value based on the guide line.
상기 가이드선을 결정하는 단계 이후에,
상기 가이드선 및 상기 대퇴 영역을 기초로 대퇴부 관절구 (femoral condyle) 의 관절선 (joint line) 을 결정하는 단계, 및
상기 가이드선, 경골 내곽 영역 및 경골 외곽 영역을 기초로, 경골의 관절선을 결정하는 단계를 더 포함하고,
상기 관절강 측정치를 결정하는 단계는,
상기 대퇴부의 관절구의 관절선 및 상기 경골의 관절선을 기초로 상기 관절강 측정치를 결정하는 단계를 포함하는, 관절강에 대한 정보 제공 방법.According to paragraph 1,
After determining the guide line,
determining a joint line of the femoral condyle based on the guide line and the femoral region, and
Further comprising determining the joint line of the tibia based on the guide line, the tibia inner region, and the tibia outer region,
The step of determining the joint space measurement value is,
A method of providing information about a joint space, comprising determining the joint space measurement based on the joint line of the condyle of the femur and the joint line of the tibia.
상기 대퇴부 관절구의 관절선을 결정하는 단계는,
상기 가이드선 내의 대퇴 영역에 대한 픽셀 강도 (intensity) 및 상기 대퇴 영역에 대한 경계선에 기초하여 상기 대퇴부 관절구의 관절선을 결정하는 단계를 포함하고, 또는
상기 경골의 관절선을 결정하는 단계는,
상기 가이드선 내의 경골 내곽 영역 또는 경골 외곽 영역에 대한 픽셀 강도 및 상기 경골 내곽 영역 또는 상기 경골 외곽 영역에 대한 경계선에 기초하여 상기 경골 관절선을 결정하는 단계를 포함하는, 관절강에 대한 정보 제공 방법.According to paragraph 2,
The step of determining the joint line of the femoral condyle is,
determining a joint line of the femoral condyle based on a pixel intensity for the femoral region within the guide line and a boundary line for the femoral region, or
The step of determining the joint line of the tibia is,
Determining the tibial joint line based on a pixel intensity for the tibial inner region or tibial outer region within the guide line and a boundary line for the tibial inner region or the tibial outer region. Method for providing information about the joint space, comprising: determining the tibial joint line.
상기 경골의 관절선을 결정하는 단계는,
상기 경골 외곽 영역에 대한 픽셀 강도에 기초하여 복수의 제1 특징점을 결정하는 단계;
상기 경골 내곽 영역에 대한 경계선을 기초로 복수의 제2 특징점을 결정하는 단계, 및
상기 제1 특징점 및 상기 제2 특징점에 기초하여 상기 경골 관절선을 결정하는 단계를 포함하는, 관절강에 대한 정보 제공 방법.According to paragraph 3,
The step of determining the joint line of the tibia is,
determining a plurality of first feature points based on pixel intensity for the tibia outer region;
determining a plurality of second feature points based on a boundary line for the tibia inner region, and
A method of providing information about a joint space, comprising determining the tibial joint line based on the first feature point and the second feature point.
상기 제1 특징점을 결정하는 단계는,
상기 경골 외곽 영역에 대한 픽셀의 거리값 또는 기울기에 기초하여 상기 제1 특징점을 결정하는 단계를 포함하는, 관절강에 대한 정보 제공 방법.According to paragraph 4,
The step of determining the first feature point is,
A method of providing information about the joint space, comprising the step of determining the first feature point based on a distance value or slope of a pixel with respect to the tibia outer region.
상기 제1 특징점 및 상기 제2 특징점에 기초하여 상기 경골 관절선을 결정하는 단계는,
상기 가이드선 내에서 제1 특징점을 우선순위로 상기 경골 관절선을 결정하되, 상기 제1 특징점이 없을 경우 상기 제2 특징점을 기초로 상기 경골 관절선을 결정하는 단계를 포함하는, 관절강에 대한 정보 제공 방법. According to paragraph 4,
The step of determining the tibial joint line based on the first feature point and the second feature point includes:
Information about the joint space, including determining the tibial joint line by prioritizing a first feature point within the guide line, but determining the tibial joint line based on the second feature point when the first feature point is not present. How to provide.
상기 가이드선을 결정하는 단계는,
상기 대퇴 영역을 기초로 제1 가이드선을 결정하는 단계를 포함하고,
상기 가이드선을 결정하는 단계 이후에,
제2 가이드선을 획득하도록, 상기 제1 가이드선을 확장하는 단계를 더 포함하고,
상기 대퇴부 관절구의 관절선을 결정하는 단계는,
상기 제2 가이드선 내에서 확장된 대퇴부 관절구의 관절선을 결정하는 단계를 더 포함하고,
상기 경골의 관절선을 결정하는 단계는,
상기 제2 가이드선 내에서 확장된 경골의 관절선을 결정하는 단계를 더 포함하는,관절강에 대한 정보 제공 방법. According to paragraph 2,
The step of determining the guide line is,
It includes determining a first guide line based on the thigh area,
After determining the guide line,
further comprising extending the first guide line to obtain a second guide line,
The step of determining the joint line of the femoral condyle is,
further comprising determining a joint line of the expanded femoral condyle within the second guide line,
The step of determining the joint line of the tibia is,
Method for providing information about the joint space, further comprising determining a joint line of the expanded tibia within the second guide line.
상기 관절강 측정치를 결정하는 단계는,
상기 확장된 대퇴부 관절구의 관절선 및 상기 확장된 경골의 관절선을 기초로 상기 관절강 측정치를 결정하는 단계를 더 포함하는, 관절강에 대한 정보 제공 방법.In clause 7,
The step of determining the joint space measurement value is,
A method of providing information about a joint space, further comprising determining the joint space measurement based on the joint line of the expanded femoral condyle and the joint line of the expanded tibia.
상기 가이드선을 결정하는 단계는,
상기 하지의 내측 (medial) 에 대한 가이드선을 결정하는 단계, 및
상기 하지 외측 (lateral) 에 대한 가이드선을 결정하는 단계를 포함하는, 관절강에 대한 정보 제공 방법. According to paragraph 1,
The step of determining the guide line is,
determining a guide line for the medial side of the lower limb, and
A method of providing information about the joint space, including the step of determining a guide line for the lateral side of the lower limb.
상기 대퇴 영역은,
내측 대퇴 (medial femur) 영역 및 외측 대퇴 (lateral femur) 영역을 포함하고,
상기 가이드선을 결정하는 단계는,
상기 내측 대퇴 영역 및 상기 외측 대퇴 영역 각각과 한 점에서 만나는 제1 기준선을 결정하는 단계;
상기 제1 기준선과 수직이되, 상기 내측 대퇴 영역의 상과 (epicondyle) 또는 상기 외측 대퇴 영역의 상과와 접하는 제2 기준선을 결정하는 단계, 및
상기 제1 기준선 및 상기 제2 기준선을 기초로 상기 가이드선을 결정하는 단계를 더 포함하는, 관절강에 대한 정보 제공 방법.According to paragraph 1,
The femoral region is,
Includes a medial femur region and a lateral femur region,
The step of determining the guide line is,
determining a first reference line that intersects each of the inner thigh region and the outer thigh region at a point;
determining a second reference line perpendicular to the first reference line and bordering the epicondyle of the medial thigh region or the epicondyle of the lateral thigh region, and
Method for providing information about the joint space, further comprising determining the guide line based on the first reference line and the second reference line.
상기 제1 기준선 및 제2 기준선을 기초로 가이드선을 결정하는 단계 이전에,
상기 제1 기준선 또는 상기 제2 기준선을 입력 받는 단계를 더 포함하는, 관절강에 대한 정보 제공 방법. According to clause 10,
Before determining a guide line based on the first and second reference lines,
A method of providing information about the joint space, further comprising receiving the first reference line or the second reference line.
상기 관절강 측정치를 결정하는 단계는,
상기 가이드선 내에서 상기 제1 기준선 상의 기준점을 입력받는 단계, 및
상기 기준점 및 상기 제2 기준선을 기초로 관절강 폭 (Joint space width) 을 결정하는 단계를 포함하는, 관절강에 대한 정보 제공 방법.According to clause 10,
The step of determining the joint space measurement value is,
receiving a reference point on the first reference line within the guide line, and
A method of providing information about the joint space, including the step of determining a joint space width based on the reference point and the second reference point.
상기 각각을 예측하는 단계는,
상기 복수의 모델을 이용하여 상기 하지 의료 영상 내에서 복수의 ROI (region of interest) 각각 결정하는 단계, 및
각각의 ROI 를 기초로 상기 대퇴 영역, 상기 경골 내곽 영역 및 상기 경골 외곽 영역 각각을 예측하는 단계를 포함하는, 관절강에 대한 정보 제공 방법.According to paragraph 1,
The step of predicting each of the above is,
determining a plurality of ROIs (regions of interest) within the lower extremity medical image using the plurality of models, and
A method of providing information about a joint space, comprising predicting each of the femoral region, the tibia inner region, and the tibia outer region based on each ROI.
상기 통신부와 기능적으로 연결된 프로세서를 포함하되,
상기 프로세서는,
하지 의료 영상을 입력으로 하여, 대퇴 (Femur) 영역, 경골 내곽 (Tibia inner) 영역 및 경골 외곽 (Tibia outer) 영역 각각을 분할하도록 학습된 복수의 모델을 이용하여, 수신된 상기 하지 의료 영상을 기초로 상기 대퇴 영역, 경골 내곽 영역 및 상기 경골 외곽 영역 각각을 예측하고,
상기 대퇴 영역, 상기 경골 내곽 영역 및 상기 경골 외곽 영역을 기초로 관절강 측정을 위한 가이드선을 결정하되, 상기 가이드선은 경골 내곽 영역 또는 상기 경골 외곽 영역과 상기 대퇴 영역을 지나가는 선인, 가이드선을 결정하고,
상기 가이드선을 기초로 관절강 측정치를 결정하도록 구성된, 관절강에 대한 정보 제공용 디바이스.a communication unit configured to receive lower extremity medical images of the entity, and
Including a processor functionally connected to the communication unit,
The processor,
Using lower extremity medical images as input, multiple models learned to segment each of the femur region, tibia inner region, and tibia outer region are used based on the received lower limb medical images. Predict each of the femur region, tibia inner region, and tibia outer region,
Determine a guide line for measuring the joint space based on the femur region, the tibia inner region, and the tibia outer region, wherein the guide line is a line passing through the tibia inner region or the tibia outer region and the femur region. do,
A device for providing information on the joint space, configured to determine joint space measurements based on the guide line.
상기 프로세서는,
상기 가이드선 및 상기 대퇴 영역을 기초로 대퇴부 관절구 (femoral condyle) 의 관절선 (joint line) 을 결정하고,
상기 가이드선, 경골 내곽 영역 및 경골 외곽 영역을 기초로, 경골의 관절선을 결정하고,
상기 대퇴부의 관절구의 관절선 및 상기 경골의 관절선을 기초로 상기 관절강 측정치를 결정하도록 더 구성된, 관절강에 대한 정보 제공용 디바이스.According to clause 14,
The processor,
Determining a joint line of the femoral condyle based on the guide line and the femoral region,
Based on the guide line, the tibia inner area and the tibia outer area, determine the joint line of the tibia,
A device for providing information about a joint space, further configured to determine the joint space measurement based on the joint line of the condyle of the femur and the joint line of the tibia.
상기 프로세서는,
상기 가이드선 내의 대퇴 영역에 대한 픽셀 강도 (intensity) 및 상기 대퇴 영역에 대한 경계선에 기초하여 상기 대퇴부 관절구의 관절선을 결정하고,
상기 가이드선 내의 경골 내곽 영역 또는 경골 외곽 영역에 대한 픽셀 강도 및 상기 경골 내곽 영역 또는 상기 경골 외곽 영역에 대한 경계선에 기초하여 상기 경골 관절선을 결정하도록 더 구성된, 관절강에 대한 정보 제공용 디바이스.According to clause 15,
The processor,
Determining a joint line of the femoral condyle based on pixel intensity for the femoral region within the guide line and a boundary line for the femoral region,
The device for providing information about a joint space, further configured to determine the tibial joint line based on a pixel intensity for the tibial inner region or tibial outer region in the guide line and a boundary line for the tibial inner region or the tibial outer region.
상기 프로세서는,
상기 경골 외곽 영역에 대한 픽셀 강도에 기초하여 복수의 제1 특징점을 결정하고,
상기 경골 내곽 영역에 대한 경계선을 기초로 복수의 제2 특징점을 결정하고,
상기 제1 특징점 및 상기 제2 특징점에 기초하여 상기 경골 관절선을 결정하도록 더 구성된, 관절강에 대한 정보 제공용 디바이스.According to clause 16,
The processor,
Determining a plurality of first feature points based on pixel intensity for the tibia outer region,
Determining a plurality of second feature points based on a boundary line for the inner tibia region,
The device for providing information about the joint space is further configured to determine the tibial joint line based on the first feature point and the second feature point.
상기 프로세서는,
상기 대퇴 영역을 기초로 제1 가이드선을 결정하고,
제2 가이드선을 획득하도록, 상기 제1 가이드선을 확장하고,
상기 제2 가이드선 내에서 확장된 대퇴부 관절구의 관절선을 결정하고,
상기 제2 가이드선 내에서 확장된 경골의 관절선을 결정하도록 더 구성된, 관절강에 대한 정보 제공용 디바이스.According to clause 15,
The processor,
Determine a first guide line based on the thigh area,
Extending the first guide line to obtain a second guide line,
Determining the joint line of the expanded femoral condyle within the second guide line,
The device for providing information about the joint space is further configured to determine the joint line of the extended tibia within the second guide line.
상기 프로세서는,
상기 하지의 내측 (medial) 에 대한 가이드선을 결정하고,
상기 하지 외측 (lateral) 에 대한 가이드선을 결정하도록 더 구성된, 관절강에 대한 정보 제공용 디바이스.According to clause 14,
The processor,
Determine a guide line for the medial side of the lower limb,
A device for providing information about the joint space, further configured to determine a guide line for the lateral side of the lower limb.
상기 대퇴 영역은,
내측 대퇴 (medial femur) 영역 및 외측 대퇴 (lateral femur) 영역을 포함하고,
상기 프로세서는,
상기 내측 대퇴 영역 및 상기 외측 대퇴 영역 각각과 한 점에서 만나는 제1 기준선을 결정하고,
상기 제1 기준선과 수직이되, 상기 내측 대퇴 영역의 상과 (epicondyle) 또는 상기 외측 대퇴 영역의 상과와 접하는 제2 기준선을 결정하고,
상기 제1 기준선 및 상기 제2 기준선을 기초로 상기 가이드선을 결정하도록 더 구성된, 관절강에 대한 정보 제공용 디바이스.According to clause 14,
The femoral region is,
Includes a medial femur region and a lateral femur region,
The processor,
Determining a first reference line that intersects each of the inner thigh region and the outer thigh region at a point,
Determining a second reference line perpendicular to the first reference line and bordering the epicondyle of the medial thigh region or the epicondyle of the lateral thigh region,
The device for providing information about the joint space is further configured to determine the guide line based on the first reference line and the second reference line.
상기 제1 기준선 또는 상기 제2 기준선을 입력 받도록 구성된, 입력부를 더 포함하는, 관절강에 대한 정보 제공용 디바이스.According to clause 20,
A device for providing information about the joint space, further comprising an input unit configured to receive the first reference line or the second reference line.
상기 가이드선 내에서 상기 제1 기준선 상의 기준점을 입력받도록 구성된, 입력부를 더 포함하고,
상기 프로세서는,
입력된 상기 기준점 및 상기 제2 기준선을 기초로 관절강 폭 (Joint space width) 을 결정하도록 더 구성된, 관절강에 대한 정보 제공용 디바이스.According to clause 20,
Further comprising an input unit configured to receive a reference point on the first reference line within the guide line,
The processor,
A device for providing information about the joint space, further configured to determine a joint space width based on the inputted reference point and the second reference line.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220077010A KR20240000253A (en) | 2022-06-23 | 2022-06-23 | Method for providing information of joint space and device using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220077010A KR20240000253A (en) | 2022-06-23 | 2022-06-23 | Method for providing information of joint space and device using the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240000253A true KR20240000253A (en) | 2024-01-02 |
Family
ID=89512236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220077010A KR20240000253A (en) | 2022-06-23 | 2022-06-23 | Method for providing information of joint space and device using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240000253A (en) |
-
2022
- 2022-06-23 KR KR1020220077010A patent/KR20240000253A/en unknown
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886933B (en) | Medical image recognition method and device and storage medium | |
| CN114027880B (en) | Method for measuring parameters in ultrasonic image and ultrasonic imaging system | |
| WO2022007342A1 (en) | Image processing method and apparatus, electronic device, storage medium, and program product | |
| JP5851160B2 (en) | Image processing apparatus, operation method of image processing apparatus, and image processing program | |
| CN112561908B (en) | Mammary gland image focus matching method, device and storage medium | |
| KR102228087B1 (en) | Method and apparatus for segmentation of specific cartilage in medical image | |
| US20180182091A1 (en) | Method and system for imaging and analysis of anatomical features | |
| CN113177928B (en) | Image identification method and device, electronic equipment and storage medium | |
| CN111178420B (en) | Coronary artery segment marking method and system on two-dimensional contrast image | |
| CN114078120B (en) | Method, apparatus and medium for detecting scoliosis | |
| Chen et al. | Automated artery localization and vessel wall segmentation using tracklet refinement and polar conversion | |
| McCullough et al. | Convolutional neural network models for automatic preoperative severity assessment in unilateral cleft lip | |
| Gao et al. | Automatic optic disc segmentation based on modified local image fitting model with shape prior information | |
| KR20220090172A (en) | Method for detecting fracture and device using the same | |
| Zahnd et al. | Dynamic block matching to assess the longitudinal component of the dense motion field of the carotid artery wall in B‐mode ultrasound sequences—Association with coronary artery disease | |
| CN116158774B (en) | Methods, apparatus, and computer storage media for measuring tibial plateau caster angle | |
| KR20240000253A (en) | Method for providing information of joint space and device using the same | |
| KR102622932B1 (en) | Appartus and method for automated analysis of lower extremity x-ray using deep learning | |
| CN113689355B (en) | Image processing method, image processing device, storage medium and computer equipment | |
| JP2022179433A (en) | Image processing device and image processing method | |
| CN113792740B (en) | Artery and vein segmentation method, system, equipment and medium for fundus color illumination | |
| CN109919935B (en) | Head and neck blood vessel segmentation method and device | |
| CN114359133A (en) | Hand bone image analysis method based on feature extraction and related equipment | |
| Feng et al. | Research and application of tongue and face diagnosis based on deep learning | |
| KR102518493B1 (en) | Electronic apparatus and method for detecting at least one cervical vertebrae point included in cervical vertebrae using artificial intelligence model in x-ray image including cervical vertebrae |