KR102632865B1 - Deep Learning Digital Templating System for Pre-operative Surgical Planning of Total Knee Replacement - Google Patents
Deep Learning Digital Templating System for Pre-operative Surgical Planning of Total Knee Replacement Download PDFInfo
- Publication number
- KR102632865B1 KR102632865B1 KR1020230045963A KR20230045963A KR102632865B1 KR 102632865 B1 KR102632865 B1 KR 102632865B1 KR 1020230045963 A KR1020230045963 A KR 1020230045963A KR 20230045963 A KR20230045963 A KR 20230045963A KR 102632865 B1 KR102632865 B1 KR 102632865B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- tibia
- femur
- deep learning
- medical
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 68
- 238000013150 knee replacement Methods 0.000 title claims description 11
- 239000007943 implant Substances 0.000 claims abstract description 43
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 31
- 210000000629 knee joint Anatomy 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000004519 manufacturing process Methods 0.000 claims abstract description 11
- 239000000284 extract Substances 0.000 claims abstract description 5
- 230000006399 behavior Effects 0.000 claims abstract description 4
- 210000002303 tibia Anatomy 0.000 claims description 60
- 210000000689 upper leg Anatomy 0.000 claims description 60
- 238000005520 cutting process Methods 0.000 claims description 48
- 238000001356 surgical procedure Methods 0.000 claims description 38
- 239000003795 chemical substances by application Substances 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 15
- 210000003127 knee Anatomy 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims 3
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 210000003484 anatomy Anatomy 0.000 description 4
- 239000012634 fragment Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000011883 total knee arthroplasty Methods 0.000 description 3
- 206010017076 Fracture Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- QTBSBXVTEAMEQO-UHFFFAOYSA-M Acetate Chemical compound CC([O-])=O QTBSBXVTEAMEQO-UHFFFAOYSA-M 0.000 description 1
- 206010070918 Bone deformity Diseases 0.000 description 1
- 208000032984 Intraoperative Complications Diseases 0.000 description 1
- 206010057765 Procedural complication Diseases 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Urology & Nephrology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Robotics (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 환자의 슬관절에 대한 의료영상을 제공하는 영상 제공모듈; 상기 환자를 담당하는 의사가 해당 환자에 대한 임의의 의료정보와, 상기 슬관절에 대한 맞춤형 임플란트의 제작을 위한 행동반응과 관련한 조작신호를 입력가능하게 구성되는 입력모듈; 상기 영상 제공모듈, 상기 입력모듈, 웹 및 외부 서버와 네트워크를 구축하여 통신하면서, 미리 저장된 에디터 프로그램을 통해 임의의 제작 툴을 이용가능한 서비스 환경을 지원하되, 상기 에디터 프로그램 상에 설계된 딥러닝 방식의 알고리즘 데이터가 상기 영상 제공모듈로부터 선제공되는 제1 의료영상과 이에 대응하여 상기 입력모듈로부터 기입력된 제1 조작신호를 기반으로, 상기 슬관절 중 상호 인접된 두 부위의 뼈에 대해 독립적으로 학습되도록 하고, 상기 학습이 수행된 이후를 기점으로 제공되는 제2 의료영상과 이에 대응하여 입력되는 제2 조작신호를 기반으로, 상기 두 부위의 뼈 및 이에 각각 추천되는 각각의 임플란트에 대해 안내하기 위한 커스텀 정보가 자동 추출되도록 하며, 상기 의료정보 및 상기 커스텀 정보가 상기 에디터 프로그램 상에 매핑되도록 하는 제어모듈; 및 상기 제어모듈이 수행하는 절차에 따른 표시정보를 임의의 화면 상에 시각적으로 디스플레이하는 알림모듈을 포함할 수 있다.The present invention includes an image providing module that provides medical images of a patient's knee joint; an input module configured to enable a doctor in charge of the patient to input arbitrary medical information about the patient and a manipulation signal related to a behavioral response for manufacturing a customized implant for the knee joint; It supports a service environment in which arbitrary production tools can be used through a pre-stored editor program while establishing and communicating with the video providing module, the input module, the web, and external servers, and uses a deep learning method designed on the editor program. Algorithm data is independently learned for the bones of two adjacent parts of the knee joint based on the first medical image provided in advance from the image providing module and the first manipulation signal input from the input module corresponding thereto. And, based on the second medical image provided after the learning is performed and the second manipulation signal input correspondingly, a custom device is provided to guide the bones of the two regions and each recommended implant. a control module that automatically extracts information and maps the medical information and custom information onto the editor program; And it may include a notification module that visually displays display information according to the procedure performed by the control module on an arbitrary screen.
Description
본 발명은 두 개의 딥러닝 모델을 개별적으로 학습하여 환자 맞춤형 수술계획을 수립하도록 하고, 영상 처리와 벡터 방정식을 이용한 자동 계측 방법으로 환자 영상에 직접적인 결과를 자동으로 드로잉하는 구성을 통해 의사가 별도의 계측 및 드로잉 작업이 불필요해지며, 가시성 장치를 확보하여 수립자는 물론, 환자 및 제3 자가 수술계획을 용이하게 확인할 수 있는 동시에, GPU 기반의 영상 처리 방법에 의해 연산 시간과 결과 도출 시간을 획기적으로 단축할 수 있는 무릎인공관절 수술계획 수립을 위한 딥러닝 디지털 템플레이팅 시스템에 관한 것이다.The present invention learns two deep learning models separately to establish a patient-tailored surgical plan, and automatically draws direct results on the patient's image using an automatic measurement method using image processing and vector equations, allowing the doctor to Measurement and drawing work becomes unnecessary, and by securing a visibility device, the surgeon, as well as the patient and third parties, can easily check the surgical plan. At the same time, the computational time and result generation time are dramatically reduced by the GPU-based image processing method. This is about a deep learning digital templating system for establishing a shortened knee artificial joint surgery plan.
일반적으로, 슬관절 전치환술 수술계획은 슬관절 전치환술이 필요한 환자의 의료영상을 기반으로 환자의 해부학적 구조나 특성을 분석하고 고려하여 수술에 가장 적합한 임플란트와 수술 방법을 모색하고 이를 기록하여 실제 수술에 사용하는 계획이다.In general, the total knee replacement surgery plan is based on medical images of patients requiring total knee replacement surgery, analyzes and considers the patient's anatomical structure and characteristics, searches for the most suitable implant and surgical method for the surgery, records it, and prepares the actual surgery. plan to use it.
이러한 수술계획의 수립 시에는 영상을 이용하여 수동으로 계측과 아세테이트지 기반의 수동형 템플레이팅을 진행하여 수술계획을 수립하기도 하고 영상처리 소프트웨어 혹은 수술계획 전용 소프트웨어를 이용하여 수술계획을 수립하기도 한다.When establishing such a surgical plan, the surgical plan may be established through manual measurement using images and manual templating based on acetate paper, or the surgical plan may be established using image processing software or software dedicated to surgical planning.
최근에는 인공지능의 발달로 이러한 부분을 자동화하고 정확하고 빠른 수술계획 수립이 가능해졌다. 특히 합성곱 신경망(Convolutional Neural Network; CNN)은 이러한 의료영상 기반으로 특징에 대한 검출, 결정, 추론, 추천 등이 가능해져 수술계획에도 적용될 수 있는 여지를 두고 있다.Recently, the development of artificial intelligence has made it possible to automate these parts and establish accurate and quick surgical plans. In particular, Convolutional Neural Network (CNN) enables detection, decision, inference, and recommendation of features based on medical images, leaving room for application to surgical planning.
성공적인 슬관절 전치환술을 위해서는 수술 전 수술계획이 필수적이고, 슬관절 전치환술은 손상되거나 마모된 슬관절을 인공관절로 교체하는 대수술로, 수술 전 수술계획은 환자의 개별적인 해부학적 구조를 평가하고 특정 필요에 따라 수술을 계획하는 과정이다.For successful total knee arthroplasty, a pre-operative surgical plan is essential. Total knee arthroplasty is a major surgery that replaces a damaged or worn knee joint with an artificial joint. Pre-surgical surgical planning evaluates the individual anatomical structure of the patient and determines the specific needs. This is the process of planning surgery.
수술 전 수술계획을 통해 의사는 환자의 무릎에 가장 적합한 임플란트 크기와 위치를 결정할 수 있고, 이것은 임플란트 크기와 위치가 수술의 전반적인 성공과 환자의 장기적인 결과에 영향을 미칠 수 있기 때문에 중요하다.Preoperative surgical planning allows the surgeon to determine the best implant size and location for the patient's knee, which is important because implant size and location can affect the overall success of the surgery and the patient's long-term outcome.
또한, 수술 전 수술계획은 뼈 기형 또는 임플란트 배치에 영향을 미칠 수 있는 기타 문제와 같이 수술 중에 발생할 수 있는 잠재적인 문제를 외과의가 식별하는 데 도움이 될 수 있는데, 이를 통해 의사는 성공적인 결과를 보장하기 위해 수술 전에 필요한 조정을 수술계획을 통해 달성할 수 있다.Additionally, preoperative surgical planning can help the surgeon identify potential problems that may arise during surgery, such as bone deformities or other problems that may affect implant placement, which can help the surgeon ensure a successful outcome. To achieve this, the necessary adjustments prior to surgery can be achieved through surgical planning.
모든 환자의 무릎은 다르며 수술 전 수술계획은 외과의가 환자의 특정 요구에 맞게 수술을 맞춤화하는 데 도움이 된다. 여기에는 최상의 수술 방법, 사용할 임플란트 유형, 임플란트의 최상의 위치 결정이 포함된다.Every patient's knee is different, and preoperative planning helps the surgeon tailor the surgery to the patient's specific needs. This includes determining the best surgical method, type of implant to use, and best positioning of the implant.
수술 전 수술계획은 외과 의사가 수술을 미리 계획할 수 있도록 하여 수술 시간을 줄이는 데 도움이 되는데, 이것은 수술 중 합병증의 위험을 줄이고 수술의 전반적인 결과를 향상시킨다.Preoperative surgical planning helps reduce surgical time by allowing the surgeon to plan the surgery in advance, which reduces the risk of intraoperative complications and improves the overall outcome of the surgery.
그러나, 여전히 종래의 수술계획 수립은 대부분 수동적인 계측과 드로잉(drawing)을 통해 수립하는 형태가 대부분이고, 예컨대, 의사가 슬관절 전치환술을 위한 수술 전 수술계획을 수동으로 수립할 때, 하기와 같이 발생할 수 있는 몇 가지 잠재적인 문제가 있다.However, conventional surgical planning is still mostly established through manual measurement and drawing. For example, when a doctor manually establishes a pre-operative surgical plan for total knee replacement surgery, as follows: There are several potential problems that may arise.
(1) 부정확성: 수동 계획은 사람에 의한 오차 발생에 의하여 실제 수술에 임하는 의사는 수술 결과에 영향을 미칠 수 있는 중요한 요소를 간과할 수 있다. 이로 인해 수술을 진행하는 의사는 부정확하거나 최적이 아닌 수술계획으로 수술을 진행할 수 있다.(1) Inaccuracy: Manual planning is subject to human errors, so doctors performing actual surgery may overlook important factors that can affect the results of the surgery. Because of this, the surgeon performing the surgery may perform the surgery with an inaccurate or suboptimal surgical plan.
(2) 주관성: 수동 계획은 계획 수립자의 경험이나 지식에 따라서 주관적일 수 있다. 의사마다 수술에 접근하는 방법에 대한 의견이 다를 수 있기 때문에 계획 프로세스에서 불일치가 발생할 수 있으며 수술에 대한 최적화 결과가 아닐 수 있다.(2) Subjectivity: Manual planning can be subjective depending on the experience or knowledge of the planner. Because different surgeons may have different opinions on how to approach a surgery, inconsistencies may arise in the planning process and may result in a less than optimal outcome for the surgery.
(3) 시간 소모적: 의사가 포괄적인 계획을 수립하기 위해 여러 스캔과 이미지를 검토해야 할 수 있으므로, 수동 계획은 시간이 많이 소요되는 프로세스일 수 있다. 이로 인해 수술을 지연시키고 환자의 대기 시간을 증가시킬 수 있다.(3) Time-consuming: Manual planning can be a time-consuming process, as the physician may need to review multiple scans and images to develop a comprehensive plan. This can delay surgery and increase patient waiting times.
(4) 제한된 시각화: 수동 계획은 환자의 해부학적 구조에 대한 완전한 시각화를 제공하지 못할 수 있으며 개별 해부학적 변형을 설명하지 못할 수 있다. 이것은 최적이 아닌 임플란트 배치 및 잘못된 정렬로 이어질 수 있으며 이는 수술의 장기적인 결과에 영향을 미칠 수 있다.(4) Limited visualization: Manual planning may not provide complete visualization of the patient's anatomy and may not account for individual anatomical variations. This can lead to suboptimal implant placement and misalignment, which can affect the long-term outcome of the surgery.
(5) 제한된 유연성: 수동 계획은 수술 중 계획을 조정할 때 유연성을 허용하지 않을 수 있다. 예상치 못한 해부학적 변화 또는 수술 중 발견으로 인해 계획을 변경해야 할 수 있으며 수동으로 수행하기 어렵거나 불가능할 수 있다.(5) Limited flexibility: Manual planning may not allow flexibility when adjusting the plan intraoperatively. Unexpected anatomical changes or intraoperative findings may require changes to the plan, which may be difficult or impossible to perform manually.
상기와 같이, 전반적으로 슬관절 전치환술을 위한 수동 계획은 부정확하고 주관적이며 시간이 많이 걸리고 유연하지 못한 수술계획을 초래할 수 있으며, 이는 수술 결과와 환자의 장기적인 예후에 영향을 미칠 수 있다는 단점이 있다.As described above, overall, manual planning for total knee arthroplasty has the disadvantage of resulting in inaccurate, subjective, time-consuming, and inflexible surgical planning, which may affect surgical results and the patient's long-term prognosis.
따라서, 보다 효율적이고 자동화된 수술계획 수립을 위해 인공지능을 기반으로 하는 디지털 방식의 템플레이팅 시스템에 대한 기술 개발이 요구되고 있는 실정이다.Therefore, there is a need to develop technology for a digital templating system based on artificial intelligence to establish a more efficient and automated surgical plan.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 환자의 신체 골격에 대한 의료영상과, 골격 내 골편이 각각 마스킹된 마스크맵 이미지와, 마스킹에 사용된 마스크 색상의 RGB 정보가 딥러닝 기반의 의미론적 분할 모델에 의해 학습되도록 한 구성을 통해 새로운 의료영상에 대해 골격은 물론, 골편을 미리 설정된 분류 기준에 따라 보다 정확하고 신속하게 분할해주는 마스크 영상을 결과물로 획득할 수 있고, 특히, 이를 3차원으로 재구성하는 구성을 통해 골편이 분할된 3차원 골격 영상을 획득할 수 있으며, 이에 따라, 골절에 대해 보다 세분화된 정보로 향상된 시인성을 용이하게 제공할 수 있는 의미론적 분할을 이용한 3차원 골절 골편 분할 시스템 및 그 방법을 제공하는데 목적이 있다.Therefore, the present invention was developed to solve the above problems, and the medical image of the patient's body skeleton, the mask map image in which the bone fragments within the skeleton are each masked, and the RGB information of the mask color used for masking are deep Through a configuration learned by a learning-based semantic segmentation model, a mask image can be obtained as a result that more accurately and quickly segments the skeleton as well as bone fragments for new medical images according to preset classification criteria. , It is possible to obtain a 3D skeletal image with segmented bone fragments through a configuration that reconstructs this in 3D. Accordingly, 3 using semantic segmentation that can easily provide improved visibility with more detailed information about the fracture. The purpose is to provide a dimensional fracture bone fragment division system and method.
다만, 본 발명에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly apparent to those skilled in the art from the description below. It will be understandable.
상기와 같은 목적을 달성하기 위한 기술적 수단인 본 발명의 일 실시예에 따른 무릎인공관절 수술계획 수립을 위한 딥러닝 디지털 템플레이팅 시스템은, 환자의 신체 골격 중 슬관절에 대한 맞춤형 임플란트를 이미지 상에 가상 제작가능한 서비스를 제공하면서 슬관절 전치환술 수술계획을 수립하기 위한 디지털 방식의 템플레이팅 시스템에 있어서, 상기 환자의 슬관절에 대한 의료영상을 제공하는 영상 제공모듈; 상기 환자를 담당하는 의사가 해당 환자에 대한 임의의 의료정보와, 상기 임플란트의 제작을 위한 행동반응과 관련한 조작신호를 입력가능하게 구성되는 입력모듈; 상기 영상 제공모듈, 상기 입력모듈, 웹 및 외부 서버와 네트워크를 구축하여 통신하면서, 미리 저장된 에디터 프로그램을 통해 임의의 제작 툴을 이용가능한 서비스 환경을 지원하되, 상기 에디터 프로그램 상에 설계된 딥러닝 방식의 알고리즘 데이터가 상기 영상 제공모듈로부터 선제공되는 제1 의료영상과 이에 대응하여 상기 입력모듈로부터 기입력된 제1 조작신호를 기반으로, 상기 슬관절 중 상호 인접된 두 부위의 뼈에 대해 독립적으로 학습되도록 하고, 상기 학습이 수행된 이후를 기점으로 제공되는 제2 의료영상과 이에 대응하여 입력되는 제2 조작신호를 기반으로, 상기 두 부위의 뼈 및 이에 각각 추천되는 각각의 임플란트에 대해 안내하기 위한 커스텀 정보가 자동 추출되도록 하며, 상기 의료정보 및 상기 커스텀 정보가 상기 에디터 프로그램 상에 매핑되도록 하는 제어모듈; 및 상기 제어모듈이 수행하는 절차에 따른 표시정보를 임의의 화면 상에 시각적으로 디스플레이하는 알림모듈을 포함하되, 상기 의료영상은, 상기 슬관절을 제1 구도로 촬영한 제1 이미지; 및 상기 슬관절을 상기 제1 구도와 상이한 제2 구도로 촬영한 제2 이미지를 포함한 X-Ray 영상일 수 있고, 상기 알고리즘 데이터는, 영상 처리와 벡터 방정식을 이용하여 상기 두 부위의 뼈 및 이에 각각 추천되는 각각의 임플란트에 대해 자동 계측이 가능한 합성곱 신경망(Convolutional Neural Network; CNN) 기반의 딥러닝을 수행하도록 구성될 수 있으며, 상기 제1 이미지는, 상기 슬관절의 정면을 촬영한 이미지이고, 상기 제2 이미지는, 상기 슬관절의 측면을 촬영한 이미지일 수 있으며, 상기 두 부위의 뼈는, 대퇴골(Femur) 및 경골(Tibia)이고, 상기 알고리즘 데이터는, 상기 대퇴골에 대한 제1 딥러닝과, 상기 경골에 대한 제2 딥러닝을 각각 독립적으로 수행하도록 구성될 수 있으며, 상기 제2 조작신호 중 상기 에디터 프로그램을 실행하고자 하는 제1 이벤트 신호에 따라 상기 알림모듈에 디스플레이되는 제1 표시정보는, 화면을 전체적으로 차지하는 메인 보드; 상기 메인 보드 상의 일측에 표시되는 상기 에디터 프로그램의 제품명; 상기 의사가 진행하는 작업과 관련하여 알림, 경고, 오류 중 적어도 하나의 작업상황을 실시간 안내하기 위한 상태정보가 상기 메인 보드 상의 다른 일측에 표시되는 안내 영역; 상기 메인 보드 상의 중앙부에 배치되는 패드 영역; 상기 패드 영역 상에 양분되어 상기 제1,2 이미지가 각각 업로드될 공간을 갖는 제1 패드와 제2 패드; 상기 제1 패드와 인접하게 위치하여, 상기 제1 이미지에 대한 불러오기, 상기 제1 이미지 상의 대퇴골과 경골에 대한 최종 절단선 위치 수정하기, 상기 제1 이미지 상의 대퇴골과 경골에 대한 중심선 수동 설정하기, 상기 제1 이미지의 분석결과에 따른 제1 커스텀 정보를 캡쳐 이미지로 저장하기, 실행 초기화하기를 각각 수행하기 위한 아이콘들로 배열되는 제1 탭 영역; 및 상기 제2 패드와 인접하게 위치하여, 상기 제2 이미지에 대한 불러오기, 상기 제2 이미지 상의 대퇴골과 경골에 대한 중심선 수동 설정하기, 상기 제2 이미지의 분석결과에 따른 제2 커스텀 정보를 캡쳐 이미지로 저장하기를 각각 수행하기 위한 아이콘들로 배열되는 제2 탭 영역을 포함할 수 있고, 상기 제2 조작신호 중 상기 제1 표시정보에서 상기 제1 탭 영역의 불러오기를 수행하는 아이콘을 터치 또는 클릭하여 상기 제1 이미지를 업로드한 제2 이벤트 신호에 따라 상기 알림모듈에 디스플레이되는 제2 표시정보는, 상기 제1,2 딥러닝에 의해 상기 제1 이미지 상에 상이한 색상의 세로축 형태로 자동 표시되는 상기 대퇴골과 경골에 대한 중심선; 및 상기 제1 이미지 상의 어느 일측에 표시되는 의료정보를 포함할 수 있으며, 상기 제2 조작신호 중 상기 제2 표시정보에서 상기 의사의 의학적 판단을 기초로, 상기 중심선이 불량하게 표시된 것으로 판단되는 경우, 상기 제1 탭 영역의 중심선 수동 설정하기를 수행하는 아이콘을 터치 또는 클릭한 제3 이벤트 신호에 따라 상기 알림모듈에 디스플레이되는 제3 표시정보는, 상기 제1 이미지 상에 4개의 층으로 표시되는 점선; 및 상기 안내 영역에 표시되어, 상기 제1 이미지 상에 상기 점선과 뼈의 외곽선이 만나는 지점을 상기 경골부터 상기 대퇴골 순서로, 하측에서 상측 방향으로, 좌측에서 우측 순서로 8개의 점을 터치 또는 클릭하도록 유도하는 제1 상태정보를 포함할 수 있다.The deep learning digital templating system for establishing a knee artificial joint surgery plan according to an embodiment of the present invention, which is a technical means for achieving the above object, virtualizes a customized implant for the knee joint in the patient's body skeleton on an image. A digital templating system for establishing a total knee replacement surgery plan while providing a manufacturable service, comprising: an image providing module providing a medical image of the patient's knee joint; an input module configured to enable a doctor in charge of the patient to input arbitrary medical information about the patient and a manipulation signal related to a behavioral response for manufacturing the implant; It supports a service environment in which arbitrary production tools can be used through a pre-stored editor program while establishing and communicating with the video providing module, the input module, the web, and external servers, and uses a deep learning method designed on the editor program. Algorithm data is independently learned for the bones of two adjacent parts of the knee joint based on the first medical image provided in advance from the image providing module and the first manipulation signal input from the input module corresponding thereto. And, based on the second medical image provided after the learning is performed and the second manipulation signal input correspondingly, a custom device is provided to guide the bones of the two regions and each recommended implant. a control module that automatically extracts information and maps the medical information and custom information onto the editor program; and a notification module that visually displays display information according to the procedure performed by the control module on an arbitrary screen, wherein the medical image includes: a first image of the knee joint in a first configuration; And it may be an It may be configured to perform deep learning based on a convolutional neural network (CNN) capable of automatic measurement for each implant, wherein the first image is an image taken of the front of the knee joint, and the first image is an image taken of the front of the knee joint. 2 Image may be an image taken of the side of the knee joint, the bones of the two parts are the femur and tibia, and the algorithm data includes the first deep learning for the femur, and the It may be configured to independently perform the second deep learning for the tibia, and the first display information displayed on the notification module according to the first event signal for executing the editor program among the second manipulation signals is the screen. The main board occupies the entire; a product name of the editor program displayed on one side of the main board; a guidance area in which status information for providing real-time guidance on at least one of notifications, warnings, and errors related to work performed by the doctor is displayed on another side of the main board; a pad area disposed at the center of the main board; a first pad and a second pad bisected on the pad area to have spaces for uploading the first and second images, respectively; Located adjacent to the first pad, loading the first image, modifying the final cut line position for the femur and tibia on the first image, and manually setting the center line for the femur and tibia on the first image. , a first tab area arranged with icons for storing the first custom information according to the analysis result of the first image as a captured image and initializing the execution, respectively; And located adjacent to the second pad, loading the second image, manually setting the center line for the femur and tibia on the second image, and capturing second custom information according to the analysis result of the second image. It may include a second tab area arranged with icons for respectively performing saving as an image, and touching an icon for loading the first tab area from the first display information among the second manipulation signals. Alternatively, the second display information displayed on the notification module according to the second event signal for clicking and uploading the first image is automatically in the form of a vertical axis of different colors on the first image by the first and second deep learning. Center lines for the femur and tibia indicated; and medical information displayed on one side of the first image, where it is determined that the center line is displayed poorly based on the doctor's medical judgment in the second display information among the second manipulation signals. , The third display information displayed on the notification module according to the third event signal of touching or clicking the icon for manually setting the center line of the first tab area is displayed in four layers on the first image. dotted line; And displayed in the guide area, touching or clicking 8 points on the first image where the dotted line and the outline of the bone meet in the order from the tibia to the femur, from the bottom to the top, and from left to right. It may include first state information leading to doing so.
삭제delete
삭제delete
또한, 상기 제어모듈은, 상기 영상 제공모듈로부터 제공된 제1,2 의료영상을 수집하여 입력가능하게 구성되는 영상 입력부; 미리 저장된 에디터 프로그램을 통해 임의의 제작 툴을 이용가능한 서비스 환경을 지원하는 AI 에이전트부; 상기 AI 에이전트부의 에디터 프로그램 상에 설계된 딥러닝 방식의 알고리즘 데이터가 상기 제1 의료영상과 상기 제1 조작신호를 기반으로, 상기 슬관절 중 상호 인접된 두 부위의 뼈에 대해 독립적으로 학습되도록 하는 그래픽 제어부; 상기 제2 의료영상과 상기 제2 조작신호를 기반으로, 상기 그래픽 제어부의 학습결과를 반영하면서 상기 두 부위의 뼈 및 이에 각각 추천되는 각각의 임플란트에 대해 안내하기 위한 커스텀 정보가 자동 추출되도록 하는 벡터 연산부; 상기 벡터 연산부에서 추출된 결과값이 상기 AI 에이전트부의 에디터 프로그램에 호환가능하게 전달하는 반환부; 및 상기 입력모듈로부터 입력된 의료정보와 상기 반환부로부터 전달된 결과값이 상기 AI 에이전트부의 에디터 프로그램 상에 매핑되도록 하는 영상 처리부를 포함할 수 있다.Additionally, the control module may include an image input unit configured to collect and input first and second medical images provided from the image providing module; An AI agent unit that supports a service environment in which arbitrary production tools can be used through a pre-stored editor program; A graphic control unit that allows deep learning algorithm data designed on the editor program of the AI agent unit to be independently learned for the bones of two adjacent parts of the knee joint based on the first medical image and the first manipulation signal. ; Based on the second medical image and the second manipulation signal, a vector that reflects the learning results of the graphic control unit and automatically extracts custom information for guiding the bones of the two regions and each recommended implant for them. operation unit; a return unit that transfers the result value extracted from the vector operation unit to the editor program of the AI agent unit in a compatible manner; And it may include an image processing unit that maps the medical information input from the input module and the result value delivered from the return unit onto the editor program of the AI agent unit.
또한, 상기 그래픽 제어부는, 상기 제1 의료영상과 상기 제1 조작신호에 대한 학습용 데이터를 누적하여 기록 및 저장하고, AI 에이전트부의 에디터 프로그램 상에 미리 설계된 딥러닝 방식의 알고리즘 데이터를 저장하고 관리하는 데이터 저장부; 상기 데이터 저장부에 저장된 상기 알고리즘 데이터와 상기 학습용 데이터를 기초로, 임의의 학습모델을 구축하는 학습모델 구축부; 및 상기 학습모델 구축부에서 구축된 학습모델을 기반으로, 상기 슬관절 중 상호 인접된 두 부위의 뼈에 대해 독립적으로 딥러닝 학습을 수행하는 딥러닝 학습부를 포함할 수 있다.In addition, the graphic control unit accumulates, records and stores learning data for the first medical image and the first manipulation signal, and stores and manages deep learning algorithm data designed in advance on an editor program of the AI agent unit. data storage unit; a learning model construction unit that constructs an arbitrary learning model based on the algorithm data and the learning data stored in the data storage unit; and a deep learning learning unit that independently performs deep learning learning on bones of two adjacent parts of the knee joint, based on the learning model constructed in the learning model building unit.
삭제delete
삭제delete
또한, 상기 제2 조작신호 중 상기 중심선 수동 설정하기를 완료한 후, 상기 수동 설정된 중심선에 대응하는 최종 절단선을 생성하고자 하는 제4 이벤트 신호에 따라 상기 알림모듈에 디스플레이되는 제4 표시정보는, 상기 안내 영역에 표시되어, 상기 의학적 판단을 기초로, 상기 대퇴골에 대한 절단점의 기준으로서, 상기 대퇴골의 중심선과 가상의 제1 절단선이 교차하는 가상 지점을 터치 또는 클릭하고, 상기 경골에 대한 절단점의 기준으로서, 상기 경골의 중심선과 가상의 제2 절단선이 교차하는 가상 지점을 터치 또는 클릭하면서, 상기 대퇴골과 경골에 터치 또는 클릭된 각각의 가상 지점을 기준으로 상기 대퇴골 및 경골의 중심선과 각각 수직을 이루는 가로축 형태의 최종 절단선이 자동 생성되도록 유도하는 제2 상태정보를 포함할 수 있고, 상기 제2 조작신호 중 상기 최종 절단선 생성을 완료한 후, 상기 생성된 최종 절단선에 대응하는 절단점을 마킹하고자 하는 제5 이벤트 신호에 따라 상기 알림모듈에 디스플레이되는 제5 표시정보는, 상기 안내 영역에 표시되어, 상기 의학적 판단을 기초로, 상기 대퇴골의 관절구(condyle) 라인 상에서 상기 대퇴골에 대한 최종 절단선과의 수직방향 길이가 가장 긴 제1 지점 및 두번째 긴 제2 지점을 상기 대퇴골에 대한 절단점으로서 터치 또는 클릭하면서 마킹하고, 이와 동일하게 상기 경골의 관절 표면(articular surface)에서 상기 의학적 판단에 의해 상기 경골에 대한 절단점이 될만한 제3 지점 및 제4 지점을 터치 또는 클릭하면서 마킹하도록 유도하는 제3 상태정보를 포함할 수 있다.In addition, after completing the manual setting of the center line among the second manipulation signals, the fourth display information displayed on the notification module according to the fourth event signal for creating a final cutting line corresponding to the manually set center line is, Touch or click on a virtual point displayed in the guide area where a center line of the femur and a virtual first cutting line intersect as a reference for a cutting point for the femur, based on the medical judgment, and a virtual point for the tibia. As a reference for the cutting point, touch or click a virtual point where the center line of the tibia intersects with the virtual second cutting line, and the center line of the femur and tibia based on each virtual point touched or clicked on the femur and tibia. It may include second state information that induces the automatic creation of a final cutting line in the form of a horizontal axis each perpendicular to the second operation signal, and after completing the creation of the final cutting line among the second manipulation signals, the generated final cutting line The fifth display information displayed on the notification module according to the fifth event signal for marking the corresponding cutting point is displayed in the guidance area and is displayed on the condyle line of the femur based on the medical judgment. The first point and the second longest second point, which have the longest length in the direction perpendicular to the final cutting line for the femur, are marked by touching or clicking as cutting points for the femur, and similarly, the articular surface of the tibia is marked. may include third state information that induces marking by touching or clicking the third and fourth points that are likely to be the cutting points for the tibia based on the medical judgment.
또한, 상기 제2 조작신호 중 상기 절단점 마킹을 완료한 제6 이벤트 신호에 따라 상기 알림모듈에 디스플레이되는 제6 표시정보는, 상기 제1 이미지의 분석결과에 따른 제1 커스텀 정보를 포함할 수 있고, 상기 제1 커스텀 정보는, 상기 대퇴골에 대한 분석결과로 제공되는 제1 임플란트의 사이즈, 상기 경골에 대한 분석결과로 제공되는 제2 임플란트의 사이즈, 상기 제1,2 임플란트의 형상에 대한 외곽선, 상기 대퇴골과 경골에 대한 중심선, 상기 대퇴골과 경골에 대한 최종 절단선, 상기 대퇴골에 대한 최종 절단선과 관절구 표면 간의 거리, 상기 경골에 대한 최종 절단선과 관절구 표면 간의 거리를 포함하여 추출될 수 있다.In addition, the sixth display information displayed on the notification module according to the sixth event signal that completed the cutting point marking among the second manipulation signals may include first custom information according to the analysis result of the first image. The first custom information includes the size of the first implant provided as a result of the analysis of the femur, the size of the second implant provided as a result of the analysis of the tibia, and outlines of the shapes of the first and second implants. , the center line for the femur and tibia, the final cut line for the femur and tibia, the distance between the final cut line for the femur and the condyle surface, and the distance between the final cut line for the tibia and the condyle surface. there is.
또한, 상기 제2 조작신호 중 상기 제6 표시정보의 디스플레이가 완료된 후, 상기 제1 표시정보에서 상기 제2 탭 영역의 불러오기를 수행하는 아이콘을 터치 또는 클릭하여 상기 제2 이미지를 업로드한 제7 이벤트 신호에 따라 상기 알림모듈에 디스플레이되는 제7 표시정보는, 상기 제1,2 딥러닝 간 상호작용으로 상기 제1 커스텀 정보의 추출 시에 대응 추출되어, 상기 제2 이미지 상에 자동 표시되는 제2 커스텀 정보; 및 상기 제2 이미지 상의 어느 일측에 표시되는 의료정보를 포함할 수 있고, 상기 제2 커스텀 정보는, 상기 제1,2 임플란트의 사이즈, 상기 제1,2 임플란트의 형상에 대한 외곽선, 상기 대퇴골과 경골에 대한 중심선, 상기 대퇴골의 간부(Femoral shaft)의 전방 표면(anterior surface)을 지나는 선, 상기 경골의 간부(Tibial shaft)의 전방 표면을 지나는 선을 포함하여 추출될 수 있다.In addition, after the display of the sixth display information of the second manipulation signal is completed, the second image is uploaded by touching or clicking an icon for loading the second tab area in the first display information. 7 The seventh display information displayed on the notification module according to the event signal is extracted in response to the extraction of the first custom information through interaction between the first and second deep learning, and is automatically displayed on the second image. second custom information; and medical information displayed on one side of the second image, wherein the second custom information includes the sizes of the first and second implants, outlines of the shapes of the first and second implants, the femur and Extraction may include a center line to the tibia, a line passing through the anterior surface of the femoral shaft, and a line passing through the anterior surface of the tibial shaft.
본 발명에 따른 무릎인공관절 수술계획 수립을 위한 딥러닝 디지털 템플레이팅 시스템은 두 개의 딥러닝 모델을 개별적으로 학습하여 환자 맞춤형 수술계획을 수립하도록 하고, 영상 처리와 벡터 방정식을 이용한 자동 계측 방법으로 환자 영상에 직접적인 결과를 자동으로 드로잉하는 구성을 통해 의사가 별도의 계측 및 드로잉 작업이 불필요해지며, 가시성 장치를 확보하여 수립자는 물론, 환자 및 제3 자가 수술계획을 용이하게 확인할 수 있는 동시에, GPU 기반의 영상 처리 방법에 의해 연산 시간과 결과 도출 시간을 획기적으로 단축할 수 있는 효과가 있다.The deep learning digital templating system for establishing a knee artificial joint surgery plan according to the present invention learns two deep learning models individually to establish a patient-tailored surgical plan, and uses an automatic measurement method using image processing and vector equations to measure the patient's condition. The configuration that automatically draws direct results on the image eliminates the need for separate measurement and drawing work by the doctor, and secures a visibility device so that not only the planner, but also the patient and third parties can easily check the surgical plan. At the same time, GPU Based on the image processing method, there is an effect of dramatically shortening the computation time and result generation time.
또한, 본 발명에 의하면, 두 개의 딥러닝 모델이 슬관절 전치환술에 대해 각각의 부위별 임플란트 추천을 개별적으로 학습하고, 이에 따라, 독립적인 임플란트 추천을 진행해주며, 의사가 필요로 하는 주요 수술 포인트를 거점으로 삼아 해당 환자의 해부학적 구조를 분석한 후 학습된 모델이 최적의 임플란트와 수술 방법을 추천하고 환자 개인의 맞춤형 수술계획 수립이 가능한 장점이 있다.In addition, according to the present invention, two deep learning models individually learn implant recommendations for each region for total knee replacement surgery, and accordingly, proceed with independent implant recommendations and identify major surgical points required by the doctor. The model learned after analyzing the patient's anatomical structure as a base has the advantage of recommending the optimal implant and surgical method and establishing a customized surgical plan for each patient.
더불어, 역대 수술 환자 중 예후가 좋은 환자의 데이터를 학습하여 변칙적인 데이터를 입력하여도 딥러닝에 의해 편향되지 않은 안정적인 결과를 도출해주며, 보다 정확하게 템플레이팅 된 케이스만을 학습하여 높은 정확도를 달성할 수 있게 된다.In addition, by learning data from patients with good prognosis among historical surgery patients, stable results that are not biased by deep learning are derived even when anomalous data is input, and high accuracy can be achieved by learning only more accurately templated cases. There will be.
나아가, 영상 처리와 벡터 방정식을 이용하여 슬관절의 두 부위의 뼈(대퇴골, 경골) 및 이에 각각 추천되는 각각의 임플란트에 대해 자동 계측이 가능한 합성곱 신경망(Convolutional Neural Network; CNN) 기반의 딥러닝을 수행하도록 한 구성을 통해 수술계획 총 수립 시간을 기본적으로 단축시킬 수 있음은 물론, 수술계획에 대한 수정이 필요할 경우 정밀 계획 수립을 통하여 계획을 즉각 수정할 수 있고, 수정 계획을 진행하더라도 계획 수립까지의 소요시간을 최소화하여 유연한 수술계획 수립이 가능하며, 무릎의 정면 영상과 측면 영상에 각각 템플레이팅된 결과를 제공하여 가시성을 향상시킬 수 있다.Furthermore, deep learning based on a convolutional neural network (CNN) is used to automatically measure the two bones of the knee joint (femur and tibia) and each recommended implant using image processing and vector equations. Not only can the total time for establishing a surgical plan be basically shortened through the configuration that allows it to be performed, but if modifications to the surgical plan are necessary, the plan can be modified immediately through establishing a precise plan, and even if the modified plan is carried out, the time required to establish the plan It is possible to establish a flexible surgical plan by minimizing the time required, and visibility can be improved by providing templated results for each frontal and lateral image of the knee.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the effects that can be obtained from the present invention are not limited to the effects mentioned above, and other effects not mentioned above will be clearly understood by those skilled in the art from the description below. You will be able to.
도 1은 본 발명의 실시예에 따른 무릎인공관절 수술계획 수립을 위한 딥러닝 디지털 템플레이팅 시스템의 전자적인 구성을 개략적으로 나타낸 블록도.
도 2는 도 1에 따른 상기 딥러닝 디지털 템플레이팅 시스템에서 제어모듈의 전자적인 구성을 개략적으로 나타낸 블록도.
도 3은 도 1에 따른 상기 딥러닝 디지털 템플레이팅 시스템에서 외부 서버에 대한 구성도 및 서비스 형태를 예시적으로 나타낸 모식도.
도 4는 도 1에 따른 상기 딥러닝 디지털 템플레이팅 시스템에서 알림모듈에 디스플레이되는 제1 표시정보를 전체적으로 나타낸 이미지.
도 5는 도 4에 따른 상기 제1 표시정보의 기능 설명을 구체적으로 나타낸 표.
도 6은 도 1에 따른 상기 딥러닝 디지털 템플레이팅 시스템에서 상기 알림모듈에 디스플레이되는 제2 표시정보를 예시적으로 나타낸 이미지.
도 7은 도 6에 따른 상기 제2 표시정보 중 대퇴골과 경골에 대한 중심선이 불량하게 표시된 모습을 예시적으로 나타낸 이미지.
도 8은 상기 제어모듈의 에디터 프로그램에서 제1,2 이미지를 다양한 설정조건으로 보기 위한 '보기 설정도구'를 예시적으로 나타낸 표.
도 9는 도 1에 따른 상기 딥러닝 디지털 템플레이팅 시스템에서 상기 알림모듈에 디스플레이되는 제3 표시정보 중 제1 상태정보가 표시된 안내 영역을 나타낸 이미지.
도 10은 도 9에 따른 상기 제1 상태정보를 기초로 제1 탭 영역의 중심선 수동 설정하기를 진행하는 작업환경을 예시적으로 나타낸 이미지.
도 11은 도 10에 따른 상기 딥러닝 디지털 템플레이팅 시스템에서 상기 알림모듈에 디스플레이되는 제4 표시정보 중 제2 상태정보를 기초로 상기 수동 설정된 중심선에 대응하는 최종 절단선을 생성하기를 진행하는 작업환경을 예시적으로 나타낸 이미지.
도 12는 도 11에 따른 상기 딥러닝 디지털 템플레이팅 시스템에서 상기 알림모듈에 디스플레이되는 제5 표시정보 중 제3 상태정보를 기초로 상기 생성된 최종 절단선에 대응하는 절단점을 마킹하기를 진행하는 작업환경을 예시적으로 나타낸 이미지.
도 13은 도 12에 따른 상기 절단점 마킹이 완료된 후, 상기 딥러닝 디지털 템플레이팅 시스템에서 상기 알림모듈에 디스플레이되는 제6 표시정보를 예시적으로 나타낸 이미지.
도 14는 제1,2 탭 영역의 불러오기를 진행하는 작업환경을 예시적으로 나타낸 이미지.
도 15는 도 14에 따른 상기 불러오기를 활용하여 상기 제2 이미지의 업로드가 완료된 후, 상기 딥러닝 디지털 템플레이팅 시스템에서 상기 알림모듈에 디스플레이되는 제7 표시정보를 예시적으로 나타낸 이미지.
도 16 및 도 17은 상기 제2 탭 영역의 중심선 수동 설정하기를 진행하는 작업환경을 예시적으로 나타낸 이미지. 1 is a block diagram schematically showing the electronic configuration of a deep learning digital templating system for establishing a knee replacement surgery plan according to an embodiment of the present invention.
Figure 2 is a block diagram schematically showing the electronic configuration of a control module in the deep learning digital templating system according to Figure 1.
Figure 3 is a schematic diagram illustrating the configuration and service type of an external server in the deep learning digital templating system according to Figure 1.
Figure 4 is an image showing the overall first display information displayed on the notification module in the deep learning digital templating system according to Figure 1.
Figure 5 is a table showing a detailed functional description of the first display information according to Figure 4.
Figure 6 is an image illustrating second display information displayed on the notification module in the deep learning digital templating system according to Figure 1.
FIG. 7 is an image illustrating an example in which center lines for the femur and tibia are poorly displayed among the second display information according to FIG. 6.
Figure 8 is a table showing an example of a 'view setting tool' for viewing the first and second images under various setting conditions in the editor program of the control module.
FIG. 9 is an image showing a guidance area in which first status information is displayed among third display information displayed on the notification module in the deep learning digital templating system according to FIG. 1.
FIG. 10 is an image illustrating an exemplary work environment for manually setting the center line of a first tab area based on the first status information according to FIG. 9.
FIG. 11 shows a process for generating a final cutting line corresponding to the manually set center line based on the second state information among the fourth display information displayed on the notification module in the deep learning digital templating system according to FIG. 10. An image illustrating the environment.
FIG. 12 shows marking a cutting point corresponding to the generated final cutting line based on the third state information among the fifth display information displayed on the notification module in the deep learning digital templating system according to FIG. 11. An image showing an example of a work environment.
FIG. 13 is an image illustrating sixth display information displayed on the notification module in the deep learning digital templating system after the cutting point marking according to FIG. 12 is completed.
Figure 14 is an image showing an example of a work environment in which the first and second tab areas are loaded.
FIG. 15 is an image illustrating seventh display information displayed on the notification module in the deep learning digital templating system after the upload of the second image is completed using the loading according to FIG. 14.
Figures 16 and 17 are images showing an exemplary work environment for manually setting the center line of the second tab area.
이하에서는, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Hereinafter, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily implement the present invention. However, since the description of the present invention is only an example for structural or functional explanation, the scope of the present invention should not be construed as limited by the examples described in the text. In other words, since the embodiments can be modified in various ways and can have various forms, the scope of rights of the present invention should be understood to include equivalents that can realize the technical idea. In addition, the purpose or effect presented in the present invention does not mean that a specific embodiment must include all or only such effects, so the scope of the present invention should not be understood as limited thereby.
본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.The meaning of terms described in the present invention should be understood as follows.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.Terms such as “first” and “second” are used to distinguish one component from another component, and the scope of rights should not be limited by these terms. For example, a first component may be named a second component, and similarly, the second component may also be named a first component. When a component is referred to as being “connected” to another component, it should be understood that it may be directly connected to the other component, but that other components may also exist in between. On the other hand, when a component is referred to as being “directly connected” to another component, it should be understood that there are no other components in between. Meanwhile, other expressions that describe the relationship between components, such as "between" and "immediately between" or "neighboring" and "directly neighboring" should be interpreted similarly.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions should be understood to include plural expressions, unless the context clearly indicates otherwise, and terms such as “comprise” or “have” refer to the specified features, numbers, steps, operations, components, parts, or them. It is intended to specify the existence of a combination, and should be understood as not excluding in advance the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein, unless otherwise defined, have the same meaning as commonly understood by a person of ordinary skill in the field to which the present invention pertains. Terms defined in commonly used dictionaries should be interpreted as consistent with the meaning they have in the context of the related technology, and cannot be interpreted as having an ideal or excessively formal meaning unless clearly defined in the present invention.
도 1은 본 발명의 실시예에 따른 무릎인공관절 수술계획 수립을 위한 딥러닝 디지털 템플레이팅 시스템의 전자적인 구성을 개략적으로 나타낸 블록도이고, 도 2는 도 1에 따른 상기 딥러닝 디지털 템플레이팅 시스템에서 제어모듈의 전자적인 구성을 개략적으로 나타낸 블록도이며, 도 3은 도 1에 따른 상기 딥러닝 디지털 템플레이팅 시스템에서 외부 서버에 대한 구성도 및 서비스 형태를 예시적으로 나타낸 모식도이고, 도 4는 도 1에 따른 상기 딥러닝 디지털 템플레이팅 시스템에서 알림모듈에 디스플레이되는 제1 표시정보를 전체적으로 나타낸 이미지이며, 도 5는 도 4에 따른 상기 제1 표시정보의 기능 설명을 구체적으로 나타낸 표이고, 도 6은 도 1에 따른 상기 딥러닝 디지털 템플레이팅 시스템에서 상기 알림모듈에 디스플레이되는 제2 표시정보를 예시적으로 나타낸 이미지이며, 도 7은 도 6에 따른 상기 제2 표시정보 중 대퇴골과 경골에 대한 중심선이 불량하게 표시된 모습을 예시적으로 나타낸 이미지이고, 도 8은 상기 제어모듈의 에디터 프로그램에서 제1,2 이미지를 다양한 설정조건으로 보기 위한 '보기 설정도구'를 예시적으로 나타낸 표이며, 도 9는 도 1에 따른 상기 딥러닝 디지털 템플레이팅 시스템에서 상기 알림모듈에 디스플레이되는 제3 표시정보 중 제1 상태정보가 표시된 안내 영역을 나타낸 이미지이고, 도 10은 도 9에 따른 상기 제1 상태정보를 기초로 제1 탭 영역의 중심선 수동 설정하기를 진행하는 작업환경을 예시적으로 나타낸 이미지이며, 도 11은 도 10에 따른 상기 딥러닝 디지털 템플레이팅 시스템에서 상기 알림모듈에 디스플레이되는 제4 표시정보 중 제2 상태정보를 기초로 상기 수동 설정된 중심선에 대응하는 최종 절단선을 생성하기를 진행하는 작업환경을 예시적으로 나타낸 이미지이고, 도 12는 도 11에 따른 상기 딥러닝 디지털 템플레이팅 시스템에서 상기 알림모듈에 디스플레이되는 제5 표시정보 중 제3 상태정보를 기초로 상기 생성된 최종 절단선에 대응하는 절단점을 마킹하기를 진행하는 작업환경을 예시적으로 나타낸 이미지이며, 도 13은 도 12에 따른 상기 절단점 마킹이 완료된 후, 상기 딥러닝 디지털 템플레이팅 시스템에서 상기 알림모듈에 디스플레이되는 제6 표시정보를 예시적으로 나타낸 이미지이고, 도 14는 제1,2 탭 영역의 불러오기를 진행하는 작업환경을 예시적으로 나타낸 이미지이며, 도 15는 도 14에 따른 상기 불러오기를 활용하여 상기 제2 이미지의 업로드가 완료된 후, 상기 딥러닝 디지털 템플레이팅 시스템에서 상기 알림모듈에 디스플레이되는 제7 표시정보를 예시적으로 나타낸 이미지이고, 도 16 및 도 17은 상기 제2 탭 영역의 중심선 수동 설정하기를 진행하는 작업환경을 예시적으로 나타낸 이미지이다.Figure 1 is a block diagram schematically showing the electronic configuration of a deep learning digital templating system for establishing a knee replacement surgery plan according to an embodiment of the present invention, and Figure 2 is a block diagram showing the deep learning digital templating system according to Figure 1. is a block diagram schematically showing the electronic configuration of the control module, and FIG. 3 is a schematic diagram illustrating the configuration and service type for an external server in the deep learning digital templating system according to FIG. 1, and FIG. 4 is It is an image overall showing the first display information displayed on the notification module in the deep learning digital templating system according to FIG. 1, and FIG. 5 is a table specifically showing a functional description of the first display information according to FIG. 4, and FIG. 6 is an image illustrating the second display information displayed on the notification module in the deep learning digital templating system according to FIG. 1, and FIG. 7 is an image showing the second display information for the femur and tibia among the second display information according to FIG. 6. This is an image illustrating a poorly displayed center line, and Figure 8 is a table illustrating the 'view setting tool' for viewing the first and second images under various setting conditions in the editor program of the control module. 9 is an image showing a guidance area in which first state information is displayed among the third display information displayed on the notification module in the deep learning digital templating system according to FIG. 1, and FIG. 10 is an image showing the first state information according to FIG. 9 This is an image showing an exemplary work environment in which manual setting of the center line of the first tab area is performed based on , and FIG. 11 shows the fourth display information displayed on the notification module in the deep learning digital templating system according to FIG. 10. It is an image showing an example of a work environment in which a final cutting line corresponding to the manually set center line is generated based on the second state information, and FIG. 12 shows the deep learning digital templating system according to FIG. 11. This is an image illustrating a work environment in which a cutting point corresponding to the final cutting line generated is based on the third status information among the fifth display information displayed on the notification module, and FIG. 13 is shown in FIG. 12. After the cutting point marking is completed, an image illustrating the sixth display information displayed on the notification module in the deep learning digital templating system is shown, and Figure 14 shows the loading of the first and second tab areas. It is an image showing an exemplary work environment, and FIG. 15 is a seventh display displayed on the notification module in the deep learning digital templating system after the upload of the second image is completed using the loading according to FIG. 14. This is an image showing information by way of example, and FIGS. 16 and 17 are images showing an example work environment in which manual setting of the center line of the second tab area is performed.
도 1에 도시한 바와 같이, 본 발명에 따른 무릎인공관절 수술계획 수립을 위한 딥러닝 디지털 템플레이팅 시스템(100)은 환자의 신체 골격 중 슬관절에 대한 맞춤형 임플란트를 이미지 상에 가상 제작가능한 서비스를 제공하면서 슬관절 전치환술 수술계획을 수립하기 위한 디지털 방식의 템플레이팅 시스템으로서, 영상 제공모듈(110), 입력모듈(120), 웹(130), 외부 서버(140), 제어모듈(150) 및 알림모듈(160)을 포함하여 구성할 수 있다.As shown in Figure 1, the deep learning digital templating system 100 for establishing a knee artificial joint surgery plan according to the present invention provides a service that allows virtual production of a customized implant for the knee joint in the patient's body skeleton on an image. It is a digital templating system for establishing a total knee replacement surgery plan while using an image provision module (110), an input module (120), a web (130), an external server (140), a control module (150), and a notification module. It can be configured including (160).
상기 영상 제공모듈(110)은 환자의 슬관절을 촬영가능하게 구비되는 이미지 센서(미도시)를 포함하여 상기 환자의 슬관절 상태를 상태를 영상으로 파악 및 진단하기 위한 영상 의료기기로서, 본 발명의 실시예에서는, 상기 환자의 슬관절에 대한 의료영상을 후술될 제어모듈(150)로 제공하는 기능을 수행한다.The image providing module 110 is an imaging medical device for identifying and diagnosing the condition of the patient's knee joint through an image, including an image sensor (not shown) capable of taking images of the patient's knee joint, according to the present invention. In the example, the function of providing medical images of the patient's knee joint to the control module 150, which will be described later, is performed.
여기서, 상기 의료영상은 슬관절을 제1 구도로 촬영한 제1 이미지(I1)와, 상기 슬관절을 제1 구도와 상이한 제2 구도로 촬영한 제2 이미지(I2)를 포함한 X-Ray 영상인 것이 바람직하고, 더 바람직하게는, 상기 제1 이미지(I1)는 슬관절의 정면을 촬영한 이미지이고, 상기 제2 이미지(I2)는 슬관절의 측면을 촬영한 이미지일 수 있다.Here, the medical image is preferably an , More preferably, the first image (I1) may be an image taken of the front of the knee joint, and the second image (I2) may be an image of the side of the knee joint.
상기 입력모듈(120)은 수술계획 수립자(의사 등 사용자)에게 입력환경을 제공하도록 구비된 것으로, 본 발명에 의하면, 상기 환자를 담당하는 의사가 해당 환자에 대한 임의의 의료정보(D22, D72)와, 상기 임플란트의 제작을 위한 행동반응과 관련한 조작신호를 입력가능하게 구성될 수 있다.The input module 120 is equipped to provide an input environment to the person who establishes the surgical plan (user, such as a doctor). According to the present invention, the doctor in charge of the patient can collect arbitrary medical information (D22, D72) about the patient. ) and can be configured to input a manipulation signal related to a behavioral response for manufacturing the implant.
이때, 상기 입력모듈(120)은 PC의 키보드 또는 마우스가 적용되는 것이 바람직하나, 태블릿 또는 스마트폰 등의 키패드가 취급될 수도 있으며, 이에 한정되지 않고, 본 발명의 기술적 범위 내에서 통상의 지식을 가진 당업자에 의해 다양한 유저 인터페이스(user interface)의 취급이 가능함은 물론이다.At this time, the input module 120 is preferably a PC keyboard or mouse, but a keypad such as a tablet or smartphone may also be used as the input module 120. It is not limited thereto, and common knowledge within the technical scope of the present invention is used. It goes without saying that various user interfaces can be handled by those skilled in the art.
또한, 본 발명에 따르면, 상기 의료정보(D22, D72)는 환자의 성별, 나이, 흡연여부, 음주여부, 기저질환 중 적어도 하나의 의료와 관련된 데이터를 포함하는 환자별 개인정보인 것이 바람직하다.In addition, according to the present invention, the medical information (D22, D72) is preferably personal information for each patient that includes at least one medical-related data among the patient's gender, age, smoking status, drinking status, and underlying disease.
상기 웹(130)은 텍스트, 그래픽, 이미지, 음향, 비디오 등 다양한 멀티미디어를 지원할 수 있도록 구성된 인터넷 서비스로서, 본 발명에 따르면, 상기 제어모듈(150)과 연결되어 상기 제어모듈(150)을 이용하는 의사에게 다양한 공지의 의료용 미디어가 제공되도록 구성할 수 있다.The web 130 is an Internet service configured to support various multimedia such as text, graphics, images, sounds, and videos. According to the present invention, it is connected to the control module 150 and allows a doctor to use the control module 150. It can be configured to provide various known medical media to people.
상기 외부 서버(140)는 상술한 웹(130)에 대응되도록 구성되어 상기 영상 제공모듈(110), 입력모듈(120), 웹(130) 및 제어모듈(150)와 네트워크를 형성하는 것이 바람직하고, 본 발명에 따르면, 클라우드 서버, 사용자 인증 서버 등 다양한 공지의 운영 서버와 페이스북, 카카오톡 등의 다양한 공지의 SNS 서버가 적용될 수 있다.The external server 140 is preferably configured to correspond to the above-described web 130 and forms a network with the image providing module 110, input module 120, web 130, and control module 150. , According to the present invention, various known operating servers such as cloud servers and user authentication servers and various known SNS servers such as Facebook and KakaoTalk can be applied.
이러한 상기 외부 서버(140)는 웹(130)과 연동하여 제어모듈(150)에 미리 설정된 프로그램을 서비스하는 기능을 수행할 수 있으며, 상기 프로그램은 의료기관에서 관리하고 접근 및 공유가능하게 마련된 환자정보 관리 프로그램과, 의료와 관련된 각종 데이터로 이루어진 의료용 프로그램을 포함할 수 있고, 이는 공지의 기술로서, 해당관련분야의 통상지식을 가진 당업자에 의해 자유롭게 변경설계될 수 있음은 물론이다.This external server 140 can perform the function of servicing a program preset in the control module 150 in conjunction with the web 130, and the program is managed by a medical institution and manages patient information that is accessible and shareable. It may include a medical program consisting of a program and various data related to medical care, and as this is a known technology, it goes without saying that it can be freely changed and designed by a person skilled in the art.
상기 제어모듈(150)은 영상 제공모듈(110), 상기 입력모듈(120), 웹(130) 및 외부 서버(140)와 네트워크를 구축하여 통신하면서, 미리 저장된 에디터 프로그램을 통해 임의의 제작 툴을 이용가능한 서비스 환경을 지원하되, 상기 에디터 프로그램 상에 설계된 딥러닝 방식의 알고리즘 데이터가 상기 영상 제공모듈(110)로부터 선제공되는 제1 의료영상과 이에 대응하여 상기 입력모듈(120)로부터 기입력된 제1 조작신호를 기반으로, 상기 슬관절 중 상호 인접된 두 부위의 뼈에 대해 독립적으로 학습되도록 하고, 상기 학습이 수행된 이후를 기점으로 제공되는 제2 의료영상과 이에 대응하여 입력되는 제2 조작신호를 기반으로, 상기 두 부위의 뼈 및 이에 각각 추천되는 각각의 임플란트에 대해 안내하기 위한 커스텀 정보(D61, D71)가 자동 추출되도록 하며, 상기 의료정보(D22, D72) 및 커스텀 정보(D61, D71)가 상기 에디터 프로그램 상에 매핑되도록 하는 기능을 수행한다.The control module 150 communicates by establishing a network with the image providing module 110, the input module 120, the web 130, and the external server 140, and uses an arbitrary production tool through a pre-stored editor program. Supporting an available service environment, deep learning algorithm data designed on the editor program is provided in advance from the image providing module 110 and correspondingly entered from the input module 120. Based on the first manipulation signal, the bones of the two adjacent parts of the knee joint are learned independently, and a second medical image provided after the learning is performed and a second manipulation input corresponding thereto. Based on the signal, custom information (D61, D71) to guide the bones of the two regions and each recommended implant is automatically extracted, and the medical information (D22, D72) and custom information (D61, D71) performs the function of mapping onto the editor program.
여기서, 본 발명에 의하면, 상기 두 부위의 뼈는 대퇴골(Femur) 및 경골(Tibia)일 수 있고, 상기 알고리즘 데이터는 영상 처리와 벡터 방정식을 이용하여 상기 두 부위의 뼈 및 이에 각각 추천되는 각각의 임플란트에 대해 자동 계측이 가능한 합성곱 신경망(Convolutional Neural Network; CNN) 기반의 딥러닝을 수행하도록 구성되는 것이 바람직하며, 더 바람직하게는, 상기 대퇴골에 대한 제1 딥러닝과, 상기 경골에 대한 제2 딥러닝을 각각 독립적으로 수행하도록 구성될 수 있다.Here, according to the present invention, the bones of the two regions may be the femur and tibia, and the algorithm data may be used to determine the bones of the two regions and their respective recommended bones using image processing and vector equations. It is preferably configured to perform deep learning based on a convolutional neural network (CNN) capable of automatically measuring implants, and more preferably, first deep learning for the femur and first deep learning for the tibia. 2 Can be configured to perform deep learning independently.
이러한 상기 제어모듈(150)은 좀 더 구체적으로, 도 2를 참조하여, 영상 입력부(151), AI 에이전트부(152), 그래픽 제어부(153), 벡터 연산부(154), 반환부(155) 및 영상 처리부(156)를 포함하여 구성될 수 있다.More specifically, referring to FIG. 2, the control module 150 includes an image input unit 151, an AI agent unit 152, a graphic control unit 153, a vector operation unit 154, a return unit 155, and It may be configured to include an image processing unit 156.
상기 영상 입력부(151)는 영상 제공모듈(155)로부터 제공된 제1,2 의료영상을 수집하여 입력가능하게 구성되는 것이 바람직하다.The image input unit 151 is preferably configured to collect and input the first and second medical images provided from the image providing module 155.
상기 AI 에이전트부(152)는 미리 저장된 에디터 프로그램을 통해 임의의 제작 툴을 이용가능한 서비스 환경을 지원하는 기능을 수행한다.The AI agent unit 152 performs a function of supporting a service environment in which arbitrary production tools can be used through a pre-stored editor program.
상기 그래픽 제어부(153)는 AI 에이전트부(152)의 에디터 프로그램 상에 설계된 딥러닝 방식의 알고리즘 데이터가 상기 제1 의료영상과 제1 조작신호를 기반으로, 상기 슬관절 중 상호 인접된 두 부위의 뼈에 대해 독립적으로 학습되도록 하고, 보다 상세하게는, 데이터 저장부(153a), 학습모델 구축부(153b) 및 딥러닝 학습부(153c)를 포함하여 구성될 수 있다.The graphic control unit 153 generates deep learning algorithm data designed on the editor program of the AI agent unit 152 based on the first medical image and the first manipulation signal, to be learned independently, and more specifically, may be configured to include a data storage unit 153a, a learning model construction unit 153b, and a deep learning learning unit 153c.
상기 데이터 저장부(153a)는 제1 의료영상과 상기 제1 조작신호에 대한 학습용 데이터를 누적하여 기록 및 저장하고, 상기 AI 에이전트부(152)의 에디터 프로그램 상에 미리 설계된 딥러닝 방식의 알고리즘 데이터를 저장하고 관리하도록 구성되는 것이 바람직하다.The data storage unit 153a accumulates, records and stores learning data for the first medical image and the first manipulation signal, and stores deep learning algorithm data designed in advance on the editor program of the AI agent unit 152. It is desirable to be configured to store and manage.
상기 학습모델 구축부(153b)는 상술한 데이터 저장부(153a)에 저장된 상기 알고리즘 데이터와 상기 학습용 데이터를 기초로, 임의의 학습모델을 구축하는 기능을 수행한다.The learning model building unit 153b performs the function of constructing an arbitrary learning model based on the algorithm data and the learning data stored in the above-described data storage unit 153a.
상기 딥러닝 학습부(153c)는 학습모델 구축부(153b)에서 구축된 학습모델을 기반으로, 상기 슬관절 중 상호 인접된 두 부위의 뼈에 대해 독립적으로 딥러닝 학습을 수행하도록 구성된다.The deep learning learning unit 153c is configured to independently perform deep learning learning on the bones of two adjacent parts of the knee joint, based on the learning model built in the learning model building unit 153b.
상기 벡터 연산부(154)는 제2 의료영상과 상기 제2 조작신호를 기반으로, 상기 그래픽 제어부(153)의 학습결과를 반영하면서 상기 두 부위의 뼈 및 이에 각각 추천되는 각각의 임플란트에 대해 안내하기 위한 커스텀 정보(D61, D71)가 자동 추출되도록 한다.Based on the second medical image and the second manipulation signal, the vector calculation unit 154 reflects the learning results of the graphic control unit 153 and provides guidance on the bones of the two areas and the respective recommended implants. Custom information (D61, D71) is automatically extracted.
상기 반환부(155)는 벡터 연산부(154)에서 추출된 결과값이 상기 AI 에이전트부(152)의 에디터 프로그램에 호환가능하게 전달하는 기능을 수행한다.The return unit 155 performs a function of transferring the result value extracted from the vector operation unit 154 to the editor program of the AI agent unit 152 in a compatible manner.
상기 영상 처리부(156)는 전술한 입력모듈(120)로부터 입력된 의료정보(D22, D72)와 상기 반환부(155)로부터 전달된 결과값이 상기 AI 에이전트부(152)의 에디터 프로그램 상에 매핑되도록 한다.The image processing unit 156 maps the medical information (D22, D72) input from the above-described input module 120 and the result value transmitted from the return unit 155 onto the editor program of the AI agent unit 152. Make it possible.
상기 알림모듈(160)은 제어모듈(150)이 수행하는 절차에 따른 표시정보를 임의의 화면 상에 시각적으로 디스플레이하는 기능을 수행한다.The notification module 160 performs a function of visually displaying display information according to the procedure performed by the control module 150 on an arbitrary screen.
이러한 상기 알림모듈(160)은 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함하여 구성될 수 있다.The notification module 160 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. It may be configured to include at least one of a flexible display and a 3D display.
여기서, 상기 알림모듈(160)은 상술한 표시정보를 영상 및 텍스트를 포함하여 미리 설정된 알림신호로 출력하도록 구성되는 것이 바람직하고, 이를 위해 상기 알림모듈(160)은 영상을 출력가능하게 구비되는 영상 출력부(161)와, 텍스트를 출력가능하게 구비되는 텍스트 출력부(162)로 구성되는 것이 바람직하다.Here, the notification module 160 is preferably configured to output the above-described display information as a preset notification signal including video and text, and for this purpose, the notification module 160 is provided to output an image. It is preferably comprised of an output unit 161 and a text output unit 162 capable of outputting text.
예컨대, 상기 제2 조작신호 중 에디터 프로그램을 실행하고자 하는 제1 이벤트 신호에 따라 상기 알림모듈(160)에 디스플레이되는 제1 표시정보는, 도 4에 나타낸 바와 같이, 상기 화면을 전체적으로 차지하는 메인 보드(D11); 상기 메인 보드(D11) 상의 일측에 표시되는 상기 에디터 프로그램의 제품명(D12); 상기 의사가 진행하는 작업과 관련하여 알림, 경고, 오류 중 적어도 하나의 작업상황을 실시간 안내하기 위한 상태정보(D13')가 상기 메인 보드(D11) 상의 다른 일측에 표시되는 안내 영역(D13); 상기 메인 보드(D11) 상의 중앙부에 배치되는 패드 영역(D14); 상기 패드 영역(D14) 상에 양분되어 상기 제1,2 이미지(I1, I2)가 각각 업로드될 공간을 갖는 제1 패드(D15-1)와 제2 패드(D15-2); 상기 제1 패드(D15-1)와 인접하게 위치하여, 상기 제1 이미지(I1)에 대한 불러오기(D16-1), 상기 제1 이미지(I1) 상의 대퇴골과 경골에 대한 최종 절단선 위치 수정하기(D16-2), 상기 제1 이미지(I1) 상의 대퇴골과 경골에 대한 중심선 수동 설정하기(D16-3), 상기 제1 이미지(I1)의 분석결과에 따른 제1 커스텀 정보(D61)를 캡쳐 이미지로 저장하기(D16-4), 실행 초기화하기(D16-5)를 각각 수행하기 위한 아이콘들로 배열되는 제1 탭 영역(D16); 및 상기 제2 패드(D15-2)와 인접하게 위치하여, 상기 제2 이미지(I2)에 대한 불러오기(D17-1), 상기 제2 이미지(I2) 상의 대퇴골과 경골에 대한 중심선 수동 설정하기(D17-2), 상기 제2 이미지(I2)의 분석결과에 따른 제2 커스텀 정보(D71)를 캡쳐 이미지로 저장하기(D17-3)를 각각 수행하기 위한 아이콘들로 배열되는 제2 탭 영역(D17)을 포함하여 이루어질 수 있다.For example, the first display information displayed on the notification module 160 according to the first event signal for executing the editor program among the second manipulation signals is the main board (main board) occupying the entire screen, as shown in FIG. 4. D11); A product name (D12) of the editor program displayed on one side of the main board (D11); a guidance area (D13) in which status information (D13') for providing real-time guidance on at least one work situation among notifications, warnings, and errors in relation to the work being performed by the doctor is displayed on the other side of the main board (D11); a pad area (D14) disposed at the center of the main board (D11); a first pad (D15-1) and a second pad (D15-2) bisected on the pad area (D14) to have spaces for uploading the first and second images (I1 and I2), respectively; Located adjacent to the first pad (D15-1), loading (D16-1) for the first image (I1), and modifying the final cut line position for the femur and tibia on the first image (I1) Below (D16-2), manually setting the center line for the femur and tibia on the first image (I1) (D16-3), first custom information (D61) according to the analysis result of the first image (I1) A first tab area (D16) arranged with icons for saving as a captured image (D16-4) and initializing execution (D16-5), respectively; and located adjacent to the second pad (D15-2), loading (D17-1) for the second image (I2), and manually setting the center line for the femur and tibia on the second image (I2). (D17-2), a second tab area arranged with icons for respectively storing the second custom information (D71) according to the analysis result of the second image (I2) as a captured image (D17-3) It can be done including (D17).
다음으로, 상기 제2 조작신호 중 제1 표시정보에서 상기 제1 탭 영역(D16)의 불러오기(D16-1)를 수행하는 아이콘을 터치 또는 클릭하여 상기 제1 이미지(I1)를 업로드한 제2 이벤트 신호에 따라 상기 알림모듈(160)에 디스플레이되는 제2 표시정보는, 도 6에 나타낸 바와 같이, 상기 제1,2 딥러닝에 의해 제1 이미지(I1) 상에 상이한 색상의 세로축 형태로 자동 표시되는 상기 대퇴골과 경골에 대한 중심선(D21-1, D21-2); 및 상기 제1 이미지(I1) 상의 어느 일측에 표시되는 의료정보(D22)를 포함할 수 있다.Next, the first image (I1) is uploaded by touching or clicking the icon that performs the loading (D16-1) of the first tab area (D16) in the first display information among the second manipulation signals. 2 As shown in FIG. 6, the second display information displayed on the notification module 160 according to the event signal is in the form of a vertical axis of different colors on the first image I1 by the first and second deep learning. Automatically displayed center lines for the femur and tibia (D21-1, D21-2); and medical information D22 displayed on one side of the first image I1.
또한, 도 7과 같이, 상기 제2 조작신호 중 제2 표시정보에서 상기 의사의 의학적 판단을 기초로, 상기 중심선(D21-1, D21-2)이 불량하게 표시된 것으로 판단되는 경우, 상기 제1 탭 영역(D16)의 중심선 수동 설정하기(D17-2)를 수행하는 아이콘을 터치 또는 클릭한 제3 이벤트 신호에 따라 상기 알림모듈(160)에 디스플레이되는 제3 표시정보는, 상기 제1 이미지(I1) 상에 4개의 층으로 표시되는 점선(D31); 및 상기 안내 영역(D13)에 표시되어, 상기 제1 이미지(I1) 상에 점선(D31)과 뼈의 외곽선이 만나는 지점(D32)을 상기 경골부터 상기 대퇴골 순서로, 하측에서 상측 방향으로, 좌측에서 우측 순서로 8개의 점을 터치 또는 클릭하도록(도 10 참조) 유도하는 제1 상태정보(도 9 참조)를 포함할 수 있다.In addition, as shown in FIG. 7, when it is determined that the center lines (D21-1, D21-2) are displayed poorly based on the doctor's medical judgment in the second display information of the second operation signal, the first display information The third display information displayed on the notification module 160 according to the third event signal of touching or clicking the icon for manually setting the center line of the tab area (D16) (D17-2) is the first image ( I1) dashed line (D31) showing four layers; And it is displayed on the guide area (D13), and the point (D32) where the dotted line (D31) and the outline of the bone on the first image (I1) meet is in the order from the tibia to the femur, from the bottom to the top, to the left. may include first state information (see FIG. 9) that induces the user to touch or click the eight dots in the right order (see FIG. 10).
더불어, 상기 제2 조작신호 중 중심선 수동 설정하기(D17-2)를 완료한 후, 상기 수동 설정된 중심선에 대응하는 최종 절단선을 생성하고자 하는 제4 이벤트 신호에 따라 상기 알림모듈에 디스플레이되는 제4 표시정보는, 상기 안내 영역(D13)에 표시되어, 상기 의사의 의학적 판단을 기초로, 상기 대퇴골에 대한 절단점의 기준으로서, 상기 대퇴골의 중심선과 가상의 제1 절단선이 교차하는 가상 지점(D41)을 터치 또는 클릭하고, 상기 경골에 대한 절단점의 기준으로서, 상기 경골의 중심선과 가상의 제2 절단선이 교차하는 가상 지점(D42)을 터치 또는 클릭하면서, 상기 대퇴골과 경골에 터치 또는 클릭된 각각의 가상 지점(D41, D42)을 기준으로 상기 대퇴골 및 경골의 중심선과 각각 수직을 이루는 가로축 형태의 최종 절단선이 자동 생성(도 11 참조)되도록 유도하는 제2 상태정보를 포함할 수 있고,In addition, after completing the manual setting of the center line (D17-2) among the second manipulation signals, the fourth event signal displayed on the notification module according to the fourth event signal to generate a final cutting line corresponding to the manually set center line The display information is displayed in the guide area D13 and serves as a reference for the cutting point for the femur based on the medical judgment of the doctor, and is a virtual point where the center line of the femur and the virtual first cutting line intersect ( Touch or click D41) and, as a reference for the cut point for the tibia, touch or click the virtual point D42 where the center line of the tibia and the virtual second cut line intersect, while touching or clicking on the femur and tibia. It may include second state information that induces the final cutting line in the form of a horizontal axis perpendicular to the center line of the femur and tibia, respectively, to be automatically generated (see FIG. 11) based on each clicked virtual point (D41, D42). There is,
나아가, 상기 제2 조작신호 중 최종 절단선 생성을 완료한 후, 상기 생성된 최종 절단선에 대응하는 절단점을 마킹하고자 하는 제5 이벤트 신호에 따라 상기 알림모듈(160)에 디스플레이되는 제5 표시정보는, 상기 안내 영역(D13)에 표시되어, 상기 의사의 의학적 판단을 기초로, 상기 대퇴골의 관절구(condyle) 라인 상에서 상기 대퇴골에 대한 최종 절단선과의 수직방향 길이가 가장 긴 제1 지점(D51) 및 두번째 긴 제2 지점(D52)을 상기 대퇴골에 대한 절단점으로서 터치 또는 클릭하면서 마킹하고, 이와 동일하게 상기 경골의 관절 표면(articular surface)에서 상기 의학적 판단에 의해 상기 경골에 대한 절단점이 될만한 제3 지점(D53) 및 제4 지점(D54)을 터치 또는 클릭하면서 마킹(도 12 참조)하도록 유도하는 제3 상태정보를 포함할 수 있다.Furthermore, after completing the creation of the final cutting line among the second manipulation signals, a fifth display is displayed on the notification module 160 according to a fifth event signal for marking a cutting point corresponding to the generated final cutting line. Information is displayed in the guidance area D13, based on the medical judgment of the doctor, at a first point having the longest vertical length with the final cutting line for the femur on the condyle line of the femur ( D51) and the second long second point D52 are marked by touching or clicking as the cut point for the femur, and similarly, the cut point for the tibia is determined by the medical judgment on the articular surface of the tibia. It may include third state information that induces marking (see FIG. 12) by touching or clicking the possible third point D53 and fourth point D54.
한편, 상기 제2 조작신호 중 절단점 마킹을 완료한 제6 이벤트 신호에 따라 상기 알림모듈(160)에 디스플레이되는 제6 표시정보는, 상기 제1 이미지(I1)의 분석결과에 따른 제1 커스텀 정보(D61)를 포함할 수 있다.Meanwhile, the sixth display information displayed on the notification module 160 according to the sixth event signal that has completed cutting point marking among the second manipulation signals is the first custom signal according to the analysis result of the first image I1. May include information (D61).
이때, 상기 제1 커스텀 정보(D61)는 도 13에 나타낸 바와 같이, 상기 대퇴골에 대한 분석결과로 제공되는 제1 임플란트의 사이즈(D61-1 / F1~F7), 상기 경골에 대한 분석결과로 제공되는 제2 임플란트의 사이즈(D61-2 / T1~T7), 상기 제1,2 임플란트의 형상에 대한 외곽선(D61-3), 상기 대퇴골과 경골에 대한 중심선(D61-4), 상기 대퇴골과 경골에 대한 최종 절단선(D61-5), 상기 대퇴골에 대한 최종 절단선과 관절구 표면 간의 거리(D61-6), 상기 경골에 대한 최종 절단선과 관절구 표면 간의 거리(D61-7)를 포함하여 추출될 수 있다.At this time, as shown in FIG. 13, the first custom information (D61) is the size of the first implant (D61-1 / F1 ~ F7) provided as an analysis result for the femur, and the first custom information (D61) provided as an analysis result for the tibia. The size of the second implant (D61-2 / T1 ~ T7), the outline of the shape of the first and second implants (D61-3), the center line of the femur and tibia (D61-4), and the femur and tibia Extraction including the final cut line for the femur (D61-5), the distance between the final cut line for the femur and the condyle surface (D61-6), and the distance between the final cut line for the tibia and the condyle surface (D61-7). It can be.
또한, 상기 제2 조작신호 중 제6 표시정보의 디스플레이가 완료된 후, 상기 제1 표시정보에서 제2 탭 영역(D17)의 불러오기(D17-1)를 수행하는 아이콘을 터치 또는 클릭하여 상기 제2 이미지(I2)를 업로드한 제7 이벤트 신호에 따라 상기 알림모듈(160)에 디스플레이되는 제7 표시정보는, 상기 제1,2 딥러닝 간 상호작용으로 상기 제1 커스텀 정보(D61)의 추출 시에 대응 추출되어, 상기 제2 이미지(I2) 상에 자동 표시되는 제2 커스텀 정보(D71); 및 상기 제2 이미지(I2) 상의 어느 일측에 표시되는 의료정보(D72)를 포함할 수 있다.In addition, after the display of the sixth display information of the second manipulation signal is completed, the icon for performing the loading (D17-1) of the second tab area (D17) in the first display information is touched or clicked. 2 The seventh display information displayed on the notification module 160 according to the seventh event signal uploading the image (I2) is the extraction of the first custom information (D61) through interaction between the first and second deep learning. second custom information (D71) extracted correspondingly and automatically displayed on the second image (I2); and medical information (D72) displayed on one side of the second image (I2).
여기서, 상기 제2 커스텀 정보(D71)은 도 15에 나타낸 바와 같이, 상기 제1,2 임플란트의 사이즈(D71-1), 상기 제1,2 임플란트의 형상에 대한 외곽선(D71-2), 상기 대퇴골과 경골에 대한 중심선(D71-3), 상기 대퇴골의 간부(Femoral shaft)의 전방 표면(anterior surface)을 지나는 선(D71-4), 상기 경골의 간부(Tibial shaft)의 전방 표면을 지나는 선(D71-5)을 포함하여 추출될 수 있다.Here, as shown in FIG. 15, the second custom information (D71) includes the size (D71-1) of the first and second implants, the outline of the shape of the first and second implants (D71-2), and the The midline between the femur and tibia (D71-3), a line through the anterior surface of the femoral shaft (D71-4), a line through the anterior surface of the tibial shaft. It can be extracted including (D71-5).
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.A detailed description of preferred embodiments of the invention disclosed above is provided to enable any person skilled in the art to make or practice the invention. Although the present invention has been described above with reference to preferred embodiments, those skilled in the art will understand that various modifications and changes can be made to the present invention without departing from the scope of the present invention. For example, a person skilled in the art may use each configuration described in the above-described embodiments by combining them with each other. Accordingly, the present invention is not intended to be limited to the embodiments shown herein but is to be accorded the widest scope consistent with the principles and novel features disclosed herein.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.The present invention may be embodied in other specific forms without departing from the spirit and essential features of the present invention. Accordingly, the above detailed description should not be construed as restrictive in all respects and should be considered illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention. The present invention is not intended to be limited to the embodiments shown herein but is to be accorded the widest scope consistent with the principles and novel features disclosed herein. In addition, claims that do not have an explicit reference relationship in the patent claims can be combined to form an embodiment or included as a new claim through amendment after filing.
100 : 딥러닝 디지털 템플레이팅 시스템
110 : 영상 제공모듈
120 : 입력모듈
130 : 웹
140 : 외부 서버
150 : 제어모듈
151 : 영상 입력부
152 : AI 에이전트부
153 : 그래픽 제어부
153a : 데이터 저장부
153b : 학습모델 구축부
153c : 딥러닝 학습부
154 : 벡터 연산부
155 : 반환부
156 : 영상 처리부
160 : 알림모듈
161 : 영상 출력부
162 : 텍스트 출력부
I1 : 제1 이미지
I2 : 제2 이미지
D11 : 메인 보드
D12 : 제품명
D13 : 안내 영역
D13' : 상태정보
D14 : 패드 영역
D15-1 : 제1 패드
D15-2 : 제2 패드
D16 : 제1 탭 영역
D17 : 제2 탭 영역
D21-1 : 대퇴골 중심선
D21-2 : 경골 중심선
D22, D72 : 의료정보
D31 : 점선
D32 : 점선과 뼈의 외곽선이 만나는 8개 지점
D41 : 제1 절단선 교차점
D42 : 제2 절단선 교차점
D51 : 제1 지점
D52 : 제2 지점
D53 : 제3 지점
D54 : 제4 지점
D61 : 제1 커스텀 정보
D71 : 제2 커스텀 정보100: Deep learning digital templating system
110: Video provision module
120: input module
130: web
140: external server
150: Control module
151: video input unit
152: AI agent department
153: graphic control unit
153a: data storage unit
153b: Learning model construction department
153c: Deep Learning Department
154: vector operation unit
155: Return section
156: Image processing unit
160: Notification module
161: video output unit
162: Text output unit
I1: first image
I2: 2nd image
D11: Main board
D12: Product name
D13: Guidance area
D13': Status information
D14: Pad area
D15-1: 1st pad
D15-2: 2nd pad
D16: 1st tab area
D17: 2nd tab area
D21-1: Femur center line
D21-2: Tibia midline
D22, D72: Medical information
D31: dotted line
D32: 8 points where the dotted line meets the bone outline
D41: First cutting line intersection point
D42: Second cutting line intersection point
D51: first point
D52: Second point
D53: Third point
D54: 4th point
D61: First custom information
D71: Second custom information
Claims (10)
상기 환자의 슬관절에 대한 의료영상을 제공하는 영상 제공모듈;
상기 환자를 담당하는 의사가 해당 환자에 대한 임의의 의료정보와, 상기 임플란트의 제작을 위한 행동반응과 관련한 조작신호를 입력가능하게 구성되는 입력모듈;
상기 영상 제공모듈, 상기 입력모듈, 웹 및 외부 서버와 네트워크를 구축하여 통신하면서, 미리 저장된 에디터 프로그램을 통해 임의의 제작 툴을 이용가능한 서비스 환경을 지원하되, 상기 에디터 프로그램 상에 설계된 딥러닝 방식의 알고리즘 데이터가 상기 영상 제공모듈로부터 선제공되는 제1 의료영상과 이에 대응하여 상기 입력모듈로부터 기입력된 제1 조작신호를 기반으로, 상기 슬관절 중 상호 인접된 두 부위의 뼈에 대해 독립적으로 학습되도록 하고, 상기 학습이 수행된 이후를 기점으로 제공되는 제2 의료영상과 이에 대응하여 입력되는 제2 조작신호를 기반으로, 상기 두 부위의 뼈 및 이에 각각 추천되는 각각의 임플란트에 대해 안내하기 위한 커스텀 정보가 자동 추출되도록 하며, 상기 의료정보 및 상기 커스텀 정보가 상기 에디터 프로그램 상에 매핑되도록 하는 제어모듈; 및
상기 제어모듈이 수행하는 절차에 따른 표시정보를 임의의 화면 상에 시각적으로 디스플레이하는 알림모듈을 포함하되,
상기 의료영상은,
상기 슬관절을 제1 구도로 촬영한 제1 이미지; 및
상기 슬관절을 상기 제1 구도와 상이한 제2 구도로 촬영한 제2 이미지를 포함한 X-Ray 영상인 것을 특징으로 하고,
상기 알고리즘 데이터는,
영상 처리와 벡터 방정식을 이용하여 상기 두 부위의 뼈 및 이에 각각 추천되는 각각의 임플란트에 대해 자동 계측이 가능한 합성곱 신경망(Convolutional Neural Network; CNN) 기반의 딥러닝을 수행하도록 구성된 것을 특징으로 하며,
상기 제1 이미지는,
상기 슬관절의 정면을 촬영한 이미지이고,
상기 제2 이미지는,
상기 슬관절의 측면을 촬영한 이미지인 것을 특징으로 하며,
상기 두 부위의 뼈는,
대퇴골(Femur) 및 경골(Tibia)이고,
상기 알고리즘 데이터는,
상기 대퇴골에 대한 제1 딥러닝과, 상기 경골에 대한 제2 딥러닝을 각각 독립적으로 수행하도록 구성된 것을 특징으로 하며,
상기 제2 조작신호 중 상기 에디터 프로그램을 실행하고자 하는 제1 이벤트 신호에 따라 상기 알림모듈에 디스플레이되는 제1 표시정보는,
화면을 전체적으로 차지하는 메인 보드;
상기 메인 보드 상의 일측에 표시되는 상기 에디터 프로그램의 제품명;
상기 의사가 진행하는 작업과 관련하여 알림, 경고, 오류 중 적어도 하나의 작업상황을 실시간 안내하기 위한 상태정보가 상기 메인 보드 상의 다른 일측에 표시되는 안내 영역;
상기 메인 보드 상의 중앙부에 배치되는 패드 영역;
상기 패드 영역 상에 양분되어 상기 제1,2 이미지가 각각 업로드될 공간을 갖는 제1 패드와 제2 패드;
상기 제1 패드와 인접하게 위치하여, 상기 제1 이미지에 대한 불러오기, 상기 제1 이미지 상의 대퇴골과 경골에 대한 최종 절단선 위치 수정하기, 상기 제1 이미지 상의 대퇴골과 경골에 대한 중심선 수동 설정하기, 상기 제1 이미지의 분석결과에 따른 제1 커스텀 정보를 캡쳐 이미지로 저장하기, 실행 초기화하기를 각각 수행하기 위한 아이콘들로 배열되는 제1 탭 영역; 및
상기 제2 패드와 인접하게 위치하여, 상기 제2 이미지에 대한 불러오기, 상기 제2 이미지 상의 대퇴골과 경골에 대한 중심선 수동 설정하기, 상기 제2 이미지의 분석결과에 따른 제2 커스텀 정보를 캡쳐 이미지로 저장하기를 각각 수행하기 위한 아이콘들로 배열되는 제2 탭 영역을 포함하는 것을 특징으로 하고,
상기 제2 조작신호 중 상기 제1 표시정보에서 상기 제1 탭 영역의 불러오기를 수행하는 아이콘을 터치 또는 클릭하여 상기 제1 이미지를 업로드한 제2 이벤트 신호에 따라 상기 알림모듈에 디스플레이되는 제2 표시정보는,
상기 제1,2 딥러닝에 의해 상기 제1 이미지 상에 상이한 색상의 세로축 형태로 자동 표시되는 상기 대퇴골과 경골에 대한 중심선; 및
상기 제1 이미지 상의 어느 일측에 표시되는 의료정보를 포함하는 것을 특징으로 하며,
상기 제2 조작신호 중 상기 제2 표시정보에서 상기 의사의 의학적 판단을 기초로, 상기 중심선이 불량하게 표시된 것으로 판단되는 경우, 상기 제1 탭 영역의 중심선 수동 설정하기를 수행하는 아이콘을 터치 또는 클릭한 제3 이벤트 신호에 따라 상기 알림모듈에 디스플레이되는 제3 표시정보는,
상기 제1 이미지 상에 4개의 층으로 표시되는 점선; 및
상기 안내 영역에 표시되어, 상기 제1 이미지 상에 상기 점선과 뼈의 외곽선이 만나는 지점을 상기 경골부터 상기 대퇴골 순서로, 하측에서 상측 방향으로, 좌측에서 우측 순서로 8개의 점을 터치 또는 클릭하도록 유도하는 제1 상태정보를 포함하는 것을 특징으로 하는 무릎인공관절 수술계획 수립을 위한 딥러닝 디지털 템플레이팅 시스템.
In the digital templating system for establishing a total knee replacement surgery plan while providing a service that allows virtual production of a customized implant for the knee joint of the patient's body skeleton on an image,
an image providing module that provides medical images of the patient's knee joint;
an input module configured to enable a doctor in charge of the patient to input arbitrary medical information about the patient and a manipulation signal related to a behavioral response for manufacturing the implant;
It supports a service environment in which arbitrary production tools can be used through a pre-stored editor program while establishing and communicating with the video providing module, the input module, the web, and external servers, and uses a deep learning method designed on the editor program. Algorithm data is independently learned for the bones of two adjacent parts of the knee joint based on the first medical image provided in advance from the image providing module and the first manipulation signal input from the input module corresponding thereto. And, based on the second medical image provided after the learning is performed and the second manipulation signal input correspondingly, a custom device is provided to guide the bones of the two regions and each recommended implant. a control module that automatically extracts information and maps the medical information and custom information onto the editor program; and
It includes a notification module that visually displays display information according to the procedure performed by the control module on an arbitrary screen,
The medical image is,
A first image taken of the knee joint in a first composition; and
Characterized in that it is an X-ray image including a second image taken of the knee joint in a second composition different from the first composition,
The algorithm data is,
It is characterized by being configured to perform deep learning based on a convolutional neural network (CNN) that can automatically measure the bones of the two regions and each recommended implant using image processing and vector equations,
The first image is,
This is an image taken of the front of the knee joint,
The second image is,
Characterized in that it is an image taken of the side of the knee joint,
The bones of the two areas above are,
Femur and tibia,
The algorithm data is,
Characterized in that it is configured to independently perform first deep learning for the femur and second deep learning for the tibia,
Among the second manipulation signals, the first display information displayed on the notification module according to the first event signal for executing the editor program is,
The main board takes up the entire screen;
a product name of the editor program displayed on one side of the main board;
a guidance area in which status information for providing real-time guidance on at least one of notifications, warnings, and errors related to work performed by the doctor is displayed on another side of the main board;
a pad area disposed at the center of the main board;
a first pad and a second pad bisected on the pad area to have spaces for uploading the first and second images, respectively;
Located adjacent to the first pad, loading the first image, modifying the final cut line position for the femur and tibia on the first image, and manually setting the center line for the femur and tibia on the first image. , a first tab area arranged with icons for storing the first custom information according to the analysis result of the first image as a captured image and initializing the execution, respectively; and
Located adjacent to the second pad, loading the second image, manually setting the center line for the femur and tibia on the second image, and capturing second custom information according to the analysis result of the second image. Characterized by comprising a second tab area arranged with icons for respectively performing saving,
Among the second manipulation signals, a second event signal displayed on the notification module according to a second event signal in which the first image is uploaded by touching or clicking an icon for loading the first tab area in the first display information The display information is,
Center lines for the femur and tibia automatically displayed in the form of vertical axes of different colors on the first image by the first and second deep learning; and
Characterized by including medical information displayed on one side of the first image,
If it is determined that the center line is displayed poorly based on the doctor's medical judgment in the second display information among the second manipulation signals, touch or click the icon for manually setting the center line in the first tab area. The third display information displayed on the notification module according to a third event signal is,
Dotted lines representing four layers on the first image; and
Displayed in the guide area, touch or click eight points at the point where the dotted line and the outline of the bone meet on the first image in the order from the tibia to the femur, from the bottom to the top, and from left to right. A deep learning digital templating system for establishing a knee artificial joint surgery plan, characterized by including first state information to be derived.
상기 제어모듈은,
상기 영상 제공모듈로부터 제공된 제1,2 의료영상을 수집하여 입력가능하게 구성되는 영상 입력부;
미리 저장된 에디터 프로그램을 통해 임의의 제작 툴을 이용가능한 서비스 환경을 지원하는 AI 에이전트부;
상기 AI 에이전트부의 에디터 프로그램 상에 설계된 딥러닝 방식의 알고리즘 데이터가 상기 제1 의료영상과 상기 제1 조작신호를 기반으로, 상기 슬관절 중 상호 인접된 두 부위의 뼈에 대해 독립적으로 학습되도록 하는 그래픽 제어부;
상기 제2 의료영상과 상기 제2 조작신호를 기반으로, 상기 그래픽 제어부의 학습결과를 반영하면서 상기 두 부위의 뼈 및 이에 각각 추천되는 각각의 임플란트에 대해 안내하기 위한 커스텀 정보가 자동 추출되도록 하는 벡터 연산부;
상기 벡터 연산부에서 추출된 결과값이 상기 AI 에이전트부의 에디터 프로그램에 호환가능하게 전달하는 반환부; 및
상기 입력모듈로부터 입력된 의료정보와 상기 반환부로부터 전달된 결과값이 상기 AI 에이전트부의 에디터 프로그램 상에 매핑되도록 하는 영상 처리부를 포함하는 것을 특징으로 하는 무릎인공관절 수술계획 수립을 위한 딥러닝 디지털 템플레이팅 시스템.
According to claim 1,
The control module is,
an image input unit configured to collect and input first and second medical images provided from the image providing module;
An AI agent unit that supports a service environment in which arbitrary production tools can be used through a pre-stored editor program;
A graphic control unit that allows deep learning algorithm data designed on the editor program of the AI agent unit to be independently learned for the bones of two adjacent parts of the knee joint based on the first medical image and the first manipulation signal. ;
Based on the second medical image and the second manipulation signal, a vector that reflects the learning results of the graphic control unit and automatically extracts custom information for guiding the bones of the two regions and each recommended implant for them. operation unit;
a return unit that transfers the result value extracted from the vector operation unit to the editor program of the AI agent unit in a compatible manner; and
A deep learning digital temple for establishing a knee replacement surgery plan, comprising an image processing unit that maps the medical information input from the input module and the result value transmitted from the return unit onto the editor program of the AI agent unit. Rating system.
상기 그래픽 제어부는,
상기 제1 의료영상과 상기 제1 조작신호에 대한 학습용 데이터를 누적하여 기록 및 저장하고, AI 에이전트부의 에디터 프로그램 상에 미리 설계된 딥러닝 방식의 알고리즘 데이터를 저장하고 관리하는 데이터 저장부;
상기 데이터 저장부에 저장된 상기 알고리즘 데이터와 상기 학습용 데이터를 기초로, 임의의 학습모델을 구축하는 학습모델 구축부; 및
상기 학습모델 구축부에서 구축된 학습모델을 기반으로, 상기 슬관절 중 상호 인접된 두 부위의 뼈에 대해 독립적으로 딥러닝 학습을 수행하는 딥러닝 학습부를 포함하는 것을 특징으로 하는 무릎인공관절 수술계획 수립을 위한 딥러닝 디지털 템플레이팅 시스템.
According to claim 4,
The graphic control unit,
a data storage unit that accumulates, records and stores training data for the first medical image and the first manipulation signal, and stores and manages deep learning algorithm data designed in advance on an editor program of the AI agent unit;
a learning model construction unit that constructs an arbitrary learning model based on the algorithm data and the learning data stored in the data storage unit; and
Establishing a knee artificial joint surgery plan, comprising a deep learning learning unit that independently performs deep learning learning on the bones of two adjacent parts of the knee joint, based on the learning model constructed in the learning model building unit. A deep learning digital templating system for.
상기 제2 조작신호 중 상기 중심선 수동 설정하기를 완료한 후, 상기 수동 설정된 중심선에 대응하는 최종 절단선을 생성하고자 하는 제4 이벤트 신호에 따라 상기 알림모듈에 디스플레이되는 제4 표시정보는,
상기 안내 영역에 표시되어, 상기 의학적 판단을 기초로, 상기 대퇴골에 대한 절단점의 기준으로서, 상기 대퇴골의 중심선과 가상의 제1 절단선이 교차하는 가상 지점을 터치 또는 클릭하고, 상기 경골에 대한 절단점의 기준으로서, 상기 경골의 중심선과 가상의 제2 절단선이 교차하는 가상 지점을 터치 또는 클릭하면서, 상기 대퇴골과 경골에 터치 또는 클릭된 각각의 가상 지점을 기준으로 상기 대퇴골 및 경골의 중심선과 각각 수직을 이루는 가로축 형태의 최종 절단선이 자동 생성되도록 유도하는 제2 상태정보를 포함하는 것을 특징으로 하고,
상기 제2 조작신호 중 상기 최종 절단선 생성을 완료한 후, 상기 생성된 최종 절단선에 대응하는 절단점을 마킹하고자 하는 제5 이벤트 신호에 따라 상기 알림모듈에 디스플레이되는 제5 표시정보는,
상기 안내 영역에 표시되어, 상기 의학적 판단을 기초로, 상기 대퇴골의 관절구(condyle) 라인 상에서 상기 대퇴골에 대한 최종 절단선과의 수직방향 길이가 가장 긴 제1 지점 및 두번째 긴 제2 지점을 상기 대퇴골에 대한 절단점으로서 터치 또는 클릭하면서 마킹하고, 이와 동일하게 상기 경골의 관절 표면(articular surface)에서 상기 의학적 판단에 의해 상기 경골에 대한 절단점이 될만한 제3 지점 및 제4 지점을 터치 또는 클릭하면서 마킹하도록 유도하는 제3 상태정보를 포함하는 것을 특징으로 하는 무릎인공관절 수술계획 수립을 위한 딥러닝 디지털 템플레이팅 시스템.
According to claim 1,
After completing the manual setting of the center line among the second manipulation signals, the fourth display information displayed on the notification module according to the fourth event signal for creating a final cutting line corresponding to the manually set center line is,
Touch or click on a virtual point displayed in the guide area where a center line of the femur and a virtual first cutting line intersect as a reference for a cutting point for the femur, based on the medical judgment, and a virtual point for the tibia. As a reference for the cutting point, touch or click a virtual point where the center line of the tibia intersects with the virtual second cutting line, and the center line of the femur and tibia based on each virtual point touched or clicked on the femur and tibia. and second state information that leads to the automatic creation of a final cutting line in the form of a horizontal axis forming a vertical axis,
After completing the creation of the final cutting line among the second manipulation signals, the fifth display information displayed on the notification module according to the fifth event signal for marking the cutting point corresponding to the generated final cutting line is,
Displayed in the guide area, based on the medical judgment, a first point and a second longest point on the condyle line of the femur in the direction perpendicular to the final cutting line for the femur are the longest. Marking by touching or clicking as a cutting point for the tibia, and similarly marking by touching or clicking the third and fourth points on the articular surface of the tibia that are likely to be the cutting point for the tibia according to the medical judgment. A deep learning digital templating system for establishing a knee artificial joint surgery plan, characterized in that it includes third state information that induces to do so.
상기 제2 조작신호 중 상기 절단점 마킹을 완료한 제6 이벤트 신호에 따라 상기 알림모듈에 디스플레이되는 제6 표시정보는,
상기 제1 이미지의 분석결과에 따른 제1 커스텀 정보를 포함하는 것을 특징으로 하고,
상기 제1 커스텀 정보는,
상기 대퇴골에 대한 분석결과로 제공되는 제1 임플란트의 사이즈, 상기 경골에 대한 분석결과로 제공되는 제2 임플란트의 사이즈, 상기 제1,2 임플란트의 형상에 대한 외곽선, 상기 대퇴골과 경골에 대한 중심선, 상기 대퇴골과 경골에 대한 최종 절단선, 상기 대퇴골에 대한 최종 절단선과 관절구 표면 간의 거리, 상기 경골에 대한 최종 절단선과 관절구 표면 간의 거리를 포함하여 추출되는 것을 특징으로 하는 무릎인공관절 수술계획 수립을 위한 딥러닝 디지털 템플레이팅 시스템.
According to claim 8,
The sixth display information displayed on the notification module according to the sixth event signal that completes the cutting point marking among the second manipulation signals is,
Characterized by including first custom information according to an analysis result of the first image,
The first custom information is,
The size of the first implant provided as a result of the analysis of the femur, the size of the second implant provided as a result of the analysis of the tibia, outlines of the shapes of the first and second implants, center lines for the femur and tibia, Establishment of a knee artificial joint surgery plan, characterized in that the extraction includes the final cutting line for the femur and tibia, the distance between the final cutting line for the femur and the condyle surface, and the distance between the final cutting line for the tibia and the condyle surface. A deep learning digital templating system for.
상기 제2 조작신호 중 상기 제6 표시정보의 디스플레이가 완료된 후, 상기 제1 표시정보에서 상기 제2 탭 영역의 불러오기를 수행하는 아이콘을 터치 또는 클릭하여 상기 제2 이미지를 업로드한 제7 이벤트 신호에 따라 상기 알림모듈에 디스플레이되는 제7 표시정보는,
상기 제1,2 딥러닝 간 상호작용으로 상기 제1 커스텀 정보의 추출 시에 대응 추출되어, 상기 제2 이미지 상에 자동 표시되는 제2 커스텀 정보; 및
상기 제2 이미지 상의 어느 일측에 표시되는 의료정보를 포함하는 것을 특징으로 하고,
상기 제2 커스텀 정보는,
상기 제1,2 임플란트의 사이즈, 상기 제1,2 임플란트의 형상에 대한 외곽선, 상기 대퇴골과 경골에 대한 중심선, 상기 대퇴골의 간부(Femoral shaft)의 전방 표면(anterior surface)을 지나는 선, 상기 경골의 간부(Tibial shaft)의 전방 표면을 지나는 선을 포함하여 추출되는 것을 특징으로 하는 무릎인공관절 수술계획 수립을 위한 딥러닝 디지털 템플레이팅 시스템.According to clause 9,
A seventh event in which the second image is uploaded by touching or clicking an icon for loading the second tab area in the first display information after the display of the sixth display information among the second manipulation signals is completed. The seventh display information displayed on the notification module according to the signal is,
second custom information that is correspondingly extracted upon extraction of the first custom information through interaction between the first and second deep learning and automatically displayed on the second image; and
Characterized by including medical information displayed on one side of the second image,
The second custom information is,
Sizes of the first and second implants, outlines of the shapes of the first and second implants, a center line for the femur and tibia, a line passing through the anterior surface of the femoral shaft, and the tibia. A deep learning digital templating system for establishing a knee artificial joint surgery plan, characterized in that it is extracted including a line passing through the anterior surface of the tibial shaft.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230045963A KR102632865B1 (en) | 2023-04-07 | 2023-04-07 | Deep Learning Digital Templating System for Pre-operative Surgical Planning of Total Knee Replacement |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230045963A KR102632865B1 (en) | 2023-04-07 | 2023-04-07 | Deep Learning Digital Templating System for Pre-operative Surgical Planning of Total Knee Replacement |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102632865B1 true KR102632865B1 (en) | 2024-02-06 |
Family
ID=89858187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230045963A KR102632865B1 (en) | 2023-04-07 | 2023-04-07 | Deep Learning Digital Templating System for Pre-operative Surgical Planning of Total Knee Replacement |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102632865B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012112694A2 (en) * | 2011-02-15 | 2012-08-23 | Conformis, Inc. | Medeling, analyzing and using anatomical data for patient-adapted implants. designs, tools and surgical procedures |
| KR20180039646A (en) * | 2015-08-11 | 2018-04-18 | 아이티케이알 소프트웨어 엘엘씨 | Method and device for individualized kinematically aligned total knee arthroplasty |
| US20200214843A1 (en) * | 2013-03-15 | 2020-07-09 | Conformis, Inc. | Kinematic and Parameterized Modeling for Patient-Adapted Implants, Tools, and Surgical Procedures |
| KR102216022B1 (en) | 2019-05-09 | 2021-02-15 | 서울여자대학교 산학협력단 | A Method and Apparatus for Modeling Average Orbital Shape in Head and Neck CT image by Using Statistical Shape Model |
| KR20230013719A (en) * | 2021-07-19 | 2023-01-27 | 주식회사 카비랩 | Artificial intelligence based 3D surgery planning system for replacement arthroplasty and its method |
-
2023
- 2023-04-07 KR KR1020230045963A patent/KR102632865B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012112694A2 (en) * | 2011-02-15 | 2012-08-23 | Conformis, Inc. | Medeling, analyzing and using anatomical data for patient-adapted implants. designs, tools and surgical procedures |
| US20200214843A1 (en) * | 2013-03-15 | 2020-07-09 | Conformis, Inc. | Kinematic and Parameterized Modeling for Patient-Adapted Implants, Tools, and Surgical Procedures |
| KR20180039646A (en) * | 2015-08-11 | 2018-04-18 | 아이티케이알 소프트웨어 엘엘씨 | Method and device for individualized kinematically aligned total knee arthroplasty |
| KR102216022B1 (en) | 2019-05-09 | 2021-02-15 | 서울여자대학교 산학협력단 | A Method and Apparatus for Modeling Average Orbital Shape in Head and Neck CT image by Using Statistical Shape Model |
| KR20230013719A (en) * | 2021-07-19 | 2023-01-27 | 주식회사 카비랩 | Artificial intelligence based 3D surgery planning system for replacement arthroplasty and its method |
Non-Patent Citations (2)
| Title |
|---|
| BRAINLAB, TraumaCad Version 2.5 USER'S GUIDE(2022) 1부.* * |
| mediCAD Hectec GmbH, mediCAD V6.0 User Manual(2019) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11596479B2 (en) | Computer-assisted arthroplasty system | |
| US20210100620A1 (en) | Neural network for recommendation of shoulder surgery type | |
| US10268802B2 (en) | Medical image processing apparatus and medical image processing system | |
| US11062527B2 (en) | Overlay and manipulation of medical images in a virtual environment | |
| US6901277B2 (en) | Methods for generating a lung report | |
| US20120194505A1 (en) | Digital Image Templating | |
| US20030028401A1 (en) | Customizable lung report generator | |
| Arias et al. | Virtual surgical planning and three-dimensional printed guide for soft tissue correction in facial asymmetry | |
| US20060020915A1 (en) | System and method for improved surgical workflow development | |
| CN107106104B (en) | System and method for orthopedic analysis and treatment planning | |
| US11810360B2 (en) | Methods for arthroscopic surgery video segmentation and devices therefor | |
| US11587668B2 (en) | Methods and systems for a medical image annotation tool | |
| Klein et al. | CT-based patient-specific simulation software for pedicle screw insertion | |
| Sethia et al. | Preoperative preparation for otologic surgery: temporal bone simulation | |
| JP2009106532A (en) | System and program for processing ophthalmologic information | |
| US20230146371A1 (en) | Mixed-reality humeral-head sizing and placement | |
| KR102632865B1 (en) | Deep Learning Digital Templating System for Pre-operative Surgical Planning of Total Knee Replacement | |
| JP2023138684A (en) | Medical care support device, operating method thereof, operating program, and medical care support system | |
| Shikara et al. | Assessment of a novel computer algorithm for printing a 3-dimensional nasal prosthetic | |
| US20230207106A1 (en) | Image segmentation for sets of objects | |
| Nicklaus et al. | Potential of intraoperative 3D photography and 3D visualization in breast reconstruction | |
| US20220175455A1 (en) | System and method for providing surgical planning and guidance with three-dimensional visualization | |
| Andersson et al. | Digital 3D Facial Reconstruction Based on Computed Tomography | |
| KR102500378B1 (en) | Automatic medical drawing generator, the method for generating automatic medical drawing thereof and machine learning based automatic medical drawing generator | |
| US20230386647A1 (en) | Medical image processing apparatus, method, and medical system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |