KR20230165284A - 진단 또는 중재 이용을 위해 전자 의료 이미지들을 처리하기 위한 시스템들 및 방법들 - Google Patents
진단 또는 중재 이용을 위해 전자 의료 이미지들을 처리하기 위한 시스템들 및 방법들 Download PDFInfo
- Publication number
- KR20230165284A KR20230165284A KR1020237037285A KR20237037285A KR20230165284A KR 20230165284 A KR20230165284 A KR 20230165284A KR 1020237037285 A KR1020237037285 A KR 1020237037285A KR 20237037285 A KR20237037285 A KR 20237037285A KR 20230165284 A KR20230165284 A KR 20230165284A
- Authority
- KR
- South Korea
- Prior art keywords
- machine learning
- image
- learning model
- objects
- ultrasound
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 266
- 238000012545 processing Methods 0.000 title claims abstract description 29
- 238000010801 machine learning Methods 0.000 claims abstract description 314
- 210000003484 anatomy Anatomy 0.000 claims abstract description 132
- 238000002604 ultrasonography Methods 0.000 claims abstract description 79
- 238000012285 ultrasound imaging Methods 0.000 claims abstract description 74
- 230000001066 destructive effect Effects 0.000 claims abstract description 16
- 239000000523 sample Substances 0.000 claims description 163
- 238000012800 visualization Methods 0.000 claims description 54
- 208000023178 Musculoskeletal disease Diseases 0.000 claims description 52
- 238000003745 diagnosis Methods 0.000 claims description 48
- 238000005259 measurement Methods 0.000 claims description 29
- 210000002435 tendon Anatomy 0.000 claims description 27
- 208000004434 Calcinosis Diseases 0.000 claims description 18
- 210000000988 bone and bone Anatomy 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 15
- 210000005036 nerve Anatomy 0.000 claims description 14
- 210000003041 ligament Anatomy 0.000 claims description 12
- 230000003902 lesion Effects 0.000 claims description 11
- 210000003205 muscle Anatomy 0.000 claims description 11
- 238000002405 diagnostic procedure Methods 0.000 claims description 9
- 208000003098 Ganglion Cysts Diseases 0.000 claims description 8
- 210000001367 artery Anatomy 0.000 claims description 7
- 210000000845 cartilage Anatomy 0.000 claims description 5
- 238000013152 interventional procedure Methods 0.000 claims description 5
- 210000003462 vein Anatomy 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 3
- 206010063045 Effusion Diseases 0.000 claims description 2
- 238000012549 training Methods 0.000 description 185
- 238000003384 imaging method Methods 0.000 description 74
- 230000000875 corresponding effect Effects 0.000 description 49
- 230000008569 process Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 24
- 238000007781 pre-processing Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 15
- 238000002059 diagnostic imaging Methods 0.000 description 15
- 238000003780 insertion Methods 0.000 description 14
- 230000037431 insertion Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 13
- 210000000707 wrist Anatomy 0.000 description 12
- 239000000835 fiber Substances 0.000 description 11
- 208000024288 Rotator Cuff injury Diseases 0.000 description 10
- 238000012805 post-processing Methods 0.000 description 10
- 238000001574 biopsy Methods 0.000 description 9
- 208000018286 Shoulder injury Diseases 0.000 description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 8
- 208000035475 disorder Diseases 0.000 description 8
- 238000001356 surgical procedure Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000002591 computed tomography Methods 0.000 description 7
- 230000006378 damage Effects 0.000 description 7
- 230000004807 localization Effects 0.000 description 7
- 238000013188 needle biopsy Methods 0.000 description 7
- 210000000513 rotator cuff Anatomy 0.000 description 7
- 210000000323 shoulder joint Anatomy 0.000 description 7
- 208000000491 Tendinopathy Diseases 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 208000005400 Synovial Cyst Diseases 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 208000014674 injury Diseases 0.000 description 4
- 210000000629 knee joint Anatomy 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 210000001617 median nerve Anatomy 0.000 description 4
- 230000007170 pathology Effects 0.000 description 4
- 238000002600 positron emission tomography Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 208000023835 Tendon disease Diseases 0.000 description 3
- 206010043255 Tendonitis Diseases 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 201000004415 tendinitis Diseases 0.000 description 3
- 208000013515 tendinosis Diseases 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 201000010588 calcific tendinitis Diseases 0.000 description 2
- 208000003295 carpal tunnel syndrome Diseases 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 210000000416 exudates and transudate Anatomy 0.000 description 2
- 230000000399 orthopedic effect Effects 0.000 description 2
- 238000000059 patterning Methods 0.000 description 2
- 230000002980 postoperative effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 210000002559 ulnar artery Anatomy 0.000 description 2
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 206010007882 Cellulitis Diseases 0.000 description 1
- 206010011732 Cyst Diseases 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 206010017088 Fracture nonunion Diseases 0.000 description 1
- 201000005569 Gout Diseases 0.000 description 1
- 206010018852 Haematoma Diseases 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 206010020649 Hyperkeratosis Diseases 0.000 description 1
- 206010061216 Infarction Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 206010024612 Lipoma Diseases 0.000 description 1
- 206010064470 Muscle swelling Diseases 0.000 description 1
- 201000002481 Myositis Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 201000001263 Psoriatic Arthritis Diseases 0.000 description 1
- 208000036824 Psoriatic arthropathy Diseases 0.000 description 1
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 1
- 206010071051 Soft tissue mass Diseases 0.000 description 1
- 206010068771 Soft tissue neoplasm Diseases 0.000 description 1
- 208000013201 Stress fracture Diseases 0.000 description 1
- 206010042674 Swelling Diseases 0.000 description 1
- 208000021945 Tendon injury Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 206010000269 abscess Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 206010003246 arthritis Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 208000034158 bleeding Diseases 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000003010 carpal bone Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 208000031513 cyst Diseases 0.000 description 1
- 238000013503 de-identification Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004349 growth plate Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000007574 infarction Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000007488 musculoskeletal ultrasound Methods 0.000 description 1
- 208000019382 nerve compression syndrome Diseases 0.000 description 1
- 208000023833 nerve sheath neoplasm Diseases 0.000 description 1
- 238000012015 optical character recognition Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 201000008482 osteoarthritis Diseases 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920002239 polyacrylonitrile Polymers 0.000 description 1
- 201000006292 polyarteritis nodosa Diseases 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 206010039073 rheumatoid arthritis Diseases 0.000 description 1
- 230000037390 scarring Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 150000003431 steroids Chemical class 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000006496 vascular abnormality Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
진단 및/또는 중재 이용을 위해 초음파 이미지들을 처리하여 객체들을 식별하기 위한 시스템들 및 방법들이 본 명세서에 개시된다. 예를 들어, 해부학적 구조의 초음파 이미지는 초음파 이미징 시스템의 컴퓨팅 디바이스로부터 수신될 수 있다. 초음파 이미지는 해부학적 구조의 초음파 이미지들에서 복수의 객체를 식별하도록 훈련되는 기계 학습 모델에 입력될 수 있다. 복수의 객체는 해부학적 특징들, 파괴적 특징들, 및/또는 기구들을 포함할 수 있다. 초음파 이미지에서 식별된 복수의 객체 중 하나 이상의 객체의 예측은 기계 학습 모델의 출력으로서 수신될 수 있다. 예측의 표시는 초음파 이미징 시스템의 디스플레이 상의 디스플레이를 위해 컴퓨팅 디바이스에 제공될 수 있다.
Description
관련 출원(들)에 대한 상호 참조
본 출원은 2021년 4월 2일자로 출원된 미국 가출원 제63/170,377호에 대한 우선권을 주장하며, 그 전체 개시내용은 전체가 본 명세서에 참조로 포함된다.
본 명세서에 제시된 다양한 기술들은 일반적으로 인공 지능(AI)을 이용하여 임상 진단들, 측정치들, 및/또는 관찰들을 제공하기 위한 전자 의료 이미지들의 처리에 관한 것이다. 더 구체적으로는, 본 개시내용의 특정 기술들은 진단 또는 중재(interventional) 초음파 이미지들로부터 근골격 장애들(musculoskeletal disorders)과 연관된 임상 진단들, 측정치들, 및/또는 관찰들을 예측하기 위해 기계 학습 모델들을 훈련 및 이용하기 위한 시스템들 및 방법들에 관한 것이다.
근골격 장애들은 미국 및 전세계 모두에서 삶의 질에 상당히 영향을 미친다. 근골격 장애들에 의해 영향을 받는 해부학적 구조들의 이미징(imaging)은 장애들의 임상 진단들을 용이하게 하고/하거나 장애들을 치료하기 위한 (예를 들어, 안내) 중재들의 일부로서 이용될 수 있다. 그러나, 환자들은 스케줄링 지연들, 추가 비용들 및 불필요한 방사선 노출에 환자들을 노출시키는 컴퓨터 단층 촬영(CT), 자기 공명 촬영(MRI) 및 양전자 방출 단층 촬영(PET)과 같은 고가의 고급 의료 이미징의 남용 및/또는 오용에 더 관심을 갖게 되고 있다. 따라서, 초음파 등의 대안적인 이미징 기술들이 근골격 장애들과 연관된 진단 및 중재 이미징에 점점 더 이용될 수 있다.
전술한 일반적인 설명 및 다음의 상세한 설명은 단지 예시적이고 설명적이며, 본 개시내용을 제한하지 않는다. 본 명세서에 제공되는 배경기술 설명은 본 개시내용의 맥락을 일반적으로 제시하기 위한 것이다. 본 명세서에서 달리 지시되지 않는 한, 이 섹션에서 설명되는 자료들은 본 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션 내의 포함에 의해 종래 기술 또는 종래 기술의 제안들인 것으로 인정되지 않는다.
본 개시내용의 특정 양태들에 따르면, 진단 및/또는 중재 이용을 위해 초음파 이미지들과 같은 전자 이미지들을 처리하여 객체들(objects)을 식별하기 위한 시스템들 및 방법들이 개시된다.
하나의 예시적인 양태에서, 초음파 이미지들을 처리하여 객체들을 식별하기 위한 시스템들이 설명된다. 예시적인 시스템은 프로세서 및 프로세서에 결합된 메모리를 포함할 수 있다. 메모리는, 프로세서에 의해 실행될 때, 시스템으로 하여금 동작들을 수행하게 하는 명령어들을 저장할 수 있다. 동작들은 초음파 이미징 시스템의 컴퓨팅 디바이스로부터 해부학적 구조의 초음파 이미지를 수신하는 동작, 및 해부학적 구조의 초음파 이미지들에서 복수의 객체를 식별하도록 훈련되는 기계 학습 모델에 대한 입력으로서 초음파 이미지를 제공하는 동작을 포함할 수 있다. 복수의 객체는 해부학적 특징들, 파괴적 특징들, 및/또는 기구들(instruments)을 포함할 수 있다. 동작들은 기계 학습 모델의 출력으로서 초음파 이미지에서 식별된 복수의 객체 중 하나 이상의 객체의 예측을 수신하는 동작, 및 초음파 이미징 시스템의 디스플레이 상의 디스플레이를 위해 예측의 표시를 컴퓨팅 디바이스에 제공하는 동작을 더 포함할 수 있다.
다른 예시적인 양태에서, 초음파 이미지들을 처리하여 객체들을 식별하기 위한 방법들이 설명된다. 예시적인 방법은 초음파 이미징 시스템의 컴퓨팅 디바이스로부터 해부학적 구조의 초음파 이미지를 수신하는 단계, 및 해부학적 구조의 초음파 이미지들에서 복수의 객체를 식별하도록 훈련되는 기계 학습 모델에 대한 입력으로서 초음파 이미지를 제공하는 단계를 포함할 수 있다. 복수의 객체는 해부학적 특징들, 파괴적 특징들, 및/또는 기구들을 포함할 수 있다. 이 방법은 기계 학습 모델의 출력으로서 초음파 이미지에서 식별된 복수의 객체 중 하나 이상의 객체의 예측을 수신하는 단계, 및 초음파 이미징 시스템의 디스플레이 상의 디스플레이를 위해 예측의 표시를 컴퓨팅 디바이스에 제공하는 단계를 더 포함할 수 있다.
추가의 예시적인 양태에서, 초음파 이미지들을 처리하여 객체들을 식별하기 위한 비일시적 컴퓨터 판독가능한 매체가 설명된다. 예시적인 비일시적 컴퓨터 판독가능한 매체는, 프로세서에 의해 실행될 때, 프로세서로 하여금 초음파 이미지들을 처리하여 객체들을 식별하기 위한 동작들을 수행하게 하는 명령어들을 저장할 수 있다. 동작들은 초음파 이미징 시스템의 컴퓨팅 디바이스로부터 해부학적 구조의 초음파 이미지를 수신하는 동작, 및 해부학적 구조의 초음파 이미지들에서 복수의 객체를 식별하도록 훈련되는 기계 학습 모델에 대한 입력으로서 초음파 이미지를 제공하는 동작을 포함할 수 있다. 복수의 객체는 해부학적 특징들, 파괴적 특징들, 및/또는 기구들을 포함할 수 있다. 동작들은 기계 학습 모델의 출력으로서 초음파 이미지에서 식별된 복수의 객체 중 하나 이상의 객체의 예측을 수신하는 동작, 및 초음파 이미징 시스템의 디스플레이 상의 디스플레이를 위해 예측의 표시를 컴퓨팅 디바이스에 제공하는 동작을 더 포함할 수 있다.
전술한 일반적인 설명 및 다음의 상세한 설명 둘 다는 예시적이고 설명적일 뿐이며, 청구된 바와 같은 개시된 실시예들을 제한하지 않는다는 것을 이해해야 한다.
본 명세서에 포함되어 그 일부를 구성하는 첨부 도면들은 다양한 예시적인 실시예들을 예시하고, 설명과 함께, 개시된 실시예들의 원리들을 설명하는 역할을 한다.
도 1은 본 명세서에서 설명되는 기술들에 따른, 전자 의료 이미지들을 처리하기 위한 네트워크 환경의 예시적인 블록도를 도시한다.
도 2는 본 명세서에서 설명되는 기술들에 따른, 의료 이미지 처리 시스템에 의해 수행되는 예시적인 프로세스의 블록도를 도시한다.
도 3은 본 명세서에서 설명되는 기술들에 따른, 근골격 장애의 진단을 예측하도록 기계 학습 모델을 훈련시키기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 4는 본 명세서에서 설명되는 기술들에 따른, 근골격 장애의 진단을 예측하기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 5a는 본 명세서에서 설명되는 기술들에 따른, 어깨 손상에 대한 진단을 예측하기 위한 기계 학습 모델의 훈련 프로세스를 나타내는 개념도를 도시한다.
도 5b는 본 명세서에서 설명되는 기술들에 따른, 어깨 손상에 대한 예측된 진단을 디스플레이하는 예시적인 애플리케이션 사용자 인터페이스를 도시한다.
도 6은 본 명세서에서 설명되는 기술들에 따른, 해부학적 구조의 의료 이미지 내의 객체들을 식별하도록 기계 학습 모델을 훈련시키기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 7은 본 명세서에서 설명되는 기술들에 따른, 해부학적 구조의 의료 이미지 내의 객체들을 식별하기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 8은 본 명세서에서 설명되는 기술들에 따른, 해부학적 구조의 의료 이미지 내에서 식별된 객체의 최적 이미지를 식별하도록 기계 학습 모델을 훈련시키기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 9는 본 명세서에서 설명되는 기술들에 따른, 의료 이미지가 그 내부에서 식별된 객체의 최적 이미지인지를 결정하기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 10은 본 명세서에 제시된 기술들에 따라 디스플레이될 수 있는, 의료 이미지 내에서 식별된 객체들을 디스플레이하는 예시적인 애플리케이션 사용자 인터페이스를 도시한다.
도 11은 본 명세서에서 설명되는 기술들에 따른, 기구의 위치를 예측하도록 기계 학습 모델을 훈련시키기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 12는 본 명세서에서 설명되는 기술들에 따른, 기구의 위치를 예측하기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 13은 본 명세서에서 설명되는 기술들에 따른, 기구 궤적을 예측하도록 기계 학습 모델을 훈련시키기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 14는 본 명세서에서 설명되는 기술들에 따른, 기구 궤적을 예측하기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 15는 본 명세서에서 설명되는 기술들에 따른, 예측된 기구 위치 및 궤적을 디스플레이하는 예시적인 애플리케이션 사용자 인터페이스를 도시한다.
도 16은 본 명세서에서 설명되는 기술들에 따른, 해부학적 특징들을 식별하도록 기계 학습 모델을 훈련시키기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 17은 본 명세서에서 설명되는 기술들에 따른, 의료 이미지에서 식별된 해부학적 구조의 해부학적 특징들을 시각화하기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 18은 본 명세서에서 설명되는 기술들에 따른, 해부학적 구조의 의료 이미지 내에서 식별된 해부학적 구조의 해부학적 특징들의 시각화를 디스플레이하는 예시적인 애플리케이션 사용자 인터페이스를 도시한다.
도 19는 본 명세서에서 설명되는 기술들에 따른, 의료 이미지 내에서 식별된 해부학적 특징과의 프로브 정렬을 검출하도록 기계 학습 모델을 훈련시키기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 20은 본 명세서에서 설명되는 기술들에 따른, 해부학적 구조의 의료 이미지 내에서 식별된 해부학적 구조의 하나 이상의 해부학적 특징과의 프로브 정렬을 검출하기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 21은 본 명세서에서 설명되는 기술들에 따른, 최적 이미지 프레임을 식별하도록 기계 학습 모델을 훈련시키기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 22는 본 명세서에서 설명되는 기술들에 따른, 최적 이미지 프레임을 캡처하기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 23은 본 명세서에 제시된 기술들을 실행할 수 있는 예시적인 시스템을 도시한다.
도 1은 본 명세서에서 설명되는 기술들에 따른, 전자 의료 이미지들을 처리하기 위한 네트워크 환경의 예시적인 블록도를 도시한다.
도 2는 본 명세서에서 설명되는 기술들에 따른, 의료 이미지 처리 시스템에 의해 수행되는 예시적인 프로세스의 블록도를 도시한다.
도 3은 본 명세서에서 설명되는 기술들에 따른, 근골격 장애의 진단을 예측하도록 기계 학습 모델을 훈련시키기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 4는 본 명세서에서 설명되는 기술들에 따른, 근골격 장애의 진단을 예측하기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 5a는 본 명세서에서 설명되는 기술들에 따른, 어깨 손상에 대한 진단을 예측하기 위한 기계 학습 모델의 훈련 프로세스를 나타내는 개념도를 도시한다.
도 5b는 본 명세서에서 설명되는 기술들에 따른, 어깨 손상에 대한 예측된 진단을 디스플레이하는 예시적인 애플리케이션 사용자 인터페이스를 도시한다.
도 6은 본 명세서에서 설명되는 기술들에 따른, 해부학적 구조의 의료 이미지 내의 객체들을 식별하도록 기계 학습 모델을 훈련시키기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 7은 본 명세서에서 설명되는 기술들에 따른, 해부학적 구조의 의료 이미지 내의 객체들을 식별하기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 8은 본 명세서에서 설명되는 기술들에 따른, 해부학적 구조의 의료 이미지 내에서 식별된 객체의 최적 이미지를 식별하도록 기계 학습 모델을 훈련시키기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 9는 본 명세서에서 설명되는 기술들에 따른, 의료 이미지가 그 내부에서 식별된 객체의 최적 이미지인지를 결정하기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 10은 본 명세서에 제시된 기술들에 따라 디스플레이될 수 있는, 의료 이미지 내에서 식별된 객체들을 디스플레이하는 예시적인 애플리케이션 사용자 인터페이스를 도시한다.
도 11은 본 명세서에서 설명되는 기술들에 따른, 기구의 위치를 예측하도록 기계 학습 모델을 훈련시키기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 12는 본 명세서에서 설명되는 기술들에 따른, 기구의 위치를 예측하기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 13은 본 명세서에서 설명되는 기술들에 따른, 기구 궤적을 예측하도록 기계 학습 모델을 훈련시키기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 14는 본 명세서에서 설명되는 기술들에 따른, 기구 궤적을 예측하기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 15는 본 명세서에서 설명되는 기술들에 따른, 예측된 기구 위치 및 궤적을 디스플레이하는 예시적인 애플리케이션 사용자 인터페이스를 도시한다.
도 16은 본 명세서에서 설명되는 기술들에 따른, 해부학적 특징들을 식별하도록 기계 학습 모델을 훈련시키기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 17은 본 명세서에서 설명되는 기술들에 따른, 의료 이미지에서 식별된 해부학적 구조의 해부학적 특징들을 시각화하기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 18은 본 명세서에서 설명되는 기술들에 따른, 해부학적 구조의 의료 이미지 내에서 식별된 해부학적 구조의 해부학적 특징들의 시각화를 디스플레이하는 예시적인 애플리케이션 사용자 인터페이스를 도시한다.
도 19는 본 명세서에서 설명되는 기술들에 따른, 의료 이미지 내에서 식별된 해부학적 특징과의 프로브 정렬을 검출하도록 기계 학습 모델을 훈련시키기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 20은 본 명세서에서 설명되는 기술들에 따른, 해부학적 구조의 의료 이미지 내에서 식별된 해부학적 구조의 하나 이상의 해부학적 특징과의 프로브 정렬을 검출하기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 21은 본 명세서에서 설명되는 기술들에 따른, 최적 이미지 프레임을 식별하도록 기계 학습 모델을 훈련시키기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 22는 본 명세서에서 설명되는 기술들에 따른, 최적 이미지 프레임을 캡처하기 위한 예시적인 방법을 나타내는 흐름도를 도시한다.
도 23은 본 명세서에 제시된 기술들을 실행할 수 있는 예시적인 시스템을 도시한다.
이제, 본 개시내용의 예시적인 실시예들이 상세히 참조될 것이며, 그 예들은 첨부 도면들에 예시된다. 가능한 경우마다, 동일한 참조 번호들은 도면들 전반에 걸쳐 동일하거나 유사한 부분들을 지칭하는데 이용될 것이다.
본 명세서에 개시된 시스템들, 디바이스들, 및 방법들은 예들로서 그리고 도면들을 참조하여 상세히 설명된다. 본 명세서에서 논의된 예들은 단지 예들이고 본 명세서에서 설명된 장치들, 디바이스들, 시스템들, 및 방법들의 설명을 돕기 위해 제공된다. 도면들에 도시되거나 아래에 논의되는 특징들 또는 구성요소들 중 어느 것도, 필수로서 구체적으로 지정되지 않는 한, 이러한 디바이스들, 시스템들, 또는 방법들 중 임의의 것의 임의의 특정 구현에 대해 필수로서 취해지지 않아야 한다.
또한, 설명된 임의의 방법들에 대해, 방법이 흐름도와 함께 설명되는지에 관계없이, 문맥에 의해 달리 지정되거나 요구되지 않는 한, 방법의 실행에서 수행되는 단계들의 임의의 명시적 또는 암시적 순서는 이러한 단계들이 제시된 순서로 수행되어야 하는 것을 암시하는 것이 아니라, 대신에 상이한 순서로 또는 병렬로 수행될 수 있다는 것을 이해해야 한다.
본 명세서에서 이용될 때, 용어 "예시적인"은 "이상적인"이 아니라 "예"의 의미로 이용된다. 또한, 본 명세서에서 단수 표현은 양의 제한을 나타내는 것이 아니라, 참조된 항목들 중 하나 이상의 존재를 나타낸다.
진단 이미징에서, 의사는 환자의 이미징 검사 동안 전자 이미지들을 평가하여, 그 임의의 분류들(예를 들어, 카테고리들, 스테이지들, 단계들, 등급들 등)을 포함하는 장애들, 손상들 및/또는 상태들의 진단을 용이하게 할 수 있다. 중재 이미징에서, 의사는 예를 들어 환자의 신체 내에 삽입된 기구들을 시각화하여 의사가 기구들을 의도된 타겟 영역으로 안전하게 안내하는 것을 돕기 위해 절차 동안 전자 이미지들을 이용할 수 있다. 종래에는, 진단 및/또는 중재 이미징을 위해 컴퓨터 단층 촬영(CT), 자기 공명 촬영(MRI) 및 양전자 방출 단층 촬영(PET)과 같은 고급 의료 이미징이 이용되어 왔다. 그러나, 초음파 등의 대안적인 이미징 기술이 또한 진단 및 중재 이미징에, 특히 근골격 장애에 이용될 수 있다. 더 낮은 비용으로 인해, 초음파 이미징 시스템은 더 용이하게 이용가능하며(예를 들어, 의사는 복수의 초음파 시스템에 액세스하지만, 하나의 CT 이미징 시스템에만 액세스할 수 있음), 이것은 스케줄링 지연을 감소시키고 더 낮은 비용을 환자에게 부과한다. 또한, 초음파 이미징은 환자를 방사선에 노출시키는 것을 피한다. 초음파 디바이스들은 또한 휴대용일 수 있어서, 디바이스를 원격 위치들로 보내는 것을 허용하거나, 그렇지 않으면 원격 또는 어려운 지리적 영역들에서 더 빠른 수송 또는 액세스를 허용한다.
본 명세서에 개시된 기술들은 진단 및/또는 중재 초음파 이미징을 위한 AI 도구들을 제공한다. 예를 들어, 복수의 기계 학습 모델은 초음파 이미지로부터 근골격 장애와 연관된 진단, 관찰, 및/또는 측정치를 예측하도록 훈련되고 배치될 수 있다. 예시적인 관찰들은 해부학적 특징들, 신체의 기능을 방해할 수 있는 해부학적 구조에 정상적으로 존재하지 않는 특징들, 및/또는 신체에 삽입된 이물질들(예컨대, 기구들)과 같은 초음파 이미지들 내의 객체들의 식별을 포함할 수 있다. 관찰들은 또한 객체들의 위치 및/또는 궤적 예측들, 및/또는 객체의 최적 이미지가 캡처되고 있는지의 예측들을 포함할 수 있다. 예측들에 기반한 시각화들은 그들이 환자들에 대해 진단 검사들을 수행하고 있을 때 그리고/또는 그들이 진단된 장애를 치료할 수 있는 초음파 안내 절차를 수행하고 있을 때 실시간으로 생성되어 의사들에게 제공될 수 있다.
본 개시내용 전체에 걸쳐 포함된 특정 예들은 초음파 이미징을 포함하지만, 본 개시내용에 따른 기술들은 다른 유형의 이미징 양상에 적응될 수 있다는 것을 이해해야 한다. 예를 들어, 기술들은 MRI, CT, PET, X선 등과 같은 임의의 의료 이미징 양상에 적응될 수 있다.
환경
도 1은 본 개시내용의 예시적인 기술에 따른, 전자 의료 이미지들을 처리하기 위한 환경(100)의 예시적인 블록도를 도시한다. 환경은 하나 이상의 이미징 시스템(130), 하나 이상의 사용자 컴퓨팅 디바이스(140), 하나 이상의 픽처 아카이빙 및 통신(PAC) 시스템(150), 및/또는 의료 이미징 데이터베이스(160) 내에서 네트워크(120)를 통해 통신하는 서버 시스템들(110)을 포함할 수 있다.
서버 시스템(110)은 처리 디바이스(112) 및 저장 디바이스(114)를 포함할 수 있다. 처리 디바이스(112)는 의료 이미지 처리 시스템(116), 이하 시스템(116)을 구현하도록 구성될 수 있다. 시스템(116)은, 예를 들어, 네트워크(120)를 통해 이미징 시스템(130), 사용자 컴퓨팅 디바이스(140), 또는 PAC 시스템(150)으로부터 수신되는 의료 이미지에 AI, 기계 학습, 및/또는 이미지 처리 기술을 적용할 수 있다. 대안적으로, 시스템(116), 훈련된 기계 학습 모델들(118), 또는 서버 시스템들(110)로 설명된 다른 특징들은 이미징 시스템(130) 자체와 함께 위치될 수 있다. 또한, 시스템(116)에 의해 수행되는 것으로 본 명세서에서 논의된 기술들은 예를 들어 이미징 컴퓨팅 디바이스(136) 또는 사용자 컴퓨팅 디바이스(140)에 의해 수행될 수 있다.
예를 들어, 시스템(116)은, 예를 들어 네트워크(120)를 통해 하나 이상의 의료 이미징 데이터베이스(160)로부터 수신된 훈련 의료 이미지의 데이터세트에 기반하여 복수의 훈련된 기계 학습 모델(118)을 생성 및 훈련하도록 구성된 훈련 이미지 플랫폼을 포함할 수 있다. 훈련 의료 이미지는, (예를 들어, 수의학 맥락에서의) 인간 및/또는 동물의 해부학적 구조의 이미지일 수 있다. 훈련 의료 이미지는, 필요하다면, 데이터 희소성을 보상하는 실제 이미지 또는 합성 생성된 이미지일 수 있다. 수신된 훈련 미디어 이미지들은 의사들 및/또는 다른 헬스케어 전문가들에 의해 주석부기될 수 있다. 해부학적 구조의 주어진 훈련 의료 이미지에 대해, 다음과 같은 것들이 주석부기될 수 있다: 본 명세서의 다른 곳에서 상세히 설명되는 바와 같은, 해부학적 구조의 해부학적 특징, 신체의 기능을 방해할 수 있는 해부학적 구조에 정상적으로 존재하지 않는 특징, 이물질, 특징 및/또는 신체와 연관된 측정치, 이미지로부터 식별가능한 진단, 및/또는 이미지 뷰 유형(예를 들어, 프로브 배향). 훈련 의료 이미지는, 이미지 분류기, 비디오 분류기, 이미지 분할, 객체 검출, 객체 방향, 인스턴스 분할, 시맨틱 분할, 체적 분할, 복합 객체, 키포인트 검출, 키포인트 매핑, 2차원/3차원 및 6자유도 객체 포즈, 포즈 추정, 회귀자 네트워크, 타원체 회귀, 3D 입방체 추정, 광학 문자 인식, 텍스트 검출, 및/또는 아티팩트 검출 등의, 알려진 또는 미래의 모델 유형들 중 임의의 하나 이상을 훈련시키기 위해, 다각형, 브러시/소거기, 바운딩 박스, 키포인트, 키포인트 골격, 라인, 타원, 입방체, 분류 태그, 속성, 인스턴스/객체 추적 식별자, 자유 텍스트, 및/또는 방향성 벡터 등의 알려진 또는 미래의 데이터 주석부기 기술들 중 하나 이상을 이용하여 주석부기될 수 있다.
훈련된 기계 학습 모델들(118)은 컨볼루션 신경망들(CNN들), 지원 벡터 기계들(SVM들), 생성적 대립쌍 네트워크들(GAN들), 및/또는 감독, 무감독, 및/또는 강화 학습 기술들을 이용하여 훈련되는 다른 유사한 유형들의 모델들을 포함할 수 있다. 예를 들어, 본 명세서에서 이용될 때, "기계 학습 모델"은 일반적으로 입력을 수신하고, 입력에 가중치, 바이어스, 분류 또는 분석 중 하나 이상을 적용하여 출력을 생성하도록 구성된 명령어, 데이터 및/또는 모델을 포함한다. 출력은, 예컨대, 입력의 분류, 입력에 기반한 분석, 입력과 연관된 설계, 프로세스, 예측, 또는 추천, 또는 임의의 다른 적절한 유형의 출력을 포함할 수 있다. 기계 학습 시스템 또는 모델은, 시스템의 하나 이상의 양태, 예를 들어, 가중치, 바이어스, 분류 또는 클러스터를 형성하기 위한 기준 등을 확립, 조율 또는 수정하기 위해 시스템에 공급되는 훈련 데이터, 예를 들어, 경험적 데이터 및/또는 입력 데이터의 샘플을 이용하여 훈련될 수 있다. 훈련 데이터는 내부 또는 외부 리소스들로부터 생성, 수신, 및/또는 다른 방식으로 획득될 수 있다. 기계 학습 시스템의 양태들은 입력에 대해 선형으로, 병렬로, 네트워크(예를 들어, 신경망)를 통해, 또는 임의의 적절한 구성을 통해 동작할 수 있다.
기계 학습 시스템의 실행은 선형 회귀, 로지스틱 회귀(logistical regression), 랜덤 포레스트(random forest), 그래디언트 부스티드 기계(gradient boosted machine)(GBM), 심층 학습, 및/또는 심층 신경망(예를 들어, MLP(multi-layer perceptron), CNN, 순환 신경망)과 같은 하나 이상의 기계 학습 기술의 전개를 포함할 수 있다. 감독 및/또는 무감독 훈련이 이용될 수 있다. 예를 들어, 감독 학습은, 예컨대 실측 정보(ground truth)로서, 훈련 데이터 및 훈련 데이터에 대응하는 라벨을 제공하는 것을 포함할 수 있다. 훈련 데이터는 인간 기술자 및/또는 다른 헬스케어 전문가에 의해 주석부기된 의료 이미지를 포함할 수 있다. 무감독 접근법들은 클러스터링, 분류 등을 포함할 수 있다. K-평균 클러스터링 또는 K-최근접 이웃들이 또한 이용될 수 있으며, 이는 감독 또는 무감독일 수 있다. K-최근접 이웃들과 무감독 클러스터 기술의 조합들도 이용될 수 있다. 예를 들어, 확률적(stochastic), 그래디언트 부스트(gradient boosted), 랜덤 시드(random seeded), 재귀적(recursive), 에포크(epoch) 또는 배치(batch) 기반 등과 같은 임의의 적절한 유형의 훈련이 이용될 수 있다. 대안적으로, 강화 학습이 훈련에 이용될 수 있다. 예를 들어, 강화 학습은 환경의 현재 상태에 기반하여 결정을 하고, 피드백(예컨대, 결정의 정확도에 기반한 긍정적 또는 부정적 보상)을 수신하며, 보상을 최대화하기 위해 그 결정을 조정하고, 손실 함수가 최적화될 때까지 다시 반복하기 위해 환경과 상호작용하는 에이전트를 훈련시키는 것을 포함할 수 있다.
훈련된 기계 학습 모델(118)은, 예를 들어, 의료 이미지가 처리를 위해 수신될 때, 시스템(116)에 의한 후속 검색 및 이용을 허용하기 위해 저장 디바이스(114)에 의해 저장될 수 있다. 다른 기술들에서, 제3자 시스템이 복수의 훈련된 기계 학습 모델(118)을 생성하고 훈련시킬 수 있다. 서버 시스템들(110)은 제3자 시스템으로부터 훈련된 기계 학습 모델들(118)을 수신하고 저장 디바이스들(114) 내에 저장할 수 있다.
이미징 시스템들(130)은 복수의 상이한 이미징 양상을 구현하는 시스템들을 포함할 수 있다. 예를 들어, 이미징 시스템들(130) 중 하나는 초음파 이미징 시스템(132)일 수 있다. 초음파 이미징 시스템(132)은, 하나 이상의 프로브(134)(예를 들어, 트랜스듀서), 프로브(134)에 통신가능하게 결합된 이미징 컴퓨팅 디바이스(136), 및 디스플레이(138)를 포함할 수 있다. 이미지화될 해부학적 구조 근처의 환자의 피부(인간 또는 동물)와 접촉하게 배치되면, 프로브는 음파들을 환자의 신체 내로 방출하고, 이미지들이 이미징 컴퓨팅 디바이스(136)에 의해 생성될 수 있는 것으로부터 다시 반사되는 음파들을 수신할 수 있다. 예를 들어, 프로브(134)는 이미지들을 생성하기 위해 이미징 컴퓨팅 디바이스(136)에 전송되는 반사된 음파들에 기반하여 전기 신호들을 생성할 수 있다. 그 다음, 이미지들은 디스플레이(138) 상에 제시될 수 있다. 음파가 프로브(134)에 의해 전송되는 주파수 및 깊이는 초음파 이미징 시스템(132)의 조정가능한 설정일 수 있다. 이미지들은 라이브 이미지들일 수 있다. 초음파 이미징 시스템(132)의 제어들은 라이브 이미지가 정지 이미지로서 동결되고 캡처되는 것을 가능하게 할 수 있다. 다른 예시적인 이미징 시스템들은 x선 촬영, CT, MRI 및/또는 PET 시스템들을 수행한다.
일부 예들에서, 이미징 시스템들(130)에 의해 생성된 이미지들은 의사가 보도록 네트워크(120)를 통해 사용자 컴퓨팅 디바이스들(140)에 전송될 수 있다. 예를 들어, 환자가 초음파 이미징 시스템(132)을 이용하여 (예를 들어, 초음파 이미징 시스템(132)을 동작시킬 자격이 있는 기술자에 의해) 이미지화된 후에, 생성된 이미지는 초기 분석을 위해 사용자 컴퓨팅 디바이스들(140) 중 하나 이상(예를 들어, 의사의 컴퓨팅 디바이스)에 전송될 수 있다. 사용자 컴퓨팅 디바이스들(140)은 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿, 스마트 셀룰러 폰(예를 들어, 모바일 폰), 스마트 시계 또는 다른 전자 웨어러블 등을 포함할 수 있다. 추가적으로 또는 대안적으로, 이미징 시스템들(130)에 의해 생성된 이미지들은 네트워크(120)를 통한 저장을 위해 PAC 시스템들(150) 중 하나에 전송될 수 있다.
초음파 이미징 시스템(132)의 이미징 컴퓨팅 디바이스(136)의 메모리 및/또는 사용자 컴퓨팅 디바이스(140)의 메모리에 저장된 하나 이상의 명령어의 적어도 일부는, 네트워크(120)를 통해 서버 시스템(110)과 통신하도록 구성된 시스템(116)과 연관된 애플리케이션(예를 들어, 클라이언트 애플리케이션)을 실행하기 위한 명령어를 포함할 수 있다. 하나의 예시적인 예로서, 환자가 초음파 이미징 시스템(132)을 이용하여 이미지화되고 있을 때, 애플리케이션은 시스템(116)에 의해 생성된 이미지의 실시간 처리를 가능하게 하기 위해 이미징 컴퓨팅 디바이스(136) 상에서 실행 중일 수 있다. 다른 예시적인 예로서, 애플리케이션은 사용자 컴퓨팅 디바이스(140) 상에서 실행 중일 수 있고, 사용자(예를 들어, 의사)는 시스템(116)에 의한 처리를 위해 (예를 들어, PAC 시스템(150)으로부터) 이전에 캡처되고 저장된 이미지를 선택할 수 있다. 일부 예들에서, 애플리케이션은 (예를 들어, 음성 인터페이스를 통해) 의사로부터의 음성 명령을 캡처하고 처리할 수 있다.
또한, 이미징 컴퓨팅 디바이스(136) 및/또는 컴퓨팅 디바이스(140)의 하나 이상의 구성요소는 메모리에 저장된 명령어들/정보, 환경(100) 내의 다른 시스템들로부터 수신된 명령어들/정보 등에 기반하여 하나 이상의 그래픽 사용자 인터페이스(GUI)를 생성하거나 생성되게 할 수 있고, GUI들이 각각의 디바이스들의 디스플레이를 통해 디스플레이되게 할 수 있다. GUI는, 예를 들어, 모바일 애플리케이션 인터페이스 또는 브라우저 사용자 인터페이스일 수 있고, 텍스트, 입력 텍스트 박스, 선택 제어 등을 포함할 수 있다. 디스플레이는 각각의 디바이스들의 접촉 및/또는 게스트 접촉을 관리하여 그 기능들을 제어하기 위한 다른 입력 시스템들(예를 들어, 마우스, 키보드 등)을 갖는 디스플레이 또는 터치 스크린을 포함할 수 있다.
환경(100)의 하나 이상의 구성요소가 통신하는 네트워크(120)는 광역 네트워크("WAN"), 근거리 네트워크("LAN"), 개인 영역 네트워크("PAN"), 셀룰러 네트워크(예로서, 3G 네트워크, 4G 네트워크, 5G 네트워크 등) 등과 같은 하나 이상의 유선 및/또는 무선 네트워크를 포함할 수 있다. 하나의 기술에서, 네트워크(120)는 인터넷을 포함하고, 다양한 시스템들 사이에 제공되는 정보 및 데이터는 온라인으로 발생한다. "온라인"은 인터넷에 결합된 다른 디바이스들 또는 네트워크들로부터 원격인 위치에 접속하거나 그로부터 소스 데이터 또는 정보에 액세스하는 것을 의미할 수 있다. 대안적으로, "온라인"은 모바일 통신 네트워크 또는 디바이스를 통해 전자 네트워크(유선 또는 무선)에 접속하거나 액세스하는 것을 지칭할 수 있다. 서버 시스템들(110), 이미징 시스템들, 컴퓨팅 디바이스(140), PAC 시스템들(150), 및/또는 의료 이미징 데이터베이스들(160)은 하나 이상의 표준 통신 프로토콜을 이용하여 네트워크(120)를 통해 접속될 수 있다.
도 1에는 개별 구성요소들로서 도시되지만, 일부 실시예들에서는 예시적인 환경(100)의 시스템 내의 구성요소 또는 구성요소의 일부가 하나 이상의 다른 구성요소와 통합되거나 그에 포함될 수 있다는 것을 이해해야 한다. 예를 들어, 디스플레이(138)는 초음파 이미징 시스템 등의 이미징 컴퓨팅 디바이스(136)와 통합될 수 있다. 일부 실시예들에서, 위에서 논의된 구성요소들 중 하나 이상의 구성요소의 동작들 또는 양태들은 하나 이상의 다른 구성요소 사이에 분산될 수 있다. 예시적인 환경(100)의 다양한 시스템들 및 디바이스들의 임의의 적절한 배열 및/또는 통합이 이용될 수 있다.
아래의 개시내용에서, 서버 시스템들(110), 이미징 시스템들, 컴퓨팅 디바이스(140) 또는 이들의 구성요소들과 같은 도 1의 구성요소에 의해 수행 또는 실행되는 다양한 동작들이 설명될 수 있다. 그러나, 다양한 실시예들에서, 앞서 논의된 예시적인 환경(100)의 다양한 구성요소들이 명령어들을 실행하거나 이하에서 논의되는 동작들을 포함하는 동작들을 수행할 수 있다는 것을 이해해야 한다. 디바이스에 의해 수행되는 동작은 그 디바이스와 연관된 프로세서, 액추에이터 등에 의해 수행되는 것으로 고려될 수 있다. 또한, 다양한 실시예들에서, 다양한 단계들이 임의의 적절한 방식으로 추가, 생략 및/또는 재배열될 수 있다는 것을 이해해야 한다.
의료 이미지 처리의 상위 레벨 개요
도 2는 시스템(116)에 의해 수행되는 예시적인 프로세스(200)의 블록도를 도시한다. 프로세스(200)는 입력(202)이 시스템(116)에서 수신될 때 시작될 수 있다. 입력(202)은 해부학적 구조의 하나 이상의 의료 이미지를 포함할 수 있다. 의료 이미지는, 이미징 컴퓨팅 디바이스(136) 및/또는 사용자 컴퓨팅 디바이스(140) 등의 컴퓨팅 디바이스 상에서 실행 중인 시스템(116)과 연관된 애플리케이션을 통해 네트워크(120)를 통해 수신될 수 있다. 이어서, 입력(202)은 단계(204)에서 전처리될 수 있다. 전처리의 일부로서, (예를 들어, 식별취소를 위해) 임의의 관련 건강 데이터가 의료 이미지로부터 추출될 수 있고, 의료 이미지는 휴대용 그래픽 포맷(PNG) 등의 무손실 이미지 포맷으로 변환될 수 있다. 추가적으로, 일부 예들에서, 이미지 선명도를 증가시키기 위해(예컨대, 이미지를 재구성하고 잡음 제거하기 위해) 의료 이미지가 생성적 대립쌍 네트워크(GAN)를 통해 공급될 수 있다.
해부학적 구조의 전처리된 의료 이미지는, 저장 디바이스(114)에 저장된 복수의 기계 학습 모델(118)로부터 훈련된 기계 학습 모델(118A)에 대한 입력으로서 제공될 수 있다. 훈련된 기계 학습 모델(118)은, 해부학적 구조에 영향을 미치는 근골격 진단; 해부학적 구조의 해부학적 특징, 신체의 기능을 방해할 수 있는 신체에 정상적으로 존재하지 않는 특징, 및/또는 신체 내에 삽입된 이물질 등의, 하나 이상의 객체와 연관된 관찰; 및/또는 특징 및/또는 신체의 면적 또는 체적 등의, 관찰과 연관된 측정치 중 적어도 하나를 예측하도록 훈련될 수 있다. 객체와 연관된 관찰은, 객체 또는 관심 영역의 식별 및/또는 윤곽/시각적 표시, 객체의 위치, 객체의 궤적, 및/또는 이미지 품질을 포함할 수 있다(예를 들어, 이것은 적절한 이미지 깊이, 이미지 초점 구역, 및 이미지 이득, 및 이방성, 음영, 굴절 음영, 사후 음향 향상 또는 증가된 투과, 사후 반향 및 링-다운 아티팩트를 포함한 소노그래픽 아티팩트의 인식 등의, 주어진 객체의 최적 이미지이다). 훈련된 기계 학습 모델들(118) 중 하나 이상은 또한 주어진 진단 또는 중재 절차에 대한 최적 이미지 프레임 캡처를 추론하도록 훈련될 수 있다.
훈련된 기계 학습 모델(118A)에 의해 출력된 예측은 이어서 출력(208)을 산출하기 위해 단계(206)에서 후처리를 겪을 수 있다. 추가적으로 또는 대안적으로(파선들에 의해 도시된 바와 같음), 훈련된 기계 학습 모델(118A)에 의해 출력된 예측은 저장 디바이스들(114)에 저장된 복수의 기계 학습 모델들(118)로부터 다른 훈련된 기계 학습 모델(118B)에 입력으로서 제공될 수 있으며, 그 출력은 또한 단계(206)에서 후처리를 겪어 출력(208)을 산출할 수 있다. 훈련된 기계 학습 모델들(118) 중 하나 또는 2개만이 프로세스(200)에 도시되지만, 다른 예들에서, 임의의 수의 훈련된 기계 학습 모델들이 구현될 수 있다.
단계(206)에서의 후처리는, 예를 들어, 출력(208)을 산출하기 위해 훈련된 기계 학습 모델(118A) 및/또는 훈련된 기계 학습 모델로부터의 예측(들)에 기반하여 결과를 생성할 수 있다. 즉, 후처리 단계(206)는 예측을 의사 또는 다른 헬스케어 전문가에 의해 소비가능한 정보 포맷 및/또는 디스플레이로 변환한다. 예시적인 정보 포맷들 및/또는 디스플레이들은 히트맵들, 이미지들 상에 중첩된 텍스트 오버레이들, 수치 표 포맷들, 순위 정렬된 표 포맷들, 텍스트 표들, 하이라이트 표들 및/또는 바 차트들을 포함할 수 있다. 일부 예들에서, 외부(예를 들어, 제3자) 시스템이 결과를 생성하는데 이용될 수 있다.
하나의 예시적인 결과는 의사가 진단 및/또는 중재를 수행하는 것을 돕기 위해 의료 이미지 내에서의 예측을 나타내는 시각화를 포함할 수 있다. 시스템(116)은 애플리케이션을 통해 이미징 컴퓨팅 디바이스(136) 또는 사용자 컴퓨팅 디바이스(140)와 같이, 의료 이미지들이 수신되는 컴퓨팅 디바이스에 디스플레이를 위한 이들 시각화들을 제공할 수 있다. 앞서 논의된 바와 같이, 의료 이미지는 훈련된 기계 학습 모델에 입력된 이미지의 선명도를 증가시키기 위해 단계(204)에서 GAN을 통해 공급될 수 있다. 추가적으로 또는 대안적으로, 의사 또는 다른 헬스케어 전문가에게 출력되는 시각화의 품질을 향상시키기 위해 의료 이미지가 단계(206)에서 GAN을 통해 공급될 수 있다.
생성된 다른 예시적인 결과는 의사의 주의를 위한 우선순위화된 사례들의 리스트를 포함할 수 있는데, 예를 들어, 강화된 심각도 또는 분류의 추론된 진단들이 우선순위화된다. 생성된 추가의 예시적인 결과는 의사에 의해 검토되고 인증될 의료 이미지 분석의 미리 채워진 서면 보고서를 포함할 수 있다. 추가적으로, 결과는, 원래의 의사, 환자, 환자의 간병인 또는 가족 구성원들, 외과의사, 물리 치료사 등과 같은, 임상 환경에서의 다른 당사자들에게의 의료 이미지 분석을 포함하는 통신의 생성 및 전송을 포함할 수 있다.
근골격 장애에 대한 진단 예측
환자의 검사 동안 캡처된 진단 이미지들은 그 임의의 분류들(예컨대, 카테고리들, 스테이지들, 단계들, 등급들 등)을 포함하는 장애들, 손상들, 및/또는 상태들의 의사 진단들을 용이하게 할 수 있다. 도 3 및 도 4에 설명된 기술들은 기계 학습 모델을 훈련하고 이용하여 근골격 장애를 진단하는 것을 포함한다. 도 5a 및 도 5b는 회전근개 파열(rotator cuff tear)과 같은 어깨 손상을 진단하도록 훈련된 예시적인 기계 학습 모델을 설명한다.
도 3은 본 명세서에 제시된 예시적인 기술들에 따라, 근골격 장애의 진단을 예측하도록 기계 학습 모델(예를 들어, 훈련된 기계 학습 모델들(118) 중 하나)을 훈련시키기 위한 예시적인 방법(300)을 나타내는 흐름도를 도시한다. 예시적인 방법(300)(예를 들어, 단계들(302-306))은 시스템(116)에 의해 수행될 수 있다. 예시적인 방법(300)은 다음의 단계들 중 하나 이상을 포함할 수 있다.
단계(302)에서, 복수의 라벨링된 훈련 의료 이미지가 (예를 들어, 네트워크(120)를 통해 의료 이미징 데이터베이스(160)로부터) 수신될 수 있다. 훈련 의료 이미지는 하나 이상의 근골격 장애에 의해 영향을 받을 수 있는 특정 해부학적 구조의 초음파 이미지를 포함할 수 있다. 훈련 의료 이미지는, 이미지에 존재하는 하나 이상의 근골격 장애(있다면)를 적어도 나타내는 의사로부터의 주석부기들로 라벨링될 수 있다. 주석부기들은 또한, 신체 내에 정상적으로 존재하지 않고 이미지에 존재하는 하나 이상의 근골격 장애와 연관될 수 있는 해부학적 특징(예를 들어, 뼈, 힘줄, 인대, 근육, 신경 등) 및/또는 파괴적 특징을 나타낼 수 있다. 근육, 인대, 및/또는 힘줄 손상과 연관된 예시적인 파괴적 특징은 출혈, 근육 부종, 혈종, 수액 수집, 병변, 흉터, 염증, 결함, 힘줄증, 인대증, 힘줄염, 및/또는 파열을 포함할 수 있다. 뼈 손상과 연관된 예시적인 파괴적 특징은 피로 골절, 힘줄 및 인대 부착물에서의 박리, 굳은살 형성, 골절 불유합, 성장판 손상, 및/또는 힘줄들의 스크류 충돌(screw impingement of tendons)을 포함할 수 있다. 다른 예시적인 파괴적 특징들은 감염과 연관된 세포염 및/또는 농양들, 관절염(예를 들어, 류머티스성 관절염, 건선성 관절염, 통풍, 또는 골관절염), 근염 및 당뇨병 근육 경색, 연조직 이물질들(예를 들어, 나무, 플라스틱, 금속, 유리, 유기 및/또는 식물), 주변 신경 포착, 연조직 덩어리들(예를 들어, 지방종, 주변 신경초 종양들, 혈관 이상들, 결절종 낭포들, 림프절들, 및/또는 악성 연조직 종양들) 및 뼈 덩어리들을 포함할 수 있다. 또한, 주석부기들은 이러한 특징들 중 임의의 것의 면적 및/또는 체적을 표시할 수 있다. 훈련 의료 이미지는 (도 2의 단계(204)에서 설명된 전처리와 유사한) 전처리를 거칠 수 있다. 일부 예들에서, 전처리의 일부로서, 주석부기들은 훈련 의료 이미지로부터 추출되거나 다른 방식으로 식별되어 훈련 의료 이미지와 별개인 라벨을 형성할 수 있다. 다른 예들에서, 주석부기들은 훈련 의료 이미지와 별개인 라벨로서 수신될 수 있다.
특정 유형의 근골격 장애의 경우, 주어진 유형의 장애에 대해 복수의 분류가 있을 수 있다. 분류들은 카테고리들, 스테이지들, 단계들, 등급들 등을 포함할 수 있다. 예를 들어, 도 5a를 참조하여 더 상세히 설명되는 바와 같이, 회전근개 병리학과 같은 어깨 손상을 진단하기 위해, 회전근개는 정상(예를 들어, 병리학이 없는 경우), 힘줄염, 힘줄증, 석회성 힘줄염, 석회성 힘줄증, 박리, 관절측 파열, 물질내 파열, 활액낭측 파열, 또는 전체 두께 파열로서 분류될 수 있다. 유사한 손상들이 해부의 임의의 부분에 대해 카테고리화될 수 있고, 훈련 이미지들은 각각의 분류의 복수의 예를 포함할 수 있다. 예를 들어, 어깨 손상에 더하여, 손상은 팔꿈치, 손목, 손, 손가락, 엉덩이, 허벅지, 무릎, 발목, 발, 및/또는 하지에 대해 카테고리화될 수 있다. 관심 근골격 장애가 복수의 분류를 포함한다면, 수신된 라벨링된 훈련 의료 이미지는 라벨링된 훈련 의료 이미지의 서브세트로 구성될 수 있고, 여기서, 각각의 서브세트는 복수의 분류로부터의 각각의 분류에 대응할 수 있다. 각각의 서브세트 내의 훈련 의료 이미지에 대한 대응하는 라벨은, 이미지에 존재하는 근골격 장애에 대한 복수의 분류로부터의 알려진 분류를 추가로 나타내는 주석부기를 포함할 수 있다.
단계(304)에서, 해부학적 구조에 영향을 미치는 근골격 장애와 연관된 진단을 예측하기 위한 기계 학습 모델이 생성되어 복수의 라벨링된 훈련 의료 이미지를 이용하여 훈련될 수 있다. 예를 들어, 훈련 의료 이미지가 기계 학습 모델에 입력될 수 있다. 기계 학습 모델은 본 명세서에서 이전에 열거된 예시적인 유형들 중 임의의 것일 수 있다. 기계 학습 모델은 근골격 장애와 연관된 진단을 예측할 수 있다. 일부 예들에서, 예측된 진단은 근골격 장애와 연관된 주어진 해부학적 구조에 대한 객체의 예측된 식별에 기반할 수 있다. 예를 들어, 석회성 힘줄염의 예측된 진단은 회전근개의 힘줄 상의 예측된 칼슘 침착물(calcium deposit)에 기반할 수 있다. 기계 학습 모델은, 각각의 훈련 이미지에 대해, 적어도 근골격 장애가 존재하는지의 예측을 출력할 수 있다. 또한, 예측된 진단이 근골격 장애와 연관된 주어진 해부학적 구조에 대한 객체의 예측된 식별에 기반할 수 있는 경우들에서, 기계 학습 모델에 의한 예측된 진단(예를 들어, 힘줄 상의 칼슘 침착물)에 추가하여 또는 대안적으로, 예측된 관심 객체가 출력될 수 있다. 다른 예들에서, 장애가 복수의 분류를 포함할 때, 기계 학습 모델은, 각각의 훈련 이미지에 대해, 훈련 의료 이미지가 근골격 장애에 대한 각각의 분류를 묘사할 가능성을 나타내는 각각의 분류에 대한 점수(예를 들어, 확률)를 출력할 수 있다.
기계 학습 모델을 훈련시키기 위해, 훈련 의료 이미지에 대해 기계 학습 모델에 의해 출력된 근골격 장애와 연관된 예측된 진단이 훈련 의료 이미지에 대응하는 라벨과 비교되어 손실 또는 에러를 결정할 수 있다. 예를 들어, 제1 훈련 이미지에 대한 예측된 진단은 대응하는 라벨에 의해 식별된 제1 훈련 이미지 내의 알려진 진단과 비교될 수 있다. 기계 학습 모델은 기계 학습 모델의 정확도를 개선하기 위해 에러에 기반하여 수정되거나 변경될 수 있다(예를 들어, 가중치들 및/또는 바이어스가 조정될 수 있다). 이 프로세스는 각각의 훈련 이미지에 대해 또는 적어도 결정된 손실 또는 에러가 미리 정의된 임계치 아래일 때까지 반복될 수 있다. 일부 예들에서, 훈련 이미지들 및 대응하는 라벨들의 적어도 일부는 보류되어 훈련된 기계 학습 모델을 추가로 검증하거나 테스트하는데 이용될 수 있다.
예시적인 예를 제공하기 위해, 도 5a는 어깨 손상에 대한 진단을 예측하기 위한 기계 학습 모델의 훈련 프로세스를 나타내는 개념도(500)이다. 회전근개 파열과 같은 어깨 손상을 진단하기 위해, 회전근개 파열은 정상(예를 들어, 파열이 없는 경우), 관절측 파열, 물질내 파열, 활액낭측 파열, 또는 전체 두께 파열로 카테고리화될 수 있다. 따라서, 회전근개 파열에 대한 진단을 예측하기 위해 기계 학습 모델을 생성하고 훈련하는데 이용되는 라벨링된 훈련 의료 이미지들은 각각의 해당 카테고리에 대응하는 라벨링된 훈련 의료 이미지들의 서브세트들로 구성될 수 있다. 예를 들어, 제1 서브세트(502)는 회전근개 파열이 없는 어깨들의 이미지들을 포함할 수 있고, 제2 서브세트(504)는 관절측 파열이 있는 어깨들의 이미지들을 포함할 수 있고, 제3 서브세트(506)는 활액낭측 파열(508)이 있는 어깨들의 이미지들을 포함할 수 있고, 제4 서브세트(510)는 전체 두께 파열이 있는 어깨들의 이미지들을 포함할 수 있는 어깨들의 이미지들로 구성될 수 있다. 전술한 서브세트들 각각에 포함된 이미지들의 예시적인 수들 및 전체 이미지들 중 각각의 서브세트의 표현(예를 들어, 백분율)이 표(512)에 도시된다. 표(512)는 또한 훈련 세트에 이용된 각각의 서브세트 내의 이미지들의 수 대 검증 세트에 대해 보류된 수의 상세(breakdown)를 포함한다.
도 3으로 돌아가서, 일단 기계 학습 모델이 충분히 훈련되면, 단계(306)에서, 훈련된 기계 학습 모델은 후속 이용을 위해 (예를 들어, 저장 디바이스들(114)에 저장된 훈련된 기계 학습 모델들(118) 중 하나로서) 저장될 수 있다. 일부 예들에서, 훈련된 기계 학습 모델은, 주어진 해부학적 구조에 영향을 미치는 복수의 상이한 근골격 장애의 진단을 예측하도록 생성 및 훈련되는 단일 기계 학습 모델일 수 있다. 다른 예들에서, 예시적인 방법(300)은 기계 학습 모델들의 앙상블을 생성 및 훈련하도록 수행될 수 있고, 여기서, 각각의 모델(예를 들어, 회전근개 파열을 식별하기 위한 하나의 모델, 회전근개 내의 석회성 힘줄염을 식별하기 위한 하나의 모델 등)은 주어진 해부학적 구조에 영향을 주는 특정 근골격 장애의 진단을 예측한다. 해부학적 구조의 의료 이미지를 평가하도록 배치될 때, 기계 학습 모델들의 앙상블은 병렬로 실행될 수 있다.
도 4는 본 명세서에 제시된 예시적인 기술에 따른, 근골격 장애의 진단을 예측하기 위한 예시적인 방법(400)을 나타내는 흐름도를 도시한다. 예시적인 방법(400)(예를 들어, 단계들(402-408))은 시스템(116)에 의해 수행될 수 있다. 예시적인 방법(400)은 다음의 단계들 중 하나 이상을 포함할 수 있다.
단계(402)에서, 해부학적 구조의 의료 이미지가 컴퓨팅 디바이스로부터 수신될 수 있다. 의료 이미지는 초음파 이미지이거나, 본 명세서에서 논의된 임의의 이미징 양상일 수 있고, 컴퓨팅 디바이스는 초음파 이미징 시스템(132)의 사용자 컴퓨팅 디바이스(140) 또는 이미징 컴퓨팅 디바이스(136)를 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스는 의료 이미지 처리 시스템(110)과 연관된 애플리케이션(예를 들어, 클라이언트 애플리케이션)을 실행하고 있을 수 있다. 일부 양태에서, 의료 이미지는 컴퓨팅 디바이스 또는 원격 데이터 저장 시스템(예를 들어, PAC 시스템(150))의 로컬 저장소로부터 선택되고 애플리케이션을 통해 시스템(116)에 전송되는 이전에 캡처되고 저장된 이미지일 수 있다. 다른 양태에서, 의료 이미지는 (예를 들어, 환자가 이미지화되고 있을 때 초음파 이미징 시스템(132)에 의해) 실시간으로 캡처되고 있고 애플리케이션을 통해 시스템(116)에 전송되는 라이브 이미지일 수 있다. 일부 예들에서, 사용자는 또한, 애플리케이션의 사용자 인터페이스를 통해, 의료 이미지에서 캡처된 해부학적 구조에 영향을 미칠 수 있는 근골격 장애의 유형을 선택할 수 있다. 근골격 장애의 유형은, 환자가 보고한 증상 및/또는 의료 이미지의 물리적 검사 및/또는 초기 검토시에 의사가 검출한 징후에 기반하여 선택될 수 있다.
단계(404)에서, 의료 이미지는, 도 3을 참조하여 설명된 방법(300)을 이용하여 훈련된 기계 학습 모델 등의, 해부학적 구조에 영향을 미치는 근골격 장애와 연관된 진단을 예측하기 위한 훈련된 기계 학습 모델에 대한 입력으로서 제공될 수 있다. 예시적인 방법(300)이 기계 학습 모델들의 앙상블을 생성하고 훈련시키는데 이용되는 예들에서, 의료 이미지가 병렬로 실행되는 기계 학습 모델들의 앙상블의 각각의 기계 학습 모델에 대한 입력으로서 제공될 수 있다. 일부 예들에서, 근골격 장애의 유형이 의사에 의해 선택될 때, (예를 들어, 컴퓨팅 리소스를 보존하기 위해) 근골격 장애의 유형을 식별하도록 훈련되는 기계 학습 모델만이 실행될 수 있다.
단계(406)에서, 훈련된 기계 학습 모델로부터 예측된 진단이 수신될 수 있다. 일부 예들에서, 예측된 진단은 의료 이미지 내의 근골격 장애의 존재 또는 부재의 표시를 적어도 포함할 수 있다. 분류를 갖는 근골격 장애의 경우, 예측된 진단은 또한 예측된 분류를 나타낼 수 있다. 추가적으로 또는 대안적으로, 예측된 진단이 근골격 장애와 연관된 주어진 해부학적 구조에 대한 객체의 예측된 식별에 기반할 수 있는 예에서, 예측된 진단은 식별된 예측된 객체(이하에서 더 상세히 논의되는 객체의 식별)를 포함할 수 있다. 추가적으로 또는 대안적으로, 예측된 진단은, 예측과 연관된 신뢰도를 나타내는 연관된 점수를 가질 수 있다. 유사하게, 근골격 장애가 분류를 포함한다면, 예측된 진단은 의료 이미지가 근골격 장애에 대한 각각의 분류를 묘사할 가능성을 나타내는 각각의 분류에 대한 점수를 포함할 수 있고, 여기서, 최고 점수를 갖는 분류가 예측된 진단일 수 있다.
단계(408)에서, 의료 이미지 및 예측된 진단이 디스플레이를 위해 컴퓨팅 디바이스에 제공될 수 있다. 예를 들어, 의료 이미지 및 예측된 진단은 컴퓨팅 디바이스(예컨대, 사용자 컴퓨팅 디바이스(140) 및/또는 이미징 컴퓨팅 디바이스(136)) 상에서 실행 중인 애플리케이션을 통해 수신되고, 도 5b에 도시된 예시적인 사용자 인터페이스와 같은, 애플리케이션의 사용자 인터페이스 내에 디스플레이될 수 있다.
도 5b는 어깨 손상에 대한 예측된 진단을 디스플레이하는 예시적인 애플리케이션 사용자 인터페이스(550)를 도시한다. 애플리케이션 사용자 인터페이스(550)는 사용자 컴퓨팅 디바이스(140) 및/또는 이미징 컴퓨팅 디바이스(136)와 같은 컴퓨팅 디바이스 상에서 실행 중인 시스템(116)과 연관된 애플리케이션의 사용자 인터페이스일 수 있다. 복수의 기계 학습 모델들(118) 중 하나는 도 5a를 참조하여 설명된 예시적인 훈련 의료 이미지들을 이용하여 회전근개 파열에 대한 진단을 예측하도록 생성 및 훈련될 수 있다. 어깨의 회전근개의 의료 이미지(552)와 같은 의료 이미지는 (예를 들어, 예시적인 방법(400)을 이용하여) 시스템(116)에 의한 처리를 위해 수신될 수 있다. 의료 이미지(552)는 회전근개 구조의 조직들, 근육들, 및 힘줄들, 및 특히 극상근/힘줄 복합체를 포함할 수 있다. 처리되고 나면, 시스템(116)은 애플리케이션 사용자 인터페이스(550)에서의 디스플레이를 위해 적어도 의료 이미지(552) 및 예측된 진단(554)을 애플리케이션에 제공할 수 있다. 예를 들어, 예측된 진단(554)은 파열을 나타낼 수 있고, 전체 두께 파열의 예측된 분류를 포함할 수 있다.
또한, 예측된 진단(554)과 연관된 점수(556)가 디스플레이될 수 있다. 점수(556)는 근골격 장애에 대한 예측된 진단(554)이 의료 이미지(552) 내에 존재할 가능성 또는 확률을 나타낼 수 있다. 점수(556)는 진단 프로세스에서 의사를 보조할 수 있다. 예를 들어, 의사는, 의사가 자신의 눈으로 시각화할 수 있는 것에 대응하는(또는 적어도 모순되지 않는) 예측된 진단(554)에 대한 점수(556)에 대해 높은 값이 있을 때 진단 프로세스에서 하나의 인자로서 예측된 진단(554)을 이용하는데 있어서 더 확신을 느낄 수 있다. 추가적으로, 복수의 분류들(예를 들어, 카테고리들)을 가지는 회전근개 파열과 같은 근골격 장애들에 대해, 표(558) 또는 분류들(560) 및 연관된 점수들(562) 각각을 열거하는 다른 유사한 그래픽 요소가 사용자 인터페이스(550) 상에 디스플레이될 수 있다. 예를 들어, 표(558)에 나타낸 바와 같이, 의료 이미지(552)가 정상 회전근개(파열 없음), 관절측 파열, 물질내 파열, 활액낭측 파열, 또는 전체 두께 파열을 나타내는 각각의 점수가 디스플레이를 위해 포함될 수 있다.
전술한 애플리케이션 사용자 인터페이스(550)는 단지 예로서 제공되며, 도 5b에 도시된 것에 추가하거나, 그보다 더 적거나, 상이하거나, 상이하게 배열된 정보를 포함할 수 있다.
도 3 내지 도 5b를 참조하여 전술한 근골격 장애 진단을 위한 일반적인 기술들은 이하에서 더 상세히 설명되는 바와 같이, 많은 가능한 특정 애플리케이션들 또는 이용 사례들을 가질 수 있다. 예를 들어, 관절들, 근육들, 힘줄들 및 인대들에서 정형외과 수술을 용이하게 하기 위해(안내하기 위해) 의료 이미지들 내의 객체들을 식별하는데 유사한 기술이 이용될 수 있다. 추가적으로 또는 대안적으로, 위의 기술은 치료 의사에 의해 환자에 적용되는 바와 같은 임상의에 의한 치료 기술들(스트레칭, 부드러운 압박 및 저항 등)을 포함할 수 있는 비외과적 정형외과술 또는 정골적 수기 치료(Osteopathic Manipulative Treatment)에서 이용될 수 있다. 초음파 이미지들은 위의 기술에서 훈련된 기계 학습 모델에 입력된 이미지 양상이지만, 다른 기술들에서는 CT 스캐너, X선 이미지 등으로부터의 이미지들과 같은 다른 의료 이미징 양상으로부터의 디지털 이미지를 이용하여, 뇌 손상, 뼈 손상 등과 같은 환자의 신체의 다른 영역들 내의 손상들을 진단할 수 있다.
진단 또는 중재 관찰들: 객체 식별, 측정, 및 시각화
도 6 및 도 7에 설명된 기술들은 해부학적 구조의 의료 이미지 내의 객체들을 식별하도록 기계 학습 모델을 훈련 및 이용하는 것을 포함한다. 객체들은, 예를 들어, 해부학적 구조의 해부학적 특징들, 신체의 기능을 방해할 수 있는 신체에 정상적으로 존재하지 않는 특징들, 및/또는 절차 동안 삽입되는 이물질들을 포함할 수 있다. 객체 식별은 진단을 위해서는 물론 진단 후의 중재를 안내하는 경우에도 유용할 수 있다. 또한, 빌링 목적을 위해, 의사들은 주어진 절차의 증명을 제공하기 위해 그 안에 식별된 특정 객체들을 갖는 이미지들을 제출하도록 요구될 수 있다. 예를 들어, 주사바늘 생검 절차를 수행할 때, 그 안에 식별된 주사바늘을 포함하는 이미지가 빌링 문서들의 일부로서 제출될 수 있다.
일단 객체들이 식별되면, 객체들의 면적 및/또는 체적과 같은, 객체들과 연관된 측정치들이 또한 결정될 수 있다. 측정치는 병리학이 정상인지 비정상인지를 결정하는데 있어서 의사에게 도움이 될 수 있고, 근골격 장애에 대한 진단 프로세스에서 이용될 수 있다. 또한, 시간 경과에 따른(예를 들어, 후속 환자 방문 동안) 관심 객체의 측정치를 얻음으로써, 근골격 장애와 연관된 환자의 진행 및/또는 퇴행이 의사에 의해 추적될 수 있다. 예를 들어, 수근 터널에 대해, 중앙 신경의 영역은 진단을 위한 유용한 표시자일 수 있고, 수근 터널이 퇴행하는지(예를 들어, 치료후)를 결정하기 위해 시간 경과에 따라 모니터링될 수 있다. 다른 예로서, 회전근개 파열의 경우, 뼈로부터 분리된 힘줄의 체적은 손상이 퇴행하고 있는지(예를 들어, 치료후)를 결정하기 위해 시간 경과에 따라 모니터링될 수 있다. 추가 예로서, 신체에 정상적으로 존재하지 않고 신체의 기능을 방해할 수 있는 파괴적 특징, 예를 들어 결절종 낭포, 삼출물(effusion), 칼슘 침착물, 덩어리, 병변 등을 식별한 후에, 구조의 적어도 일부가 외과적으로 제거될 수 있고 수술후 이미지들이 캡처될 수 있다. 수술전 및 수술후 이미지들에서의 이러한 특징에 대한 측정치들은 관심 객체가 얼마나 많이 제거되었는지의 객관적인 증거를 제공하기 위해 시스템에 의해 자동으로 비교될 수 있다. 예를 들어, 이전 이미징 세션으로부터의 이미지들은 현재 이미징 세션으로부터의 이미지들과 자동으로 공동 등록될 수 있다. 복수의 공동 등록 포인트들이 자동으로 식별될 수 있고, 사용자에 의해 이미지 세트들 중 적어도 하나에 표시될 수 있는 대응하는 객체가 과거 및 현재의 이미지들의 두 세트들에서 식별될 수 있다. 이전의 이미지 세트 내의 칼슘 침착물은 현재의 이미징 세션 내의 동일한 칼슘 침착물과 자동으로 연관될 수 있고, 질병의 진행 또는 퇴행을 결정하기 위해 측정이 자동으로 행해질 수 있다. 일부 경우들에서, 낭포 또는 덩어리와 같은 객체는 수술 또는 다른 절차로 인해 현재 세션의 이미지들로부터 완전히 사라질 수 있다. 이 경우, 시스템은 이전 이미징 세션에서 관심 객체였던 객체가 더 이상 존재하지 않는다고 자동으로 결정할 수 있다.
일부 예들에서, 식별된 객체들은 다른 프로세스에 입력될 수 있다. 예를 들어, 도 8 및 도 9에 설명된 바와 같이, 기계 학습 모델은 훈련되어 의료 이미지가 식별된 객체에 대한 최적 이미지인지(예를 들어, 객체에 대한 최적 시야각인지)를 결정하고, 시야각을 야기한 이미지를 캡처하는 프로브의 배향을 예측하는데 이용될 수 있다. 의료 이미지가 최적이 아니라면, 식별된 관심 객체에 대한 더 최적의 이미지를 캡처하기 위한 제안된 프로브 움직임은 예측된 프로브 배향(예를 들어, 현재의 프로브 배향) 및 최적 이미지 캡처와 연관된 학습된 프로브 배향에 기반하여 결정될 수 있다.
또한, 도 10과 관련하여 도시되고 설명된 바와 같이, 식별된 객체들 및 객체들과 연관된 임의의 측정치들을 표시하기 위한 시각화가 디스플레이를 위해 제공될 수 있다. 또한, 의료 이미지가 식별된 객체들 중 하나 이상에 대해 최적이 아니라고 결정된다면, 시각화는 더 최적의 이미지를 캡처하기 위한 제안된 프로브 움직임을 나타내는 방향 표시자를 추가로 포함할 수 있다.
도 6으로 돌아가서, 흐름도는, 본 명세서에 제시된 예시적인 기술들에 따른, 해부학적 구조의 의료 이미지 내의 객체들을 식별하도록 기계 학습 모델(예를 들어, 훈련된 기계 학습 모델들(118) 중 하나)을 훈련시키기 위한 예시적인 방법(600)을 나타낸다. 예시적인 방법(600)(예를 들어, 단계들(602-606))은 시스템(116)에 의해 수행될 수 있다. 예시적인 방법(600)은 다음의 단계들 중 하나 이상을 포함할 수 있다.
단계(602)에서, 복수의 라벨링된 훈련 의료 이미지가 (예를 들어, 네트워크(120)를 통해 의료 이미징 데이터베이스(160)로부터) 수신될 수 있다. 훈련 의료 이미지는 특정 해부학적 구조의 초음파 이미지를 포함할 수 있다. 훈련 의료 이미지는 각각의 이미지 내의 복수의 객체를 나타내는 의사로부터의 주석부기들로 라벨링될 수 있다. 주석부기된 객체들은 뼈, 힘줄, 인대, 연골, 근육, 신경, 정맥, 동맥 등과 같은 해부학적 구조의 해부학적 특징들을 포함할 수 있다. 주석부기된 객체들은 또한 신체의 기능을 방해할 수 있는 해부학적 구조에 정상적으로 존재하지 않는 특징들(예를 들어, 파괴적 특징들), 예를 들어, 결절종들, 칼슘 침착물들, 삼출물들, 파열들, 덩어리들, 병변들, 제한들, 충돌들, 압박들 등을 포함할 수 있다. 주석부기된 객체들은 절차의 일부로서 신체 내에 삽입될 수 있는 팽창식 벌룬, 주사바늘, 나이프, 메스, 손가락, 스텐트, 혈관내 디바이스, 카테터, 수술 기구 등과 같은 이물질들을 추가로 포함할 수 있다. 또한, 주석부기들은 위에 설명된 객체들 중 임의의 것의 면적 및/또는 체적을 표시할 수 있다. 훈련 의료 이미지는 각종의 상이한 유형의 객체를 나타낼 수 있다. 예를 들어, 훈련 이미지들의 제1 서브세트는 결절종들을 포함할 수 있고, 제2 서브세트는 칼슘 침착물들을 포함할 수 있고, 제3 세트는 팽창식 벌룬들을 포함할 수 있고, 제4 세트는 주사바늘들을 포함할 수 있는 식이다. 일부 예들에서, 훈련 의료 이미지는 또한, 각각의 이미지 내의 객체들 중 하나 이상과 연관된 측정치를 나타내는 주석부기들로 라벨링될 수 있다. 예를 들어, 이미지는 객체의 면적 및/또는 체적으로 주석부기될 수 있다. 주어진 객체에 대해 객체의 체적이 주석부기되는 경우들에서, 주어진 훈련 이미지에 대해 이미지 시퀀스 서브세트가 존재할 수 있으며, 이미지 시퀀스 서브세트 내의 각각의 이미지는 프로브(134)의 위치를 이동시키지 않고 초음파 이미징 시스템(132)의 상이한 깊이 및 주파수 설정들에서 캡처될 수 있다.
훈련 의료 이미지는 (도 2의 단계(204)에서 설명된 전처리와 유사한) 전처리를 거칠 수 있다. 일부 예들에서, 전처리의 일부로서, 주석부기들은, 훈련 의료 이미지와 별개인 라벨을 형성하기 위해 수신된 훈련 의료 이미지로부터 추출되거나 다른 방식으로 식별될 수 있다. 다른 예들에서, 주석부기들은 훈련 의료 이미지와 별개인 라벨로서 수신될 수 있다. 훈련 의료 이미지에 대한 대응하는 라벨은 주석부기된 객체들 각각의 알려진 유형을 포함할 수 있다.
단계(604)에서, 객체들을 식별하기 위한 기계 학습 모델이 복수의 라벨링된 훈련 의료 이미지를 이용하여 생성되고 훈련될 수 있다. 예를 들어, 훈련 의료 이미지가 기계 학습 모델에 입력될 수 있다. 기계 학습 모델은 훈련 의료 이미지 내의 하나 이상의 객체를 식별할 수 있다. 일부 예들에서, 기계 학습 모델은 또한 객체와 연관된 측정치들(예컨대, 면적 및/또는 체적)을 예측할 수 있다.
기계 학습 모델을 훈련시키기 위해, 훈련 의료 이미지에 대한 기계 학습 모델에 의한 출력이 훈련 의료 이미지에 대응하는 라벨과 비교되어 손실 또는 에러를 결정할 수 있다. 예를 들어, 제1 훈련 이미지 내에서 식별된 객체(들)는 대응하는 라벨에 의해 식별된 알려진 객체 유형들과 비교될 수 있다. 추가적으로, 예측이 식별된 객체(들)와 연관된 측정치들을 포함할 때, 제1 훈련 이미지 내에서 식별된 객체들에 대해 예측된 측정치들은 대응하는 라벨에 의해 식별된 제1 훈련 이미지에 포함된 알려진 객체 유형들의 알려진 측정치들과 비교될 수 있다. 기계 학습 모델은 기계 학습 모델의 정확도를 개선하기 위해 에러에 기반하여 수정되거나 변경될 수 있다(예를 들어, 가중치들 및/또는 바이어스가 조정될 수 있다). 이 프로세스는 각각의 훈련 이미지에 대해 또는 적어도 결정된 손실 또는 에러가 미리 정의된 임계치 아래일 때까지 반복될 수 있다. 일부 예들에서, 훈련 이미지들 및 대응하는 라벨들의 적어도 일부는 보류되어 훈련된 기계 학습 모델을 추가로 검증하거나 테스트하는데 이용될 수 있다.
일단 기계 학습 모델이 충분히 훈련되고 나면, 단계(606)에서, 훈련된 기계 학습 모델은 후속 이용을 위해 (예를 들어, 저장 디바이스(114)에) 저장될 수 있다. 일부 예들에서, 훈련된 기계 학습 모델은 해부학적 구조의 의료 이미지 내에 존재할 수 있는 상이한 유형의 객체들 각각을 식별하도록 생성되고 훈련되는 단일 기계 학습 모델일 수 있다. 다른 예들에서, 예시적인 방법(600)은 기계 학습 모델들의 앙상블을 생성 및 훈련하도록 수행될 수 있으며, 각각의 모델은 특정 유형의 객체(예로서, 결절종을 식별하기 위한 하나의 시스템, 칼슘 침착물을 식별하기 위한 다른 시스템 등)를 식별한다. 해부학적 구조의 의료 이미지를 평가하도록 배치될 때, 기계 학습 모델들의 앙상블은 병렬로 실행될 수 있다.
도 7은 본 명세서에 제시된 예시적인 기술들에 따른, 해부학적 구조의 의료 이미지 내의 객체들을 식별하기 위한 예시적인 방법(700)을 나타내는 흐름도를 도시한다. 예시적인 방법(700)(예를 들어, 단계들(702-708))은 시스템(116)에 의해 수행될 수 있다. 예시적인 방법(700)은 다음의 단계들 중 하나 이상을 포함할 수 있다.
단계(702)에서, 해부학적 구조의 의료 이미지가 컴퓨팅 디바이스로부터 수신될 수 있다. 의료 이미지는 초음파 이미지일 수 있고, 컴퓨팅 디바이스는 초음파 이미징 시스템(132)의 사용자 컴퓨팅 디바이스(140) 또는 이미징 컴퓨팅 디바이스(136)를 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스는 의료 이미지 처리 시스템(110)과 연관된 애플리케이션(예를 들어, 클라이언트 애플리케이션)을 실행하고 있을 수 있다. 일부 양태에서, 의료 이미지는 컴퓨팅 디바이스 또는 원격 데이터 저장 시스템(예를 들어, PAC 시스템(150))의 로컬 저장소로부터 선택되고 애플리케이션을 통해 시스템(116)에 전송되는 이전에 캡처되고 저장된 이미지일 수 있다. 다른 양태에서, 의료 이미지는 (예를 들어, 환자가 이미지화되고 있을 때 초음파 이미징 시스템(132)에 의해) 실시간으로 캡처되고 있고 애플리케이션을 통해 시스템(116)에 전송되는 라이브 이미지일 수 있다. 일부 예들에서, 하나보다 많은 의료 이미지가 수신될 수 있다(예를 들어, 다양한 깊이 및 주파수 조합에서 캡처된 해부학적 구조의 이미지 시퀀스 서브세트가 수신될 수 있다).
일부 예들에서, 의사는 또한, 애플리케이션의 사용자 인터페이스를 통해, 그들이 확인하고자 하는 하나 이상의 특정 유형의 객체가 존재하고/존재하거나 이미지에서 그 사이를 구별하고자 하는 것을 선택할 수 있다. 하나의 예시적인 예로서, 특정의 수술에 대해, 팽창식 벌룬은 수술 중에 벌룬을 팽창시키기 위해, 식염수와 같은 수액으로 채워지는 신체 내로 삽입될 수 있다. 의사의 눈에 있어서, 초음파 이미지에서, 벌룬과, 결절종과 같은, 다른 특징을 구별하는 것이 어려울 수 있다. 이에 따라, 의사는 수술 중에 수액으로 (결절종과 같은 특징이 아니라) 벌룬을 채우는데 주사바늘의 안내를 용이하게 하기 위해 특정 관심 객체로서 벌룬을 선택할 수 있다. 예를 들어, 의사의 선택을 받으면, (결절종이 아니라) 벌룬은 주사바늘과 함께 시각적으로 강조(예를 들어, 하이라이트)될 수 있고, 여기서, 주사바늘은 벌룬으로부터 유사하지만 구별가능한 방식으로 시각화(예를 들어, 상이한 컬러로 하이라이트)될 수 있고, 따라서, 벌룬 및 주사바늘의 상대 위치 및/또는 배향을 보는 사람에게 나타낼 수 있다.
단계(704)에서, 의료 이미지는 도 6을 참조하여 설명된 방법(600)을 이용하여 훈련되는 훈련된 기계 학습 모델과 같은 훈련된 기계 학습 모델(예를 들어, 훈련된 기계 학습 모델들(118) 중 하나)에 대한 입력으로서 제공될 수 있다. 예시적인 방법(600)이 기계 학습 모델들의 앙상블을 생성하고 훈련시키는데 이용되는 예들에서, 의료 이미지가 병렬로 실행되는 기계 학습 모델들의 앙상블의 각각의 기계 학습 모델에 대한 입력으로서 제공될 수 있다. 일부 예들에서, 하나 이상의 특정 유형의 관심 객체가 의사에 의해 선택될 때, (예컨대, 계산 리소스들을 보존하기 위해) 그 특정 유형의 관심 객체들을 식별하도록 훈련되는 기계 학습 모델들만이 실행될 수 있다.
단계(706)에서, 식별된 하나 이상의 객체의 예측이 훈련된 기계 학습 모델로부터 수신될 수 있다. 추가로, 예측은, 예측과 연관된 신뢰도(예를 들어, 식별된 각각의 유형의 객체가 실제로 의료 이미지 내의 객체일 가능성)를 나타내는 연관된 점수를 가질 수 있다. 일부 예들에서, 기계 학습 모델은 또한 식별된 객체들 중 하나 이상과 연관된 면적 및 체적과 같은 측정치들을 출력하도록 훈련될 수 있다. 면적은 객체의 단면적을 나타낼 수 있고, 시스템은 사용자에게 단면적을 획득할 최적 각도를 획득하기 위해 프로브(134)를 이동시키도록 지시할 수 있다. 식별된 객체들 중 하나 이상의 객체의 체적이 예측되는 경우들에서, 복수의 의료 이미지들이 단계(702)에서 수신되고, 체적 예측을 가능하게 하기 위해 단계(704)에서 모델에 입력될 수 있다(예컨대, 해부학적 구조의 이미지 시퀀스 서브세트가 다양한 깊이 및 주파수 조합들에서 캡처된다). 이러한 예에서, 예측은 또한 식별된 객체와 연관된 예측된 측정치를 포함할 수 있다.
단계(708)에서, 예측의 표시는 (예를 들어, 컴퓨팅 디바이스(140) 및/또는 이미징 컴퓨팅 디바이스(136) 상에서 실행되는 애플리케이션을 통해) 디스플레이를 위해 컴퓨팅 디바이스에 제공될 수 있다. 예를 들어, 시각화는 도 2를 참조하여 설명된 후처리 단계(206)에서의 예측에 기반하여 생성될 수 있다. 시각화는 의료 이미지 내에서 식별된 객체들을 라벨링, 하이라이트, 또는 다른 방식으로 강조할 수 있고, 시각화는 애플리케이션 사용자 인터페이스 내의 디스플레이를 위해 제공될 수 있다. 추가적으로, 시각화는 각각의 객체에 대한 예측과 연관된 점수를 포함할 수 있다. 또한, 시각화는 식별된 객체들 중 하나 이상과 연관된 임의의 측정치들을 포함할 수 있다. 예시적인 시각화가 아래의 도 10에 도시된다.
앞서 논의된 바와 같이, 일부 예들에서, 기계 학습 모델은, 식별된 객체들 중 하나 이상과 연관된 면적 및 체적 등의 측정치를 출력하도록 훈련될 수 있다. 다른 예들에서, 식별된 주어진 객체와 연관된 측정치는 단계(706)에서 수신된 예측과는 독립적으로 획득될 수 있다. 하나의 비제한적인 예로서, 일부 양태들에서, (예를 들어, 단계(708)에서) 컴퓨팅 디바이스에 제공된 시각화는 또한 애플리케이션 사용자 인터페이스 내에 추적기 도구 제어 요소를 포함할 수 있다. 추적기 도구 제어 요소는 디스플레이된 의료 이미지에서의 객체의 경계를 따라 추적하기 위해 의료 이미지를 보는 의사에 의해 선택가능할 수 있다. 그 다음, 시스템(116)은 추적된 경계를 이용하여 객체의 영역을 결정하고, 객체의 영역을 디스플레이를 위해 컴퓨팅 디바이스에 제공할 수 있다.
다른 비제한적인 예로서, 일부 양태들에서, 체적 스윕 이미징은 객체의 체적을 결정하도록 구현될 수 있다. 예를 들어, 다양한 깊이 및 주파수에서 캡처된 해부학적 구조의 복수의 초음파 이미지는 위치와 배향을 갖는 2차원(2D) 슬라이스로서 수신될 수 있다. 시스템(116)은 2D 슬라이스들을 이용하여 객체의 3차원(3D) 시각화를 재구성할 수 있고, 객체의 체적은 3D 시각화로부터 결정될 수 있다. 체적은 이후 디스플레이를 위해 컴퓨팅 디바이스에 제공될 수 있다.
또한, 일부 예들에서, 식별된 객체(들)와 함께 의료 이미지의 시각화를 디스플레이한 후에, 조작자는 식별된 객체들 중 하나(예를 들어, 사용자의 관심 객체) 상에 시각적 잠금을 두기로 선택할 수 있어서, 조작자가 프로브를 움직일 때, 식별된 객체는 프로브 움직임 이후 새로운 의료 이미지 내에서 라벨링, 하이라이트, 또는 다른 방식으로 강조된 채로 유지된다. 예를 들어, 조작자는 잠금될 객체에 대응하는 의료 이미지의 영역에서 컴퓨팅 디바이스의 디스플레이에 터치 입력을 제공할 수 있다. 의료 이미지를 캡처하는 프로브 위치(예를 들어, 현재의 프로브 위치)에 대한 객체의 위치는 기준으로서 이용하기 위해 식별될 수 있다. 객체는 정적일 수 있으므로, 프로브의 움직임 이전에 프로브에 대한 객체의 제1 위치(예를 들어, 기준)를 알고 프로브의 움직임을 결정함으로써, 프로브의 움직임에 대한 객체의 제2 위치가 결정될 수 있다. 프로브의 움직임은, 가속도계, 자이로스코프, 및/또는 관성 센서 등의, 프로브에 부착된 센서를 이용하여 검출될 수 있다. 식별된 객체는 프로브 이동 후 새로운 의료 이미지 내의 제2 위치에서 라벨링, 하이라이트 또는 다른 방식으로 강조될 수 있다. 예를 들어, 시각적으로 잠긴 식별된 객체는 초음파-안내 수술의 일부로서 제거될 병변 또는 덩어리일 수 있다. 결과적으로, 프로브가 절차 동안 이동됨에 따라, 병변 또는 덩어리는 외과의사가 병변 또는 덩어리의 뷰를 유지할 수 있도록 계속 라벨링되거나, 하이라이트되거나, 다른 방식으로 강조된다.
도 8은 본 명세서에 제시된 예시적인 기술들에 따른, 해부학적 구조의 의료 이미지 내에서 식별된 객체에 대한 최적 이미지를 식별하도록 기계 학습 모델(예를 들어, 훈련된 기계 학습 모델들(118) 중 하나)을 훈련시키기 위한 예시적인 방법(800)을 나타내는 흐름도를 도시한다. 예시적인 방법(800)(예를 들어, 단계들(802-806))은 시스템(116)에 의해 수행될 수 있다. 예시적인 방법(800)은 다음의 단계들 중 하나 이상을 포함할 수 있다.
단계(802)에서, 해부학적 구조의 복수의 라벨링된 훈련 의료 이미지가 (예를 들어, 네트워크(120)를 통해 의료 이미징 데이터베이스(160)로부터) 수신될 수 있다. 훈련된 의료 이미지는 이미지 내에 주석부기된 복수의 객체를 포함할 수 있다. 주석부기된 객체들은 뼈, 힘줄, 인대, 연골, 근육, 신경, 정맥, 동맥 등과 같은 해부학적 구조의 해부학적 특징들을 포함할 수 있다. 주석부기된 객체들은 또한, 결절종들, 칼슘 침착물들, 삼출물들, 파열들, 덩어리들, 병변들, 제한들, 충돌들, 압박들 등과 같은, 신체의 기능을 방해할 수 있는 해부학적 구조에 정상적으로 존재하지 않는 특징들을 포함할 수 있다. 주석부기된 객체들은 절차의 일부로서 신체 내에 삽입될 수 있는 팽창식 벌룬, 주사바늘, 나이프, 메스, 손가락, 스텐트, 혈관내 디바이스, 카테터, 수술 기구 등과 같은 이물질들을 추가로 포함할 수 있다.
훈련된 의료 이미지는 이미지 내에 주석부기되는 각종의 상이한 유형의 객체를 나타낼 수 있다. 주어진 객체 유형에 대해, 그 주어진 객체 유형을 포함하는 훈련 의료 이미지들의 서브세트는 이미지 내의 객체의 복수의 상이한 시야각(예로서, 이미지를 캡처하는데 이용되는 이미징 시스템의 프로브의 배향에 기반하는 상이한 시야각들)을 갖는 이미지들로 구성될 수 있다. 특정의 시야각들은 이방성, 사후 향상 또는 음영, 에지 아티팩트들 등과 같은 근골격 초음파 아티팩트들의 존재 또는 부재에 기반하여 객체 유형에 대해 다른 것들보다 더 최적일 수 있다. 예로서 이방성을 이용하면, 조직은 조직의 특성들이 상이한 시야 방향들로부터 측정될 때 변화하면 이방성이다. 예를 들어, 힘줄 또는 인대가 초음파 빔에 수직으로 이미지화될 때, 특징적인 고에코(밝은 회색으로 시각적으로 디스플레이됨) 원섬유 외관이 보일 수 있다. 그러나, 초음파 빔이 힘줄의 장축에 대해 2 내지 3도 기울어질 때, 정상적인 고에코(밝은 회색)는 손실되고, 힘줄은 각도가 증가함에 따라 더 저에코(어두운 회색)가 된다. 일단 힘줄이 식별되면, 이방성은 병리학을 배제하도록 정정될 수 있다.
훈련 의료 이미지는 또한 대응하는 실측 정보 라벨을 가질 수 있다. 예를 들어, 각각의 이미지는 객체 유형의 알려진 최적 이미지 또는 알려진 비-최적 이미지인 것으로서 라벨링될 수 있다. 일부 예들에서, 실측 정보 라벨은 또한 훈련 의료 이미지가 캡처되었을 때 프로브의 알려진 배향을 포함할 수 있다. 훈련 의료 이미지는 또한 (도 2의 단계(204)에서 설명된 전처리와 유사한) 전처리를 겪을 수 있다.
단계(804)에서, 의료 이미지가 의료 이미지 내에서 식별된 객체의 최적 이미지인지를 예측하기 위한 기계 학습 모델이 복수의 라벨링된 훈련 의료 이미지를 이용하여 생성되고 훈련될 수 있다. 일부 예들에서, 기계 학습 모델은 또한, 의료 이미지를 캡처하는데 이용되는 연관된 프로브 배향을 예측하도록 생성 및 훈련될 수 있다. 기계 학습 모델을 훈련시키기 위해, 훈련 의료 이미지에 대한 기계 학습 모델에 의해 출력된 예측은 손실 또는 에러를 결정하기 위해 훈련 의료 이미지에 대응하는 실측 정보 라벨(들)과 비교될 수 있다. 예를 들어, 제1 훈련 의료 이미지에 대한 최적 또는 비-최적 이미지의 예측이 알려진 최적 이미지 또는 그 안의 객체의 알려진 비-최적 이미지인 훈련 의료 이미지에 대한 대응하는 실측 정보 라벨과 비교될 수 있다. 추가적으로, 예측 출력이 또한 프로브의 예측된 배향을 포함할 때, 예측된 배향은 대응하는 실측 정보 라벨에 포함된 프로브의 알려진 배향과 비교될 수 있다. 기계 학습 모델은 기계 학습 모델의 정확도를 개선하기 위해 에러에 기반하여 수정되거나 변경될 수 있다(예를 들어, 가중치들 및/또는 바이어스가 조정될 수 있다). 이 프로세스는 각각의 훈련 이미지에 대해 또는 적어도 결정된 손실 또는 에러가 미리 정의된 임계치 아래일 때까지 반복될 수 있다. 일부 예들에서, 훈련 이미지들 및 대응하는 라벨들의 적어도 일부는 보류되어 훈련된 기계 학습 모델을 추가로 검증하거나 테스트하는데 이용될 수 있다.
일단 기계 학습 모델이 충분히 훈련되면, 단계(806)에서, 훈련된 기계 학습 모델은 후속 이용을 위해 (예를 들어, 저장 디바이스들(114)에 저장된 훈련된 기계 학습 모델들(118) 중 하나로서) 저장될 수 있다. 일부 예들에서, 훈련된 기계 학습 모델은 해부학적 구조의 의료 이미지가 그 안에 포함될 수 있는 복수의 상이한 객체 유형의 최적 이미지인지를 예측하기 위해 생성되고 훈련되는 단일 기계 학습 모델일 수 있다. 다른 예들에서, 예시적인 방법(800)은 기계 학습 모델들의 앙상블을 생성 및 훈련하도록 수행될 수 있으며, 각각의 모델은 해부학적 구조의 의료 이미지가 그 안에서 식별되는 특정 객체 유형의 최적 이미지인지를 예측한다. 해부학적 구조의 의료 이미지를 평가하도록 배치될 때, 기계 학습 모델들의 앙상블은 병렬로 실행될 수 있다. 일부 예들에서, 객체의 특정 객체 유형이 식별될 때(예를 들어, 방법(700)과 같은 다른 프로세스의 출력으로서 수신될 때), 해부학적 구조의 의료 이미지가 특정 객체 유형의 최적 이미지인지를 예측하도록 훈련된 기계 학습 모델만이 컴퓨팅 리소스들을 보존하기 위해 실행될 수 있다.
도 9는 본 명세서에 제시된 예시적인 기술에 따른, 의료 이미지가 그 안에 식별된 객체의 최적 이미지인지를 결정하기 위한 예시적인 방법(900)을 나타내는 흐름도를 도시한다. 예시적인 방법(900)(예를 들어, 단계들(902-912))은 시스템(116)에 의해 수행될 수 있다. 예시적인 방법(1900)은 다음의 단계들 중 하나 이상을 포함할 수 있다.
단계(902)에서, 해부학적 구조의 의료 이미지가 컴퓨팅 디바이스로부터 수신될 수 있다. 의료 이미지는 초음파 이미지일 수 있고, 컴퓨팅 디바이스는 초음파 이미징 시스템(132)의 사용자 컴퓨팅 디바이스(140) 또는 이미징 컴퓨팅 디바이스(136)를 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스는 의료 이미지 처리 시스템(110)과 연관된 애플리케이션(예를 들어, 클라이언트 애플리케이션)을 실행하고 있을 수 있다. 일부 예들에서, 의료 이미지는, 컴퓨팅 디바이스 또는 원격 데이터 저장 시스템(예를 들어, PAC 시스템(150))의 로컬 저장소로부터 선택되고 애플리케이션을 통해 시스템(116)에 전송되는 이전에 캡처되고 저장된 이미지일 수 있다. 다른 예들에서, 의료 이미지는 (예를 들어, 환자가 이미지화되고 있을 때 초음파 이미징 시스템(132)에 의해) 실시간으로 캡처되고 있고 애플리케이션을 통해 시스템(116)에 전송되는 라이브 이미지일 수 있다. 일부 예들에서, 사용자는 또한, 애플리케이션의 사용자 인터페이스를 통해, 확인하고자 하는 하나 이상의 특정 유형의 객체가 존재하고/하거나 의료 이미지에서 그 사이를 구별하고자 하는 것을 선택할 수 있다.
단계(904)에서, 의료 이미지는 제1 훈련된 기계 학습 모델에 대한 입력으로서 제공되어 (예를 들어, 제1 훈련된 기계 학습 모델의 출력으로서) 식별된 하나 이상의 객체의 예측을 획득할 수 있다. 제1 훈련된 기계 학습 모델은, 도 6 및 도 7을 참조하여 설명된 해부학적 구조의 의료 이미지 내의 객체들을 식별하기 위해 훈련되고 이용되는 기계 학습 모델일 수 있다. 예를 들어, 제1 훈련된 기계 학습 모델은, 초음파 이미지 내에서 식별된 객체가 어깨의 힘줄 상에 위치된 칼슘 침착물을 포함한다고 예측할 수 있다.
단계(906)에서, 의료 이미지는, 의료 이미지가 식별된 객체(들)(예를 들어, 제1 훈련된 기계 학습 모델로부터의 예측으로서 식별되고 수신된 특정 유형의 객체)의 최적 이미지인지를 식별하기 위해 제2 훈련된 기계 학습 모델에 제공될 수 있다. 제2 훈련된 기계 학습 모델은 도 8을 참조하여 설명된 방법(800)을 이용하여 훈련되는 훈련된 기계 학습 모델일 수 있다. 위의 예를 계속하면, 식별된 객체들이 어깨의 힘줄 상에 위치된 칼슘 침착물을 포함하는 경우, 제2 훈련된 기계 학습 모델은 칼슘 침착물들의 최적 이미지들을 적어도 식별하도록 훈련될 수 있다.
단계(908)에서, 의료 이미지가 식별된 객체(들)의 최적 이미지인지에 대한 예측이 제2 훈련된 기계 학습 모델의 출력으로서 수신될 수 있다. 일부 예들에서, 예측 출력은 또한, 의료 이미지를 캡처하는 프로브의 예측된 배향(예를 들어, 식별된 객체(들)의 시야각이 최적이거나 비-최적인 것을 야기하는 현재의 프로브 배향)을 포함할 수 있다.
단계(910)에서, 예측의 표시가 디스플레이를 위해 컴퓨팅 디바이스에 제공될 수 있다. 예를 들어, 시각화는 도 2를 참조하여 설명된 후처리 단계(206)에서의 예측에 기반하여 생성될 수 있다. 일부 예들에서, 의료 이미지가 식별된 객체(들)의 최적 이미지인 것으로 예측된다면, 의료 이미지와 함께 긍정적 시각적 표시자의 디스플레이를 야기하는 지시가 컴퓨팅 디바이스에 제공될 수 있다. 다른 예들에서, 의료 이미지가 식별된 객체(들)의 비-최적 이미지인 것으로 예측된다면, 식별된 객체(들)의 최적 이미지의 캡처를 허용하기 위해 조작자가 프로브 조정을 행하라는(예를 들어, 프로브를 재배향하라는) 프롬프트의 디스플레이를 야기하는 지시가 컴퓨팅 디바이스에 제공될 수 있다.
프롬프트는 최적 이미지 캡처를 달성하기 위해 예측된 배향에 대응하는 프로브의 현재 배향을 조정하도록 조작자를 안내하는 방향 지시들을 포함할 수 있다. 예를 들어, 훈련의 일부로서, 훈련된 기계 학습 모델은 라벨링된 훈련 의료 이미지로부터 각각의 유형의 식별된 객체(들)의 최적 시야각(예를 들어, 최적 이미지를 낳음)과 연관된 프로브 배향을 학습할 수 있다. 따라서, 특정 유형들의 식별된 객체(들)의 최적 이미지 캡처와 연관된 학습된 프로브 배향이 현재의 프로브 배향과 비교되어 현재의 프로브 배향을 학습된 프로브 배향으로 조정하는 방향 지시를 생성할 수 있다. 일부 예들에서, 방향 지시들은, 도 10을 참조하여 도시된 바와 같이, 프로브 방향 표시자들의 형태일 수 있다.
도 10은 의료 이미지에서 식별된 객체 및 연관된 객체 측정치를 디스플레이하는 예시적인 애플리케이션 사용자 인터페이스(1000)이다. 애플리케이션 사용자 인터페이스(1000)는 사용자 컴퓨팅 디바이스(140) 및/또는 이미징 컴퓨팅 디바이스(136) 상에 디스플레이되는 애플리케이션의 사용자 인터페이스일 수 있다. 도 6을 참조하여 설명된 예시적인 방법(600)을 이용하여 훈련된 기계 학습 모델과 같은 기계 학습 모델이 생성되어 어깨 관절들의 초음파 이미지들 내의 객체들을 식별하도록 훈련될 수 있다.
환자의 어깨의 초음파 이미지는, 초음파 이미지 내의 다른 객체들 중에서도, 힘줄(1004)(예를 들어, 해부학적 특징) 및 칼슘 침착물(1006)(예를 들어, 신체의 기능을 방해할 수 있는 신체에 정상적으로 존재하지 않는 특징)을 식별하기 위해 (예를 들어, 예시적인 방법(600)을 이용하여) 시스템(116)에 의한 처리를 위해 애플리케이션으로부터 수신될 수 있다. 일단 처리되고 나면, 시스템(116)은, 애플리케이션 사용자 인터페이스(1000)를 통한 디스플레이를 위해 힘줄(1004) 및 칼슘 침착물(1006)이 라벨링되거나, 하이라이트되거나, 또는 다른 방식으로 강조되어 있는 적어도 의료 이미지(1002)를 포함하는 시각화를 애플리케이션에 제공할 수 있다.
추가로, 훈련된 기계 학습 모델의 추가 출력으로서 획득되거나 (예를 들어, 영역을 획득하기 위한 전술한 추적 및/또는 체적을 획득하기 위한 체적 스윕 이미징 기술을 이용하여) 독립적으로 획득되는, 칼슘 침착물(1006) 등의 식별된 객체들 중 하나 이상과 연관된 측정치(1008)가 디스플레이될 수 있다. 일부 예들에서, 도시된 바와 같이, 측정치(1008)는 칼슘 침착물(1006)과 함께 의료 이미지(1002)의 주석부기들로서 디스플레이될 수 있다.
또한, 애플리케이션 사용자 인터페이스(1000)는, 예를 들어, 디스플레이된 현재 이미지보다 칼슘 침착물(1006)의 더 최적의 이미지를 캡처하기 위해 초음파 이미징 시스템(132)의 프로브(134)를 이동시키기 위한 방향을 제안하는 프로브 방향 표시자들(1010)을 포함할 수 있다. 의료 이미지(1002)가 칼슘 침착물(1006)의 최적 이미지인지의 결정과, 그렇지 않은 경우, 프로브의 이동을 위한 제안된 방향의 결정은 도 9를 참조하여 설명된 예시적인 방법(900)과 유사한 프로세스를 이용하여 획득될 수 있다. 프로브 방향 표시자(1010)는, 초음파 이미징 시스템(132)의 조작자가 프로브(134)를 슬라이딩(예를 들어, 전방, 후방, 우측 또는 좌측) 및/또는 프로브(134)를 회전시킬 것을 나타내는 화살표를 포함할 수 있다. 일부 예들에서, 프로브 방향 표시자(1010)는, 제안된 이동의 방향을 가리키는 화살표가 하이라이트되거나, 반짝거리거나, 다른 방식으로 시각적으로 사용자의 주의를 끌 수 있도록 애니메이션화될 수 있다.
전술한 애플리케이션 사용자 인터페이스(1000)는 단지 예로서 제공되며, 도 10에 도시된 것에 추가하거나, 그보다 더 적거나, 상이하거나, 상이하게 배열된 정보를 포함할 수 있다.
중재 관찰들: 기구 위치 및 궤적의 예측들 및 시각화들
의사는, 예컨대, 의사가 기구를 의도된 타겟 영역으로 안전하게 안내하는데 도움을 주도록 환자의 신체 내에 삽입된 기구를 시각화하기 위해 절차 동안 전자 의료 이미지들을 이용할 수 있다. 기구는 치료 또는 수술과 같은, 절차의 일부로서 신체 내로 삽입되는 임의의 디바이스, 도구, 또는 객체를 포함할 수 있다. 예를 들어, 의사는 스테로이드를 포함하는 약물 주사기의 주사바늘을 통증을 감소시키기 위한 치료의 일부로서 어깨의 근육에 삽입할 수 있다. 이러한 예에서, 의사는 초음파 이미징을 이용하여 주사바늘을 근육의 특정 영역 내로 안내할 수 있다. 또한, 초음파 안내 수술이 점점 더 일반화되고 있다. 예를 들어, 어깨의 초음파 안내 주사바늘 생검은 덩어리가 암인지, 전암인지, 또는 양성인지를 결정하기 위해 어깨 내에서 식별된 덩어리의 적어도 일부를 제거하도록 수행될 수 있다.
종종 위치시킬 기구의 중요한 부분은 신체의 타겟 영역에 대해 주어진 동작을 수행하는데 이용되는 기구의 원단부(예를 들어, 팁, 또는 조작자로부터 가장 멀리 떨어진 기구의 단부)이다. 예를 들어, 주사바늘 생검의 경우, 기구의 원단부는 덩어리 또는 병변과 같은, 타겟 영역으로부터 조직을 제거하는 생검 주사바늘의 팁일 수 있다. 따라서, 원단부의 정확한 위치는 원단부가 신체의 상이한 비-타겟 영역에 작용하는 것을 방지하기 위해(예로서, 이웃 장기를 펑처링하는 것을 방지하기 위해) 필요할 수 있다. 현재, 초음파 이미징 디바이스의 조작자가 기구의 원단부를 찾기 위해, 조작자는 기구의 원단부가 신체 내부에 있는 곳을 조작자가 볼 수 있는 이미지를 프로브의 위치가 캡처할 때까지 (예를 들어, 프로브를 회전, 슬라이딩 또는 힐-토잉(heel-toeing)함으로써) 이미징 디바이스의 프로브를 수동으로 조작해야 한다. 조작자는 기구가 기구의 원단부를 계속 시각화하기 위해 타겟을 향해 전진함에 따라 이들 조작을 반복적으로 수행해야 할 수 있다.
현재의 수동 기술들을 개선하기 위해, 도 11 및 도 12에 제시된 기술들은 입력 의료 이미지에 기반하여 절차 동안 (예로서, 실시간으로) 기구의 위치를 예측하는 기계 학습 모델의 훈련 및 이용을 설명한다. 추가적으로, 도 13 및 도 14에 설명된 바와 같이, 의도된 타겟에 대한 기구의 궤적을 예측하기 위해 다른 기계 학습 모델이 훈련되고 이용될 수 있다. 도 15에 도시된 바와 같이, 다른 정보 중에서도 의료 이미지 상에 오버레이된 기구의 예측 위치 및 궤적을 포함하는 시각화가 의사에게 디스플레이될 수 있다.
도 11은 본 명세서에 제시된 예시적인 기술들에 따른, 기구의 위치를 예측하기 위해 기계 학습 모델(예로서, 훈련된 기계 학습 모델들(118) 중 하나)을 훈련시키기 위한 예시적인 방법(1100)을 나타내는 흐름도를 도시한다. 예시적인 방법(1100)(예를 들어, 단계들(1102-1106))은 시스템(116)에 의해 수행될 수 있다. 예시적인 방법(1100)은 다음의 단계들 중 하나 이상을 포함할 수 있다.
단계(1102)에서, (예를 들어, 네트워크(120)를 통해 의료 이미징 데이터베이스(160)로부터) 복수의 훈련 의료 이미지가 수신될 수 있다. 훈련 의료 이미지는 기구가 존재하는 해부학적 구조의 초음파 이미지를 포함할 수 있다. 예를 들어, 기구는 생검 주사바늘일 수 있다. 훈련 의료 이미지는 이미지 시퀀스 서브세트로 구성될 수 있다. 이미지 시퀀스 서브세트 내의 각각의 이미지는 프로브(134)의 위치를 이동시키지 않고 초음파 이미징 시스템(132)의 상이한 설정들에서 캡처될 수 있다. 상이한 설정들은 (예를 들어, 깊이가 증가함에 따라 주파수가 더 낮게 설정되기 때문에) 변화하는 깊이들 및 대응하는 주파수들을 포함할 수 있다. 예를 들어, 이미지 시퀀스 서브세트는 제1 깊이-주파수 조합에서 캡처된 환자의 해부학적 구조의 제1 이미지, 제2 깊이-주파수 조합에서 캡처된 환자의 해부학적 구조의 제2 이미지, 제3 깊이-주파수 조합에서 캡처된 환자의 해부학적 구조의 제3 이미지 등을 포함할 수 있다. 각각의 서브세트 내의 이미지 시퀀스는 2개의 상이한 깊이-주파수 조합에서 캡처된 동일한 환자의 해부학적 구조의 적어도 2개의 이미지를 포함할 수 있다.
일부 예들에서, 훈련 의료 이미지는, 단계(1104)에서 기계 학습 모델을 생성하고 훈련하기 위해 감독 학습 기술이 구현될 수 있도록 라벨링될 수 있다. 예를 들어, 이미지들은 기구의 적어도 일부를 식별하는 주석부기들을 포함할 수 있다. 일부 예들에서, 식별된 부분은 기구의 적어도 원단부를 포함할 수 있다. 주석부기들은 또한 이미지들에 존재하는 해부학적 구조들을 나타낼 수 있다. 다른 예들에서, 훈련 의료 이미지는 라벨링되지 않고, 무감독 학습 기술이 구현되어 단계(1104)에서 기계 학습 모델을 훈련시킬 수 있다. 훈련 의료 이미지는 또한 (도 2의 단계(204)에서 설명된 전처리와 유사한) 전처리를 겪을 수 있다.
단계(1104)에서, 기구의 위치를 예측하기 위한 기계 학습 모델이 복수의 훈련 의료 이미지를 이용하여 생성되고 훈련될 수 있다. 예를 들어, 훈련 의료 이미지의 제1 이미지 시퀀스 서브세트는 기계 학습 모델에 입력될 수 있다. 기계 학습 모델은 서브세트 내에 포함된 기구의 적어도 일부의 위치를 예측할 수 있다. 일부 예들에서, 예측은 기구의 원단부의 예측된 위치를 포함할 수 있다. 예를 들어, 기계 학습 모델은 이미지 내의 기구의 적어도 일부를 식별하고 다음에 기구의 배향 및/또는 길이를 결정할 수 있다.
일부 예들에서, 훈련 의료 이미지가 라벨링되고 감독 학습 기술이 기계 학습 모델을 훈련하도록 구현될 때, 훈련 의료 이미지에 대한 기계 학습 모델에 의해 출력된 기구의 예측된 위치가 훈련 의료 이미지에 대응하는 라벨과 비교되어 손실 또는 에러를 결정할 수 있다. 예를 들면, 제1 이미지 시퀀스 서브세트 내의 기구의 예측된 위치는 대응하는 라벨에 의해 식별된 제1 이미지 시퀀스 서브세트 내의 기구의 적어도 일부의 알려진 위치와 비교될 수 있다. 기계 학습 모델은 기계 학습 모델의 정확도를 개선하기 위해 에러에 기반하여 수정되거나 변경될 수 있다(예를 들어, 가중치들 및/또는 바이어스가 조정될 수 있다). 이 프로세스는 훈련 의료 이미지들 내의 각각의 이미지 시퀀스 서브세트에 대해 또는 적어도 결정된 손실 또는 에러가 미리 정의된 임계치 아래일 때까지 반복될 수 있다. 일부 예들에서, 훈련 이미지들 내의 이미지 시퀀스 서브세트들 및 대응하는 라벨들의 적어도 일부는 보류되어 훈련된 기계 학습 모델을 추가로 검증하거나 테스트하는데 이용될 수 있다. 다른 예들에서, 기계 학습 모델을 훈련하기 위해 무감독 학습 기술들이 구현될 때, 주어진 이미지 시퀀스 서브세트에 대해, 기계 학습 모델은 각각의 이미지 시퀀스 서브세트 내의 각각의 이미지로부터 특징으로서 기구의 적어도 일부를 추출하고, (예를 들어, 클러스터링을 이용하여) 특징으로서 기구의 식별에 기반하여 서브세트 내의 패턴을 식별할 수 있다. 감독 또는 무감독 예들에서, 기구의 적어도 일부가 식별되면, 원단부의 위치가 결정될 수 있다. 일부 예들에서, 원단부의 결정은 기구의 알려진 길이 또는 서브세트의 이미지 시퀀스로부터의 다른 이미지들과 같은 다른 정보에 의해 추가로 용이하게 될 수 있다.
일단 기계 학습 모델이 충분히 훈련되면, 단계(1106)에서, 훈련된 기계 학습 모델은 후속 이용을 위해 (예를 들어, 저장 디바이스들(114)에 저장된 훈련된 기계 학습 모델들(118) 중 하나로서) 저장될 수 있다. 일부 예들에서, 훈련된 기계 학습 모델은 상이한 유형들의 기구들(예컨대, 상이한 형상들, 크기들 등을 갖는 기구들)과 연관된 기구 위치들을 예측하도록 생성되고 훈련되는 단일 기계 학습 모델일 수 있다. 다른 예들에서, 예시적인 방법(1100)은 기계 학습 모델들의 앙상블을 생성하고 훈련하도록 수행될 수 있으며, 여기서 각각의 모델은 특정 유형의 기구(예컨대, 주사바늘)와 연관된 기구 위치를 예측한다. 의료 이미지를 평가하도록 배치될 때, 기계 학습 모델들의 앙상블은 병렬로 실행될 수 있다.
도 12는 본 명세서에 제시된 예시적인 기술들에 따른, 기구의 위치를 예측하기 위한 예시적인 방법(1200)을 나타내는 흐름도를 도시한다. 예시적인 방법(1200)(예를 들어, 단계들(1202-1208))은 시스템(116)에 의해 수행될 수 있다. 예시적인 방법(1200)은 다음의 단계들 중 하나 이상을 포함할 수 있다.
단계(1202)에서, 기구의 삽입에 후속하는 의료 이미지 시퀀스가 컴퓨팅 디바이스로부터 수신될 수 있다. 의료 이미지 시퀀스는 초음파 이미지 시퀀스일 수 있고, 컴퓨팅 디바이스는 초음파 이미징 시스템(132)의 이미징 컴퓨팅 디바이스(136)일 수 있다. 예를 들어, 초음파 이미징 시스템(132)은 환자의 신체 내로의 기구의 삽입이 타겟에 도달하는 것을 수반하는 절차를 안내하고 있을 수 있다. 하나의 예시적인 절차는 주사바늘 생검 절차일 수 있으며, 여기서 주사바늘은 생검을 위해 타겟 덩어리 또는 병변에 도달하도록 삽입된다. 절차 동안 삽입된 기구의 시각화를 의사에게 제공하기 위해, 초음파 이미징 시스템(132)의 프로브(134)는 이미지들이 이미징 컴퓨팅 디바이스(136)에 의해 생성될 수 있는 조정가능한 주파수 및 깊이에서 음파들을 전송하고 수신하는데 이용될 수 있다. 일부 예들에서, 장축 접근법은 기구의 장축(LAX) 뷰를 갖는 이미지들을 생성하도록 수행될 수 있다. LAX 뷰는, 예를 들어, 기구의 길이를 볼 수 있는, 신체에 삽입된 기구의 종방향 뷰일 수 있다. 단계(1202)에서 수신되는 의료 이미지 시퀀스는 프로브(134)의 위치가 정적인 채로 있으면서 상이한 주파수들 및 깊이들에서 프로브(134)에 의해 전송 및 수신되는 음파들로부터 이미징 컴퓨팅 디바이스(136)에 의해 생성되는 적어도 2개의 의료 이미지를 포함할 수 있다.
일부 예들에서, 시스템(116)은 초음파 이미징 시스템(132)의 조작자가 기구의 삽입에 후속하여 의료 이미지 시퀀스를 캡처하기 위한 오디오 또는 시각적 프롬프트의 디스플레이를 야기하도록 이미징 컴퓨팅 디바이스(136)에 지시를 제공할 수 있고, 의료 이미지 시퀀스는 프롬프트에 응답하여 수신될 수 있다. 예를 들어, 이미징 컴퓨팅 디바이스(136) 상에서 실행 중인 애플리케이션은, 신체 내에 삽입된 기구를 위치파악하기 위한 기구 위치파악 특징을 포함할 수 있고, 프롬프트의 디스플레이를 야기하는 지시는, 조작자가 기구 위치파악 특징을 선택하는 것에 응답하여, 애플리케이션 사용자 인터페이스를 통해 초음파 이미징 시스템(132)의 디스플레이(138) 상에 제공되고 디스플레이될 수 있다. 일부 예들에서, 기구 위치파악 특징의 선택의 일부로서, 조작자는 또한 방법(1200)의 후속 단계들에서 이용될 수 있는 기구의 유형(예를 들어, 생검 주사바늘) 및/또는 기구의 크기 파라미터들(예를 들어, 생검 주사바늘의 길이 및/또는 직경)과 같은 추가 입력을 제공할 수 있다. 디스플레이된 프롬프트는 의료 이미지들의 시퀀스를 생성하기 위해 프로브(134)에 의해 음파들이 전송되고 수신될 다양한 깊이 및 주파수 조합들을 조작자에게 지시할 수 있다. 예를 들어, 지시들은 시퀀스의 제1 이미지를 생성하기 위해 음파들이 프로브(134)에 의해 초기에 전송되고 수신될 제1 깊이 및 주파수, 시퀀스의 제2 이미지를 생성하기 위해 음파들이 프로브(134)에 의해 후속하여 전송되고 수신될 제2 깊이 및 주파수 등을 포함할 수 있다. 프롬프트는 이미지 캡처들 사이의 깊이 및 주파수 설정들을 조정하는 것과 동일한 위치에 프로브(134)를 위치시키도록 조작자에게 추가로 지시할 수 있다.
다른 예들에서, (예를 들어, 시스템(116)으로부터의 지시들에 기반한) 애플리케이션은 의료 이미지 시퀀스의 자동 캡처를 가능하게 하기 위해 음파들이 프로브(134)에 의해 전송되는 깊이 및 주파수의 자동 조정을 야기하는 신호들을 이미징 컴퓨팅 디바이스(136)에 제공할 수 있다.
단계(1204)에서, 의료 이미지들의 시퀀스는 도 11을 참조하여 설명된 방법(1100)을 이용하여 훈련되는 훈련된 기계 학습 모델과 같은 기구의 위치를 예측하기 위한 훈련된 기계 학습 모델에 대한 입력으로서 제공될 수 있다. 예시적인 방법(1100)이 기계 학습 모델들의 앙상블을 생성하고 훈련시키는데 이용되는 예들에서, 의료 이미지가 병렬로 실행되는 기계 학습 모델들의 앙상블의 각각의 기계 학습 모델에 대한 입력으로서 제공될 수 있다. 일부 예들에서, 기구의 유형이 기구 위치파악 특징 선택의 일부로서 의사에 의해 표시될 때, 특정 유형의 기구를 식별하도록 훈련되는 기계 학습 모델만이 실행될 수 있다. 또한, 기구 위치파악 특징 선택의 일부로서 조작자에 의해 입력된 기구의 임의의 크기 파라미터들이 훈련된 기계 학습 시스템에 대한 추가 입력으로서 제공될 수 있다.
단계(1206)에서, 훈련된 기계 학습 모델로부터의 출력으로서 예측된 위치가 수신될 수 있다. 예측된 위치는 기구의 원단부를 적어도 포함할 수 있다. 예측된 위치는 또한 기구의 배향 및/또는 길이를 포함할 수 있다. 예를 들어, 기계 학습 모델은 이미지 내의 기구의 적어도 일부를 식별하고 다음에 기구의 배향 및/또는 길이를 결정할 수 있다. 일부 예들에서, 훈련된 기계 학습 모델로부터 출력된 예측된 위치는 아래에서 도 13 및 도 14를 참조하여 상세히 설명된 기구의 궤적을 예측하는 프로세스와 같은, 다른 프로세스에 대한 입력으로서 후속하여 제공될 수 있다.
단계(1208)에서, 기구의 예측된 위치의 시각화가 디스플레이를 위해 컴퓨팅 디바이스에 제공될 수 있다. 예를 들어, 시각화는 도 2와 관련하여 설명된 후처리 단계(206)에서의 예측에 기반하여 생성되고, 이미징 컴퓨팅 디바이스(136) 상에서 실행되는 애플리케이션을 통한 디스플레이를 위해 제공될 수 있다. 시각화는 해부학적 구조들에 대한 기구의 적어도 원단부의 예측 위치를 나타내어, 의사가 기구와 해부학적 구조들 사이에 의도하지 않은 접촉이 발생하지 않는 것을 확인하게 할 수 있다.
일부 예들에서, 시각화는 기구의 직교 뷰들을 동시에 묘사하는 적어도 2개의 의료 이미지를 포함할 수 있다. 예를 들어, 제1 이미지는 기구의 길이가 보일 수 있는 기구의 LAX 뷰일 수 있고, 여기서 제1 이미지는 수신된 이미지들의 시퀀스로부터의 이미지들 중 하나(예를 들어, 인간의 눈에 의해 보다 쉽게 볼 수 있는 주어진 깊이 및 주파수에서의 이미지)일 수 있다. 제2 이미지는 기구의 원단부만이 보이도록 LAX 뷰에 직교하는 기구의 단축(SAX) 뷰일 수 있다. 프로브가 양면 이미징을 할 수 있는 경우 LAX 뷰와 동일한 프로브에 의해 그리고/또는 LAX 뷰와 동시에 초음파 이미징 시스템(132)의 상이한 프로브에 의해 SAX 뷰가 동시에 캡처될 수 있다. 각각의 이미지에서, 기구의 예측된 위치, 및 특히 기구의 원단부의 예측된 위치가 시각적으로 표시될 수 있다. 기구의 직교 뷰들을 묘사하는 2개의 의료 이미지를 갖는 시각화를 디스플레이하는 예시적인 애플리케이션 사용자 인터페이스가 아래의 도 15에 도시되어 있다.
다른 예들에서, 시각화는 해부학적 구조의 3차원(3D) 표현을 포함할 수 있다. 3D 표현은 의료 이미지들의 시퀀스로부터 생성될 수 있다. 게다가, 훈련된 기계 학습 모델에 의해 출력되는 기구의 예측된 위치는 생성 프로세스의 일부로서 이용될 수 있으며, 따라서 3D 표현은 기구의 예측된 위치, 특히 기구의 원단부를 시각적으로 표시한다.
일부 예들에서, 예시적인 방법(1200)은 기구가 이동될 때 기구의 적어도 원단부를 계속 추적하기 위해 기구가 신체 내로 추가로 삽입됨에 따라 반복될 수 있다.
도 11 및 도 12를 참조하여 전술한 바와 같이, 훈련된 기계 학습 모델은 기구의 위치가 예측되는 상이한 깊이들 및 주파수들에서 캡처된 의료 이미지들의 시퀀스를 수신하도록 훈련될 수 있다. 예를 들어, 프로브(134)가 캡처된 주어진 이미지에 대해 기구의 장축과 정렬되지 않으면, 모델은 이미지가 캡처된 주어진 깊이/주파수에서 기구의 단면의 위치만을 학습/예측할 수 있다. 따라서, 기구의 전체 길이가 훈련된 기계 학습 모델에 의해 학습되고 예측되는 것을 가능하게 하기 위해 상이한 깊이들 및 주파수들에서의 복수의 의료 이미지가 필요할 수 있다.
다른 양태들에서, 기계 학습 모델은 (예컨대, 프로브(134)가 기구의 장축과 실질적으로 정렬될 때 의료 이미지가 캡처되는 경우) 하나의 의료 이미지를 이용하여 기구의 위치를 예측하도록 훈련될 수 있다. 게다가, 프로브(134)가 현재 캡처된 의료 이미지 내의 기구의 장축과 실질적으로 정렬되지 않는 경우, 기구의 더 양호한 시야각(예로서, 기구의 장축을 나타내는 시야각)을 갖는 이미지를 캡처하기 위해 프로브의 위치 및/또는 배향을 조정하라는 프롬프트가 조작자에게 제공될 수 있다. 예를 들어, 기구의 이미지가 최적인지의 결정 및 이미지가 최적이 아닐 때 프로브를 이동시키기 위한 제안된 방향의 후속 결정은 도 8 및 도 9를 참조하여 위에서 설명된 유사한 프로세스를 이용하여 결정될 수 있다. 기구의 더 양호한 시야각을 갖는 의료 이미지가 캡처되면, 의료 이미지는 하나의 의료 이미지를 이용하여 기구의 위치를 예측하도록 훈련된 기계 학습 모델에 대한 입력으로서 제공될 수 있다.
도 13은 본 명세서에서 제시된 예시적인 기술들에 따라, 기구 궤적을 예측하도록 기계 학습 모델(예컨대, 훈련된 기계 학습 모델들(118) 중 하나)을 훈련시키기 위한 예시적인 방법(1300)을 나타내는 흐름도를 도시한다. 예시적인 방법(1300)(예를 들어, 단계들(1002-1006))은 시스템(116)에 의해 수행될 수 있다. 예시적인 방법(1300)은 다음의 단계들 중 하나 이상을 포함할 수 있다.
단계(1302)에서, 기구 및 기구에 대한 타겟을 각각 포함하는 복수의 라벨링된 훈련 의료 이미지가 (예를 들어, 네트워크(120)를 통해 의료 이미징 데이터베이스(160)로부터) 수신될 수 있다. 예를 들어, 훈련 의료 이미지는, 환자 내로의 기구의 삽입에 후속하는 주어진 위치의 기구 및 해부학적 구조와 연관된 기구의 타겟을 포함하는 환자의 해부학적 구조의 초음파 이미지일 수 있다. 훈련 의료 이미지는, 해부학적 구조, 기구, 타겟, 삽입된 기구의 진입 각도(예를 들어, 삽입 각도), 타겟에 접근하고 있는 기구의 적어도 원단부의 위치, 및/또는 타겟의 위치를 식별하는 주석부기들로 라벨링될 수 있다. 게다가, 훈련 의료 이미지들 각각은 기구의 원단부로부터 타겟까지의 기구의 공지된 궤적을 표시하는 대응하는 실측 정보 라벨을 가질 수 있다.
훈련 의료 이미지는 (도 2의 단계(204)에서 설명된 전처리와 유사한) 전처리를 거칠 수 있다. 일부 예들에서, 전처리의 일부로서, 주석부기들은 훈련 의료 이미지로부터 추출되거나 다른 방식으로 식별되어 훈련 의료 이미지와 별개인 라벨을 형성할 수 있다. 다른 예들에서, 주석부기들은 훈련 의료 이미지와 별개인 라벨로서 수신될 수 있다.
단계(1304)에서, 기구 궤적을 예측하기 위한 기계 학습 모델이 복수의 라벨링된 훈련 의료 이미지를 이용하여 생성되고 훈련될 수 있다. 예를 들어, 기구 및 기구에 대한 타겟을 포함하는 훈련 의료 이미지가 기계 학습 모델에 입력될 수 있다. 기계 학습 모델은 기구의 원단부로부터 타겟까지의 기구의 궤적을 예측할 수 있다. 기계 학습 모델을 훈련시키기 위해, 훈련 의료 이미지에 대한 기계 학습 모델에 의해 출력된 궤적은 손실 또는 에러를 결정하기 위해 훈련 의료 이미지에 대응하는 실측 정보 라벨과 비교될 수 있다. 예를 들어, 제1 의료 훈련 이미지에 대한 예측된 궤적이 기구의 원단부로부터 제1 훈련 의료 이미지에 대한 대응하는 실측 정보 라벨에 의해 식별되는 타겟까지의 기구의 알려진 궤적과 비교될 수 있다. 기계 학습 모델은 기계 학습 모델의 정확도를 개선하기 위해 에러에 기반하여 수정되거나 변경될 수 있다(예를 들어, 가중치들 및/또는 바이어스가 조정될 수 있다). 이 프로세스는 각각의 훈련 의료 이미지에 대해 또는 적어도 결정된 손실 또는 에러가 미리 정의된 임계치 아래일 때까지 반복될 수 있다. 일부 예들에서, 훈련 의료 이미지들 및 대응하는 라벨들의 적어도 일부는 보류되어 훈련된 기계 학습 모델을 추가로 검증하거나 테스트하는데 이용될 수 있다.
일단 기계 학습 모델이 충분히 훈련되면, 단계(1306)에서, 훈련된 기계 학습 모델은 후속 이용을 위해 (예를 들어, 저장 디바이스들(114)에 저장된 훈련된 기계 학습 모델들(118) 중 하나로서) 저장될 수 있다. 일부 예들에서, 훈련된 기계 학습 모델은 상이한 유형들의 기구들(예컨대, 상이한 형상들, 크기들 등을 갖는 기구들)과 연관된 기구 궤적들을 예측하도록 생성되고 훈련되는 단일 기계 학습 모델일 수 있다. 다른 예들에서, 예시적인 방법(1300)은 기계 학습 모델들의 앙상블을 생성하고 훈련하도록 수행될 수 있으며, 여기서 각각의 모델은 특정 유형의 기구(예컨대, 주사바늘)와 연관된 기구 궤적을 예측한다. 의료 이미지를 평가하도록 배치될 때, 기계 학습 모델들의 앙상블은 병렬로 실행될 수 있다.
도 14는 본 명세서에서 제시된 예시적인 기술들에 따라, 기구 궤적을 예측하기 위한 예시적인 방법을 나타내는 흐름도를 도시한다. 예시적인 방법(1400)(예를 들어, 단계들(1402-1412))은 시스템(116)에 의해 수행될 수 있다. 예시적인 방법(1400)은 다음의 단계들 중 하나 이상을 포함할 수 있다.
단계(1402)에서, 삽입된 기구 및 기구의 타겟을 포함하는 의료 이미지들의 시퀀스가 컴퓨팅 디바이스로부터 수신될 수 있다. 컴퓨팅 디바이스는 초음파 이미징 시스템(132)의 이미징 컴퓨팅 디바이스(136)일 수 있다. 초음파 이미징 시스템(132)은, 주사바늘이 생검을 위해 타겟 덩어리 또는 병변에 도달하도록 삽입되는 주사바늘 생검 절차 등의, 환자의 신체 내로의 기구의 타겟에 도달하기 위한 삽입을 수반하는 절차를 안내하고 있을 수 있다. 절차 동안 삽입된 기구의 시각화를 의사에게 제공하기 위해, 프로브(134)는 이미지들이 이미징 컴퓨팅 디바이스(136)에 의해 생성될 수 있는 조정가능한 주파수 및 깊이에서 음파들을 전송 및 수신하는데 이용될 수 있다. 일부 예들에서, 장축 접근법은 도 12를 참조하여 위에서 더 상세히 설명된 바와 같이, 기구의 LAX 뷰를 갖는 이미지들을 생성하도록 수행될 수 있다. 단계(1402)에서 수신되는 의료 이미지 시퀀스는 프로브(134)의 위치 또는 배치가 정적인 채로 있으면서 상이한 깊이들 및 주파수들에서 프로브(134)에 의해 전송 및 수신되는 음파들로부터 이미징 컴퓨팅 디바이스(136)에 의해 생성되는 적어도 2개의 의료 이미지를 포함할 수 있다.
방법(1200)의 단계(1202)를 참조하여 상세히 설명되는 바와 같이, 일부 예들에서, 의료 이미지 시퀀스는 변하는 깊이-주파수 조합에서 시퀀스의 각각의 이미지를 캡처하기 위해 애플리케이션 사용자 인터페이스를 통해 조작자에게 제공되는 프롬프트에 응답하여 수신될 수 있다. 프롬프트는 기구 위치파악 특징 선택의 선택시에 표시될 수 있으며, 이는 또한 조작자로 하여금 방법(1400)의 후속 단계들에서 이용될 수 있는 기구의 유형(예로서, 생검 주사바늘) 및/또는 기구의 크기 파라미터들(예로서, 생검 주사바늘의 길이 및/또는 직경)과 같은 추가 입력을 제공하게 할 수 있다. 다른 예들에서, (예를 들어, 시스템(116)으로부터의 지시들에 기반한) 애플리케이션은 의료 이미지 시퀀스의 자동 캡처를 가능하게 하기 위해 음파들이 프로브(134)에 의해 전송되는 깊이 및 주파수의 자동 조정을 야기하는 신호들을 이미징 컴퓨팅 디바이스(136)에 제공할 수 있다.
단계(1404)에서, 의료 이미지들의 시퀀스가 제1 훈련된 기계 학습 모델에 대한 입력으로서 제공되어 기구의 예측된 위치를 획득할 수 있다. 기구의 예측된 위치는 기구의 원단부를 적어도 포함할 수 있다. 제1 훈련된 기계 학습 모델은 도 12 및 도 13을 참조하여 설명된 기구 위치를 예측하도록 훈련되고 이용되는 기계 학습 모델일 수 있다.
단계(1406)에서, 기구의 삽입 각도는 기구의 삽입 위치 및 기구의 예측된 위치(특히 기구의 원단부)에 기반하여 결정될 수 있다. 기구의 삽입 위치는 의료 이미지들의 시퀀스로부터 추출될 수 있다. 일부 예들에서, 추적 특징 선택의 일부로서 조작자는 또한 기구의 삽입 위치를 입력할 수 있다.
단계(1408)에서, 의료 이미지들의 시퀀스, 기구의 예측된 위치 및 기구의 삽입 각도가 기구 궤적을 예측하기 위한 제2 훈련된 기계 학습 모델에 대한 입력으로서 제공될 수 있다. 선택적으로, 기구 위치파악 특징 선택의 일부로서 제공된 기구의 임의의 크기 파라미터들이 또한 입력으로서 제공될 수 있다. 제2 훈련된 기계 학습 모델은 도 13을 참조하여 설명된 방법(1300)을 이용하여 훈련되는 훈련된 기계 학습 모델일 수 있다. 예시적인 방법(1300)이 기계 학습 모델들의 앙상블을 생성하고 훈련하는데 이용되는 예에서, 의료 이미지는 병렬로 실행되는 기계 학습 모델들의 앙상블의 각각의 기계 학습 모델에 대한 입력으로서 제공될 수 있다. 일부 예들에서, 기구의 유형이 기구 위치파악 특징 선택의 일부로서 표시될 때, 기구의 특정 유형을 식별하도록 훈련되는 기계 학습 모델만이 실행될 수 있다.
단계(1410)에서, 타겟에 도달하기 위한 기구의 예측된 궤적이 제2 훈련된 기계 학습 모델의 출력으로서 수신될 수 있다. 예를 들어, 예측된 궤적은 기구의 원단부로부터 타겟까지의 경로일 수 있다. 단계(1412)에서, 예측된 궤적의 시각화가 디스플레이를 위해 컴퓨팅 디바이스에 제공될 수 있다. 예를 들어, 시각화는 도 2를 참조하여 설명된 후처리 단계(206)에서의 예측에 기반하여 생성되고, 이미징 컴퓨팅 디바이스(136) 상에서 실행되는 애플리케이션을 통해 (예로서, 디스플레이(138) 상에) 디스플레이를 위해 제공될 수 있다.
일부 예들에서, 시각화는 기구의 직교 뷰들을 동시에 묘사하는 적어도 2개의 의료 이미지를 포함할 수 있다. 예를 들어, 제1 이미지는 기구의 길이가 보일 수 있는 기구의 LAX 뷰일 수 있으며, 제1 이미지는 수신된 의료 이미지들의 시퀀스로부터의 이미지들 중 하나일 수 있다. 일부 예들에서, 시퀀스로부터 선택된 이미지는 인간의 눈에 의해 가장 쉽게 볼 수 있는 주어진 깊이 및 주파수에서의 이미지일 수 있다. 제2 이미지는 기구의 원단부만이 보이도록 LAX 뷰에 직교하는 기구의 단축(SAX) 뷰일 수 있다. 프로브가 양면 이미징을 할 수 있는 경우 LAX 뷰와 동일한 프로브에 의해 그리고/또는 LAX 뷰와 동시에 상이한 프로브에 의해 SAX 뷰가 동시에 캡처될 수 있다. LAX 뷰를 포함하는 적어도 제1 이미지에서, 기구의 예측된 궤적은 시각적이다. 게다가, 제1 및 제2 이미지들 각각에서, 기구의 예측된 위치, 특히 기구의 원단부의 예측된 위치가 시각적으로 표시될 수 있다. 기구의 직교 뷰들을 묘사하는 2개의 의료 이미지를 갖는 시각화를 디스플레이하는 예시적인 애플리케이션 사용자 인터페이스가 아래의 도 15에 도시되어 있다.
다른 예들에서, 시각화는 해부학적 구조의 3차원(3D) 표현을 포함할 수 있다. 3D 표현은 의료 이미지들의 시퀀스로부터 생성될 수 있다. 게다가, 훈련된 기계 학습 모델에 의해 출력되는 기구의 예측된 궤적 및/또는 기구의 예측된 위치는 3D 표현이 타겟 및/또는 기구의 예측된 위치, 및 특히 기구의 원단부에 도달하기 위한 기구의 예측된 궤적을 시각적으로 표시하도록 생성 프로세스의 일부로서 이용될 수 있다.
예시적인 방법(1400)은 조작자가 절차의 전체에 걸쳐 타겟에 도달하기 위해 기구의 위치 및 기구의 궤적의 연속적인 시각화를 가능하게 하기 위해 프로브(134)를 이동시킴에 따라 반복될 수 있다.
도 13 및 도 14에서 전술한 예들은 도 11 및 도 12에서 설명된 모델과 같은, 기구 위치를 예측하기 위한 제1 기계 학습 모델과는 별개인 기구 궤적을 예측하기 위한 제2 기계 학습 모델의 훈련 및 구현을 포함한다. 다른 예들에서, 기구 궤적을 예측하기 위한 제2 기계 학습 모델을 훈련 및 구현하기보다는, 시스템(116)은 기구 위치를 예측하기 위한 제1 기계 학습 모델에 의한 예측된 기구 위치에 기반하여(예를 들어, 기구의 결정된 배향 및/또는 길이 및 삽입 각도에 기반하여) 기구 궤적을 계산적으로 결정하고 시각적으로 투영할 수 있다.
도 15는 예측된 기구 위치 및 궤적을 디스플레이하는 예시적인 애플리케이션 사용자 인터페이스(1500)이다. 예를 들어, 주사바늘 생검 절차와 같은 절차 동안, 애플리케이션 사용자 인터페이스(1500)는 초음파 이미징 시스템(132)의 이미징 컴퓨팅 디바이스(136) 상에서 실행되고 있는 시스템(116)과 관련된 애플리케이션을 통해 디스플레이(138) 상에 제시될 수 있다. 사용자 인터페이스(1500)는 주사바늘과 같은 기구(1506)의 직교 뷰들을 갖는 이미지들(1502, 1504)을 동시에 디스플레이할 수 있다. 예를 들어, 제1 이미지(1502)는 기구(1506)의 LAX 뷰일 수 있고, 제2 이미지(1504)는 기구(1506)의 원단부(1508)만이 보이도록 LAX 뷰에 직교하는 기구(1506)의 SAX 뷰일 수 있다. 제1 및 제2 이미지들(1502, 1504) 각각에서, 도 11을 참조하여 설명된 예시적인 방법(1100)을 이용하여 예측된 기구의 원단부(1508)의 위치가 시각적으로 표시될 수 있다. 예를 들어, 원단부(1508)는 원단부(1508)를 기구(1506)의 나머지 부분과 구별하기 위해 하이라이트되거나, 음영되거나, 컬러링될 수 있다.
또한, 제1 이미지(1502)에 도시된 바와 같이, 기구의 타겟(1510)(예를 들어, 주사바늘이 생검하기 위한 덩어리) 및 (예를 들어, 원단부(1508)로부터) 타겟(1510)까지의 기구에 대한 예측된 궤적(1512)이 또한 디스플레이될 수 있다. 예측된 궤적(1512)은 도 13을 참조하여 설명된 예시적인 방법(1300)에 기반하여 결정되고 제공될 수 있다.
또한, 사용자 인터페이스(1500)는, 예를 들어, 기구(1506), 특히 기구(1506)의 원단부(1508)의 더 최적의 이미지를 캡처하기 위해 초음파 이미징 시스템(132)의 프로브(134)를 이동시키기 위한 방향을 제안하는 프로브 방향 표시자(1514)를 포함할 수 있다. 프로브 방향 표시자(1514)는, 조작자가 프로브를 슬라이딩(예를 들어, 전방, 후방, 우측 또는 좌측) 및/또는 프로브를 회전시킬 것을 나타내는 화살표를 포함할 수 있다. 프로브 방향 표시자(1514)는, 제안된 이동의 방향을 가리키는 화살표가 하이라이트되거나, 반짝거리거나, 다른 방식으로 시각적으로 조작자의 주의를 끌 수 있도록 애니메이션화될 수 있다. 기구의 이미지가 최적인지의 결정 및 이미지가 최적이 아닐 때 프로브를 이동시키기 위한 제안된 방향의 후속 결정은 도 8 및 도 9를 참조하여 위에 설명된 유사한 프로세스를 이용하여 결정될 수 있다.
진단 및 중재 관찰들: 해부학적 특징 식별, 시각화, 및 프로브-해부학적 특징 정렬
도 16 및 도 17에 제시된 기술들은, (예를 들어, 디스플레이(138)를 통해) 초음파 이미징 시스템(132)에 의해 디스플레이된 초음파 이미지 내에 라벨링된 해부학적 특징들의 실시간 식별 및 시각화를 가능하게 하는 기계 학습 모델의 훈련 및 이용을 설명한다. 추가로, 관심 해부학적 특징의 식별 및 시각화시에, 해부학적 특징은 초음파 이미징 시스템(132)의 프로브(134)가 이동될 때 조작자에게 컨텍스트-인식 이미징을 제공하도록 마킹될 수 있다. 도 18 및 도 19에 제시된 기술들은, 예를 들어, 도 16 및 도 17을 참조하여 설명된 기계 학습 모델의 출력으로서 식별된 해부학적 특징과의 프로브 정렬을 검출하는데 이용되고 훈련되는 다른 기계 학습 모델을 설명한다.
예시적인 예를 제공하기 위해, 초음파 이미징 시스템(132)의 조작자가 중앙 신경을 따라 수근 터널 내로 프로브를 이동시킬 때, 수근 터널 내의 깊이의 변화들에 부차적으로, 인간의 눈이 더 작은 신경들로 분기함에 따라 원위 터널에서 시각화하는 것이 어려워진다. 예를 들어, 수근 터널 증후군을 치료하기 위한 특정 이미지 안내 절차들은 환자의 신체의 이 영역에, 나이프와 같은 날카로운 도구의 삽입을 수반할 수 있다. 절차를 안내하기 위해 디스플레이된 이미지들 내에 존재하는 해부학적 특징들(예를 들어, 정맥, 동맥, 신경, 힘줄, 인대, 연골, 근육, 뼈 등)의 실시간 인식 및 시각적 라벨링은 나이프가 (의도하지 않은 해부학적 특징이 아니라) 원하는 해부학적 특징에 대해 삽입되고 있다는 의사의 신뢰도를 증가시킬 수 있다.
도 16은 본 명세서에 제시된 예시적인 기술들에 따라, 해부학적 특징들을 식별하도록 기계 학습 모델(예를 들어, 훈련된 기계 학습 모델들(118) 중 하나)을 훈련시키기 위한 예시적인 방법(1600)을 나타내는 흐름도를 도시한다. 예시적인 방법(1300)(예를 들어, 단계들(1602-1606))은 시스템(116)에 의해 수행될 수 있다. 예시적인 방법(1600)은 다음의 단계들 중 하나 이상을 포함할 수 있다.
단계(1602)에서, (예를 들어, 네트워크(120)를 통해 의료 이미징 데이터베이스(160)로부터) 복수의 훈련 의료 이미지가 수신될 수 있다. 훈련 의료 이미지는 복수의 해부학적 특징을 갖는 해부학적 구조의 초음파 이미지를 포함할 수 있다. 예를 들어, 초음파 이미지는 손목의 것일 수 있고, 해부학적 특징은, (예를 들어, 이미지의 뷰에 따라) 뼈, 신경, 인대, 및/또는 힘줄을 포함할 수 있다. 일부 예들에서, 해부학적 특징에 대한 주석부기들은, 그 구조에 대한 특정 해부학적 특징이 아니라, 정맥, 동맥, 혈관, 뼈, 신경, 인대, 힘줄, 연골 등의, 해부학적 특징의 더 넓은 카테고리일 수 있다. 다시 말해, 이미지가 손목의 것인 예를 계속하면, 이미지는 중앙 신경보다는 신경 및 척골 동맥보다는 동맥으로 주석부기될 수 있다. 복수의 상이한 유형의 해부학적 구조(예를 들어, 손목, 무릎 관절, 어깨 관절 등)에 대해 훈련 의료 이미지가 수신될 수 있다.
훈련 의료 이미지는 (도 2의 단계(204)에서 설명된 전처리와 유사한) 전처리를 거칠 수 있다. 일부 예들에서, 전처리의 일부로서, 주석부기들은 훈련 의료 이미지들로부터 특징들로서 추출되거나 다른 방식으로 그로부터 제거될 수 있고 단계(804)에서 기계 학습 모델을 훈련하는데 이용하기 위해 실측 정보 라벨들로서 개별적으로 저장될 수 있다. 대안적으로, 주석부기들은 훈련 의료 훈련 이미지들과 별도로 그러나 이에 대응하여 수신될 수 있다.
단계(1604)에서, 해부학적 구조의 타겟 이미지에서 복수의 해부학적 특징을 식별하기 위한 기계 학습 모델은 복수의 훈련 의료 이미지를 이용하여 생성 및 훈련될 수 있다. 예를 들어, 해부학적 구조의 훈련 의료 이미지가 기계 학습 모델에 입력될 수 있다. 기계 학습 모델은, 예측으로서, 해부학적 구조의 해부학적 특징을 출력할 수 있다.
기계 학습 모델을 훈련시키기 위해, 훈련 의료 이미지에 대해 기계 학습 모델에 의해 출력된 해부학적 특징이 훈련 의료 이미지에 대응하는 실측 정보 라벨(예를 들어, 해부학적 특징의 주석부기)과 비교되어 손실 또는 에러를 결정할 수 있다. 예를 들어, 해부학적 구조의 제1 훈련 이미지 내에서 식별된 해부학적 특징들은 대응하는 실측 정보 라벨 내의 주석부기들에 의해 표시된 해부학적 구조의 제1 훈련 이미지 내의 알려진 해부학적 특징들과 비교될 수 있다. 기계 학습 모델은 기계 학습 모델의 정확도를 개선하기 위해 에러에 기반하여 수정되거나 변경될 수 있다(예를 들어, 가중치들 및/또는 바이어스가 조정될 수 있다). 이 프로세스는 각각의 훈련 이미지에 대해 또는 적어도 결정된 손실 또는 에러가 미리 정의된 임계치 아래일 때까지 반복될 수 있다. 일부 예들에서, 훈련 이미지들 및 대응하는 라벨들의 적어도 일부는 보류되어 훈련된 기계 학습 모델을 추가로 검증하거나 테스트하는데 이용될 수 있다.
일단 기계 학습 모델이 충분히 훈련되면, 단계(1606)에서, 훈련된 기계 학습 모델은 후속 이용을 위해 (예를 들어, 저장 디바이스들(114)에 저장된 훈련된 기계 학습 모델들(118) 중 하나로서) 저장될 수 있다. 일부 예들에서, 훈련된 기계 학습 모델은 복수의 상이한 해부학적 구조들에서 해부학적 구조들을 식별하도록 생성되고 훈련되는 단일 기계 학습 모델일 수 있다. 다른 예들에서, 예시적인 방법(1600)은 기계 학습 모델들의 앙상블을 생성 및 훈련하도록 수행될 수 있고, 여기서, 각각의 모델은 특정 해부학적 구조의 해부학적 특징을 식별한다(예를 들어, 하나의 모델은 어깨 관절의 해부학적 특징을 식별할 수 있고, 다른 모델은 손목의 해부학적 특징을 식별할 수 있고, 추가 모델은 무릎 관절의 해부학적 특징을 식별할 수 있는 식이다). 의료 이미지를 평가하도록 배치될 때, 기계 학습 모델들의 앙상블은 병렬로 실행될 수 있다.
도 17은 본 명세서에 제시된 예시적인 기술에 따른, 의료 이미지에서 식별된 해부학적 구조의 해부학적 특징들을 시각화하기 위한 예시적인 방법(1700)을 나타내는 흐름도를 도시한다. 예시적인 방법(1700)(예를 들어, 단계들(1702-1708))은 시스템(116)에 의해 수행될 수 있다. 예시적인 방법(1700)은 다음의 단계들 중 하나 이상을 포함할 수 있다.
단계(1702)에서, 해부학적 구조의 의료 이미지(예를 들어, 타겟 이미지)가 컴퓨팅 디바이스로부터 수신될 수 있다. 컴퓨팅 디바이스는 초음파 이미징 시스템(132)의 이미징 컴퓨팅 디바이스(136)일 수 있다. 초음파 이미징 시스템(132)은 검사 동안 환자의 진단을 용이하게 하고/하거나 중재를 안내할 수 있다. 의료 이미지는, 예컨대, 이미징 컴퓨팅 디바이스(136) 상에서 실행 중인 시스템(116)과 연관된 애플리케이션을 통해, 프로브(134)로부터 전송되고 수신되는 그리고 실시간으로 수신되는 음파들로부터 이미징 컴퓨팅 디바이스(136)에 의해 생성될 수 있다. 일부 예들에서, 조작자는 또한 애플리케이션 사용자 인터페이스를 통해, 이미지화되는 해부학적 구조의 유형(예를 들어, 손목, 어깨 관절, 무릎 관절 등)을 입력할 수 있다.
단계(1704)에서, 의료 이미지는, 도 16을 참조하여 설명된 방법(1600)을 이용하여 훈련되는 훈련된 해부학적 특징 식별 기계 학습 모델 등의, 해부학적 구조의 해부학적 특징을 식별하기 위한 훈련된 기계 학습 모델에 대한 입력으로서 제공될 수 있다. 예시적인 방법(1600)이 기계 학습 모델들의 앙상블을 생성하고 훈련시키는데 이용되는 예들에서, 의료 이미지가 병렬로 실행되는 기계 학습 모델들의 앙상블의 각각의 기계 학습 모델에 대한 입력으로서 제공될 수 있다. 일부 예들에서, 해부학적 구조의 유형이 의사에 의해 선택될 때, (예를 들어, 계산 리소스들을 보존하기 위해) 선택된 해부학적 구조의 유형의 해부학적 특징들을 식별하도록 훈련되는 기계 학습 모델만이 실행된다.
단계(1706)에서, 의료 이미지에서 식별된 해부학적 특징은 훈련된 기계 학습 모델로부터의 출력으로서(예를 들어, 예측으로서) 수신될 수 있다. 기계 학습 모델을 훈련하는데 이용되는 주석부기의 특이성 레벨에 기반하여, 식별된 해부학적 특징은 해부학적 특징(예를 들어, 신경, 동맥, 뼈)의 넓은 카테고리일 수 있거나, 주어진 해부학적 구조의 특정 해부학적 특징(예를 들어, 중앙 신경, 척골 동맥, 두상수근골)일 수 있다.
단계(1708)에서, 의료 이미지 내에서 식별된 해부학적 특징의 시각화가 디스플레이를 위해 컴퓨팅 디바이스에 제공될 수 있다. 예를 들어, 시각화는 도 2를 참조하여 설명된 후처리 단계(206)에서의 예측에 기반하여 생성될 수 있다. 일부 예들에서, 시각화 내에서, 식별된 해부학적 특징들은 시각적 스킴을 이용하여 서로 라벨링되거나 구별될 수 있다. 예를 들어, 해부학적 특징들의 카테고리들 각각에 대해 상이한 컬러들, 음영, 패터닝 및/또는 하이라이트가 이용될 수 있다. 예를 들어, 제1 컬러는 뼈를 식별하는데 이용될 수 있고, 제2 컬러는 신경을 식별하는데 이용될 수 있고, 제3 컬러는 힘줄을 식별하는데 이용될 수 있는 식이다. 시각화를 디스플레이하는 예시적인 애플리케이션 사용자 인터페이스가 아래의 도 18에 도시되어 있다. 해부학적 특징들은 모든 축들에서 라벨링될 수 있다.
일부 예들에서, 훈련된 기계 학습 모델에 의해 식별되고 출력되는 해부학적 구조의 해부학적 특징들은 다른 프로세스에 대한 입력으로서 제공될 수 있다. 하나의 예시적인 프로세스는, 이하, 도 19 및 도 20을 참조하여 설명된 바와 같이, 식별된 해부학적 특징들 중 하나 이상과의 프로브 정렬을 검출하기 위한 프로세스를 포함할 수 있다. 다른 예시적인 프로세스는 컨텍스트-인식 이미징을 용이하게 할 수 있다. 예를 들어, 의료 이미지에서 식별된 하나 이상의 해부학적 특징은, 조작자가 프로브를 이동시키고 해부학적 구조의 후속 이미지를 캡처할 때 계속된 보기를 위해 마킹될 수 있다. 일부 예들에서, 조작자는, 해부학적 특징들 중 어느 것이 계속된 보기를 위해 마킹되어야 하는지를 나타내는 입력을, 예를 들어 애플리케이션을 통해 제공할 수 있다. 예를 들어, 조작자는 마킹될 해부학적 특징에 대응하는 의료 이미지의 영역에서 컴퓨팅 디바이스의 디스플레이에 터치 입력을 제공할 수 있다. 의료 이미지와 연관된 프로브 위치에 대한 계속된 보기를 위해 마킹된 각각의 해부학적 특징의 위치가 기준으로서 이용하기 위해 식별될 수 있다.
해부학적 구조들 자체의 위치는 정적이다. 즉, 환자의 신체 내의 해부학적 구조가 아니라, 프로브만이 이동하고 있다. 따라서, 프로브의 움직임 이전에 프로브에 대한 해부학적 특징의 제1 위치(예를 들어, 기준)를 알고 프로브의 움직임을 결정함으로써, 프로브의 움직임에 대한 해부학적 특징의 제2 위치가 결정될 수 있다. 프로브의 움직임은, 가속도계, 자이로스코프, 및/또는 관성 센서 등의, 프로브에 부착된 센서를 이용하여 검출될 수 있다. 일단 결정되고 나면, 해부학적 특징의 제2 위치는 프로브의 이동시에 생성된 대응하는 의료 이미지 내에서 시각적으로 표시될 수 있다.
도 18은 해부학적 구조의 의료 이미지(1802) 내에서 식별된 해부학적 구조의 해부학적 특징들의 시각화(1804)를 디스플레이하는 예시적인 애플리케이션 사용자 인터페이스(1800)이다. 애플리케이션 사용자 인터페이스(1800)는, 초음파 이미징 시스템(132)의 이미징 컴퓨팅 디바이스(136) 등의, 컴퓨팅 디바이스 상에서 실행 중인 시스템(116)과 연관된 애플리케이션의 사용자 인터페이스일 수 있다. 초음파 이미징 시스템(132)이 환자의 해부학적 구조를 이미지화하도록 동작하고 있기 때문에, 애플리케이션 사용자 인터페이스(1800)는, 조작자(예를 들어, 의사)가 환자를 계속 이미지화하면서 시각화(1804)를 볼 수 있도록 디스플레이(138) 상에 디스플레이될 수 있다. 이 예시적인 예에서, 이미지화되고 있는 해부학적 구조는 환자의 손목일 수 있다.
시각화(1804) 내에서, (예컨대, 도 17을 참조하여 전술한 방법(1700)을 통해) 의료 이미지(1802) 내에서 식별된 손목의 해부학적 특징이 시각적 스킴을 이용하여 서로 라벨링되거나 구별될 수 있다. 애플리케이션 사용자 인터페이스(1800)는 식별된 해부학적 특징들 각각을 라벨링하는데 이용되는 시각적 스킴의 이미지를 보는 의사에게 통보하기 위한 범례(1806) 또는 다른 유사한 키를 포함할 수 있다. 예를 들어, 의료 이미지(1802) 내에서 식별된 손목의 해부학적 특징들은 다른 예들 중에서도 신경(1808), 뼈(1810) 및 힘줄(1812)을 포함할 수 있으며, 해부학적 특징의 각각의 카테고리는 의료 이미지(1802) 내에서 상이한 윤곽 스킴으로 라벨링될 수 있다. 예를 들어, 범례에 도시된 바와 같이, 제1 윤곽 패턴이 신경(1808)을 식별하는데 이용될 수 있고, 제2 윤곽 패턴이 뼈(1810)를 식별하는데 이용될 수 있으며, 제3 윤곽 패턴이 의료 이미지(1802) 내의 힘줄(1812)을 식별하는데 이용될 수 있다. 다른 예들에서, 패터닝보다는, 시각적 스킴은 컬러, 음영, 하이라이트 및/또는 다른 유사한 시각적 스킴들에 기반할 수 있다.
전술한 애플리케이션 사용자 인터페이스(1800)는 단지 예로서 제공되며, 도 18에 도시된 것에 추가하거나, 그보다 더 적거나, 상이하거나, 상이하게 배열된 정보 및/또는 시각 스킴들을 포함할 수 있다.
도 19는 본 명세서에 제시된 예시적인 기술에 따른, 의료 이미지 내에서 식별된 해부학적 특징과의 프로브 정렬을 검출하도록 기계 학습 모델(예를 들어, 훈련된 기계 학습 모델들(118) 중 하나)을 훈련시키기 위한 예시적인 방법(1900)을 나타내는 흐름도를 도시한다. 예시적인 방법(1900)(예를 들어, 단계들(1902-1906))은 시스템(116)에 의해 수행될 수 있다. 예시적인 방법(1600)은 다음의 단계들 중 하나 이상을 포함할 수 있다.
단계(1902)에서, (예를 들어, 네트워크(120)를 통해 의료 이미징 데이터베이스(160)로부터) 복수의 라벨링된 훈련 의료 이미지가 수신될 수 있다. 훈련 의료 이미지는 복수의 해부학적 특징을 갖는 해부학적 구조의 초음파 이미지를 포함할 수 있고, 초음파 이미지들 각각은 초음파 이미징 시스템(132)과 유사한 초음파 이미징 시스템에 의해 생성되었다. 일부 예들에서, 훈련 의료 이미지는 복수의 상이한 해부학적 구조를 나타낼 수 있다. 훈련 의료 이미지는, 초음파 이미징 시스템의 프로브가 최적 이미지를 달성하기 위해 정렬되어 있는 해부학적 특징 등의, 적어도 하나 이상의 관심 해부학적 특징에 대한 주석부기를 포함할 수 있다. 하나의 예시적인 예로서, 최적 이미지를 위해, 프로브는 본 명세서에서 일반적으로 섬유들로서 지칭되는, 관절의 힘줄 또는 인대 섬유들과 평행 정렬될 수 있다. (예를 들어, 단면으로부터 섬유 아래로 비스듬히 가는) 섬유의 시상 단면적은 프로브가 섬유와의 평행(예를 들어, 인라인) 정렬에 접근함에 따라 감소한다. 대조적으로, 프로브가 인라인 정렬로부터 멀리 이동함에 따라, 섬유의 시상 단면적은 다시 증가한다. 또한, 훈련 의료 이미지는 하나 이상의 해부학적 특징이 프로브와 충분히 정렬되어 있는지의 여부를 나타내는 대응하는 실측 정보 라벨을 가질 수 있다. 일부 예들에서, 대응하는 실측 정보 라벨은 또한, 주어진 정렬을 야기한 프로브와 연관된 배향 상세들을 포함할 수 있다.
훈련 의료 이미지는 (도 2의 단계(204)에서 설명된 전처리와 유사한) 전처리를 거칠 수 있다. 일부 예들에서, 전처리의 일부로서, 주석부기들은 훈련 의료 이미지로부터 추출되거나 다른 방식으로 식별되어 훈련 의료 이미지와 별개인 라벨을 형성할 수 있다. 다른 예들에서, 주석부기들은 훈련 의료 이미지와 별개인 라벨로서 수신될 수 있다.
단계(1904)에서, 프로브-해부학적 특징 정렬이 있는지를 검출하기 위한 기계 학습 모델이 복수의 라벨링된 훈련 의료 이미지를 이용하여 생성되고 훈련될 수 있다. 예를 들어, 해부학적 구조의 훈련 의료 이미지가 기계 학습 모델에 입력될 수 있다. 기계 학습 모델은, 예측으로서, 프로브가 하나 이상의 관심 해부학적 특징과 충분히 정렬되어 있는지를 출력할 수 있다. 예를 들어, 출력은 충분한 정렬이 있다는 예측 또는 불충분한 정렬이 있다는 예측일 수 있다. 일부 예들에서, 출력은 또한, 정렬을 야기하는 프로브의 예측된 배향을 포함할 수 있다.
기계 학습 모델을 훈련시키기 위해, 훈련 의료 이미지에 대한 기계 학습 모델에 의해 출력된 정렬 예측은 손실 또는 에러를 결정하기 위해 훈련 의료 이미지에 대응하는 실측 정보 라벨과 비교될 수 있다. 예를 들어, 제1 훈련 의료 이미지에 대한 정렬 예측이 대응하는 실측 정보 라벨에 의해 식별된 하나 이상의 관심 해부학적 특징과의 프로브의 정렬의 알려진 충분함 또는 불충분함과 비교될 수 있다. 추가적으로, 정렬 예측 출력이 또한 정렬을 야기하는 프로브의 예측된 배향을 포함할 때, 예측된 배향이 대응하는 실측 정보 라벨에 포함된 프로브의 알려진 배향과 비교될 수 있다. 기계 학습 모델은 기계 학습 모델의 정확도를 개선하기 위해 에러에 기반하여 수정되거나 변경될 수 있다(예를 들어, 가중치들 및/또는 바이어스가 조정될 수 있다). 이 프로세스는 각각의 훈련 이미지에 대해 또는 적어도 결정된 손실 또는 에러가 미리 정의된 임계치 아래일 때까지 반복될 수 있다. 일부 예들에서, 훈련 이미지들 및 대응하는 라벨들의 적어도 일부는 보류되어 훈련된 기계 학습 모델을 추가로 검증하거나 테스트하는데 이용될 수 있다.
일단 기계 학습 모델이 충분히 훈련되고 나면, 단계(1906)에서, 훈련된 기계 학습 모델은 후속 이용을 위해 (예를 들어, 저장 디바이스(114)에 저장된 훈련된 기계 학습 모델들(118) 중 하나로서) 저장될 수 있다. 일부 예들에서, 훈련된 기계 학습 모델은 복수의 상이한 해부학적 구조에 대한 프로브-해부학적 특징 정렬을 예측하도록 생성 및 훈련되는 단일 기계 학습 모델일 수 있다. 다른 예들에서, 예시적인 방법(1900)은 기계 학습 모델들의 앙상블을 생성 및 훈련하도록 수행될 수 있고, 여기서, 각각의 모델(예를 들어, 어깨 관절에 대한 프로브-해부학적 특징 정렬을 검출하는 하나의 모델, 손목에 대한 프로브-해부학적 특징 정렬을 식별하는 다른 모델 등)은 해부학적 구조가 주어질 때 특정 해부학적 구조에 대한 프로브와 관심 해부학적 특징(들)의 정렬이 있는지를 예측한다. 해부학적 구조의 의료 이미지를 평가하도록 배치될 때, 기계 학습 모델들의 앙상블은 병렬로 실행될 수 있다.
도 20은 본 명세서에 제시된 예시적인 기술에 따른, 해부학적 구조의 의료 이미지 내에서 식별된 해부학적 구조의 하나 이상의 해부학적 특징과의 프로브 정렬을 검출하기 위한 예시적인 방법(2000)을 나타내는 흐름도이다. 예시적인 방법(2000)(예를 들어, 단계들(2002-2010))은 시스템(116)에 의해 수행될 수 있다. 예시적인 방법(2000)은 다음의 단계들 중 하나 이상을 포함할 수 있다.
단계(2002)에서, 해부학적 구조의 의료 이미지(예를 들어, 타겟 이미지)가 컴퓨팅 디바이스로부터 수신될 수 있다. 컴퓨팅 디바이스는 초음파 이미징 시스템(132)의 이미징 컴퓨팅 디바이스(136)일 수 있다. 초음파 이미징 시스템(132)은 검사 동안 환자의 진단을 용이하게 하고/하거나 중재를 안내할 수 있다. 의료 이미지는, 예컨대, 이미징 컴퓨팅 디바이스(136) 상에서 실행 중인 시스템(116)과 연관된 애플리케이션을 통해, 프로브(134)로부터 전송되고 수신되는 그리고 실시간으로 수신되는 음파들로부터 이미징 컴퓨팅 디바이스(136)에 의해 생성될 수 있다. 일부 예들에서, 조작자는 또한 애플리케이션 사용자 인터페이스를 통해, 이미지화되는 해부학적 구조의 유형(예를 들어, 손목, 어깨 관절, 무릎 관절 등)을 입력할 수 있다.
단계(2004)에서, 의료 이미지는 제1 훈련된 기계 학습 모델에 대한 입력으로서 제공되어, 제1 훈련된 기계 학습 모델의 출력으로서, 의료 이미지에서 식별된 해부학적 특징을 획득할 수 있다. 제1 훈련된 기계 학습 모델은 도 16 및 도 17을 참조하여 설명된 해부학적 구조의 해부학적 특징들을 식별하기 위한 훈련된 기계 학습 모델일 수 있다.
단계(2006)에서, 제1 훈련된 기계 학습 모델에 의해 출력되는 식별된 해부학적 특징들로 주석부기된 의료 이미지는 프로브-해부학적 특징 정렬이 있는지를 예측하기 위한 제2 훈련된 기계 학습 모델에 대한 입력으로서 제공될 수 있다. 즉, 제2 훈련된 기계 학습 모델은 의료 이미지를 캡처하는 프로브(134)가 해부학적 구조에 대한 하나 이상의 관심 해부학적 특징과 정렬되어 있는지를 예측할 수 있다. 제2 훈련된 기계 학습 모델은 도 19를 참조하여 설명된 방법(1900)을 이용하여 훈련되는 훈련된 기계 학습 모델일 수 있다. 예시적인 방법(1900)이 기계 학습 모델들의 앙상블을 생성하고 훈련하는데 이용되는 예에서, 의료 이미지는 병렬로 실행되는 기계 학습 모델들의 앙상블의 각각의 기계 학습 모델에 대한 입력으로서 제공될 수 있다. 일부 예들에서, 해부학적 구조의 유형이 의사에 의해 선택될 때, 해부학적 구조의 유형과 연관된 프로브-해부학적 특징 정렬을 예측하도록 훈련된(예를 들어, 해당 유형의 해부학적 구조에 대한 특정 관심 해부학적 특징(들)에 기반하여 훈련된) 기계 학습 모델만이 (예를 들어, 컴퓨팅 리소스를 보존하기 위해) 실행될 수 있다.
일부 예들에서, 의료 이미지는 제2 훈련된 기계 학습 모델에 입력되기 전에 제1 훈련된 기계 학습 모델에 의해 출력된 모든 식별된 해부학적 특징들로 주석부기될 수 있다. 다른 예들에서, 수신된 의료 이미지는 주어진 해부학적 구조에 대해 관심 있는 (예를 들어, 식별된 해부학적 특징들로부터의) 특정 해부학적 특징(들)으로만 주석부기될 수 있다.
단계(2008)에서, 정렬 예측은 제2 훈련된 기계 학습 모델의 출력으로서 수신될 수 있다. 정렬 예측은, 프로브가 해부학적 구조에 대한 관심 해부학적 특징(들)과 충분히 정렬되어 있는지 또는 불충분하게 정렬되어 있는지를 포함할 수 있다. 또한, 정렬 예측은 정렬 또는 오정렬을 야기하는 프로브의 예측된 배향을 포함할 수 있다.
단계(2010)에서, 정렬 예측의 표시는 (예를 들어, 이미징 컴퓨팅 디바이스(136) 상에서 실행되는 애플리케이션을 통해) 디스플레이를 위해 컴퓨팅 디바이스에 제공될 수 있다. 예를 들어, 시각화는 도 2를 참조하여 설명된 후처리 단계(206)에서의 정렬 예측에 기반하여 생성될 수 있다. 일례로서, 예측이 프로브가 해부학적 구조에 대한 관심 해부학적 특징(들)과 충분히 정렬되어 있다는 것이라면, 프로브가 정렬되어 있고 그에 따라 최적 이미지가 캡처되고 있다는 것을 조작자에게 통지하기 위해 긍정적 정렬 표시자가 의료 이미지 상에 오버레이될 수 있다. 다른 예로서, 예측이 프로브가 해부학적 구조에 대한 관심 해부학적 특징(들)과 불충분하게 정렬되어 있다는 것이라면, 프로브가 정렬되어 있지 않고 그에 따라 다른 더 최적의 이미지가 캡처되어야 한다는 것을 조작자에게 통지하기 위해 부정적 정렬 표시자가 의료 이미지 상에 오버레이될 수 있다. 정렬 표시자들은 텍스트, 그래픽, 애니메이션, 및/또는 이들의 조합을 포함할 수 있다.
일부 예들에서, 프로브가 불충분하게 정렬되고 정렬 예측이 오정렬을 야기하는 프로브의 예측된 배향을 추가로 포함할 때, 정렬 및 최적 이미지 캡처를 달성하기 위하여 예측된 배향에 대응하는 프로브의 현재 배향을 조정하도록 조작자를 안내하는 방향 지시들이 생성될 수 있다. 예를 들어, 훈련의 일부로서, 제2 훈련된 기계 학습 모델은 라벨링된 훈련 의료 이미지로부터 프로브-해부학적 특징 정렬과 연관된 프로브 배향을 학습할 수 있다. 따라서, 프로브-해부학적 특징 정렬과 연관된 학습된 프로브 배향이 현재의 프로브 배향과 비교되어 현재의 프로브 배향을 학습된 프로브 배향으로 조정하라는 방향 지시를 생성할 수 있다. 일부 예들에서, 방향 지시들은 도 10 및 도 15를 참조하여 전술한 프로브 방향 표시자들과 유사한 프로브 방향 표시자들의 형태일 수 있다. 예시적인 방법(2000)은 이어서 프로브가 재배향될 때(예컨대, 방향 지시들에 응답하여 조정될 때) 되풀이하여 반복될 수 있다.
방법(2000)이 반복적으로 수행되는 동안의 조작자의 경험의 예시적인 예를 제공하기 위해, 조작자는 (예를 들어, 스캐닝 움직임의 일부로서) 프로브(134)를 제1 배향, 제2 배향, 제3 배향 등으로 환자의 피부와 접촉하게 배치할 수 있다. 의료 이미지가 각각의 배향에서 캡처되고 (예컨대, 방법(2000)의 단계들을 통해) 프로브-해부학적 특징 정렬을 예측하기 위해 처리될 때, 정렬 표시자 및/또는 방향 지시들이 디스플레이(138) 상에 디스플레이될 수 있다. 프로브가 최적 이미지를 획득하기 위해 관절의 섬유들과 평행 정렬될 수 있는 예시적인 예로 돌아가면, 섬유의 시상 단면적은 프로브가 섬유와 평행(예를 들어, 인라인) 정렬에 접근함에 따라 감소하고, 프로브가 인라인 정렬로부터 멀어짐에 따라 다시 증가한다. 이 예를 계속하면, 프로브가 제1 배향에 있을 때, 조작자는 예측된 오정렬에 기반하여 프로브를 제2 배향으로 재배향하도록 지시받을 수 있다. 오정렬이 주어지면, 섬유의 시상 단면적은 제1 배향에 대응하는 의료 이미지 내의 제1 영역을 가진다. 제2 배향에 있을 때, 조작자는 반대 방향으로의 예측된 오정렬에 기반하여 프로브를 제3 배향(예를 들어, 제1 배향과 제2 배향 사이의 배향)으로 재배향하도록 지시받을 수 있다. 예를 들어, 오정렬이 주어지면, 섬유의 시상 단면적은 제2 배향에 대응하는 의료 이미지 내의 제2 영역을 가지며, 제2 영역은 제1 배향에 대응하는 의료 이미지 내의 제1 영역보다 클 수 있어서, 스캔 동안에 조작자의 재배향이 정렬을 오버슈트했다는 것을 나타낸다.
진단 및 중재 관찰들: 최적 이미지 캡처 결정들
도 21은 본 명세서에 제시된 예시적인 기술들에 따라, 최적 이미지 프레임을 식별하도록 기계 학습 모델(예를 들어, 훈련된 기계 학습 모델들(118) 중 하나)을 훈련시키기 위한 예시적인 방법(2100)을 나타내는 흐름도를 도시한다. 예시적인 방법(2100)(예를 들어, 단계들(2102-2106))은 시스템(116)에 의해 수행될 수 있다. 예시적인 방법(2100)은 다음의 단계들 중 하나 이상을 포함할 수 있다.
단계(2102)에서, 근골격 장애에 의해 영향을 받는 해부학적 구조의 복수의 라벨링된 훈련 의료 이미지가 수신될 수 있다. 훈련 의료 이미지는 근골격 장애와 연관된 절차의 일부로서 획득될 최소 수의 이미지 유형에 대응하는 복수의 이미지 서브세트로 구성될 수 있다. 예를 들어, 이미지 서브세트 내의 각각의 이미지는 절차의 일부로서 획득될 이미지 유형에 대응한다. 일부 예들에서, 절차는 진단 절차 또는 치료 절차일 수 있다. 획득될 이미지 유형들은 해부학적 구조 내의 해부학적 특징들의 특정 시야각들을 포함할 수 있다. 하나의 예시적인 예로서, 절차는 손목의 적어도 3개의 이미지가 제1 시야각, 제2 시야각, 및 제3 시야각으로부터 획득되는 수근 터널 증후군에 대한 진단 절차일 수 있다. 일부 예들에서, 훈련 의료 이미지는 복수의 상이한 유형의 근골격 장애와 연관된 복수의 상이한 절차를 나타낼 수 있다.
훈련 의료 이미지는, 이미지 유형들 중 하나 이상 내에 포함될 적어도 임의의 해부학적 특징을 포함한, 해부학적 구조의 해부학적 특징들로 주석부기될 수 있다. 훈련 의료 이미지는 또한 대응하는 실측 정보 라벨을 가질 수 있다. 예를 들어, 이미지 서브세트 내의 각각의 이미지는 각각의 이미지 유형에 대한 최적 이미지 또는 비-최적 이미지로 라벨링될 수 있다. 일부 기술들에서, 실측 정보 라벨들은 최적 또는 최적이 아닌 이미지를 야기하는 (예컨대, 캡처된 시야각에 영향을 주는) 프로브의 배향을 또한 포함할 수 있다. 훈련 의료 이미지는 (도 2의 단계(204)에서 설명된 전처리와 유사한) 전처리를 거칠 수 있다. 일부 예들에서, 전처리의 일부로서, 주석부기들은 훈련 의료 이미지로부터 추출되거나 다른 방식으로 식별되어 훈련 의료 이미지와 별개인 라벨을 형성할 수 있다. 다른 예들에서, 주석부기들은 훈련 의료 이미지와 별개인 라벨로서 수신될 수 있다.
단계(2104)에서, 복수의 라벨링된 훈련 의료 이미지를 이용하여 각각의 이미지 유형에 대한 최적 이미지를 예측하기 위한 기계 학습 모델이 생성될 수 있다. 기계 학습 모델을 훈련시키기 위해, 훈련 의료 이미지에 대한 기계 학습 모델에 의해 출력된 예측은 손실 또는 에러를 결정하기 위해 훈련 의료 이미지에 대응하는 실측 정보 라벨과 비교될 수 있다. 예를 들어, 제1 이미지 유형에 대응하는 제1 이미지 서브세트의 제1 훈련 의료 이미지에 대해 최적이거나 최적이 아닌 것의 예측이 최적이거나 최적이 아닌 것으로서 훈련 의료 이미지에 대한 대응하는 실측 정보 라벨과 비교될 수 있다. 추가적으로, 예측 출력이 또한 최적 또는 최적이 아닌 이미지를 야기하는 프로브의 예측된 배향을 포함할 때, 예측된 배향은 대응하는 실측 정보 라벨에 포함된 프로브의 알려진 배향과 비교될 수 있다. 기계 학습 모델은 기계 학습 모델의 정확도를 개선하기 위해 에러에 기반하여 수정되거나 변경될 수 있다(예를 들어, 가중치들 및/또는 바이어스가 조정될 수 있다). 이 프로세스는 각각의 훈련 이미지에 대해 또는 적어도 결정된 손실 또는 에러가 미리 정의된 임계치 아래일 때까지 반복될 수 있다. 일부 예들에서, 훈련 이미지들 및 대응하는 라벨들의 적어도 일부는 보류되어 훈련된 기계 학습 모델을 추가로 검증하거나 테스트하는데 이용될 수 있다.
일단 기계 학습 모델이 충분히 훈련되고 나면, 단계(2106)에서, 훈련된 기계 학습 모델은 후속 이용을 위해, 예를 들어, 저장 디바이스(114)에 저장된 훈련된 기계 학습 모델들(118) 중 하나로서 저장될 수 있다. 일부 예들에서, 훈련된 기계 학습 모델은, 복수의 상이한 근골격 장애와 연관된 복수의 상이한 절차에 대해 획득될 각각의 이미지 유형에 대한 최적 이미지를 예측하도록 생성되고 훈련되는 단일 기계 학습 모델일 수 있다. 다른 예들에서, 예시적인 방법(2100)은 기계 학습 모델들의 앙상블을 생성하고 훈련하도록 수행될 수 있고, 여기서, 각각의 모델은 특정 근골격 장애와 연관된 특정 절차에 대해 획득될 각각의 이미지 유형에 대한 최적 이미지를 예측한다(예를 들어, 하나의 모델은 수근 터널을 진단하기 위해 획득될 각각의 이미지 유형에 대한 최적 이미지를 예측할 수 있고, 다른 모델은 어깨 관절 상의 관심 영역의 주사바늘 생검 동안에 획득될 각각의 이미지 유형에 대한 최적 이미지를 검출할 수 있는 식이다). 해부학적 구조의 의료 이미지를 평가하도록 배치될 때, 기계 학습 모델들의 앙상블은 병렬로 실행될 수 있다.
도 22는 본 명세서에 제시된 예시적인 기술들에 따른, 최적 이미지 프레임을 캡처하기 위한 예시적인 방법(2200)을 나타내는 흐름도를 도시한다. 예시적인 방법(2200)(예를 들어, 단계들(2202-2210))은 시스템에 의해 수행될 수 있다. 예시적인 방법(2200)은 다음의 단계들 중 하나 이상을 포함할 수 있다.
단계(2202)에서, 수행되는 절차의 유형이 컴퓨팅 디바이스로부터 수신될 수 있다. 컴퓨팅 디바이스는 시스템(116)과 연관된 애플리케이션이 실행되고 있는 초음파 이미징 시스템(132)의 이미징 컴퓨팅 디바이스(136)를 포함할 수 있다. 컴퓨팅 디바이스의 사용자는, 애플리케이션의 사용자 인터페이스를 통해, 절차의 유형을 선택할 수 있다. 일부 예들에서, 절차의 유형의 선택을 수신하면, 애플리케이션은 절차의 선택된 유형에 대해 획득될 이미지 유형들의 최소 세트를 나타내는 지시들을 조작자에게 제공할 수 있다. 추가적으로, 애플리케이션은 프로브(134)를 환자의 피부와 접촉하게 배치하고 각각의 이미지 유형의 의료 이미지(예컨대, 각각의 이미지 유형은 이미지 유형들의 최소 세트 내의 하나의 이미지 유형임)를 캡처하도록 프로브(134)를 배향시키라고 조작자에게 프롬프트하는 지시들을 제공할 수 있다. 단계(2204)에서, 각각의 이미지 유형의 의료 이미지(예컨대, 실시간으로 수신되는 라이브 이미지임)가 컴퓨팅 디바이스로부터 수신될 수 있다.
단계(2206)에서, 각각의 이미지 유형의 의료 이미지는, 도 21을 참조하여 설명된 방법(2100)을 이용하여 훈련되는 훈련된 기계 학습 모델 등의, 훈련된 기계 학습 모델에 대한 입력으로서 제공될 수 있다. 일부 예들에서, 복수의 상이한 근골격 장애와 연관된 복수의 상이한 절차에 대해 획득될 각각의 이미지 유형에 대한 최적 이미지를 예측하기 위한 기계 학습 모델들의 앙상블이 (예를 들어, 방법(2100)에 개시된 바와 같이) 생성, 훈련, 및 예를 들어, 저장 디바이스(114)에 저장될 수 있다. 이러한 예에서, 시스템(116)은 단계(2202)에서 수신된 절차의 유형에 대해 저장 디바이스(114)에 질의하여 절차의 유형에 대해 획득될 (예를 들어, 각각의 이미지 유형을 포함한) 각각의 이미지 유형에 대한 최적 이미지를 예측하기 위한 대응하는 훈련된 기계 학습 모델을 획득할 수 있다.
단계(2208)에서, 의료 이미지가 각각의 이미지 유형에 대한 최적 이미지인지에 대한 예측이 훈련된 기계 학습 모델의 출력으로서 수신될 수 있다. 일부 예들에서, 예측 출력은 최적 또는 비-최적 이미지를 야기하는 프로브의 예측된 배향을 포함할 수 있다. 예측에 기반하여, 단계(2210)에서, 컴퓨팅 디바이스로 하여금 의료 이미지와 연관된 동작을 수행하게 하거나 프로브 조정을 하도록 조작자에게 프롬프트하게 하는 지시가 컴퓨팅 디바이스(예컨대, 이미징 컴퓨팅 디바이스(136))에 제공될 수 있다.
예를 들어, 의료 이미지가 각각의 이미지 유형에 대한 최적 이미지인 것으로 예측되는 경우, 컴퓨팅 디바이스에 제공되는 지시들은 컴퓨팅 디바이스로 하여금 라이브 의료 이미지를 자동으로 동결시키고 정지 이미지를 캡처(예컨대, 기록 및 저장)하게 하는 명령들일 수 있다. 다른 예들에서, 컴퓨팅 디바이스가 이러한 동작들을 자동으로 수행하기보다는, 지시들은 대안적으로 (예를 들어, 정지 이미지를 동결 및 캡처하기 위해 애플리케이션 사용자 인터페이스 상의 제어 요소들을 이용하여) 조작자가 이러한 동작들을 수행하라는 프롬프트의 디스플레이를 야기할 수 있다. 각각의 이미지 유형의 정지 이미지가 캡처되면, 단계(2202)에서 수신된 절차의 유형에 대해 획득될 이미지 유형들의 최소 세트 내의 다음 이미지 유형에 대해 단계(2204-2208)가 반복될 수 있다. 이것은 이미지 유형들의 최소 세트 내의 모든 이미지 유형들에 대한 정지 이미지들이 획득될 때까지 계속될 수 있다.
다른 예로서, 의료 이미지가 각각의 이미지 유형에 대한 비-최적 이미지인 것으로 예측되는 경우, 컴퓨팅 디바이스에 제공되는 지시들은 각각의 이미지 유형에 대한 최적 이미지의 캡처를 가능하게 하기 위해 조작자가 프로브 조정들을 행하라는(예컨대, 프로브를 재배향시키라는) 프롬프트를 디스플레이하게 한다. 예를 들어, 프롬프트는 최적 이미지 캡처를 달성하기 위해 예측된 배향에 대응하는 프로브의 현재 배향을 조정하도록 조작자를 안내하는 방향 지시들을 포함할 수 있다. 예를 들어, 훈련의 일부로서, 훈련된 기계 학습 모델은 라벨링된 훈련 의료 이미지로부터 각각의 이미지 유형에 대한 최적 이미지와 연관된 프로브 배향을 학습할 수 있다. 따라서, 각각의 이미지 유형에 대한 최적 이미지 캡처와 연관된 학습된 프로브 배향이 현재의 프로브 배향과 비교되어 현재의 프로브 배향을 학습된 프로브 배향으로 조정하라는 방향 지시를 생성할 수 있다. 일부 예들에서, 방향 지시들은 도 10 및 도 15를 참조하여 전술한 프로브 방향 표시자들과 유사한 프로브 방향 표시자들의 형태일 수 있다. 예시적인 방법(2200)의 단계들(2204-2208)은 이어서 각각의 이미지 유형에 대한 최적 이미지가 예측되고 캡처될 때까지 프로브가 재배향될 때(예컨대, 방향 지시들에 응답하여 조정될 때) 되풀이하여 반복될 수 있다.
도 23은 본 명세서에 제시된 기술들을 실행할 수 있는 예시적인 시스템 또는 디바이스(2300)를 예시한다. 디바이스(2300)는 중앙 처리 유닛(CPU)(2320)을 포함할 수 있다. CPU(2320)는, 예를 들어, 임의의 유형의 특수 목적 또는 범용 마이크로프로세서 디바이스를 포함하는 임의의 유형의 프로세서 디바이스일 수 있다. 관련 기술분야의 통상의 기술자에 의해 이해되는 바와 같이, CPU(2320)는 또한 단독으로 동작하는 시스템과 같은 멀티-코어/멀티프로세서 시스템 내의, 또는 클러스터 또는 서버 팜에서 동작하는 컴퓨팅 디바이스들의 클러스터 내의 단일 프로세서일 수 있다. CPU(2320)는 데이터 통신 인프라스트럭처(2310), 예를 들어, 버스, 메시지 큐, 네트워크, 또는 멀티-코어 메시지 전달 스킴에 접속될 수 있다.
디바이스(2300)는 또한 메인 메모리(2340), 예를 들어, 랜덤 액세스 메모리(RAM)를 포함할 수 있고, 또한 보조 메모리(2330)를 포함할 수 있다. 보조 메모리(2330), 예를 들어 판독 전용 메모리(ROM)는 예를 들어 하드 디스크 드라이브 또는 이동식 저장 드라이브일 수 있다. 이러한 이동식 저장 드라이브는 예를 들어 플로피 디스크 드라이브, 자기 테이프 드라이브, 광 디스크 드라이브, 플래시 메모리 등을 포함할 수 있다. 이 예에서의 이동식 저장 드라이브는 잘 알려진 방식으로 이동식 저장 유닛으로부터 판독하고/하거나 이동식 저장 유닛에 기입한다. 이동식 저장소는 이동식 저장 드라이브에 의해 판독되고 기입되는 플로피 디스크, 자기 테이프, 광학 디스크 등을 포함할 수 있다. 관련 기술분야의 통상의 기술자에 의해 이해되는 바와 같이, 이러한 이동식 저장 유닛은 일반적으로 컴퓨터 소프트웨어 및/또는 데이터가 저장되어 있는 컴퓨터 이용가능한 저장 매체를 포함한다.
대안적인 구현들에서, 보조 메모리(2330)는 컴퓨터 프로그램들 또는 다른 지시들이 디바이스(2300)에 로딩되게 하기 위한 유사한 수단을 포함할 수 있다. 이러한 수단의 예들은 프로그램 카트리지 및 카트리지 인터페이스(예컨대, 비디오 게임 디바이스들에서 발견되는 것), 이동식 메모리 칩(예컨대, EPROM 또는 PROM) 및 연관된 소켓, 및 소프트웨어 및 데이터가 이동식 저장 유닛으로부터 디바이스(2300)로 전송되게 하는 다른 이동식 저장 유닛들 및 인터페이스들을 포함할 수 있다.
디바이스(2300)는 또한 통신 인터페이스("COM")(2360)를 포함할 수 있다. 통신 인터페이스(2360)는 소프트웨어 및 데이터가 디바이스(2300)와 외부 디바이스 사이에서 전송되게 한다. 통신 인터페이스(2360)는 모뎀, (이더넷 카드와 같은) 네트워크 인터페이스, 통신 포트, PCMCIA 슬롯 및 카드 등을 포함할 수 있다. 통신 인터페이스(2360)를 통해 전송되는 소프트웨어 및 데이터는 통신 인터페이스(2360)에 의해 수신될 수 있는 전자, 전자기, 광학 또는 다른 신호들일 수 있는 신호들의 형태일 수 있다. 이러한 신호들은, 예를 들어, 유선 또는 케이블, 광섬유, 전화선, 셀룰러 폰 링크, RF 링크 또는 다른 통신 채널들을 이용하여 구현될 수 있는, 디바이스(2300)의 통신 경로를 통해 통신 인터페이스(2360)에 제공될 수 있다.
이러한 장비의 하드웨어 요소들, 운영 체제들, 및 프로그래밍 언어들은 사실상 종래의 것이고, 관련 기술분야의 통상의 기술자는 그와 적절히 친숙하다고 가정된다. 디바이스(2300)는 또한 키보드, 마우스, 터치스크린, 모니터, 디스플레이 등과 같은 입력 및 출력 디바이스들과 접속하기 위한 입력 및 출력 포트들(2350)을 포함할 수 있다. 물론, 처리 부하를 분산시키기 위해, 다양한 서버 기능들이 다수의 유사한 플랫폼들 상에 분산 방식으로 구현될 수 있다. 대안적으로, 서버들은 하나의 컴퓨터 하드웨어 플랫폼의 적절한 프로그래밍에 의해 구현될 수 있다.
본 개시내용 전체에 걸쳐, 구성요소들 또는 모듈들에 대한 언급들은 일반적으로 기능 또는 관련 기능들의 그룹을 수행하기 위해 논리적으로 함께 그룹화될 수 있는 항목들을 지칭한다. 동일한 참조 번호들은 일반적으로 동일하거나 유사한 구성요소들을 지칭하도록 의도된다. 구성요소들 및/또는 모듈들은 소프트웨어, 하드웨어, 또는 소프트웨어 및/또는 하드웨어의 조합으로 구현될 수 있다.
전술한 도구, 모듈 및/또는 기능은 하나 이상의 프로세서에 의해 수행될 수 있다. "저장" 유형 매체는 소프트웨어 프로그래밍을 위해 임의의 시간에 비일시적 저장소를 제공할 수 있는, 다양한 반도체 메모리들, 테이프 드라이브들, 디스크 드라이브들 등과 같은, 컴퓨터들, 프로세서들 등의 유형의 메모리, 또는 이들의 연관된 모듈들 중 임의의 것 또는 전부를 포함할 수 있다.
소프트웨어는 인터넷, 클라우드 서비스 제공자, 또는 다른 통신 네트워크들을 통해 통신될 수 있다. 예를 들어, 통신은 하나의 컴퓨터 또는 프로세서로부터 다른 컴퓨터 또는 프로세서로 소프트웨어를 로딩하는 것을 가능하게 할 수 있다. 본 명세서에서 이용되는 바와 같이, 비일시적, 유형의 "저장" 매체로 제한되지 않는 한, 컴퓨터 또는 기계 "판독가능한 매체"와 같은 용어들은 실행을 위해 프로세서에 명령어들을 제공하는데 참여하는 임의의 매체를 지칭한다.
전술한 일반적인 설명은 예시적이고 설명적일 뿐이며, 본 개시내용을 제한하지 않는다. 다른 실시예들은 여기에 개시된 본 발명의 명세서 및 실시의 고려로부터 관련 기술분야의 통상의 기술자에게 명백할 수 있다. 본 명세서 및 예들은 단지 예시적인 것으로 고려되도록 의도된다.
Claims (20)
- 초음파 이미지들을 처리하여 객체들(objects)을 식별하기 위한 시스템으로서,
프로세서; 및
상기 프로세서에 결합되고 명령어들을 저장하는 메모리
를 포함하며, 상기 명령어들은, 상기 프로세서에 의해 실행될 때, 상기 시스템으로 하여금,
초음파 이미징 시스템의 컴퓨팅 디바이스로부터 해부학적 구조의 초음파 이미지를 수신하는 동작;
상기 해부학적 구조의 초음파 이미지들에서 복수의 객체를 식별하도록 훈련되는 기계 학습 모델에 대한 입력으로서 상기 초음파 이미지를 제공하는 동작 - 상기 복수의 객체는 해부학적 특징들, 파괴적 특징들, 및/또는 기구들(instruments)을 포함함 -;
상기 기계 학습 모델의 출력으로서 상기 초음파 이미지에서 식별된 상기 복수의 객체 중 하나 이상의 객체의 예측을 수신하는 동작; 및
상기 초음파 이미징 시스템의 디스플레이 상의 디스플레이를 위해 상기 예측의 표시를 상기 컴퓨팅 디바이스에 제공하는 동작
을 포함하는 동작들을 수행하게 하는, 시스템. - 제1항에 있어서,
상기 동작들은,
상기 예측에 기반하여 시각화를 생성하는 동작 - 상기 시각화는 상기 초음파 이미지에서 식별된 상기 하나 이상의 객체의 라벨링을 포함함 -; 및
상기 시각화를 상기 표시로서 제공하는 동작
을 더 포함하는, 시스템. - 제1항에 있어서,
상기 동작들은,
식별된 상기 하나 이상의 객체 중 적어도 하나의 객체와 연관된 측정치들을 결정하는 동작; 및
상기 초음파 이미징 시스템의 디스플레이 상에서 식별된 상기 적어도 하나의 객체와 함께 디스플레이하기 위해 상기 측정치들을 제공하는 동작
을 더 포함하는, 시스템. - 제1항에 있어서,
상기 기계 학습 모델은 제1 기계 학습 모델이고, 상기 동작들은,
상기 초음파 이미지가 상기 제1 기계 학습 모델에 의해 식별된 상기 하나 이상의 객체의 최적 이미지인지를 식별하도록 훈련되는 제2 기계 학습 모델에 대한 입력으로서 상기 초음파 이미지를 제공하는 동작을 더 포함하는, 시스템. - 제4항에 있어서,
상기 제2 기계 학습 모델이 상기 초음파 이미지가 비-최적 이미지라는 예측을 출력할 때, 상기 동작들은,
식별된 상기 하나 이상의 객체의 최적 이미지를 캡처하기 위해, 조작자가 상기 초음파 이미징 시스템의 프로브의 배향을 현재 배향으로부터 상기 제2 기계 학습 모델에 의해 학습된 새로운 배향으로 조정하라는 프롬프트를 생성하는 동작; 및
상기 초음파 이미징 시스템의 디스플레이 상의 디스플레이를 위해 상기 프롬프트를 상기 컴퓨팅 디바이스에 제공하는 동작
을 더 포함하는, 시스템. - 제1항에 있어서,
상기 동작들은,
상기 초음파 이미징 시스템의 상기 컴퓨팅 디바이스로부터 식별될 하나 이상의 객체 유형을 나타내는 조작자 입력을 수신하는 동작; 및
상기 초음파 이미지에서 식별된 상기 하나 이상의 객체의 예측이 적어도 상기 하나 이상의 객체 유형을 포함하도록 상기 기계 학습 모델에 대한 입력으로서 상기 하나 이상의 객체 유형을 제공하는 동작
을 더 포함하는, 시스템. - 제1항에 있어서,
상기 초음파 이미지는 진단 절차 동안 수신되고, 식별된 상기 하나 이상의 객체의 예측은 해부학적 특징, 및 근골격 장애를 나타내는 상기 해부학적 구조에 대한 파괴적 특징을 포함하며, 상기 초음파 이미징 시스템의 디스플레이 상의 디스플레이를 위해 상기 컴퓨팅 디바이스에 제공된 상기 예측의 표시는 상기 근골격 장애의 진단을 용이하게 하는, 시스템. - 제1항에 있어서,
상기 초음파 이미지는 중재 절차(interventional procedure) 동안 수신되고, 상기 초음파 이미징 시스템의 디스플레이 상의 디스플레이를 위해 상기 컴퓨팅 디바이스에 제공된 상기 예측의 표시는 상기 중재 절차를 안내하는, 시스템. - 제1항에 있어서,
상기 해부학적 특징들은 뼈, 힘줄, 인대, 연골, 근육, 신경, 정맥 및/또는 동맥을 포함하는, 시스템. - 제1항에 있어서,
상기 파괴적 특징들은 결절종들(ganglions), 삼출물들(effusions), 칼슘 침착물들(calcium deposits), 덩어리들 및/또는 병변들을 포함하는, 시스템. - 제1항에 있어서,
상기 기구들은 주사바늘들, 메스들, 나이프들, 도구들 및/또는 벌룬들(balloons)을 포함하는, 시스템. - 초음파 이미지들을 처리하여 객체들을 식별하기 위한 방법으로서,
초음파 이미징 시스템의 컴퓨팅 디바이스로부터 해부학적 구조의 초음파 이미지를 수신하는 단계;
상기 해부학적 구조의 초음파 이미지들에서 복수의 객체를 식별하도록 훈련되는 기계 학습 모델에 대한 입력으로서 상기 초음파 이미지를 제공하는 단계 - 상기 복수의 객체는 해부학적 특징들, 파괴적 특징들, 및/또는 기구들을 포함함 -;
상기 기계 학습 모델의 출력으로서 상기 초음파 이미지에서 식별된 상기 복수의 객체 중 하나 이상의 객체의 예측을 수신하는 단계; 및
상기 초음파 이미징 시스템의 디스플레이 상의 디스플레이를 위해 상기 예측의 표시를 상기 컴퓨팅 디바이스에 제공하는 단계
를 포함하는, 방법. - 제12항에 있어서,
상기 예측에 기반하여 시각화를 생성하는 단계 - 상기 시각화는 상기 초음파 이미지에서 식별된 상기 하나 이상의 객체의 라벨링을 포함함 -; 및
상기 시각화를 상기 표시로서 제공하는 단계
를 더 포함하는, 방법. - 제12항에 있어서,
식별된 상기 하나 이상의 객체 중 적어도 하나의 객체와 연관된 측정치들을 결정하는 단계; 및
상기 초음파 이미징 시스템의 디스플레이 상에서 식별된 상기 적어도 하나의 객체와 함께 디스플레이하기 위해 상기 측정치들을 제공하는 단계
를 더 포함하는, 방법. - 제12항에 있어서,
상기 기계 학습 모델은 제1 기계 학습 모델이고,
상기 방법은 상기 초음파 이미지가 상기 제1 기계 학습 모델에 의해 식별된 상기 하나 이상의 객체의 최적 이미지인지를 식별하도록 훈련되는 제2 기계 학습 모델에 대한 입력으로서 상기 초음파 이미지를 제공하는 단계를 더 포함하는, 방법. - 제15항에 있어서,
상기 제2 기계 학습 모델이 상기 초음파 이미지가 비-최적 이미지라는 예측을 출력할 때, 상기 방법은,
식별된 상기 하나 이상의 객체의 최적 이미지를 캡처하기 위해, 조작자가 상기 초음파 이미징 시스템의 프로브의 배향을 현재 배향으로부터 상기 제2 기계 학습 모델에 의해 학습된 새로운 배향으로 조정하라는 프롬프트를 생성하는 단계; 및
상기 초음파 이미징 시스템의 디스플레이 상의 디스플레이를 위해 상기 프롬프트를 상기 컴퓨팅 디바이스에 제공하는 단계
를 더 포함하는, 방법. - 제12항에 있어서,
상기 초음파 이미징 시스템의 상기 컴퓨팅 디바이스로부터 식별될 하나 이상의 객체 유형을 나타내는 조작자 입력을 수신하는 단계; 및
상기 초음파 이미지에서 식별된 상기 하나 이상의 객체의 예측이 적어도 상기 하나 이상의 객체 유형을 포함하도록 상기 기계 학습 모델에 대한 입력으로서 상기 하나 이상의 객체 유형을 제공하는 단계
를 더 포함하는, 방법. - 제12항에 있어서,
상기 초음파 이미지는 진단 절차 동안 수신되고, 식별된 상기 하나 이상의 객체의 예측은 해부학적 특징, 및 근골격 장애를 나타내는 상기 해부학적 구조에 대한 파괴적 특징을 포함하며, 상기 초음파 이미징 시스템의 디스플레이 상의 디스플레이를 위해 상기 컴퓨팅 디바이스에 제공된 상기 예측의 표시는 상기 근골격 장애의 진단을 용이하게 하는, 방법. - 제12항에 있어서,
상기 초음파 이미지는 중재 절차 동안 수신되고, 상기 초음파 이미징 시스템의 디스플레이 상의 디스플레이를 위해 상기 컴퓨팅 디바이스에 제공된 상기 예측의 표시는 상기 중재 절차를 안내하는, 방법. - 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 초음파 이미지들을 처리하여 객체들을 식별하기 위한 동작들을 수행하게 하는 명령어들을 저장하는 비일시적 컴퓨터 판독가능한 매체로서,
상기 동작들은,
초음파 이미징 시스템의 컴퓨팅 디바이스로부터 해부학적 구조의 초음파 이미지를 수신하는 동작;
상기 해부학적 구조의 초음파 이미지들에서 복수의 객체를 식별하도록 훈련되는 기계 학습 모델에 대한 입력으로서 상기 초음파 이미지를 제공하는 동작 - 상기 복수의 객체는 해부학적 특징들, 파괴적 특징들, 및/또는 기구들을 포함함 -;
상기 기계 학습 모델의 출력으로서 상기 초음파 이미지에서 식별된 상기 복수의 객체 중 하나 이상의 객체의 예측을 수신하는 동작; 및
상기 초음파 이미징 시스템의 디스플레이 상의 디스플레이를 위해 상기 예측의 표시를 상기 컴퓨팅 디바이스에 제공하는 동작
을 포함하는, 비일시적 컴퓨터 판독가능한 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163170377P | 2021-04-02 | 2021-04-02 | |
| US63/170,377 | 2021-04-02 | ||
| PCT/US2022/071492 WO2022213119A1 (en) | 2021-04-02 | 2022-04-01 | Systems and methods to process electronic medical images for diagnostic interventional use |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230165284A true KR20230165284A (ko) | 2023-12-05 |
Family
ID=81392837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237037285A KR20230165284A (ko) | 2021-04-02 | 2022-04-01 | 진단 또는 중재 이용을 위해 전자 의료 이미지들을 처리하기 위한 시스템들 및 방법들 |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US11830189B2 (ko) |
| EP (1) | EP4315348A1 (ko) |
| JP (1) | JP2024513400A (ko) |
| KR (1) | KR20230165284A (ko) |
| CN (1) | CN117413318A (ko) |
| AU (1) | AU2022252500A1 (ko) |
| CA (1) | CA3212928A1 (ko) |
| WO (1) | WO2022213119A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110569846A (zh) * | 2019-09-16 | 2019-12-13 | 北京百度网讯科技有限公司 | 图像文字识别方法、装置、设备及存储介质 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7840247B2 (en) * | 2002-09-16 | 2010-11-23 | Imatx, Inc. | Methods of predicting musculoskeletal disease |
| US10529088B2 (en) * | 2016-12-02 | 2020-01-07 | Gabriel Fine | Automatically determining orientation and position of medically invasive devices via image processing |
| EP3703572A1 (en) * | 2017-11-02 | 2020-09-09 | Koninklijke Philips N.V. | Intelligent ultrasound system for detecting image artefacts |
| US11950961B2 (en) * | 2018-03-14 | 2024-04-09 | The Regents Of The University Of California | Automated cardiac function assessment by echocardiography |
| US10949968B2 (en) | 2018-05-07 | 2021-03-16 | Zebra Medical Vision Ltd. | Systems and methods for detecting an indication of a visual finding type in an anatomical image |
| CN109461495B (zh) * | 2018-11-01 | 2023-04-14 | 腾讯科技（深圳）有限公司 | 一种医学图像的识别方法、模型训练的方法及服务器 |
| US10936160B2 (en) * | 2019-01-11 | 2021-03-02 | Google Llc | System, user interface and method for interactive negative explanation of machine-learning localization models in health care applications |
| US20220000448A1 (en) * | 2019-02-04 | 2022-01-06 | Google Llc | Instrumented Ultrasound Probes For Machine-Learning Generated Real-Time Sonographer Feedback |
| US11783102B2 (en) | 2019-04-30 | 2023-10-10 | BabySteps Orthopedics Inc. | Predictive modeling platform for serial casting to correct orthopedic deformities |
| US11087463B2 (en) * | 2019-06-21 | 2021-08-10 | StraxCorp Pty. Ltd. | Image analysis method and system for assessing bone fragility |
| JP7302368B2 (ja) * | 2019-08-20 | 2023-07-04 | コニカミノルタ株式会社 | 医用情報処理装置及びプログラム |
| US20210077061A1 (en) * | 2019-09-18 | 2021-03-18 | GE Precision Healthcare LLC | Method and system for analyzing ultrasound scenes to provide needle guidance and warnings |
-
2022
- 2022-04-01 EP EP22719751.4A patent/EP4315348A1/en active Pending
- 2022-04-01 US US17/657,643 patent/US11830189B2/en active Active
- 2022-04-01 WO PCT/US2022/071492 patent/WO2022213119A1/en active Application Filing
- 2022-04-01 AU AU2022252500A patent/AU2022252500A1/en active Pending
- 2022-04-01 KR KR1020237037285A patent/KR20230165284A/ko unknown
- 2022-04-01 JP JP2023560551A patent/JP2024513400A/ja active Pending
- 2022-04-01 CA CA3212928A patent/CA3212928A1/en active Pending
- 2022-04-01 CN CN202280038171.6A patent/CN117413318A/zh active Pending
-
2023
- 2023-10-20 US US18/490,906 patent/US20240104733A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CA3212928A1 (en) | 2022-10-06 |
| WO2022213119A8 (en) | 2023-10-19 |
| WO2022213119A1 (en) | 2022-10-06 |
| CN117413318A (zh) | 2024-01-16 |
| JP2024513400A (ja) | 2024-03-25 |
| US20220318995A1 (en) | 2022-10-06 |
| US11830189B2 (en) | 2023-11-28 |
| US20240104733A1 (en) | 2024-03-28 |
| AU2022252500A1 (en) | 2023-10-19 |
| EP4315348A1 (en) | 2024-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11786310B2 (en) | Intermodal synchronization of surgical data | |
| CN103371870B (zh) | 一种基于多模影像的外科手术导航*** | |
| US11062467B2 (en) | Medical image registration guided by target lesion | |
| US11594002B2 (en) | Overlay and manipulation of medical images in a virtual environment | |
| US10290097B2 (en) | Medical imaging device and method of operating the same | |
| US20240104733A1 (en) | Systems and methods to process electronic medical images for diagnostic or interventional use | |
| EP2948923B1 (en) | Method and apparatus for calculating the contact position of an ultrasound probe on a head | |
| WO2022069208A1 (en) | Ultrasound image-based patient-specific region of interest identification, and associated devices, systems, and methods | |
| Chen | Towards practical ultrasound ai across real-world patient diversity | |
| US20160066891A1 (en) | Image representation set | |
| WO2023118964A2 (en) | Automated ultrasound imaging analysis and feedback | |
| Lipor et al. | Eye biometry prediction from ultrasound images using convolutional neural networks | |
| Porto | Machine learning systems for obstetric ultrasonography | |
| KR20230148972A (ko) | 합성곱 신경망을 이용한 하지 x선 이미지의 하지 정렬 상태 자동 분석 장치 및 방법 | |
| KR20230019281A (ko) | POI 정의 및 Phase 인식 기반의 실제 수술 영상과 3D 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법 |