JP2022123076A - ユーザによる超音波装置の操作を援助するための自動画像取得 - Google Patents
ユーザによる超音波装置の操作を援助するための自動画像取得 Download PDFInfo
- Publication number
- JP2022123076A JP2022123076A JP2022099045A JP2022099045A JP2022123076A JP 2022123076 A JP2022123076 A JP 2022123076A JP 2022099045 A JP2022099045 A JP 2022099045A JP 2022099045 A JP2022099045 A JP 2022099045A JP 2022123076 A JP2022123076 A JP 2022123076A
- Authority
- JP
- Japan
- Prior art keywords
- ultrasound
- image
- operator
- subject
- anatomical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 1304
- 238000000034 method Methods 0.000 claims abstract description 275
- 238000012545 processing Methods 0.000 claims description 79
- 230000004044 response Effects 0.000 claims description 62
- 238000013135 deep learning Methods 0.000 claims description 40
- 238000003860 storage Methods 0.000 claims description 17
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 14
- 238000013527 convolutional neural network Methods 0.000 description 61
- 238000013528 artificial neural network Methods 0.000 description 58
- 238000003384 imaging method Methods 0.000 description 58
- 210000003484 anatomy Anatomy 0.000 description 55
- 230000003190 augmentative effect Effects 0.000 description 51
- 230000008569 process Effects 0.000 description 48
- 230000002861 ventricular Effects 0.000 description 42
- 238000012549 training Methods 0.000 description 40
- 239000002131 composite material Substances 0.000 description 36
- 238000011282 treatment Methods 0.000 description 32
- 238000003745 diagnosis Methods 0.000 description 31
- 238000004891 communication Methods 0.000 description 28
- 210000002216 heart Anatomy 0.000 description 28
- 239000003550 marker Substances 0.000 description 26
- 239000000523 sample Substances 0.000 description 26
- 230000006870 function Effects 0.000 description 23
- 238000011176 pooling Methods 0.000 description 19
- 206010019280 Heart failures Diseases 0.000 description 18
- 230000015654 memory Effects 0.000 description 17
- 210000004027 cell Anatomy 0.000 description 15
- 230000004807 localization Effects 0.000 description 15
- 238000000513 principal component analysis Methods 0.000 description 15
- 239000003814 drug Substances 0.000 description 13
- 210000002569 neuron Anatomy 0.000 description 13
- 210000001519 tissue Anatomy 0.000 description 13
- 206010007559 Cardiac failure congestive Diseases 0.000 description 11
- 230000000747 cardiac effect Effects 0.000 description 11
- 229940079593 drug Drugs 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 11
- 238000002560 therapeutic procedure Methods 0.000 description 11
- 238000012285 ultrasound imaging Methods 0.000 description 11
- 239000003086 colorant Substances 0.000 description 10
- 238000012790 confirmation Methods 0.000 description 10
- 210000000056 organ Anatomy 0.000 description 10
- 239000004065 semiconductor Substances 0.000 description 10
- 206010013974 Dyspnoea paroxysmal nocturnal Diseases 0.000 description 9
- 208000004327 Paroxysmal Dyspnea Diseases 0.000 description 9
- 238000012886 linear function Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 238000002483 medication Methods 0.000 description 8
- 238000004904 shortening Methods 0.000 description 8
- 230000007704 transition Effects 0.000 description 8
- 230000003750 conditioning effect Effects 0.000 description 7
- 238000001727 in vivo Methods 0.000 description 6
- 210000005240 left ventricle Anatomy 0.000 description 6
- 210000004072 lung Anatomy 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000001225 therapeutic effect Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 101100458289 Drosophila melanogaster msps gene Proteins 0.000 description 5
- 210000000709 aorta Anatomy 0.000 description 5
- 230000036772 blood pressure Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 210000002837 heart atrium Anatomy 0.000 description 5
- 210000003709 heart valve Anatomy 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 210000003540 papillary muscle Anatomy 0.000 description 5
- 239000005541 ACE inhibitor Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 229940125364 angiotensin receptor blocker Drugs 0.000 description 4
- 229940044094 angiotensin-converting-enzyme inhibitor Drugs 0.000 description 4
- 238000003491 array Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 4
- 230000008602 contraction Effects 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000035479 physiological effects, processes and functions Effects 0.000 description 4
- 208000024891 symptom Diseases 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000002592 echocardiography Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 210000001308 heart ventricle Anatomy 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 239000002333 angiotensin II receptor antagonist Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000005802 health problem Effects 0.000 description 2
- 210000003361 heart septum Anatomy 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 210000000352 storage cell Anatomy 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 101710129690 Angiotensin-converting enzyme inhibitor Proteins 0.000 description 1
- 101710086378 Bradykinin-potentiating and C-type natriuretic peptides Proteins 0.000 description 1
- 208000002330 Congenital Heart Defects Diseases 0.000 description 1
- 206010011224 Cough Diseases 0.000 description 1
- 208000033748 Device issues Diseases 0.000 description 1
- 206010013700 Drug hypersensitivity Diseases 0.000 description 1
- 208000000059 Dyspnea Diseases 0.000 description 1
- 206010013975 Dyspnoeas Diseases 0.000 description 1
- 208000012659 Joint disease Diseases 0.000 description 1
- 208000000913 Kidney Calculi Diseases 0.000 description 1
- 208000019693 Lung disease Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 206010029148 Nephrolithiasis Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000000172 allergic effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 229940126675 alternative medicines Drugs 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 206010003246 arthritis Diseases 0.000 description 1
- 208000010668 atopic eczema Diseases 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 239000002876 beta blocker Substances 0.000 description 1
- 229940097320 beta blocking agent Drugs 0.000 description 1
- 229960000074 biopharmaceutical Drugs 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002659 cell therapy Methods 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 208000028831 congenital heart disease Diseases 0.000 description 1
- 208000029078 coronary artery disease Diseases 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 235000021045 dietary change Nutrition 0.000 description 1
- 201000005311 drug allergy Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001415 gene therapy Methods 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003601 intercostal effect Effects 0.000 description 1
- 208000017169 kidney disease Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000968 medical method and process Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 208000013220 shortness of breath Diseases 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000011477 surgical intervention Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 229960005486 vaccine Drugs 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/02—Measuring pulse or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/06—Measuring blood flow
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/06—Measuring blood flow
- A61B8/065—Measuring blood flow to determine blood output from the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4427—Device being portable or laptop-like
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
- A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/54—Control of the diagnostic device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/58—Testing, adjusting or calibrating the diagnostic device
- A61B8/585—Automatic set-up of the device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
- G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3937—Visible markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
- A61B8/4263—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Cardiology (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Hematology (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physiology (AREA)
- Vascular Medicine (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Biodiversity & Conservation Biology (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
Abstract
【課題】医学的に関連のある超音波像を捕捉するように、超音波装置のオペレータを導く技術が提供される。【解決手段】本明細書記載の技術の態様は、オペレータによる超音波装置の使用を導くための技術に関する。斯かる技術により、超音波装置の操作に経験が全くまたはほとんどないオペレータが、医学的に関連した超音波画像を捕らえることができ、および/または取得した超音波画像の内容を解釈することができるようになる。例えば、本明細書で開示された技術のいくつかを用いることにより、超音波装置を用いた撮像用に被験者の特定の解剖学的像を識別したり、超音波装置のオペレータを導いて、上記特定の解剖学的像を含む被験者の超音波像を取り込んだり、および/または上記取り込んだ超音波像を分析して、被験者に関する医療情報を識別したりできるようになる。【選択図】図1
Description
関連出願の相互参照
[0001] 本出願は、以下の米国仮特許出願、すなわち2016年6月20日出願の「AUTOMATIC ACQUISITION ASSISTANCE AND REAL-TIME MEASUREMENT FOR ULTRASUND IMAGING USING DEEP LEARNING」と言う題の米国仮特許出願第62/352,382号、2016年9月6日出願の「METHOD AND APPARATUS TO PROVIDE AUGMENTED REALITY GUIDED ULTRASOUND DETECTION」と言う題の米国仮特許出願第62/384,187号、2016年9月6日出願の「CLINICAL DIAGNOSTIC AND THERAPEUTIC DECISION SUPPORT USING PATIENT IMAGING DATA」と言う題の米国仮特許出願第62/384,144号、2016年12月15日出願の「INTEGRATING STATISTICAL PRIOR KNOWLEDGE INTO CONVOLUTIONAL NEURAL NETWORKS」と言う題の米国仮特許出願第62/434,980号、2017年1月11日出願の「METHOD AND APPARATUS TO PROVIDE AUGMENTED REALITY GUIDED ULTRASOUND DETECTION」と言う題の米国仮特許出願第62/445,195号、2017年2月2日出願の「METHOD AND APPARATUS TO PROVIDE AUGMENTED REALITY GUIDED ULTRASOUND DETECTION」と言う題の米国仮特許出願第62/453,696号、および 2017年2月24日出願の「TECHNIQUES FOR LANDMARK LOCALIZATION」と言う題の米国仮特許出願第62/463,094号の恩恵を35U.S.C§119(e)の下に主張する。上記特定された出願の各々の開示は、参照としてその全体が本明細書に援用される。
[0001] 本出願は、以下の米国仮特許出願、すなわち2016年6月20日出願の「AUTOMATIC ACQUISITION ASSISTANCE AND REAL-TIME MEASUREMENT FOR ULTRASUND IMAGING USING DEEP LEARNING」と言う題の米国仮特許出願第62/352,382号、2016年9月6日出願の「METHOD AND APPARATUS TO PROVIDE AUGMENTED REALITY GUIDED ULTRASOUND DETECTION」と言う題の米国仮特許出願第62/384,187号、2016年9月6日出願の「CLINICAL DIAGNOSTIC AND THERAPEUTIC DECISION SUPPORT USING PATIENT IMAGING DATA」と言う題の米国仮特許出願第62/384,144号、2016年12月15日出願の「INTEGRATING STATISTICAL PRIOR KNOWLEDGE INTO CONVOLUTIONAL NEURAL NETWORKS」と言う題の米国仮特許出願第62/434,980号、2017年1月11日出願の「METHOD AND APPARATUS TO PROVIDE AUGMENTED REALITY GUIDED ULTRASOUND DETECTION」と言う題の米国仮特許出願第62/445,195号、2017年2月2日出願の「METHOD AND APPARATUS TO PROVIDE AUGMENTED REALITY GUIDED ULTRASOUND DETECTION」と言う題の米国仮特許出願第62/453,696号、および 2017年2月24日出願の「TECHNIQUES FOR LANDMARK LOCALIZATION」と言う題の米国仮特許出願第62/463,094号の恩恵を35U.S.C§119(e)の下に主張する。上記特定された出願の各々の開示は、参照としてその全体が本明細書に援用される。
[0002] 本明細書記載の技術の態様は、一般的に超音波装置に関する。いくつかの態様は、オペレータによる超音波装置の使用を導くための技術に関する。
[0003] 従来の超音波システムは、大規模な医療施設(例えば病院)で通常使用され、斯かるシステムに経験のある医療専門家(例えば、超音波技師)によって操作される、大型かつ複雑で高価なシステムである。超音波技師は、通常、超音波撮像システムの適切な使用方法を学ぶため、実践的な研修を何年もの間経験する。例えば、超音波技師は、種々の解剖学的像における超音波像を捕らえるため、超音波装置を被験者に適切に配置する方法を学習する。更に、超音波技師は、取り込んだ超音波像を読み取って、患者に関する医療情報を推論する方法も学習する。
[0004] 超音波検査には、被験者の特定の解剖学的構造体(例えば、器官)の画像を有する超音波像の取得が含まれる。斯かる超音波像の取得には、通常、かなりの技術が必要である。例えば、超音波装置を操作する超音波技師は、被験者のどの位置に撮像対象の解剖学的構造体が位置しているか、並びに超音波装置を適切に配置して、医学的に関連のある解剖学的構造体の超音波像を捕捉するにはどうしたら良いかなどを知っておく必要がある。超音波装置を被験者の上に数インチ高くまたは数インチ低く保持することにより、医学的に関連のある超音波像が得られるか、医学的に関連のない超音波像が得られるかの違いが生じる。その結果、超音波装置を専門としないオペレータは、被験者の医学的に関連のある超音波像を捕らえるのに、かなりの苦労を余儀なくされるであろう。斯かる非専門的なオペレータによる共通の失敗には、間違った解剖学的構造体の超音波画像の捕捉、正確な解剖学的構造体における縮小された(先端が切り取られた形の)超音波像の捕捉が含まれる。
[0005] 従って、本開示では、医学的に関連のある超音波像を捕捉するように、超音波装置のオペレータを導く技術が提供される。いくつかの実施形態において、斯かる技術は、コンピュータ装置(例えば、携帯スマートフォン、タブレット、ラップトップ、スマートウォッチ、仮想現実(VR)ヘッドセット、拡張現実(AR)ヘッドセット、スマートウェアラブル装置など)に導入可能なソフトウェアアプリケーション(これ以降、「アプリ」と呼ぶ)で具体化してもよい。アプリは、医学的に関連のある超音波像を捕捉するため、超音波装置を被験者に正しく位置付ける方法に関してリアルタイムでガイダンスを提供できる。例えば、オペレータは、超音波装置を被験者上に配置し、被験者上の超音波装置をどのように移動させればよいかに関してアプリからフィードバックを受信する。フィードバックは、超音波装置を移動させる特定の方向(例えば、上、下、左、右、時計回り回転、反時計回り回転)を各々含む一連の指示であってもよい。従って、オペレータは、斯かる指示に従って医学的に関連のある超音波像を捕捉できる。
[0006] いくつかの実施形態において、アプリは、最新の機械学習技術(例えば、深層学習)を利用してもよい。斯かる実施形態において、アプリは、オペレータに提供される指示を生成するように構成された訓練モデル(例えば、訓練されたニューラルネットワーク)を利用してもよい。斯かる例において、訓練モデルは、オペレータが使用する超音波装置によって取り込まれた超音波像を受信し、オペレータへ指示を出力として提供してもよい。モデルは、注釈付き超音波像のデータベースを用いて訓練されてもよい。超音波像の各々の注釈は、例えば、超音波像が医学的に関連のある超音波像(例えば、標的解剖学的平面)であるか、医学的に関連性のない超音波像(例えば、不適切に位置付けられた超音波装置によって取り込まれた超音波像)であるかに関する指標を有していてもよい。超音波像が医学的に関連性を有さなければ、注釈は、取り込まれた超音波像が医学的に関連性を有さない原因となった超音波装置のポーズ付けの誤りに関する指標(例えば、高過ぎる、低過ぎる、時計回り過ぎる、反時計回り過ぎる、左に寄り過ぎる、右に寄り過ぎる)を更に有していてもよい。訓練モデルは、医学的に関連性を有さない像を認識し、オペレータが医学的に関連性を有する超音波像を捕捉するため、超音波装置をどのように再配置すべきかに関する指示を生成してもよい。
[0007] いくつかの実施形態において、コンピュータ装置(少なくとも1つのプロセッサを含む)を有する装置が提供される。斯かる少なくとも1つのプロセッサは、超音波装置によって捕捉される被験者の超音波像を取得し、超音波像が標的解剖学的像を含んでいるか否かを決定し、超音波像が標的解剖学的像を含まないと言う決定に応答して、少なくとも1つの指示(標的解剖学的像を含む被験者の超音波像の捕捉を促進させるため、超音波装置の再配置方法を示す指示)を超音波装置のオペレータへ提供し、超音波像が標的解剖学的像を含むと言う決定に応答して、超音波装置が適切に配置されていることを示す指標をオペレータへ提供するように構成されている。
[0008] いくつかの実施形態において、当該装置は、コンピュータ装置に連結され表示装置であって、少なくとも1つの指示をオペレータへ表示するように構成された表示装置を更に有していてもよい。いくつかの実施形態において、表示装置はコンピュータ装置と一体化されている。
[0009] いくつかの実施形態において、コンピュータ装置は、少なくとも部分的には、深層学習技術を用いて超音波像を分析することにより、その超音波像が標的解剖学的像を含んでいるか否かを決定するように構成されている。いくつかの実施形態において、コンピュータ装置は、少なくとも部分的には、超音波像を入力として多層ニューラルネットワークへ提供することにより、その超音波像が標的解剖学的像を含んでいるか否かを決定するように構成されている。いくつかの実施形態において、コンピュータ装置は、少なくとも部分的には、多層ニューラルネットワークを用いて、解剖学的像が超音波像に含まれていることを示す出力を取得することにより、超音波像が標的解剖学的像を含んでいるか否かを決定するように構成されている。いくつかの実施形態において、コンピュータ装置は、少なくとも部分的には、プーリング層、正規化線形関数(ReLU)層、畳み込み層、緻密層、パッド層、コンカテネイト層、およびアップスケール層から成る群から選択される少なくとも1つの層を有する多層ニューラルネットワークを用いて、超音波像を分析することにより、超音波像が標的解剖学的像を含んでいるか否かを決定するように構成されている。
[0010] いくつかの実施形態において、コンピュータ装置は、少なくとも部分的には、自動画像処理技術を用いて超音波像に含まれる解剖学的像を識別し、超音波像に含まれる解剖学的像が標的解剖学的像に一致するか否かを決定することにより、その超音波像が標的解剖学的像を含んでいるか否かを決定するように構成されている。いくつかの実施形態において、コンピュータ装置は、超音波像に含まれる解剖学的像が標的解剖学的像に一致しないと言う決定に応答して、超音波像に含まれる解剖学的像を用いて、少なくとも1つの指示を生成するように構成されている。
[0011] いくつかの実施形態において、コンピュータ装置は、少なくとも部分的には、超音波装置を並進方向および/または回転方向へ移動させる指示を提供することにより、少なくとも1つの指示を生成するように構成されている。いくつかの実施形態において、コンピュータ装置は、少なくとも部分的には、被験者へ少なくとも1つの指示を提供することにより、オペレータへ少なくとも1つの指示を提供するように構成されている。
[0012] いくつかの実施形態において、少なくとも1つのコンピュータ装置(少なくとも1つのプロセッサを有する)の使用工程を含む方法が提供されるが、その方法は、超音波装置によって捕捉される被験者の超音波像を取得する工程と、超音波像が標的解剖学的像を含んでいるか否かを決定する工程と、超音波像が標的解剖学的像を含まないと言う決定に応答して、少なくとも1つの指示(標的解剖学的像を含む被験者の超音波像の捕捉を促進させるため、超音波装置の再配置方法を示す指示)を超音波装置のオペレータへ提供する工程と、超音波像が標的解剖学的像を含むと言う決定に応答して、超音波装置が適切に配置されていることを示す指標をオペレータへ提供する工程とを実行するものである。
[0013] いくつかの実施形態において、超音波装置が標的解剖学的像を含んでいるか否かを決定する工程は、深層学習技術を用いて超音波像を分析する工程を含む。超音波装置が標的解剖学的像を含んでいるか否かを決定する工程は、超音波像を入力として多層ニューラルネットワークへ提供する工程を含む。超音波装置が標的解剖学的像を含んでいるか否かを決定する工程は、多層ニューラルネットワークを用いて、超音波像に含まれる解剖学的像を示す出力を取得する工程を含む。超音波装置が標的解剖学的像を含んでいるか否かを決定する工程は、プーリング層、正規化線形関数(ReLU)層、畳み込み層、緻密層、パッド層、コンカテネイト層、およびアップスケール層から成る群から選択される少なくとも1つの層を有する多層ニューラルネットワークを用いて、超音波像を分析する工程を含む。
[0014] いくつかの実施形態において、超音波装置が標的解剖学的像を含んでいるか否かを決定する工程は、自動画像処理技術を用いて、超音波像に含まれる解剖学的像を識別する工程と、超音波像に含まれる解剖学的像が標的解剖学的像に一致するかどうかを決定する工程とを含む。
[0015] いくつかの実施形態において、当該方法は、超音波像に含まれる解剖学的像が標的解剖学的像に一致しないと言う決定に応答して、超音波像に含まれる解剖学的像を用いて、少なくとも1つの指示を生成する工程を更に含む。
[0016] いくつかの実施形態において、少なくとも1つの指示を提供する工程は、超音波装置を並進方向または回転方向へ移動させる指示を提供する工程を含む。いくつかの実施形態において、少なくとも1つの指示をオペレータへ提供する工程は、少なくとも1つの指示を被験者へ提供する工程を含む。
[0017] いくつかの実施形態において、被験者の超音波像を捕捉するように構成された超音波装置と、該超音波装置に通信可能に連結されたコンピュータ装置とを有するシステムが提供される。コンピュータ装置は、超音波装置によって捕捉された被験者の超音波像を取得し、自動画像処理技術を用いて、超音波像が標的解剖学的像を含んでいるか否かを決定し、超音波像が標的解剖学的像を含んでいないと言う決定に応答して、少なくとも1つの指示(標的解剖学的像を含む被験者の超音波像を捕捉するため、超音波装置の再配置方法を示す指示)を超音波装置のオペレータへ提供し、並びに超音波像が標的解剖学的像を含むと言う決定に応答して、超音波装置が適切に配置されていることを示す指標をオペレータへ提供するように構成されている。
[0018] いくつかの実施形態において、超音波装置は複数の超音波変換器を有する。いくつかの実施形態において、複数の超音波変換器は、容量性微細加工超音波変換器(CMUT)、CMOS超音波変換器(CUT)、および圧電微細加工超音波変換器(PMUT)から成る群から選択される超音波変換器を有する。
[0019] いくつかの実施形態において、コンピュータ装置は、携帯スマートフォンまたはタブレットである。いくつかの実施形態において、コンピュータ装置は、少なくとも部分的には、深層学習技術を用いて超音波像を分析することにより、その超音波像が標的解剖学的像を含んでいるか否かを決定するように構成されている。いくつかの実施形態において、コンピュータ装置は、少なくとも部分的には、超音波像を入力として多層ニューラルネットワークへ提供することにより、その超音波像が標的解剖学的像を含んでいるか否かを決定するように構成されている。いくつかの実施形態において、コンピュータ装置は、少なくとも部分的には、多層畳み込みニューラルネットワークを用いて、解剖学的像が超音波像に含まれていることを示す出力を取得することにより、超音波像が標的解剖学的像を含んでいるか否かを決定するように構成されている。
[0020] いくつかの実施形態において、コンピュータ装置は、少なくとも部分的には、自動画像処理技術を用いて超音波像に含まれる解剖学的像を識別し、超音波像に含まれる解剖学的像が標的解剖学的像に一致するか否かを決定することにより、その超音波像が標的解剖学的像を含んでいるか否かを決定するように構成されている。いくつかの実施形態において、コンピュータ装置は、超音波像に含まれる解剖学的像が標的解剖学的像に一致しないと言う決定に応答して、超音波像に含まれる解剖学的像を用いて、少なくとも1つの指示を生成するように構成されている。
[0021] いくつかの実施形態において、プロセッサ実行可能な指示を記憶する少なくとも1つの非一時的コンピュータ読取り可能記憶媒体が提供される。当該プロセッサ実行可能な指示により、それが少なくとも1つのプロセッサによって実行される場合、当該少なくとも1つのプロセッサは、超音波装置によって捕捉される被験者の超音波像を取得でき、自動画像処理技術を用いて、超音波像が標的解剖学的像を含んでいるか否かを決定でき、超音波像が標的解剖学的像を含まないと言う決定に応答して、少なくとも1つの指示(標的解剖学的像を含む被験者の超音波像の捕捉を促進させるため、超音波装置の再配置方法を示す指示)を超音波装置のオペレータへ提供でき、超音波像が標的解剖学的像を含むと言う決定に応答して、超音波装置が適切に配置されていることを示す指標をオペレータへ提供できる。
[0022] いくつかの実施形態において、少なくとも1つのプロセッサを有する超音波ガイダンス装置が提供される。当該少なくとも1つのプロセッサは、別の超音波像の分析に基づいて、被験者の標的解剖学的像を含む超音波像の捕捉を導くように構成されている。
[0023] いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、標的解剖学的像を含む超音波像を捕捉するように超音波装置のオペレータを導くための方法に関するガイダンスプランを生成することにより、超音波像の捕捉を導くように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、生成されたガイダンスプランに基づいて、オペレータへ少なくとも1つの指示を提供することにより、超音波像の捕捉を導くように構成されている。いくつかの実施形態において、当該装置は、少なくとも1つのプロセッサに連結された表示装置であって、少なくとも1つの指示をオペレータへ表示するように構成された表示装置を更に有していてもよい。いくつかの実施形態において、表示装置および少なくとも1つのプロセッサは、コンピュータ装置と一体化されていてもよい。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、深層学習技術を用いて、他の超音波像に含まれる解剖学的像を識別することにより、超音波像の捕捉を導くように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、識別された解剖学的像を用いて、超音波装置を移動させる方向を識別することにより、超音波像の捕捉を導くように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、他の超音波像が被験者の標的領域内に該被験者の解剖学的像を含むか否かを決定することにより、超音波像の捕捉を導くように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、他の超音波像に含まれる解剖学的像が標的領域の外側にあると言う決定に応答して、標的領域内の表示画像を超音波装置が取得できる位置の方向へ、その超音波装置を移動させるようにと、オペレータへ指示を提供することにより、少なくとも1つの指示をオペレータへ提供するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、他の超音波像に含まれる解剖学的像が標的領域内に存在すると言う決定に応答して、超音波装置が標的解剖学的像の画像を取得できる位置の方向へ、その超音波装置を移動させるようにと、オペレータへ指示を提供することにより、少なくとも1つの指示をオペレータへ提供するように構成されている。
[0024] いくつかの実施形態において、被験者の超音波像を捕捉するように構成された超音波装置および少なくとも1つのプロセッサを有するシステムが提供される。少なくとも1つのプロセッサは、超音波装置によって捕捉された超音波像の分析に基づいて、被験者の解剖学的像を含む別の超音波像の捕捉を導くように構成されている。
[0025] いくつかの実施形態において、超音波装置は、容量性微細加工超音波変換器(CMUT)、CMOS超音波変換器(CUT)、および圧電微細加工超音波変換器(PMUT)から成る群から選択される超音波変換器を有する。いくつかの実施形態において、少なくとも1つのプロセッサは、携帯スマートフォンまたはタブレットと一体化されている。
[0026] いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、超音波像が標的解剖学的像を含むか否かを決定する工程と、超音波像が標的解剖学的像を含まないと言う決定に応答して、標的解剖学的像を含む被験者の超音波像を捕捉するように、超音波装置のオペレータを導くための方法に関するガイダンスプランを、超音波像を用いて生成する工程と、生成されたガイダンスプランに基づいて、オペレータに少なくとも1つの指示を提供する工程とにより、捕捉を導くように構成されている。いくつかの実施形態において、ガイダンスプランは、超音波装置を標的位置の方向へ移動させるように超音波装置のオペレータを導くための一連の指示を含む。いくつかの実施形態において、一連の指示の各指示は、超音波装置を並進方向または回転方向へ移動させるための指示である。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、超音波像が被験者の標的領域内に該被験者の解剖学的像を含むか否かを決定することにより、ガイダンスプランを生成するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、超音波像に含まれる解剖学的像は標的領域内にはないと言う決定に応答して、超音波装置が被験者の標的領域内に表示の像を取得できるような位置の方向へ、その超音波装置を移動するようにと、オペレータに指示を提供することにより、オペレータへ少なくとも1つの指示を提供するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、オペレータへ少なくとも1つの指示を提供するように構成されている。超音波像に含まれる解剖学的像が標的領域内に存在すると言う決定に応答して、超音波装置が標的解剖学的像の画像を取得できる位置の方向へ、その超音波装置を移動させるようにと、オペレータへ指示を提供することにより、少なくとも1つの指示をオペレータへ提供するように構成されている。
[0027] いくつかの実施形態において、1つの方法が提供される。該方法は、少なくとも1つのコンピュータ装置(少なくとも1つのプロセッサを含む)を使用する工程を含んでおり、超音波装置によって捕捉された被験者の超音波像を取得する工程と、超音波像が標的解剖学的像を含むか否かを決定する工程と、超音波像が標的解剖学的像を含まないと言う決定に応答して、標的解剖学的像を含む被験者の超音波像を捕捉するように、超音波装置のオペレータを導くための方法に関するガイダンスプランを、超音波像を用いて生成する工程と、生成されたガイダンスプランに基づいて、オペレータに少なくとも1つの指示を提供する工程とを実行するものである。
[0028] いくつかの実施形態において、ガイダンスプランを生成する工程は、自動画像処理技術を用いて、超音波像に含まれる解剖学的像を識別する工程を含む。いくつかの実施形態において、ガイダンスプランを生成する工程は、識別された解剖学的像を用いて、超音波装置を移動する方向を識別する工程を含み、少なくとも1つの指示をオペレータへ提供する工程は、超音波装置を識別された方向へ移動するようにオペレータへ指示を提供する工程を含む。いくつかの実施形態において、超音波装置を移動させる方向を識別する工程は、超音波装置を移動させる並進方向または回転方向を識別する工程を含む。
[0029] いくつかの実施形態において、ガイダンスプランを生成する工程は、超音波像が被験者の標的領域内に該被験者の解剖学的像を含むか否かを決定する工程を含む。いくつかの実施形態において、超音波像が被験者の標的領域内に該被験者の解剖学的像を含むか否かを決定する工程は、その超音波像が被験者の胴体の少なくとも一部の解剖学的像を含むか否かを決定する工程を含む。いくつかの実施形態において、当該方法は、超音波像に含まれる解剖学的像が標的領域内にないという決定に応答して、少なくとも部分的には、被験者の標的領域内の表示画像を超音波装置が取得できるような位置の方向へ超音波装置を移動させるようにと、オペレータへ指示を提供することにより、少なくとも1つの指示をオペレータへ提供する工程を更に含む。いくつかの実施形態において、超音波装置を該位置の方向へ移動するようにオペレータへ指示を提供する工程は、標的領域が位置する場所の可視指標をオペレータへ提供する工程を含む。いくつかの実施形態において、当該方法は、超音波像に含まれる解剖学的像が標的領域内に存在するという決定に応答して、少なくとも部分的には、標的解剖学的像の画像を超音波装置が取得できるような位置の方向へ超音波装置を移動させるようにと、オペレータへ指示を提供することにより、少なくとも1つの指示をオペレータへ提供する工程を更に含む。いくつかの実施形態において、該位置の方向へ超音波装置を移動するようにと、オペレータへ指示を提供する工程は、超音波装置を移動させる方向の可視指標をオペレータへ提供する工程を含む。
[0030] いくつかの実施形態において、プロセッサ実行可能な指示を記憶する少なくとも1つの非一時的コンピュータ読取り可能記憶媒体が提供される。プロセッサ実行可能な指示が少なくとも1つのプロセッサによって実行される場合、当該指示により、少なくとも1つのプロセッサは、超音波装置によって捕捉される被験者の超音波像を取得でき、超音波像が標的解剖学的像を含んでいるか否かを決定でき、超音波像が標的解剖学的像を含まないと言う決定に応答して、標的解剖学的像を含む被験者の超音波像を捕捉するように、超音波装置のオペレータを導くための方法に関するガイダンスプランを、超音波像を用いて生成でき、並びに生成されたガイダンスプランに基づいて、オペレータに少なくとも1つの指示を提供できるものである。
[0031] いくつかの実施形態において、オペレータによって使用される超音波装置の像を取得し、取得された超音波装置の像を用いて、標的解剖学的像を含む超音波像を捕捉するようにオペレータを導くための拡張現実インターフェースを生成するように構成された、少なくとも1つのプロセッサを有する超音波ガイダンス装置が提供される。
[0032] いくつかの実施形態において、当該装置は、少なくとも1つのプロセッサと連結された表示装置であって、拡張現実インターフェースをオペレータに表示するように構成されている表示装置を更に含む。
[0033] いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、オペレータが超音波装置を再配置する方法を示した少なくとも1つの指示を超音波装置の像へ重ね合わせて合成像を形成することにより、拡張現実インターフェースを生成するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、超音波装置のポーズを超音波装置の像内で識別することにより、拡張現実インターフェースを生成するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、超音波装置のポーズを用いて少なくとも1つの指示を超音波装置の像に重ね合わせることにより、少なくとも1つの指示を重ね合わせるように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、オペレータが超音波装置を移動させる方向を示す矢印を含む。
[0034] いくつかの実施形態において、少なくとも1つのプロセッサは、超音波装置によって捕捉される超音波像を取得するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、超音波装置の画像内に超音波装置のポーズを識別することにより、拡張現実インターフェースを生成するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、超音波装置のポーズを用いて、超音波装置の画像の上に超音波像を重ね合わせることにより、拡張現実インターフェースを生成するように構成されている。
[0035] いくつかの実施形態において、オペレータによって使用される超音波装置の画像を取得する工程(この場合、画像は超音波装置とは異なる撮像装置によって捕捉される)と、少なくとも部分的には、オペレータが超音波装置を再配置する方法を示す少なくとも1つの指示を超音波装置の画像の上に重ね合わせることにより、合成像を生成する工程と、合成像をオペレータへ提供する工程とを含む方法が提供される。
[0036] いくつかの実施形態において、当該方法は、超音波装置の画像内に超音波装置のポーズを識別する工程を更に含む。いくつかの実施形態において、超音波装置は、それ自体の上にマーカーを有しており、超音波装置の画像を取得する工程は、マーカーの画像を取得する工程を含む。いくつかの実施形態において、超音波装置のポーズを識別する工程は、超音波装置の画像内にマーカーの位置を識別する工程を含む。
[0037] いくつかの実施形態において、少なくとも1つの指示を超音波装置の画像に重ね合わせる工程は、超音波装置のポーズを用いて実行される。いくつかの実施形態において、少なくとも1つの指示を超音波装置の画像に重ね合わせる工程は、超音波装置の画像内の超音波装置の少なくとも一部の上に矢印を重ね合わせる工程を含み、この場合、矢印は、オペレータが超音波装置を移動させる方向を示すものである。
[0038] いくつかの実施形態において、当該方法は、超音波装置によって捕捉された超音波像を取得する工程を更に含む。いくつかの実施形態において、合成像の生成工程は、超音波装置によって捕捉された超音波像を超音波装置の画像の上に重ね合わせる工程を含む。いくつかの実施形態において、当該方法は、超音波装置の画像内の超音波装置のポーズを識別する工程を更に含む。いくつかの実施形態において、超音波像を超音波装置の画像の上に重ね合わせる工程は、超音波装置のポーズを用いて実行される。
[0039] いくつかの実施形態において、オペレータによって使用される、超音波装置とは異なる撮像装置と、表示装置と、少なくとも1つのプロセッサを有するシステムが提供される。少なくとも1つのプロセッサは、撮像装置によって捕捉され、オペレータによって使用される超音波装置の画像を取得し、少なくとも部分的には、オペレータが超音波装置を再配置する方法を示す少なくとも1つの指示を超音波装置の画像上に重ね合わせることにより合成像を生成し、並びに合成像を表示装置を用いてオペレータへ提供するように構成されている。
[0040] いくつかの実施形態において、当該システムは、表示装置および少なくとも1つのプロセッサを有する携帯スマートフォンまたはタブレットを含む。いくつかの実施形態において、撮像装置はカメラを含む。いくつかの実施形態において、携帯スマートフォンまたはタブレットはカメラを含む。
[0041] いくつかの実施形態において、少なくとも1つのプロセッサは、超音波装置の画像内に超音波装置のポーズを識別するように構成されている。いくつかの実施形態において、超音波装置は、それ自体の上にマーカーを有しており、その場合、超音波装置の画像がマーカーの画像を含んでおり、少なくとも1つのプロセッサは、少なくとも部分的には、超音波装置の画像内のマーカーの位置を識別することにより、超音波装置のポーズを識別するように構成されている。いくつかの実施形態において、マーカーは、ホログラフィックマーカー、分散型マーカー、ArUcoマーカーから成る群から選択される。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、超音波装置のポーズを用いて、超音波装置の画像の上少なくとも1つの指示を重ね合わせることにより、合成像を生成するように構成されている。
[0042] いくつかの実施形態において、当該システムは超音波装置を更に含む。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、超音波装置によって捕捉された超音波像を超音波装置の画像に重ね合わせることにより、合成像を生成するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、超音波装置の画像内に超音波装置のポーズを識別するように構成されており、少なくとも1つのプロセッサは、超音波装置のポーズを用いて、超音波装置の画像の上に超音波像を重ね合わせるように構成される。
[0043] いくつかの実施形態において、プロセッサ実行可能な指示を記憶する少なくとも1つの非一時的コンピュータ読取り可能記憶媒体が提供される。プロセッサ実行可能な指示が少なくとも1つのプロセッサによって実行される場合、当該指示により、少なくとも1つのプロセッサは、オペレータによって使用されている超音波装置の画像を取得でき(この場合、画像は超音波装置とは異なる撮像装置によって捕捉される)、少なくとも部分的には、オペレータが超音波装置を再配置する方法を示す少なくとも1つの指示を超音波装置の画像上に重ね合わせることにより合成像を生成でき、並びに表示装置を用いてその合成像をオペレータへ提供できる。
[0044] いくつかの実施形態において、少なくとも1つのプロセッサを含む装置が提供される。少なくとも1つのプロセッサは、超音波装置によって捕捉される被験者の超音波像を取得し、自動画像処理技術を用いて、超音波像が標的解剖学的像を含むか否かを決定するように構成されている。
[0045] いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、深層学習技術を用いて、超音波像を分析することにより、超音波像が標的解剖学的像を含むか否かを決定するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、超音波像を入力として多層ニューラルネットワークへ供給することにより、超音波像が標的解剖学的像を含むか否かを決定するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、多層ニューラルネットワークを用いて、超音波像に含まれる解剖学的像を示す出力を取得することにより、超音波像が標的解剖学的像を含むか否かを決定するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、プーリング層、正規化線形関数(ReLU)層、畳み込み層、緻密層、パッド層、コンカテネイト層、およびアップスケール層から成る群から選択される少なくとも1つの層を有する多層ニューラルネットワークを用いて、超音波像を分析することにより、超音波像が標的解剖学的像を含むか否かを決定するように構成されている。
[0046] いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、自動画像処理技術を用いて、超音波像に含まれる解剖学的像を識別し、超音波像に含まれる解剖学的像が標的解剖学的像に一致するか否かを決定することにより、超音波像が標的解剖学的像を含むか否かを決定するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、超音波像に含まれる解剖学的像が標的解剖学的像に一致しないと言う決定に応答して、超音波像に含まれる解剖学的像を用いて、少なくとも1つの指示(標的解剖学的像を含む被験者の超音波像の捕捉を促進させるため、超音波装置の再配置方法を示す指示)を生成するように構成されている。
[0047] いくつかの実施形態において、少なくとも1つのプロセッサは、超音波像に含まれる解剖学的像が標的解剖学的像を含まないと言う決定に応答して、少なくとも1つの指示(標的解剖学的像を含む被験者の超音波像の捕捉を促進させるため、超音波装置の再配置方法を示す指示)を超音波装置のオペレータへ提供し、超音波像が標的解剖学的像を含むと言う決定に応答して、超音波装置が正しく配置されていると言う表示をオペレータへ提供するように構成されている。いくつかの実施形態において、当該装置は、少なくとも1つのプロセッサに連結した表示装置であって、オペレータへ少なくとも1つの指示を表示するように構成されている表示装置を更に有する。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、超音波装置を並進方向および/または回転方向へ移動させる指示を提供することにより、少なくとも1つの指示を提供するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、少なくとも1つの指示を被験者へ提供することにより、オペレータへ少なくとも1つの指示を提供するように構成されている。
[0048] 少なくとも1つの態様に従って、1つの方法が提供される。当該方法は、少なくとも1つのプロセッサを有する少なくとも1つのコンピュータ装置の使用工程を含んでおり、超音波装置によって捕捉される被験者の超音波像を取得する工程と、超音波像が標的解剖学的像を含んでいるか否かを決定する工程と、超音波像が標的解剖学的像を含まないと言う決定に応答して、少なくとも1つの指示(標的解剖学的像を含む被験者の超音波像の捕捉を促進させるため、超音波装置の再配置方法を示す指示)を超音波装置のオペレータへ提供する工程と、超音波像が標的解剖学的像を含むと言う決定に応答して、超音波装置が適切に配置されていることを示す指標をオペレータへ提供する工程とを実行するものである。
[0049] いくつかの実施形態において、超音波装置が標的解剖学的像を含んでいるか否かを決定する工程は、深層学習技術を用いて超音波像を分析する工程を含む。超音波装置が標的解剖学的像を含んでいるか否かを決定する工程は、超音波像を入力として多層ニューラルネットワークへ提供する工程を含む。超音波装置が標的解剖学的像を含んでいるか否かを決定する工程は、多層ニューラルネットワークを用いて、超音波像に含まれる解剖学的像を示す出力を取得する工程を含む。超音波装置が標的解剖学的像を含んでいるか否かを決定する工程は、プーリング層、正規化線形関数(ReLU)層、畳み込み層、緻密層、パッド層、コンカテネイト層、およびアップスケール層から成る群から選択される少なくとも1つの層を有する多層ニューラルネットワークを用いて、超音波像を分析する工程を含む。
[0050] いくつかの実施形態において、超音波装置が標的解剖学的像を含んでいるか否かを決定する工程は、自動画像処理技術を用いて、超音波像に含まれる解剖学的像を識別する工程と、超音波像に含まれる解剖学的像が標的解剖学的像に一致するかどうかを決定する工程とを含む。いくつかの実施形態において、当該方法は、超音波像に含まれる解剖学的像が標的解剖学的像に一致しないと言う決定に応答して、超音波像に含まれる解剖学的像を用いて、少なくとも1つの指示を生成する工程を更に含む。
[0051] いくつかの実施形態において、少なくとも1つの指示を提供する工程は、超音波装置を並進方向または回転方向へ移動させる指示を提供する工程を含む。いくつかの実施形態において、少なくとも1つの指示をオペレータへ提供する工程は、少なくとも1つの指示を被験者へ提供する工程を含む。
[0052] いくつかの実施形態において、被験者の超音波像を捕捉するように構成された超音波装置と、該超音波装置に通信可能に連結されたコンピュータ装置とを有するシステムが提供される。コンピュータ装置は、超音波装置によって捕捉された被験者の超音波像を取得し、自動画像処理技術を用いて、超音波像が標的解剖学的像を含んでいるか否かを決定し、超音波像が標的解剖学的像を含んでいないと言う決定に応答して、少なくとも1つの指示(標的解剖学的像を含む被験者の超音波像を捕捉するため、超音波装置の再配置方法を示す指示)を超音波装置のオペレータへ提供し、並びに超音波像が標的解剖学的像を含むと言う決定に応答して、超音波装置が適切に配置されていることを示す指標をオペレータへ提供するように構成されている。
[0053] いくつかの実施形態において、超音波装置は複数の超音波変換器を有する。いくつかの実施形態において、複数の超音波変換器は、容量性微細加工超音波変換器(CMUT)、CMOS超音波変換器(CUT)、および圧電微細加工超音波変換器(PMUT)から成る群から選択される超音波変換器を有する。
[0054] いくつかの実施形態において、コンピュータ装置は、携帯スマートフォンまたはタブレットである。いくつかの実施形態において、コンピュータ装置は、少なくとも部分的には、深層学習技術を用いて超音波像を分析することにより、その超音波像が標的解剖学的像を含んでいるか否かを決定するように構成されている。いくつかの実施形態において、コンピュータ装置は、少なくとも部分的には、超音波像を入力として多層ニューラルネットワークへ提供することにより、その超音波像が標的解剖学的像を含んでいるか否かを決定するように構成されている。いくつかの実施形態において、コンピュータ装置は、少なくとも部分的には、多層畳み込みニューラルネットワークを用いて、解剖学的像が超音波像に含まれていることを示す出力を取得することにより、超音波像が標的解剖学的像を含んでいるか否かを決定するように構成されている。
[0055] いくつかの実施形態において、コンピュータ装置は、少なくとも部分的には、自動画像処理技術を用いて超音波像に含まれる解剖学的像を識別し、超音波像に含まれる解剖学的像が標的解剖学的像に一致するか否かを決定することにより、その超音波像が標的解剖学的像を含んでいるか否かを決定するように構成されている。いくつかの実施形態において、コンピュータ装置は、超音波像に含まれる解剖学的像が標的解剖学的像に一致しないと言う決定に応答して、超音波像に含まれる解剖学的像を用いて、少なくとも1つの指示を生成するように構成されている。
[0056] いくつかの実施形態において、プロセッサ実行可能な指示を記憶する少なくとも1つの非一時的コンピュータ読取り可能記憶媒体が提供される。当該プロセッサ実行可能な指示により、それが少なくとも1つのプロセッサによって実行される場合、当該少なくとも1つのプロセッサは、超音波装置によって捕捉される被験者の超音波像を取得でき、自動画像処理技術を用いて、超音波像が標的解剖学的像を含んでいるか否かを決定でき、超音波像が標的解剖学的像を含まないと言う決定に応答して、少なくとも1つの指示(標的解剖学的像を含む被験者の超音波像の捕捉を促進させるため、超音波装置の再配置方法を示す指示)を超音波装置のオペレータへ提供でき、超音波像が標的解剖学的像を含むと言う決定に応答して、超音波装置が適切に配置されていることを示す指標をオペレータへ提供できる。
[0057] いくつかの実施形態において、オペレータによって使用される超音波装置のマーカーの画像を取得し、該マーカーに基づいて識別される超音波装置のポーズを用いてオペレータを導くように構成された拡張現実インターフェースを生成するように構成されている、少なくとも1つのプロセッサを有する装置が提供される。
[0058] いくつかの実施形態において、当該装置は、少なくとも1つのプロセッサに連結された表示装置であって、拡張現実インターフェースをオペレータに表示するように構成された表示装置を更に有する。いくつかの実施形態において、表示装置および少なくとも1つのプロセッサは、コンピュータ装置と一体化されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、超音波装置のポーズを用いて、超音波装置のオペレータへの指示を画像上に重ね合わせることにより、拡張現実インターフェースを生成するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、超音波装置によって捕捉された超音波像を取得し、その超音波像を用いて、オペレータのために指示を生成するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、画像内のマーカーの位置を識別することにより、画像内の超音波装置のポーズを識別するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、画像内のマーカーの少なくとも1つの特色を分析することにより、超音波装置のポーズを識別するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、画像内のマーカーの色を識別することにより、該画像内のマーカーの少なくとも1つの特色を分析するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、画像内のマーカーの色を用いて、画像内の超音波装置の方位を識別することにより、超音波装置のポーズを識別するように構成されている。いくつかの実施形態において、マーカーはホログラムパターンまたは単色パターンを有する。
[0059] いくつかの実施形態において、少なくとも1つのコンピュータ装置(少なくとも1つのプロセッサを有する)を用いる工程を有する方法が提供されるが、その方法は、オペレータによって使用される超音波装置のマーカーの画像を取得する工程と、少なくとも部分的には、画像内のマーカーの少なくとも1つの特色を分析することにより、超音波装置のポーズを自動的に識別する工程と、識別された超音波装置のポーズを用いて、超音波装置のオペレータへ指示を提供する工程とを実行する。
[0060] いくつかの実施形態において、超音波装置のポーズを識別する工程は、画像内のマーカーの位置を識別する工程を含む。いくつかの実施形態において、超音波装置のポーズを識別する工程は、識別された画像内のマーカーの位置を用いて、画像内の超音波装置のポーズを識別する工程を含む。
[0061] いくつかの実施形態において、超音波装置のポーズを識別する工程は、画像内のマーカーの色を識別する工程を含む。いくつかの実施形態において、超音波装置のポーズを識別する工程は、マーカーの色を用いて、画像内の超音波装置の方位を識別する工程を含む。
[0062] いくつかの実施形態において、マーカーの画像を取得する工程は、ホログラムパターンまたは単色パターンの画像を取得する工程を含む。いくつかの実施形態において、当該方法は、超音波装置によって捕捉された超音波像を取得する工程と、その超音波像を用いて、指示を生成する工程とを更に含む。いくつかの実施形態において、当該方法は、識別された超音波装置のポーズを用いて、超音波像を画像上に重ね合わせる工程を更に含む。
[0063] いくつかの実施形態において、指示を提供する工程は、超音波装置のポーズを用いて、指示を重ね合せる画像上の位置を決定する工程を含む。
[0064] いくつかの実施形態において、オペレータによって使用される超音波装置とは異なる撮像装置と、少なくとも1つのプロセッサとを有するシステムが提供される。少なくとも1つのプロセッサは、撮像装置によって捕捉された、オペレータ使用中の超音波装置上のマーカーの画像を取得し、少なくとも部分的には、取得された画像内のマーカーの少なくとも1つの特色を分析することにより、超音波装置のポーズを自動的に識別し、識別された超音波装置のポーズを用いて、超音波装置のオペレータへ指示を提供するように構成されている。
[0065] いくつかの実施形態において、当該システムは、撮像装置を有する携帯スマートフォンまたはタブレットと、少なくとも1つのプロセッサとを含む。いくつかの実施形態において、当該システムは、それ自体の上にマーカーを有する超音波装置を更に含む。いくつかの実施形態において、マーカーは、ホログラフィックマーカー、分散型マーカー、およびArUcoマーカーから成る群から選択される。
[0066] いくつかの実施形態において、当該システムは、少なくとも1つのプロセッサと連結された表示装置を含む。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、表示装置をしてオペレータへ指示を提供させることにより、指示を提供するように構成されている。
[0067] いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、画像内のマーカーの位置を識別することにより、超音波の位置を識別するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、識別された画像内のマーカーの位置を用いて、捕捉された画像内の超音波装置のポーズを識別することにより、超音波の位置を識別するように構成されている。
[0068] いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、画像内のマーカーの色を識別することにより、超音波装置のポーズを識別するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、マーカーの色を用いて、捕捉された画像内の超音波装置の方位を識別することにより、超音波装置のポーズを識別するように構成されている。
[0069] いくつかの実施形態において、少なくとも1つのプロセッサは、超音波装置によって捕捉された超音波像を取得し、超音波像を用いて指示を生成するように構成されている。
[0070] いくつかの実施形態において、プロセッサ実行可能な指示を記憶する少なくとも1つの非一時的コンピュータ読取り可能記憶媒体が提供される。プロセッサ実行可能な指示が少なくとも1つのプロセッサによって実行される場合、少なくとも1つのプロセッサは、オペレータによって使用される超音波装置上のマーカーの画像(すなわち、超音波装置とは異なる撮像装置によって捕捉される画像)を取得でき、少なくとも部分的には、取得された画像内のマーカーの少なくとも1つの特色を分析することにより、超音波装置のポーズを自動的に識別でき、識別された超音波装置のポーズを用いて、超音波装置のオペレータへ指示を提供できる。
[0071] いくつかの実施形態において、被験者の超音波像を取得し、少なくとも部分的には、深層学習技術を用いて超音波像を分析することにより、被験者の少なくとも1つの医療パラメータを識別するように構成された、少なくとも1つのプロセッサを有する装置が提供される。
[0072] いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、深層学習技術を用いて、超音波像内の被験者の少なくとも1つの解剖学的特徴を識別することにより、被験者の少なくとも1つの医療パラメータを識別するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、超音波像を入力として多層ニューラルネットワークへ提供することにより、被験者の少なくとも1つの解剖学的特徴を識別するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、多層ニューラルネットワークを用いて、超音波像における被験者の少なくとも1つの解剖学的特徴を示す出力を取得することにより、被験者の少なくとも1つの解剖学的特徴を識別するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、プーリング層、正規化線形関数(ReLU)層、畳み込み層、緻密層、パッド層、コンカテネイト層、およびアップスケール層から成る群から選択される少なくとも1つの層を有する多層ニューラルネットワークを用いて、超音波像を分析することにより、被験者の少なくとも1つの解剖学的特徴を識別するように構成されている。いくつかの実施形態において、少なくとも1つの解剖学的特徴は、心室、心臓弁、心臓中隔、心臓乳頭筋、心房、大動脈、および肺から成る群から選択される解剖学的特徴を含む。
[0073] いくつかの実施形態において、少なくとも1つの医療パラメータは、駆出率、短縮率、心室直径、心室容積、拡張終期容積、収縮終期容積、心拍出力、行程容積、心室中隔厚さ、心室壁厚さ、および脈拍数から成る群から選択される医療パラメータを含む。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも1つの医療パラメータを被験者の超音波像に重ね合わせて合成像を形成するように構成されている。いくつかの実施形態において、当該装置は、少なくとも1つのプロセッサに連結された表示装置であって、合成像をオペレータのために表示するように構成された表示装置を更に含む。いくつかの実施形態において、表示装置および少なくとも1つのプロセッサはコンピュータ装置と一体化されている。
[0074] いくつかの実施形態において、少なくとも1つのコンピュータ装置(少なくとも1つのプロセッサを有する)を用いる工程を有する方法が提供されるが、その方法は、超音波装置によって捕捉された被験者の超音波像を取得する工程と、自動画像処理技術を用いて、超音波像における被験者の少なくとも1つの解剖学的特徴を識別する工程と、識別された超音波像内の解剖学的特徴を用いて、少なくとも1つの被験者の医療パラメータを識別する工程とを実行する。
[0075] いくつかの実施形態において、被験者の少なくとも1つの解剖学的特徴を識別する工程は、深層学習技術を用いて、超音波像を分析する工程を含む。いくつかの実施形態において、被験者の少なくとも1つの解剖学的特徴を識別する工程は、超音波像を入力として多層ニューラルネットワークへ提供する工程を含む。いくつかの実施形態において、被験者の少なくとも1つの解剖学的特徴を識別する工程は、多層ニューラルネットワークを用いて、超音波像における被験者の少なくとも1つの解剖学的特徴を示す出力を取得する工程を含む。いくつかの実施形態において、被験者の少なくとも1つの解剖学的特徴を識別する工程は、プーリング層、正規化線形関数(ReLU)層、畳み込み層、緻密層、パッド層、コンカテネイト層、およびアップスケール層から成る群から選択される少なくとも1つの層を有する多層ニューラルネットワークを用いて、超音波像を分析する工程を含む。
[0076] いくつかの実施形態において、少なくとも1つの解剖学的特徴を識別する工程は、心室、心臓弁、心臓中隔、心臓乳頭筋、心房、大動脈、および肺から成る群から選択される解剖学的特徴を識別する工程を含む。いくつかの実施形態において、少なくとも1つの解剖学的特徴を識別する工程は、駆出率、短縮率、心室直径、心室容積、拡張終期容積、収縮終期容積、心拍出力、行程容積、心室中隔厚さ、心室壁厚さ、および脈拍数から成る群から選択される医療パラメータを識別する工程を含む。いくつかの実施形態において、被験者の超音波像を取得する工程は被験者の複数の超音波像を取得する工程を含み、被験者の少なくとも1つの解剖学的特徴を識別する工程は、多層ニューラルネットワークを用いて、複数の超音波像の少なくともいくつかの各々において、心室を認識する工程を含む。いくつかの実施形態において、少なくとも1つの解剖学的特徴を識別する工程は、複数の画像の少なくともいくつかの各々において、識別された心室の直径を推定し、複数の心室直径(第一心室直径および第一心室直径とは異なる第二心室直径を含む)を取得する工程と、第一心室直径を用いて拡張終期容積を推定する工程と、第二心室直径を用いて収縮終期容積を推定する工程とを含む。いくつかの実施形態において、少なくとも1つの解剖学的特徴を識別する工程は、推定された拡張終期容積および推定された収縮終期容積を用いて、被験者の駆出率を識別する工程を含む。
[0077] いくつかの実施形態において、当該方法は、少なくとも1つの医療パラメータを超音波像に重ね合わせて合成像を形成する工程と、その合成像を提供する工程とを含む。
[0078] いくつかの実施形態において、超音波像を取得する工程は、被験者の超音波像を捕捉するようにと、超音波装置のオペレータを導く工程を含む。いくつかの実施形態において、超音波装置のオペレータを導く工程は、超音波像を入力として第一多層ニューラルネットワークへ提供する工程を含み、被験者の少なくとも1つの解剖学的特徴を識別する工程は、第一多層ニューラルネットワークとは異なる第二多層ニューラルネットワークへ、超音波像を入力として提供する工程を含む。
[0079] いくつかの実施形態において、被験者の超音波像を捕捉するように構成された超音波装置と、超音波装置に通信可能に連結されたコンピュータ装置とを含むシステムが提供される。コンピュータ装置は、超音波装置によって捕捉される超音波像を取得し、自動画像処理技術を用いて、超音波像における被験者の少なくとも1つの解剖学的特徴を識別し、識別された超音波像内の解剖学的特徴を用いて、被験者の少なくとも1つの医療パラメータを識別するように構成されている。
[0080] いくつかの実施形態において、超音波装置は、複数の超音波変換器を有する。いくつかの実施形態において、複数の超音波変換器は、容量性微細加工超音波変換器(CMUT)、CMOS超音波変換器(CUT)、および圧電微細加工超音波変換器(PMUT)から成る群から選択される超音波変換器を有する。
[0081] いくつかの実施形態において、コンピュータ装置は、携帯スマートフォンまたはタブレットである。いくつかの実施形態において、コンピュータ装置は表示装置を有するが、その場合、該コンピュータ装置は、表示装置を用いて少なくとも1つの医療パラメータの指標を表示するように構成されている。
[0082] いくつかの実施形態において、超音波像は、傍胸骨長軸(PLAX)解剖学的像、傍胸骨短軸(PSAX)解剖学的像、心尖部4腔(A4C)解剖学的像、および心尖部長軸(ALAX)解剖学的像から成る群から選択される解剖学的像を含む。
[0083] いくつかの実施形態において、プロセッサ実行可能な指示を記憶する少なくとも1つの非一時的コンピュータ読取り可能記憶媒体が提供される。プロセッサ実行可能な指示が少なくとも1つのプロセッサによって実行された場合、少なくとも1つのプロセッサは、超音波装置によって捕捉された被験者の超音波像を取得でき、自動画像処理技術を用いて、超音波像における少なくとも1つの被験者の解剖学的特徴を識別でき、並びに識別された超音波像内の解剖学的特徴を用いて、被験者の少なくとも1つの医療パラメータを識別できる。
[0084] いくつかの実施形態において、被験者の超音波像を取得し、少なくとも部分的には深層学習技術を用いて超音波像を分析することにより、医療状態の診断を生成するように構成された少なくとも1つのプロセッサを有する装置が提供される。
[0085] いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、超音波像を用いて被験者の少なくとも1つの医療パラメータを識別することにより、診断を生成するように構成されている。いくつかの実施形態において、被験者の少なくとも1つの医療パラメータは、駆出率、短縮率、心室直径、心室容積、拡張終期容積、収縮終期容積、心拍出力、行程容積、心室中隔厚さ、心室壁厚さ、および脈拍数から成る群から選択される医療パラメータを含む。
[0086] いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、超音波像を取得するように超音波装置のオペレータを導くことにより、超音波像を取得するように構成されている。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、超音波装置を再配置するようにと、オペレータへ少なくとも1つの指示を提供することにより、超音波装置のオペレータを導くように構成されている。いくつかの実施形態において、オペレータは被験者である。
[0087] いくつかの実施形態において、少なくとも1つのプロセッサは、被験者に関する医療情報を受け取り、被験者の標的解剖学的像を識別し、受け取った被験者に関する医療情報に基づいて撮像するように構成されている。いくつかの実施形態において、被験者に関する医療情報は、心拍数、血圧、体表面積、年齢、体重、身長、および被験者が摂取している医薬品から成る群から選択される少なくとも1つの要素を含む。いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも部分的には、被験者が発作性夜間呼吸困難を経験していることを示す被験者に関する医療情報に応答して、被験者の心臓の解剖学的像を標的解剖学的像として識別することにより、被験者の撮像対象の標的解剖学的像を識別するように構成されている。
[0088] いくつかの実施形態において、少なくとも1つのプロセッサは、被験者に関する診断された医療状態を用いて、被験者のための推奨治療法を超音波装置のオペレータへ提供するように構成されている。
[0089] いくつかの実施形態において、少なくとも1つのコンピュータ装置(少なくとも1つのプロセッサを有する)を用いる工程を有する方法が提供されるが、その方法は、被験者に関する医療情報を受け取る工程と、受け取った医療情報に基づいて、超音波装置によって撮像される被験者の標的解剖学的像を識別する工程と、超音波装置により捕捉された、標的解剖学的像を含む超音波像を取得する工程と、標的解剖学的像を含む超音波像を用いて、被験者の医療状態の診断を生成する工程とを実行する。
[0090] いくつかの実施形態において、標的解剖学的像を含む超音波像を取得する工程は、標的解剖学的像を含む超音波像を取得するように超音波装置のオペレータを導く工程を含む。いくつかの実施形態において、標的解剖学的像を含む超音波像を取得するように超音波装置のオペレータを導く工程は、超音波装置を再配置するように少なくとも1つの指示をオペレータへ提供する工程を含む。いくつかの実施形態において、オペレータを導く工程は、被験者を導く工程を含む。
[0091] いくつかの実施形態において、被験者に関する医療情報を受け取る工程は、心拍数、血圧、体表面積、年齢、体重、身長、および被験者が摂取している医薬品から成る群から選択される医療情報を受け取る工程を含む。いくつかの実施形態において、撮像対象である被験者の標的解剖学的像を識別する工程は、被験者が発作性夜間呼吸困難を経験していることを示す被験者に関する医療情報に応答して、被験者の心臓の解剖学的像を標的解剖学的像として識別する工程を含む。いくつかの実施形態において、被験者の医療状態を診断する工程は、被験者が発作性夜間呼吸困難を経験していることを示す被験者に関する医療情報に応答して、標的解剖学的像を含む超音波像を用いて被験者の駆出率を識別する工程を含む。
[0092] いくつかの実施形態において、被験者の医療状態の診断を生成する工程は、標的解剖学的像を含む超音波像を用いて、被験者の少なくとも1つの医療パラメータを識別する工程を含む。いくつかの実施形態において、被験者の少なくとも1つの医療パラメータを識別する工程は、駆出率、短縮率、心室直径、心室容積、拡張終期容積、収縮終期容積、心拍出力、行程容積、心室中隔厚さ、心室壁厚さ、および脈拍数から成る群から選択される医療パラメータを識別する工程を含む。
[0093] いくつかの実施形態において、当該方法は、被験者の診断された医療状態を用いて、被験者の推奨治療法を超音波装置のオペレータへ提供する工程を更に含む。
[0094] いくつかの実施形態において、当該方法は、超音波装置に配置されたバーコードを読み取る工程と、別の装置へバーコードを送信する工程であって、その工程により、別の装置が被験者に関する医療情報を少なくとも1つのコンピュータ装置へ送信できる工程とを含む。いくつかの実施形態において、当該方法は、標的解剖学的像を含む超音波像を別の装置へ送信する工程であって、その工程により、別の装置が標的解剖学的像を含む超音波像を被験者に関連付けられた医療ファイルへ追加できるようになる工程を更に含む。
[0095] いくつかの実施形態において、超音波像を捕捉するように構成された超音波装置と、その超音波装置に通信可能に連結されたコンピュータ装置とを有するシステムが提供される。コンピュータ装置は、被験者に関する医療情報を受信し、受信した医療情報に基づいて、超音波装置によって撮像される被験者の標的解剖学的像を識別し、超音波装置によって捕捉された標的解剖学的像を含む超音波像を取得し、標的解剖学的像を含む超音波像を用いて、被験者の医療状態の診断を生成するように構成されている。
[0096] いくつかの実施形態において、超音波装置は、複数の超音波変換器を有する。いくつかの実施形態において、複数の超音波変換器は、容量性微細加工超音波変換器(CMUT)、CMOS超音波変換器(CUT)、および圧電微細加工超音波変換器(PMUT)から成る群から選択される超音波変換器を有する。
[0097] いくつかの実施形態において、コンピュータ装置は、携帯スマートフォンまたはタブレットである。いくつかの実施形態において、コンピュータ装置は、少なくとも部分的には、被験者が発作性夜間呼吸困難を経験していることを示す被験者に関する医療情報に応答して、被験者の心臓の解剖学的像を標的解剖学的像として識別することにより、標的解剖学的像を識別するように構成されている。いくつかの実施形態において、コンピュータ装置は、被験者が発作性夜間呼吸困難を経験していることを示す被験者に関する医療情報に応答して、標的解剖学的像を含む超音波像を用いて、被験者の駆出率を識別するように構成されている。
[0098] いくつかの実施形態において、コンピュータ装置は、少なくとも部分的には、標的解剖学的像を含む超音波像を用いて、被験者の少なくとも1つの医療パラメータを識別することにより、被験者の医療状態の診断を生成するように構成されている。
[0099] いくつかの実施形態において、プロセッサ実行可能な指示を記憶する少なくとも1つの非一時的コンピュータ読取り可能記憶媒体が提供される。プロセッサ実行可能な指示が少なくとも1つのプロセッサによって実行された場合、少なくとも1つのプロセッサは、被験者に関する医療情報を受信でき、受信した医療情報に基づいて、超音波装置によって撮像される被験者の標的解剖学的像を識別でき、超音波装置によって捕捉された標的解剖学的像を含む超音波像を取得でき、並びに標的解剖学的像を含む超音波像を用いて、被験者の医療状態の診断を生成できる。
[0100] いくつかの実施形態において、超音波プローブの位置および方位を評価する方法が提供される。この方法は、(a)被験者の望ましい特徴を撮像するように配置された超音波プローブによって生成される超音波像データをホスト装置によって受信する工程であって、ホスト装置はプロセッサおよびメモリを有するものである工程と、(b)望ましい特徴を捕捉するために、超音波プローブを再配置するように指示を提供する工程であって、その指示は少なくとも望ましい特徴に基づいて決定される工程とを含む。
[0101] いくつかの実施形態において、超音波像のリアルタイム測定を予測する方法が提供される。この方法は、(a)被験者の望ましい特徴を撮像するように配置された超音波プローブによって生成される超音波像データをホスト装置によって受信する工程であって、ホスト装置はプロセッサおよびメモリを有するものである工程と、(b)受信した超音波像データを訓練モデルデータと比較し、リアルタイムで、受信した超音波像データの目印を予測する工程とを含む。
[0102] いくつかの実施形態において、リアルタイム超音波像取得アシスタンスを提供する方法が提供される。この方法は、(a)患者の初期超音波像を受信する工程と、(b)初期超音波像の属性を高品質超音波像の基準と比較する工程と、(c)超音波プローブの動きを方向付けて、高品質超音波像の基準に準拠する後続の超音波像を取得する工程とを含む。
[0103] いくつかの実施形態において、リアルタイム超音波像取得アシスタンスを提供する方法が提供される。この方法は、(a)最終超音波像のための取得意図指示を受信する工程と、(b)超音波プローブから第一超音波像を受信する工程であって、第一超音波像が被験者の観点を有している工程と、(c)第一超音波像を取得意図指示と比較することにより、第一超音波像における疾患を識別する工程と、(d)取得意図指示に基づいて、第一超音波像における疾患を治療するため、超音波プローブを操作する治療行為を識別する工程と、(e)識別された治療行為を表示して、最終超音波像の取得を助ける工程とを含む。
[0104] いくつかの実施形態において、臨床診断および治療決定支援システムが提供される。このシステムはプロセッサを有し、該プロセッサは、(a)診断対象の被験者の医療超音波像データを取得し、(b)少なくとも医療超音波像データに基づいて決定された診断を表示し、(c)上記診断に基づいて、被験者のための推奨治療法を表示するように構成されている。
[0105] いくつかの実施形態において、臨床診断および治療決定を提供する方法が提供される。この方法は、(a)診断対象被験者の医療超音波像データをプロセッサで取得する工程と、(b)少なくとも医療超音波像データに基づいて決定された診断を表示する工程と、(c)被験者のための推奨治療法を表示する工程であって、その推奨工程が診断に基づいて決定される工程を含む。
[0106] いくつかの実施形態において、統計学的事前知識を用いて、畳み込みニューラルネットワークを訓練する方法が提供される。この方法は、(a)複数の被験者の複数の医療画像を含む訓練セットおよび複数の医療画像の各々に関連付けられた訓練注釈を受信する工程と、(b)複数の医療画像の統計学的事前知識を受信する工程であって、統計学的事前知識は、複数の被験者の天然型構造から生じる医療画像の変動性に関連した統計資料を含む工程と、(c)統計学的事前知識を取り入れることにより、訓練セットを用いて、畳み込みニューラルネットワークを訓練する工程とを含む。
[0107] いくつかの実施形態において、医療画像のセグメント化を行う方法が提供される。この方法は、(a)被験者の特徴の医療画像を提供する工程と、(b)訓練された畳み込みニューラルネットワークを用いて医療画像の画像セグメント化を行う工程であって、畳み込みニューラルネットワークが統計学的事前知識を用いて訓練される工程とを含む。
[0108] いくつかの実施形態において、医療画像の目印局在化を実行する方法が提供される。この方法は、(a)被験者の特徴に関する医療画像を提供する工程と、(b)訓練された畳み込みニューラルネットワークを用いて、医療画像の目印局在化を実行する工程であって、その訓練された畳み込みニューラルネットワークが統計学的事前知識を用いて訓練される工程とを含む。
[0109] いくつかの実施形態において、(a)患者を基準に位置付けされた超音波プローブの画像を捕捉する工程と、(b)患者の体の一部のインビボ超音波像を捕捉する工程と、(c)捕捉された超音波プローブの画像内の超音波プローブの位置を識別する工程であって、その位置が患者の体を基準に識別される工程と、(d)インビボ超音波像を超音波プローブの画像上に重ね合わせることにより合成像を形成し、次に、少なくとも部分的には、インビボ超音波像を超音波プローブの画像に隣接して配置することにより、合成像を形成する工程と、(e)その合成像を表示する工程とを含む方法が提供される。
[0110] いくつかの実施形態において、当該方法は、リアルタイムで複数の合成像を表示する工程を更に含む。いくつかの実施形態において、合成像は拡張現実表示装置上に表示される。いくつかの実施形態において、当該方法は、複数の合成像に基づいてリアルタイムで指示を提供する工程であって、その指示が、患者の体の一部の後続超音波像を取得するように、超音波プローブのユーザを導く工程を更に含む。
[0111] いくつかの実施形態において、(a)患者を基準に位置付けされた超音波プローブの画像を捕捉する工程と、(b)患者の体の一部のインビボ超音波像を捕捉する工程と、(c)捕捉された超音波プローブの画像内の超音波プローブの位置を識別する工程であって、その位置が患者の体を基準に識別される工程と、(d)インビボ超音波像を超音波プローブの画像上に重ね合わせることにより合成像を形成し、次に、少なくとも部分的には、インビボ超音波像を超音波プローブの画像に隣接して配置することにより、合成像を形成する工程と、(e)その合成像を表示する工程とを含む方法が提供される。
[0112] いくつかの実施形態において、消費者ベースによる超音波装置の使用方法が提供される。この方法は、(a)ユーザが携帯超音波装置を操作する工程と、(b)画像取込装置を用いて、携帯超音波装置の画像を捕捉する工程と、(c)処理装置によって提供されるフィードバックに応答して、超音波装置のポーズおよび/または方位を調整する工程であって、そのフィードバックは、携帯超音波装置を用いてユーザが捕捉した超音波データの分析に少なくとも基づいて、処理装置によって生成される工程と、(d)携帯超音波装置を用いてユーザが捕捉した超音波データを記憶する工程とを含む。
[0113] いくつかの実施形態において、携帯超音波装置はユーザの家で使用される。いくつかの実施形態において、フィードバックはリアルタイムで提供される。いくつかの実施形態において、フィードバックは拡張現実を用いて提供される。いくつかの実施形態において、フィードバックは、(i)ユーザが携帯超音波装置を配置する場所、(ii)ユーザが携帯超音波装置を再配置する、または方向付ける方法、(iii)ユーザが携帯超音波装置を並進させる方法、および(iv)ユーザが超音波データの捕捉を促進させる方法のうちの1つ以上に関する指示を含む。いくつかの実施形態において、当該方法は、少なくとも医療画像データに基づいて決定される診断を表示する工程を更に含む。いくつかの実施形態において、当該方法は、被験者のために推奨治療法を表示する工程であって、その推奨治療法が診断に基づいて決定される工程を更に含む。
[0114] いくつかの実施形態において、目印局在化のために畳み込みニューラルネットワークを訓練する方法が提供される。この方法は、(a)複数の被験者の複数の医療画像を含む訓練セットおよび複数の医療画像の各々に関連付けられた訓練注釈を受信する工程と、(b)少なくとも訓練セットに基づいて、1つ以上の目印位置を回帰推定するように、畳み込みニューラルネットワークを訓練する工程とを含む。
[0115] いくつかの実施形態において、被験者の医療画像の目印局在化を実行する方法が提供される。この方法は、(a)被験者の医療画像を提供する工程と、(b)訓練された畳み込みニューラルネットワークを用いて、被験者の医療画像の目印局在化を実行する工程であって、訓練された畳み込みニューラルネットワークは、複数の被験者の複数の医療画像を含む訓練セットおよび複数の医療画像の各々に関連付けられた訓練注釈を用いて訓練される工程とを含む。
[0116] 種々の態様および実施形態が、以下の例示的かつ非制限的な図面を参照して記載されている。図面は必ずしも原寸通りに描かれていないことは理解されるべきである。複数の図面に現れる項目は、それが用いられる全ての図面で同一または類似の符号で示されている。
[0140] 従来の超音波システムは、通常、膨大な財政源を有する大規模な医療施設だけが購入可能な、大型かつ複雑で高価なシステムである。最近、より安価で複雑性の少ない超音波撮像装置が導入されている。斯かる撮像装置には、単一の半導体ダイとモノリシックに一体化されてモノリシック超音波装置を形成する、超音波変換器が含まれる場合がある。斯かる超音波オンチップ装置の態様が、本明細書に参照としてその全体が援用される、2017年1月25日出願の「UNIVERSAL ULTRASOUND DEVICE AND RELATED APPARATUS AND METHODS」と言う題の米国特許出願第15/415,434号(本出願の譲受人へ譲渡された)に記載されている。斯かる新しい超音波装置の原価は低下し携帯性は増大しているので、一般大衆にとって、従来の超音波装置よりも遥かに容易にアクセス可能となっている。
[0141] 斯かる新しい超音波装置は、原価の低下および携帯性の増大に伴って、一般大衆にとって、従来の超音波装置よりも遥かに容易にアクセス可能となっているが、斯かる装置を使用可能な人々は、その使用方法に関してほとんどまたは全く訓練を受けていないことを本発明者達は認識および理解している。例えば、訓練を受けた超音波技師をスタッフに抱えていない小規模なクリニックでは、患者の診断を助けるため、超音波装置を購入するかもしれない。斯かる例の場合、小規模なクリニックの看護士は、超音波技術および人の生理学に関しては知識を有しているかもしれないが、患者に関する医療関連情報を識別するのに患者のどの解剖学的像を撮像する必要があるのか、あるいは超音波装置を用いて斯かる解剖学的像を取得するにはどうしたら良いのかについて、知識を有していないかもしれない。別の例では、在宅患者の心臓をモニターするため、医師がその患者へ超音波装置を提供するかもしれない。ほとんどの場合、その患者は人の生理学を理解していないであろうし、斯かる超音波装置を用いて自分の心臓を撮像する方法も知らないであろう。
[0142] 従って、本発明者達は、超音波装置のオペレータが超音波装置を適切に使用できるように導く、超音波撮像支援技術を開発した。当該技術は、超音波装置にほとんどまたは全く経験のないオペレータが、医学的に関連性を有する超音波像を捕捉できるようにし、更に、取得した画像の内容をオペレータが解釈するのを支援する。例えば、本明細書で開示される技術のいくつかは、(1)被験者の特定の解剖学的像を特定し、それを超音波装置で撮像する工程、(2)特定の解剖学的像を含む被験者の超音波像を捕捉するように、超音波装置のオペレータを導く工程、および(3)捕捉した超音波像を分析し、被験者に関する医療情報を識別する工程に使用できる。
[0143] 本明細書記載の実施形態は、数多くの方法で実施できることは理解されるべきである。特定の実施例が、単なる例示として以下に記載される。この点に関し、本明細書記載の技術の態様は非制限的であるので、斯かる実施形態および本明細書に提供される特徴/性能は、個々に使用されてもよいし、全てまとめて使用されてもよいし、あるいは2つ以上の任意の組み合わせで使用されてもよい。
(A.装置の位置付け方法を超音波装置のオペレータへ指示)
[0144] 本開示は、超音波装置を被験者の上に配置し、医学的に関連性を有する超音波像を捕捉する方法を超音波装置のオペレータへ指示する技術を提供する。特定の解剖学的像を含む被験者の超音波像の捕捉は、超音波装置の新米オペレータにとっては困難であるかもしれない。オペレータ(例えば、看護士、技師、または一般人)は、超音波装置を最初に被験者(例えば患者)のどこに置くかを知っておく必要があるだけでなく、標的の解剖学的像を含む超音波像を捕捉するため、被験者上の装置の位置の調整方法も知っておく必要がある。被験者がオペレータの場合、オペレータは超音波装置をはっきりと見ることができないので、該オペレータが適切な表示を識別するのは更に困難であるかもしれない。従って、開示されている特定の実施形態は、オペレータを導いて標的解剖学的像を含む超音波像を捕捉させるための新技術に関している。ガイダンスは、オペレータのコンピュータ装置にインストールされたソフトウェアアプリケーション(これ以降、「アプリ」と呼ぶ)(例えば、携帯装置、スマートフォン、またはスマート装置)によって提供されてもよい。例えば、オペレータはアプリをコンピュータ装置にインストールし、そのコンピュータ装置を超音波装置に(例えば、BLUETOOTHなどの無線接続、あるいはライトニンケーブルなどの有線接続を用いて)接続してもよい。次に、オペレータは、超音波装置を被験者上に配置してもよいし、ソフトウェアアプリケーションは、オペレータが超音波装置を再配置すべきか否か、並びにどのようにそれを進めるべきかを示すフィードバックをオペレータへ提供してもよい。新米のオペレータは、当該指示に従うことにより、標的解剖学的像を含む、医学的に関連性のある超音波像を捕捉できる。
[0144] 本開示は、超音波装置を被験者の上に配置し、医学的に関連性を有する超音波像を捕捉する方法を超音波装置のオペレータへ指示する技術を提供する。特定の解剖学的像を含む被験者の超音波像の捕捉は、超音波装置の新米オペレータにとっては困難であるかもしれない。オペレータ(例えば、看護士、技師、または一般人)は、超音波装置を最初に被験者(例えば患者)のどこに置くかを知っておく必要があるだけでなく、標的の解剖学的像を含む超音波像を捕捉するため、被験者上の装置の位置の調整方法も知っておく必要がある。被験者がオペレータの場合、オペレータは超音波装置をはっきりと見ることができないので、該オペレータが適切な表示を識別するのは更に困難であるかもしれない。従って、開示されている特定の実施形態は、オペレータを導いて標的解剖学的像を含む超音波像を捕捉させるための新技術に関している。ガイダンスは、オペレータのコンピュータ装置にインストールされたソフトウェアアプリケーション(これ以降、「アプリ」と呼ぶ)(例えば、携帯装置、スマートフォン、またはスマート装置)によって提供されてもよい。例えば、オペレータはアプリをコンピュータ装置にインストールし、そのコンピュータ装置を超音波装置に(例えば、BLUETOOTHなどの無線接続、あるいはライトニンケーブルなどの有線接続を用いて)接続してもよい。次に、オペレータは、超音波装置を被験者上に配置してもよいし、ソフトウェアアプリケーションは、オペレータが超音波装置を再配置すべきか否か、並びにどのようにそれを進めるべきかを示すフィードバックをオペレータへ提供してもよい。新米のオペレータは、当該指示に従うことにより、標的解剖学的像を含む、医学的に関連性のある超音波像を捕捉できる。
[0145] いくつかの実施形態において、オペレータへ提供される指示は、少なくとも部分的には、深層学習などの最新式画像処理技術を用いることにより生成してもよい。例えば、コンピュータ装置は、深層学習技術を用いて捕捉された超音波像を分析し、超音波像が標的解剖学的像を含むか否かを決定してもよい。超音波像が標的解剖学的像を含む場合、コンピュータ装置は、超音波装置が被験者の上に適切に置かれていることを示す確証をオペレータへ提供してもよいし、および/または超音波像の記録を自動的に開始してもよい。そうでなければ、コンピュータ装置は、標的解剖学的像を含む超音波像を捕捉するため、超音波装置を再配置する方法(例えば、「上へ移動」、「左へ移動」、「右へ移動」、「時計回りに回転」、「反時計回りに回転」、「下へ移動」)をオペレータへ指示してもよい。
[0146] 本明細書記載の深層学習技術は、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせで実施してもよい。1つの実施形態において、オペレータがアクセス可能なスマート装置で実行できるアプリを用いて実施してもよい。アプリは、例えば、ユーザインターフェース画面をオペレータへ表示するのに、スマート装置と一体化された表示装置を利用してもよい。別の実施形態では、アプリはクラウド上で実行され、スマート装置を通してオペレータと通信されてもよい。更に別の実施形態において、アプリは超音波装置自体で実行されてもよく、指示は、その超音波装置を通して、あるいは該超音波装置に関連付けられたスマート装置を通して、ユーザへ通信されてもよい。従って、アプリの実行は、開示されている原理から逸脱することなく、ローカルの装置であってもよいし、あるいは遠隔装置であってもよいことは注目されるべきである。
[0147] いくつかの実施形態において、超音波装置を再配置することにより被験者の標的解剖学的像を含む超音波像を捕捉する方法に関して、超音波装置のオペレータへ指示を提供する技術は、例えば、超音波装置に通信可能に連結されたコンピュータ装置によって実行される方法として具体化されてもよい。コンピュータ装置は、携帯スマートフォン、タブレット、ラップトップ、ワークステーション、または任意の他の適切なコンピュータ装置であってよい。超音波装置は、超音波変換器を用いて被験者に音響を送信し、反射した音響を検出し、それを用いて超音波データを生成するように構成してもよい。超音波変換器は、例えば、容量性微細加工超音波変換器(CMUT)、CMOS超音波変換器(CUT)、および圧電微細加工超音波変換器(PMUT)を含む。超音波変換器は、超音波装置の半導体基質とモノリシックに一体化されていてもよい。超音波装置は、例えば、携帯装置、あるいは被験者に付着されるように構成されたパッチとして実施されてもよい。
[0148] いくつかの実施形態において、例示的な方法は、超音波装置を用いて捕捉された被験者の超音波像を取得する工程を含んでもよい。例えば、超音波装置は、超音波データを生成し、(有線または無線通信リンクを通して)その超音波データをコンピュータ装置へ送信してもよい。次に、コンピュータ装置は、受信した超音波データを用いて、超音波像を生成してもよい。当該方法は、自動画像処理技術を用いて、超音波像が標的解剖学的像を含むか否かを決定する工程を更に含んでもよい。例えば、自動画像処理技術を用いて超音波像を分析し、超音波像に含まれる解剖学的像を識別してもよい。識別された解剖学的像は標的解剖学的像と比較され、識別された解剖学的像が標的解剖学的像と一致するか否かを決定してもよい。次に、識別された解剖学的像が標的解剖学的像と一致するならば、超音波像は標的解剖学的像を含むと言う決定がなされる。そうでなければ、超音波像は標的解剖学的像を含まないと言う決定がなされる。
[0149] 超音波像が標的解剖学的像を含むか否かを決定するため、種々の自動画像処理技術のうちの任意の技術が利用されてもよいことは理解されるべきである。自動画像処理技術は、例えば、深層学習技術などの機械学習技術を含む。いくつかの実施形態において、超音波像が標的解剖学的像を含むか否かを決定するのに、畳み込みニューラルネットワークが利用されてもよい。例えば、畳み込みニューラルネットワークは、超音波像に描かれた特定の解剖学的像で標識された1組の超音波像で訓練されてもよい。この例の場合、超音波像は訓練された畳み込みニューラルネットワークへ入力として提供され、入力された超音波像に含まれる特定の解剖学的像の指標が出力として提供されてもよい。
[0150] 別の例において、畳み込みニューラルネットワークは、標的解剖学的像を含む超音波像を捕捉するのに超音波装置をどのように移動させるかに関する1つ以上の指示で標識された1組の超音波像、あるいは超音波像が標的解剖学的像を含むと言う表示で標識された1組の超音波像で訓練されてもよい。この例の場合、超音波像は、訓練された畳み込みニューラルネットワークへ入力として提供され、超音波像が標的解剖学的像を含むと言う表示またはオペレータへ提供される指示は、出力として提供されてもよい。畳み込みニューラルネットワークは、複数の層を任意の適切な組み合わせで用いて実施されてもよい。畳み込みニューラルネットワークで利用される層には、例えば、プーリング層、正規化線形関数(ReLU)層、畳み込み層、緻密層、パッド層、コンカテネイト層、および/またはアップスケール層が含まれる。特定のニューラルネットワークアーキテクチャの例が、本明細書の例示的深層学習技術のセクションで提供される。
[0151] いくつかの実施形態において、超音波像は標的解剖学的像を含まないと言う決定がなされた場合に、当該方法は、少なくとも1つの指示(または1組の指示)(標的解剖学的像を含む被験者の超音波像の捕捉を促進させるため、超音波装置の再配置方法を示す指示)を超音波装置のオペレータへ提供する工程を更に含んでもよい。その指示は、種々の方法のうちの任意の方法でオペレータへ提供されてもよい。例えば、表示装置(例えば、オペレータの携帯装置など、コンピュータ装置と一体化される表示装置)を用いてオペレータへ表示してもよいし、あるいはスピーカー(例えば、コンピュータ装置と一体化されたスピーカー)を用いて音声によりオペレータへ提供されてもよい。指示は、例えば、「時計回りに回転」、「反時計回りに回転」、「上へ移動」、「下へ移動」、「左へ移動」、および「右へ移動」を含む。
[0152] いくつかの実施形態において、超音波像は標的解剖学的像を含んでいると言う決定がなされた場合に、超音波装置は適切に配置されていると言う表示をオペレータへ提供する工程を含んでいてもよい。超音波装置は適切に配置されていると言う表示は、種々の形態のうちの任意の形態を採用してもよい。例えば、チェックマークなどの記号をオペレータへ表示してもよい。あるいは(またはそれに加えて)、例えば、「位置決め完了」などのメッセージをオペレータへ表示してもよい、および/またはそれが音声により示されてもよい。
[0153] 指示は、被験者の体と比較した超音波装置の現在位置に基づいて計算されてもよい。指示は予め記録されており、標的解剖学的像を示す超音波装置の1つ以上の以前の位置を超音波装置の現在位置と比較することにより決定されてもよい。
(B.医学的に関連性のある超音波像を捕捉するにあたり、超音波装置のオペレータを導く方法の決定)
[0154] 本開示は、医学的に関連性を有する被験者の超音波像を捕捉するように、超音波装置のオペレータを導くための技術を提供する。新しいタスクを実行する方法(例えば、超音波装置の使用方法)を個人に教示するのは困難な課題である。余りにも難しいまたは混乱させるような指示を提供された個人は面食らってしまうかもしれない。従って、開示された特定の実施形態は、標的解剖学的像を含む超音波像を捕捉するように超音波装置のオペレータを導くための、明瞭かつ簡潔な指示を提供する新技術に関している。いくつかの実施形態において、オペレータは超音波装置を被験者の上に配置し、コンピュータ装置(携帯スマートフォン、タブレットなど)が、被験者の初期位置から被験者の標的位置まで超音波装置を移動させるようにオペレータを導く方法に関するガイダンスプランを生成する。ガイダンスプランは、初期位置から標的位置までオペレータを導くのに、一連の簡単な指示または段階(例えば、「上へ移動」、「下へ移動」、「左へ移動」、および「右へ移動」)を有していてもよい。
[0154] 本開示は、医学的に関連性を有する被験者の超音波像を捕捉するように、超音波装置のオペレータを導くための技術を提供する。新しいタスクを実行する方法(例えば、超音波装置の使用方法)を個人に教示するのは困難な課題である。余りにも難しいまたは混乱させるような指示を提供された個人は面食らってしまうかもしれない。従って、開示された特定の実施形態は、標的解剖学的像を含む超音波像を捕捉するように超音波装置のオペレータを導くための、明瞭かつ簡潔な指示を提供する新技術に関している。いくつかの実施形態において、オペレータは超音波装置を被験者の上に配置し、コンピュータ装置(携帯スマートフォン、タブレットなど)が、被験者の初期位置から被験者の標的位置まで超音波装置を移動させるようにオペレータを導く方法に関するガイダンスプランを生成する。ガイダンスプランは、初期位置から標的位置までオペレータを導くのに、一連の簡単な指示または段階(例えば、「上へ移動」、「下へ移動」、「左へ移動」、および「右へ移動」)を有していてもよい。
[0155] ガイダンスプランは、オペレータを混乱させるような複雑な指示(例えば、超音波装置を斜め方向へ移動させるようにと言う指示)の使用を任意に避けてもよい。ガイダンスプランが生成されたら、ガイダンスプランからの指示は、情報によってオペレータが圧倒されるのを回避するため、連続的に提供されてもよい。従って、オペレータは、一連の簡単な指示に従うだけで、標的解剖学的像を含む超音波像を捕捉できる。
[0156] 1つの実施形態において、ガイダンスプランは、現在の超音波像を標的超音波像と比較し、標的超音波像に近づけるには、被験者を基準として超音波装置のポーズをどのように変えればよいかを決定するように工夫してもよい。
[0157] いくつかの実施形態において、標的解剖学的像を含む超音波像を捕捉するように、超音波装置のオペレータを導く方法を決定する技術は、例えば、超音波装置に通信可能に連結されたコンピュータ装置によって実行される方法として具体化されてもよい。その方法は、超音波装置を用いて捕捉された被験者の超音波像を取得する工程を有してもよい。例えば、コンピュータ装置は、超音波装置と通信して超音波データを生成し、生成された超音波データをコンピュータ装置へ送信するようにしてもよい。次に、コンピュータ装置は、受信した超音波データを用いて、超音波像を生成してもよい。
[0158] いくつかの実施形態において、超音波像は標的解剖学的像を含まないと言う決定がなされた場合、当該方法は、標的解剖学的像を含む被験者の超音波像を捕捉するようにオペレータを導く方法に関するガイダンスプランを、超音波像を用いて生成する工程を更に有していてもよい。ガイダンスプランは、例えば、標的解剖学的像を含む超音波像が捕捉された場合に、被験者上の超音波装置の初期位置から被験者上の超音波装置の標的位置までの間で、オペレータを導くための案内路を有していてもよい。例えば、超音波装置の初期位置は超音波像を用いて識別され、超音波装置の標的位置は標的解剖学的像を用いて識別されてもよい。超音波装置の初期位置および標的位置が識別されたら、2つの位置の間で案内路を決定してもよい。
[0159] いくつかの実施形態において、超音波装置の初期位置と超音波装置の標的位置との間の案内路は、2つの位置の間の最良の直接経路である必要はない。例えば、2点間の斜めの直線よりも、L字形の長い案内路を選択してもよい。L字形の案内路の方がオペレータへの通信が容易だからである。いくつかの実施形態において、硬質組織(例えば骨)を含む被験者の領域を通過する超音波装置の案内路は最小限であるのが好ましい。通常、超音波装置が放射する音響は硬質組織を通過しないので、骨の超音波像は空白(またはほぼ空白)となるかもしれない。その結果、被験者上の超音波装置のポーズを決定するのにコンピュータ装置が使用する超音波像に含まれる情報は、全くまたはほとんど存在しないことになる。斯かる硬質組織上の移動を最小限にすれば、オペレータが、捕捉された超音波像を分析することにより超音波装置を案内路に沿って移動させるにあたり、コンピュータ装置は、超音波装置の前進を比較的容易に追跡できるようになる。
[0160] 当該方法は、決定されたガイダンスプランに基づいて、少なくとも1つの指示をオペレータへ提供する工程を有していてもよい。例えば、ガイダンスプラン内の決定された案内路に沿って超音波装置を移動させるように、オペレータへ伝える指示を生成してもよい。あるいは(またはそれに加えて)、ガイダンスプランは、超音波装置のオペレータが装置を移動させるにあたり、それを導くための一連の指示を含んでいてもよく、その指示はガイダンスプランから直接提供されてもよい。指示は、ガイダンスプランから連続的に(例えば、1度に1つずつ)提供されてもよい。
[0161] ガイダンスプランは、オペレータが実際に取る行為に基づいて、更新(例えば、連続的に更新)されてもよいことは理解されるべきである。いくつかの実施形態において、ガイダンスプランは、オペレータによる行為がオペレータへ提供される指示と一致しない場合に更新されてもよい。例えば、コンピュータ装置がオペレータへ超音波装置を左へ移動するようにと指示した場合に、オペレータが不注意で超音波装置を上へ移動させる場合がある。この例の場合、コンピュータ装置は、超音波装置の現在位置と超音波装置の標的位置との間に、新しい経路を生成してもよい。
(C.超音波装置のオペレータを導くための、拡張現実インターフェースの作成)
[0162] 本開示は、超音波装置のオペレータを導く拡張現実インターフェースを作成する技術を提供する。書面による指示および/または話し言葉による指示は、オペレータにとっては理解が困難である。例えば、特定の方向へ超音波装置を移動させる指示(例えば、「左へ移動」)は、オペレータが使用する参照点が異なるので曖昧である。その結果、オペレータは、指示に正しく従っていると信じつつ間違った方向へ超音波装置を移動するかもしれない。従って、特定の開示された実施形態は、拡張現実インターフェースを通して超音波装置のオペレータへ指示を提供する新技術に関する。拡張現実インターフェースにおいては、オペレータの現実世界の環境表示に指示が重ね合わされる。例えば、拡張現実インターフェースは、被験者上に配置された超音波装置の表示と、超音波装置が移動する特定の方向を示す矢印とを有していてもよい。従って、オペレータは、拡張インターフェースの矢印の方向と同じ方向へ被験者上の超音波装置を移動させることにより、超音波装置を容易に再配置できる。
[0162] 本開示は、超音波装置のオペレータを導く拡張現実インターフェースを作成する技術を提供する。書面による指示および/または話し言葉による指示は、オペレータにとっては理解が困難である。例えば、特定の方向へ超音波装置を移動させる指示(例えば、「左へ移動」)は、オペレータが使用する参照点が異なるので曖昧である。その結果、オペレータは、指示に正しく従っていると信じつつ間違った方向へ超音波装置を移動するかもしれない。従って、特定の開示された実施形態は、拡張現実インターフェースを通して超音波装置のオペレータへ指示を提供する新技術に関する。拡張現実インターフェースにおいては、オペレータの現実世界の環境表示に指示が重ね合わされる。例えば、拡張現実インターフェースは、被験者上に配置された超音波装置の表示と、超音波装置が移動する特定の方向を示す矢印とを有していてもよい。従って、オペレータは、拡張インターフェースの矢印の方向と同じ方向へ被験者上の超音波装置を移動させることにより、超音波装置を容易に再配置できる。
[0163] いくつかの実施形態において、標的解剖学的像を含む超音波像を捕捉するようにオペレータを導く拡張現実インターフェースを提供する技術は、例えば、非音声撮像装置(例えば、光を検知するように構成された撮像装置)を有する(またはそれと通信している)コンピュータ装置によって実行される方法として具体化されてもよい。この方法は、非音声撮像装置を用いて、超音波装置の画像を捕捉する工程を含んでいてもよい。例えば、被験者上に置かれた超音波装置の像を捕捉してもよい。
[0164] いくつかの実施形態において、当該方法は、少なくとも部分的には、オペレータが超音波装置を再配置する方法を示す少なくとも1つの指示を超音波装置の画像の上に重ね合わせることにより、合成画像を生成する工程を更に含んでもよい。例えば、捕捉された画像内の超音波装置のポーズ(例えば、位置および/または方位)は、自動画像処理技術(例えは、深層学習技術)を用いて識別してもよく、超音波装置のポーズに関する情報は、捕捉された画像内の超音波の少なくとも一部上に指示を重ね合わせるのに使用してもよい。超音波装置の画像上に重ね合される指示には、例えば、オペレータが装置を移動させる方向を示す記号(例えば、矢印)が含まれる。
[0165] 識別された超音波装置のポーズを用いて、追加の要素を超音波装置の画像上に重ね合わせてもよいことは理解されるべきである。例えば、超音波装置を用いて捕捉された超音波像は、その超音波像がまるで超音波装置から被験者の方へ拡張するように見えるようなやり方で、超音波装置の画像上に重ね合されてもよい。その結果、被験者上の超音波装置の現在位置が与えられているので、オペレータは、撮像されている被験者の特定領域をより良く評価できる。
[0166] いくつかの実施形態において、当該方法は、合成画像をオペレータへ提示する工程を更に含んでもよい。例えば、コンピュータ装置は一体化された表示装置を有していてもよく、合成画像は、その表示装置を用いて、オペレータのために表示されてもよい。
(D.超音波装置上のマーカーを用いて、超音波装置のポーズを追跡)
[0167] 本開示は、超音波装置の上に置かれたマーカーを用いて超音波装置の位置を追跡する技術を提供する。上述したように、拡張現実インターフェースを通して超音波装置内のオペレータへ指示を提供することにより、その指示は明瞭かつ容易に理解される。拡張現実インターフェースは、現実世界の環境の捕捉画像(例えば、携帯スマートフォン上のカメラによって捕捉された画像)と、捕捉画像の上に重ね合された超音波装置の動かし方に関する1つ以上の指示とを有してもよい。指示が捕捉画像内にある現実世界の物体を基準に配置された場合、斯かる拡張現実インターフェースは、更に直感的に理解可能であろう。例えば、超音波装置を左へ動かすようにオペレータへ指示する矢印は、その矢印が捕捉画像内の超音波装置の近くに配置されるならば、オペレータにとって更に分かり易くなる。従って、本明細書記載の技術の態様は、指示が拡張現実インターフェース内に適切に配置されるように、捕捉画像内の超音波装置を追跡する新技術に関する。捕捉画像内の超音波装置の位置を識別する課題は、捕捉画像内に肉眼で見える明瞭なマーカーを超音波装置上に配置することにより軽減されるであろう。マーカーは、例えば、自動画像処理技術(深層学習技術など)を用いて容易に識別される明瞭なパターン、色、および/または画像を有していてもよい。従って、捕捉画像内の超音波装置の位置は、捕捉画像内のマーカーの位置を特定することにより識別できる。捕捉画像内の超音波装置の位置が識別されたならば、超音波装置の近くの位置において指示を捕捉画像上に重ね合わせることにより、更に直感的に理解可能な拡張現実インターフェースを形成してもよい。
[0167] 本開示は、超音波装置の上に置かれたマーカーを用いて超音波装置の位置を追跡する技術を提供する。上述したように、拡張現実インターフェースを通して超音波装置内のオペレータへ指示を提供することにより、その指示は明瞭かつ容易に理解される。拡張現実インターフェースは、現実世界の環境の捕捉画像(例えば、携帯スマートフォン上のカメラによって捕捉された画像)と、捕捉画像の上に重ね合された超音波装置の動かし方に関する1つ以上の指示とを有してもよい。指示が捕捉画像内にある現実世界の物体を基準に配置された場合、斯かる拡張現実インターフェースは、更に直感的に理解可能であろう。例えば、超音波装置を左へ動かすようにオペレータへ指示する矢印は、その矢印が捕捉画像内の超音波装置の近くに配置されるならば、オペレータにとって更に分かり易くなる。従って、本明細書記載の技術の態様は、指示が拡張現実インターフェース内に適切に配置されるように、捕捉画像内の超音波装置を追跡する新技術に関する。捕捉画像内の超音波装置の位置を識別する課題は、捕捉画像内に肉眼で見える明瞭なマーカーを超音波装置上に配置することにより軽減されるであろう。マーカーは、例えば、自動画像処理技術(深層学習技術など)を用いて容易に識別される明瞭なパターン、色、および/または画像を有していてもよい。従って、捕捉画像内の超音波装置の位置は、捕捉画像内のマーカーの位置を特定することにより識別できる。捕捉画像内の超音波装置の位置が識別されたならば、超音波装置の近くの位置において指示を捕捉画像上に重ね合わせることにより、更に直感的に理解可能な拡張現実インターフェースを形成してもよい。
[0168] いくつかの実施形態において、超音波装置上に置かれたマーカーを用いて捕捉画像内の超音波装置の位置を追跡する技術は、例えば、超音波装置に通信可能に連結されたコンピュータ装置によって実行される方法として具体化されてもよい。捕捉画像内の超音波装置の位置は、例えば、指示を捕捉画像上に適切に配置することにより、拡張現実インターフェースを形成するように追跡されてもよい。例えば、指示は、捕捉画像内の超音波装置の近くに置かれてもよい。いくつかの実施形態において、斯かる技術は、例えば、非音声撮像装置(例えば、光を検知するように構成された撮像装置)を有する(またはそれと通信している)コンピュータ装置によって実行される方法として具体化されてもよい。非音声撮像装置を利用して、超音波装置上のマーカーの画像を捕捉してもよい。マーカーは、認識可能な明瞭なパターン、色、および/または画像を有するように構成されてもよい。マーカーは種々の方法の任意の方法で実行されてもよい。例えば、マーカーは、単色マーカー、ホログラフィックマーカー、および/または分散型マーカーであってもよい。単色マーカーは、ArUcoマーカーなどのように単色パターンを有していてもよい。ホログラフィックマーカーは、見る特定の角度によって異なる画像を示すホログラムを有していてもよい。分散型マーカーは、見る特定の角度によって異なる色を示す分散型要素を有していてもよい。
[0169] いくつかの実施形態において、当該方法は、少なくとも部分的には、捕捉画像内のマーカーの少なくとも1つの特色を分析することにより、超音波装置のポーズを自動的に識別する工程を更に含んでもよい。例えば、画像内のマーカーの位置を識別することにより、画像内の超音波装置の位置を決定してもよい。加えて(またはその代わりに)、画像内の超音波装置の方位を決定するのに、マーカーの1つ以上の特性を分析してもよい。例えば、マーカーは分散型マーカーであり、マーカーの色を分析して超音波装置の方位を決定してもよい。別の例では、マーカーはホログラフィックマーカーであり、マーカーによって提示される特定の色を分析して超音波装置の方位を決定してもよい。
[0170] いくつかの実施形態において、当該方法は、識別された超音波装置のポーズを用いて、超音波装置のオペレータへ指示を提供する工程を更に含んでもよい。例えば、指示は、オペレータへ提示された捕捉画像に重ね合された記号(例えば、矢印)を含んでいてもよい。この例では、画像内の識別された超音波装置のポーズを用いて、捕捉画像内の超音波装置の少なくとも一部上に記号を正確に配置してもよい。
(E.捕捉した超音波像を自動的に解釈)
[0171] 本開示は、捕捉された超音波画像を自動的に解釈して、被験者の医療パラメータを識別する技術を提供する。超音波装置の新米オペレータは、被験者に関する医学的に関連性のある情報を集めて、捕捉された超音波画像を解釈することはできないかもしれない。例えば、新米オペレータは、被験者の医療パラメータ(例えば、被験者の心臓の駆出率)を、捕捉された超音波画像から計算する方法を知らないかもしれない。従って、特定の開示された実施形態は、捕捉された超音波画像を自動的に分析して、被験者の医療パラメータを識別する新技術に関している。いくつかの実施形態において、医療パラメータは、最新式の画像処理技術(深層学習など)を用いて識別してもよい。例えば、深層学習技術を利用して、超音波像内に特定の器官(例えば、心臓、肺)の存在を識別してもよい。超音波像内の器官が識別されたら、その器官の特色(例えば、形状および/またはサイズ)を分析して、被験者の医療パラメータ(例えば、被験者の心臓の駆出率)を決定してもよい。
[0171] 本開示は、捕捉された超音波画像を自動的に解釈して、被験者の医療パラメータを識別する技術を提供する。超音波装置の新米オペレータは、被験者に関する医学的に関連性のある情報を集めて、捕捉された超音波画像を解釈することはできないかもしれない。例えば、新米オペレータは、被験者の医療パラメータ(例えば、被験者の心臓の駆出率)を、捕捉された超音波画像から計算する方法を知らないかもしれない。従って、特定の開示された実施形態は、捕捉された超音波画像を自動的に分析して、被験者の医療パラメータを識別する新技術に関している。いくつかの実施形態において、医療パラメータは、最新式の画像処理技術(深層学習など)を用いて識別してもよい。例えば、深層学習技術を利用して、超音波像内に特定の器官(例えば、心臓、肺)の存在を識別してもよい。超音波像内の器官が識別されたら、その器官の特色(例えば、形状および/またはサイズ)を分析して、被験者の医療パラメータ(例えば、被験者の心臓の駆出率)を決定してもよい。
[0172] いくつかの実施形態において、捕捉された超音波像を用いて被験者の医療パラメータを識別する技術は、例えば、超音波装置に通信可能に連結されたコンピュータ装置によって実行される方法として、具体化されてもよい。当該方法は、超音波装置を用いて捕捉された被験者の超音波像を取得してもよい。例えば、コンピュータ装置は、超音波装置と通信して超音波データを生成し、生成された超音波データをコンピュータ装置へ送信してもよい。次に、コンピュータ装置は、受信した超音波データを用いて超音波像を生成してもよい。
[0173] いくつかの実施形態において、当該方法は、自動画像処理技術を用いて、超音波像内の被験者の解剖学的特徴を識別する工程を更に含んでもよい。識別される被験者の解剖学的特徴には、例えば、心室、心臓弁、心臓中隔、心臓乳頭筋、心房、大動脈、および肺が含まれる。斯かる解剖学的特徴は、種々の自動画像処理技術のうちの任意の技術(例えば、深層学習技術)を用いて識別してもよい。
[0174] いくつかの実施形態において、当該方法は、超音波像内の識別された解剖学的特徴を用いて、被験者の医療パラメータを識別する工程を更に含んでもよい。例えば、心臓の超音波像を捕捉し、超音波像内の心室を解剖学的特徴として識別してもよい。この例において、心室であると識別された超音波像の部分を用いて心室の1つ以上の寸法を計算し、心臓に関連している医療パラメータを識別してもよい。心臓に関連した医療パラメータは、例えば、駆出率、短縮率、心室直径、心室容積、拡張終期容積、収縮終期容積、心拍出力、行程容積、心室中隔厚さ、心室壁厚さ、および脈拍数を含む。
(F.医療状態の診断を自動的に生成)
[0175] 本開示は、捕捉された超音波像を用いて、被験者の医療状態の診断を生成する技術を提供する。超音波像の新米オペレータは、超音波装置を用いて被験者の医療状態を診断する方法を知らないかもしれない。例えば、オペレータは、医療状態を診断するのに、被験者の解剖学的像のうちいずれを撮像すべきか確信が持てないかもしれない。更に、オペレータは、医療状態を診断するのに、捕捉された超音波像をどのように解釈すればよいか分からないかもしれない。従って、特定の開示された実施形態は、被験者の医療状態の診断面で超音波装置のオペレータを支援する新技術に関する。いくつかの実施形態において、斯かる技術は、医療専門家のコンピュータ装置(例えば、スマートフォン)にインストールされた診断アプリで使用されてもよい。医療専門家は、診断アプリを用いて、被験者の医療状態の診断の全プロセスを実行してもよい。例えば、医療専門家は、診断アプリを用いて、被験者に関する医療情報(例えば、年齢、体重、身長、安静時心拍数、血圧、体表面積など)を取得し、それを用いて、超音波装置で撮像すべき被験者の特定の解剖学的像を決定してもよい。次に、診断アプリは、解剖学的像の超音波像を捕捉するように医療専門家を導く。診断アプリは、捕捉された超音波像(または一連の超音波像)および/または超音波装置からの生の超音波データを利用してもよい。被験者の医療状態を診断するのに、超音波像(複数も可)および/または生の超音波データと組み合わせて他の情報(被験者に関する医療情報など)を用いてもよいことは理解されるべきである。
[0175] 本開示は、捕捉された超音波像を用いて、被験者の医療状態の診断を生成する技術を提供する。超音波像の新米オペレータは、超音波装置を用いて被験者の医療状態を診断する方法を知らないかもしれない。例えば、オペレータは、医療状態を診断するのに、被験者の解剖学的像のうちいずれを撮像すべきか確信が持てないかもしれない。更に、オペレータは、医療状態を診断するのに、捕捉された超音波像をどのように解釈すればよいか分からないかもしれない。従って、特定の開示された実施形態は、被験者の医療状態の診断面で超音波装置のオペレータを支援する新技術に関する。いくつかの実施形態において、斯かる技術は、医療専門家のコンピュータ装置(例えば、スマートフォン)にインストールされた診断アプリで使用されてもよい。医療専門家は、診断アプリを用いて、被験者の医療状態の診断の全プロセスを実行してもよい。例えば、医療専門家は、診断アプリを用いて、被験者に関する医療情報(例えば、年齢、体重、身長、安静時心拍数、血圧、体表面積など)を取得し、それを用いて、超音波装置で撮像すべき被験者の特定の解剖学的像を決定してもよい。次に、診断アプリは、解剖学的像の超音波像を捕捉するように医療専門家を導く。診断アプリは、捕捉された超音波像(または一連の超音波像)および/または超音波装置からの生の超音波データを利用してもよい。被験者の医療状態を診断するのに、超音波像(複数も可)および/または生の超音波データと組み合わせて他の情報(被験者に関する医療情報など)を用いてもよいことは理解されるべきである。
[0176] いくつかの実施形態において、超音波装置を用いて被験者の医療状態を診断する技術は、例えば、 超音波装置に通信可能に連結されたコンピュータ装置によって実行される方法として具体化されてもよい。この方法は、被験者に関する医療情報を受信する工程を含んでもよい。被験者に関する医療情報には、例えば、心拍数、血圧、体表面積、年齢、体重、身長、および被験者が摂取している医薬品が含まれる。医療情報は、例えば、オペレータに1つ以上の調査質問をすることにより、そのオペレータから受信してもよい。あるいは(またはそれに加えて)、医療情報は、外部装置(例えば、外部サーバー)から取得してもよい。
[0177] いくつかの実施形態において、当該方法は、受信した医療情報に基づいて、超音波装置を用いて捕捉すべき、被験者の解剖学的像を識別する工程を更に含んでもよい。識別される解剖学的像には、例えば、傍胸骨長軸(PLAX)解剖学的像、傍胸骨短軸(PSAX)解剖学的像、心尖部4腔(A4C)解剖学的像、および心尖部長軸(ALAX)解剖学的像が含まれる。いくつかの実施形態において、医療情報を分析して、被験者が、撮像対象の特定の器官に関連付けられた何らかの健康問題を有しているか否かを決定してもよい。被験者が斯かる健康問題を有していることを医療情報が示していれば、その器官に関連付けられた解剖学的像を識別してもよい。例えば、被験者はうっ血性心不全(最近経験した発作性夜間呼吸困難など)の症状を有していると言う表示を、医療情報は含んでいてもよい。この例においては、心臓に関連付けられた解剖学的像(PLAX解剖学的像など)は、捕捉されるべき適切な像として識別されてもよい。
[0178] いくつかの実施形態において、当該方法は、被験者の標的解剖学的像を含む超音波像を取得する工程を更に含んでいてもよい。例えば、超音波像は、被験者の電子健康記録から取得してもよい。加えて(またはそれに代えて)、オペレータは、標的解剖学的像を含む超音波像を取得するように導かれてもよい。例えば、超音波装置が被験者上に適切に配置されて標的解剖学的像を捕捉できるように、被験者上で超音波装置を再配置するための1つ以上の指示(例えば、一連の指示)が、オペレータへ提供されてもよい。
[0179] いくつかの実施形態において、当該方法は、標的解剖学的像を含む超音波像を用いて、被験者の医療状態の診断を生成する工程を更に含んでいてもよい。例えば、1つ以上の医療パラメータ(例えば、駆出率)を超音波像(または一連の超音波像)から抽出し、診断を生成するのにそれを利用してもよい。被験者の医療状態の診断を識別するのに、標的解剖学的像を含む超音波像とは異なる追加の情報を利用してもよいことは理解されるべきである。例えば、被験者に関する医療情報を、超音波装置から抽出される1つ以上の医療パラメータと組み合わせて用いることにより、診断を生成してもよい。
[0180] いくつかの実施形態において、当該方法は、被験者のために1つ以上の推奨治療法を更に含んでいてもよい。推奨治療法は、診断された被験者の医療状態に基づいて生成されてもよい。例えば、被験者は心臓状態に関して診断(例えば、うっ血性心不全)されてもよく、推奨治療法は、その心臓状態を治療するのに用いられる医薬品(例えば、β遮断薬)を含んでいてもよい。
(G.更なる記載)
[0181] 図1は、被験者101の標的解剖学的像の超音波像を取得するようにと、超音波装置102のオペレータを導くように構成された例示的超音波システム100を示す。図に示されるように、超音波システム100は、通信リンク112によってコンピュータ装置104へ通信可能に連結された超音波装置102を含む。コンピュータ装置104は、超音波装置102から超音波データを受信し、受信した超音波データを用いて超音波像110を生成するように構成されていてもよい。コンピュータ装置104は、超音波像110を分析し、標的解剖学的像を含む超音波像を捕捉するには、超音波装置102をどのように再配置すべきかに関して、超音波装置102のオペレータにガイダンスを提供してもよい。例えば、コンピュータ装置104は、超音波像110を分析し、超音波像110が標的解剖学的像(例えば、PLAX解剖学的像)を含んでいるか否かを決定してもよい。超音波像110が標的解剖学的像を含んでいるとコンピュータ装置104が決定した場合、コンピュータ装置104は、超音波装置102が適切に位置付けられていることを示す表示を、表示装置106を用いてオペレータへ提供してもよい。そうでなければ、コンピュータ装置104は、表示装置106を用いて、超音波装置102を再配置する方法に関してオペレータへ指示108を提供してもよい。
[0181] 図1は、被験者101の標的解剖学的像の超音波像を取得するようにと、超音波装置102のオペレータを導くように構成された例示的超音波システム100を示す。図に示されるように、超音波システム100は、通信リンク112によってコンピュータ装置104へ通信可能に連結された超音波装置102を含む。コンピュータ装置104は、超音波装置102から超音波データを受信し、受信した超音波データを用いて超音波像110を生成するように構成されていてもよい。コンピュータ装置104は、超音波像110を分析し、標的解剖学的像を含む超音波像を捕捉するには、超音波装置102をどのように再配置すべきかに関して、超音波装置102のオペレータにガイダンスを提供してもよい。例えば、コンピュータ装置104は、超音波像110を分析し、超音波像110が標的解剖学的像(例えば、PLAX解剖学的像)を含んでいるか否かを決定してもよい。超音波像110が標的解剖学的像を含んでいるとコンピュータ装置104が決定した場合、コンピュータ装置104は、超音波装置102が適切に位置付けられていることを示す表示を、表示装置106を用いてオペレータへ提供してもよい。そうでなければ、コンピュータ装置104は、表示装置106を用いて、超音波装置102を再配置する方法に関してオペレータへ指示108を提供してもよい。
[0182] 超音波装置102は、超音波データを生成するように構成されていてもよい。超音波装置102は、例えば、音響を被験者101へ放射し、反射した音響を検出することにより、超音波データを生成するように構成されていてもよい。検出された反射音響は、該音響が通過する組織の種々の特性(組織の密度など)を識別する目的で分析されてもよい。超音波装置102は、種々の方法の任意の方法で実施されてもよい。例えば、超音波装置102は、(図1に示されるような)携帯装置として、または例えば接着剤を用いて患者へ取り付けられるパッチとして実施されてもよい。超音波装置は、例えば、以下の例示的超音波装置のセクションで詳細に記載される。
[0183] 超音波装置102は、通信リンク112を用いてコンピュータ装置104へ超音波データを送信してもよい。通信リンク112は、有線(または無線)通信リンクであってもよい。いくつかの実施形態において、通信リンク112は、ユニバーサルシリアルバス(USB)ケーブルまたはライトニングケーブルなどのケーブルとして実施されてもよい。斯かる実施形態において、ケーブルは、コンピュータ装置104から超音波装置102へ電力を転送するのに使用されてもよい。他の実施形態では、通信リンク112は、無線通信リンク(BLUETOOTH、ワイファイ、ジグビー無線通信リンクなど)であってもよい。
[0184] コンピュータ装置104は、例えば、超音波装置102から受信した超音波データを処理するための、1つ以上の処理要素を有していてもよい。加えて、コンピュータ装置104は、例えば、処理要素(複数も可)によって実行可能な指示であって、および/または超音波装置102から受信した超音波データの全てまたは任意の一部によって実行される指示を記憶するための、1つ以上の記憶要素(非一時的コンピュータ読取り可能媒体など)を有していてもよい。コンピュータ装置104は、種々の方法のうちの任意の方法で実施されてもよいことは理解されるべきである。例えば、コンピュータ装置104は、図1に示されるような一体型の表示装置106を有する携帯装置(例えば、携帯スマートフォン、タブレット、ラップトップ)として実施されてもよい。別の例では、コンピュータ装置104は、デスクトップコンピュータのように固定式装置として実施されてもよい。コンピュータ装置の追加の例示的実施方法は、以下の例示的超音波システムのセクションに詳細に記載される。
[0185] コンピュータ装置104は、超音波装置102から受信した超音波データを用いて、超音波装置102のオペレータへガイダンスを提供するように構成されてもよい。いくつかの実施形態において、コンピュータ装置104は、受信した超音波データを用いて超音波像110を生成し、自動画像処理技術を用いてその超音波像110を分析し、標的解剖学的像を含む超音波像を捕捉するにあたり、オペレータは超音波装置102をどのように再配置すべきかについての指示108を生成してもよい。例えば、コンピュータ装置104は、機械学習技術(深層学習技術など)を用いて超音波像110に含まれる解剖学的像を識別し、超音波像110に含まれる解剖学的像が標的解剖学的像に一致するか否かを決定してもよい。識別した解剖学的像が標的解剖学的像に一致する場合、コンピュータ装置104は、超音波装置が正しく配置されていることを示す表示を、表示装置を通して提供してもよい。そうでなければ、超音波装置102を再配置するようにオペレータへ伝える指示を識別し、その指示を表示装置106を通して提供してもよい。別の例では、コンピュータ装置104は、超音波像110が標的解剖学的像を含むか否かを決定する中間工程を実行することなく、指示108を生成してもよい。例えば、コンピュータ装置104は、機械学習技術(深層学習技術など)を用いて超音波像110を出力に直接マッピングして、適切な配置の表示、超音波装置102を再配置するようにと言う指示(例えば、指示108)などをユーザへ提供してもよい。
[0186] いくつかの実施形態において、コンピュータ装置104は、ガイダンスプランを用いて、被験者101上に超音波装置102を配置するための方法に関する指示108を、オペレータのために生成するように構成されていてもよい。ガイダンスプランは、被験者101上の初期位置から、被験者101上の標的位置(標的解剖学的像を含む超音波像が捕捉される場所)へ超音波装置102を移動させるにあたり、オペレータをどのように導くべきかを示す案内路を有していてもよい。被験者上の斯かる案内路の例が図2に示してある。図に示されるように、超音波装置は、最初、初期位置202(被験者201の胴体の下側部分)において被験者201上に配置され、次に、コンピュータ装置が、初期位置202と標的位置204との間の案内路208を生成してもよい。コンピュータ装置は案内路208を用いて、オペレータへ提供される一連の指示を生成してもよい。例えば、コンピュータ装置は、案内路208用に「右へ移動」と言う最初の指示を生成し、次に「上へ移動」と言う第二指示を生成してもよい。生成された指示は移動の規模の表示、例えば、「右に5cm移動」などを含んでいてもよい。コンピュータ装置は、オペレータを情報で圧倒することがないように、斯かる指示を連続的に(例えば、1度に1つずつ)提供してもよい。
[0187] コンピュータ装置は、自動画像処理技術(例えば、深層学習技術)を用いて超音波装置から受信した超音波像を分析することにより、初期位置202を識別してもよい。例えば、コンピュータ装置は、超音波像に含まれる解剖学的像の表示を出力として提供するように構成された(例えば、訓練された)ニューラルネットワークへ、(超音波データを用いて生成された)超音波像を入力として提供してもよい。次に、コンピュータ装置は、識別された解剖学的像を被験者201上の位置へマッピングしてもよい。解剖学的像と被験者201上の位置との間のマッピングは、例えば、コンピュータ装置にローカルで格納してもよい。
[0188] コンピュータ装置は、標的解剖学的像に基づいて標的位置204を識別してもよい。例えば、コンピュータ装置は、標的解剖学的像を被験者201上の位置へマッピングしてもよい。標的解剖学的像と被験者201上の位置との間のマッピングは、例えば、コンピュータ装置にローカルで格納してもよい。
[0189] 初期位置202および標的位置204が識別されたら、コンピュータ装置は、オペレータが超音波装置を初期位置202から標的位置204へ移動させる案内路208を識別してもよい。コンピュータ装置は、例えば、初期位置202と標的位置204との間の最短経路(例えば、斜めの経路)を識別することにより案内路208を生成してもよい。あるいは、コンピュータ装置は、初期位置202と標的位置204との間において、1つ以上の制限要素を満足させる最短経路を識別することにより案内路208を生成してもよい。1つ以上の制限要素は、例えば、案内路208に沿って超音波装置を移動させるための指示をオペレータへ通信し易くするように選択されてもよい。例えば、特定の方向への移動(例えば、斜め方向への移動)は、オペレータへ正確に通信するには比較的困難であるかもしれない。従って、コンピュータ装置は、図2にL字形の案内路208として示されるような案内路として、斜め方向の移動を省く最短距離を識別してもよい。加えて(またはその代わりに)、案内路208は、被験者の硬質組織(例えば、骨)上の横断を最小限にするように選択されてもよい。斯かる硬質組織上の横断を最小限にすることにより、コンピュータ装置は、案内路208に沿った超音波装置の移動を比較的容易に追跡できるようになる。例えば、超音波装置が放射する音響は硬質組織を通過しないので、骨の超音波像は空白(またはほぼ空白)となるかもしれない。コンピュータ装置は、斯かる超音波像を分析して、どの解剖学的像がそれに属しているのかを決定できないので、被験者201上の超音波装置の位置を追跡できなくなるかもしれない。斯かる硬質組織上の通過の最小化により、コンピュータ装置は、オペレータが案内路208に沿って超音波像を移動させるに従い、捕捉された超音波像を分析することにより、超音波装置の前進を比較的容易に追跡できるようになる。
[0190] コンピュータ装置は、生成された案内路208をローカルで記憶し、オペレータへ提供される一連の指示を生成するのに、その案内路を使用してもよい。例えば、コンピュータ装置は、案内路208を用いて一連の指示、(1)「横へ移動」、(2)「上へ移動」、および(3)「時計回りに曲がる」を生成してもよい。次に、斯かる指示は連続的にオペレータへ提供され、オペレータが超音波装置を初期位置202から標的位置204へ移動するのを導いてもよい。
[0191] 上述したように、超音波装置の新米オペレータは、人の生理学に関してほとんどまたは全く知識を有していないかもしれない。従って、初期位置202は、標的位置204から遠く離れているかもしれない。例えば、標的位置204が被験者201の胴体の上側部分にある場合、オペレータは、最初に、超音波装置を被験者の脚の上に置くかもしれない。超音波装置を離れた初期位置202から標的位置204まで移動させるために一連の個々の指示を提供するのは、時間のかかるプロセスであるかもしれない。従って、コンピュータ装置は、超音波装置を被験者の一般的領域(被験者201の胴体の上側部分)へ移動させる粗指示を最初にオペレータへ提供し、その後、超音波装置を特定の方向へ移動させるための1つ以上の精密指示(「上へ移動」など)を提供するようにしてもよい。
[0192] いくつかの実施形態において、コンピュータ装置は、被験者201上の所定の領域206内に超音波装置が配置されているか否かの決定に基づいて、粗指示を出すか精密指示を出すかの決定をしてもよい。所定領域206は、標的位置204を含み、しかもオペレータが識別し易い、被験者201上の領域であってもよい。例えば、標的位置204は被験者201の心臓の上であって、所定領域206は被験者の胴体の上側部分を含んでいてもよい。コンピュータ装置は、超音波装置の位置が所定領域206内である場合に精密指示を提供し、超音波装置が所定領域206の外側にある場合に粗指示を提供してもよい。例えば、オペレータは最初に超音波装置を被験者201の脚の上に置き、次に、コンピュータ装置が、被験者の201の胴体の上側部分(例えば、所定領域206)へ超音波装置を移動させるようにと言う粗指示を提供してもよい。オペレータが超音波装置を被験者の胴体の上側部分(従って、所定領域206内)に配置したら、コンピュータ装置は、精密指示(超音波装置を標的位置204の方向へ移動させるための特定の方向を示す指示を含む)を提供してもよい。
[0193] 粗指示を提供する工程は、超音波のオペレータを導くプロセスを促進する。例えば、オペレータは、人の生理学に馴染みがなく、被験者201の心臓の解剖学的像を含む超音波図を捕捉しようとして、最初に、被験者201の脚の上に超音波装置を置くかもしれない。この例の場合、超音波装置を(1)大腿部から胴体の下側部分へ、次に(2)胴体の下側部分から胴体の上側部分へ移動するようにオペレータへ1組の指示を提供する代わりに、超音波装置の配置場所(例えば、胴体の上側部分)に関する指標を含む粗指示を提供するよぅにしてもよい。
[0194] 図3Aは、コンピュータ装置304上の表示装置を通してオペレータへ提供される例示的な粗指示302を示す。粗指示302は、超音波装置が被験者の所定の領域外に置かれた場合に提供されてもよい。図に示されるように、粗指示302は、超音波装置を所定の領域内に置くには、被験者のどの位置にオペレータはそれを配置すべきかについての指標を含んでいる。特に、粗指示302は、所定の領域が被験者301のグラフィック画像上のどこに位置しているかを示す記号308(例えば、星印)を含んでいる。粗指示302は、記号308の方向に向いた矢印を有するメッセージ310も含んでおり、該メッセージは「超音波装置をここに置いて下さい」とオペレータに指示するものであり、被験者301のグラフィック像上の位置であって記号308が置かれている位置に、超音波装置も置かれるべきであることをオペレータへ通信するものである。
[0195] 図3Bは、コンピュータ装置304の表示装置306を経てオペレータへ提供されてもよい、例示的な精密指示312を示している。精密指示312は、被験者の所定領域内に超音波装置が配置された場合に提供されてもよい。図に示されるように、精密指示312は、オペレータが超音波装置をどの方向へ移動すべきかを示す記号314を含む。いくつかの実施においては、記号314はアニメ化されていてもよい。例えば、記号314(例えば、矢印および/または超音波装置の型)は、超音波装置が動かされるべき方向へ移動してもよい。精密指示312は、記号314を捕捉するメッセージ316(例えば、「時計回りへ回転」)を有していてもよい。記号314および/またはメッセージ316は、背景画像311上に重ね合されてもよい。背景画像311は、例えば、超音波装置から受信した超音波データを用いて生成される超音波像であってもよい。
[0196] 図3Cは、コンピュータ装置304の表示装置306を経てオペレータへ提供される例示的確証318を示す。確証318は、超音波装置が被験者の上に適切に配置され、標的解剖学的像を含む超音波像を捕捉している場合に、提供されてもよい。図に示されるように、確証318は、超音波装置が正しく配置されていることを示す記号320(例えば、チェックマーク)を含んでいる。確証318は、記号320を補足するメッセージ322、例えば「保持」と言うメッセージを含んでいてもよい。記号320および/またはメッセージ322は、背景画像311上に重ね合されていてもよい。背景画像311は、例えば、超音波装置から受信した超音波データを用いて生成される超音波像であってもよい。
[0197] コンピュータ装置は、オペレータが標的解剖学的像を含む超音波像を捕捉するのに成功したら、捕捉された超音波像を分析するように構成されていてもよい。例えば、コンピュータ装置は、被験者の医療パラメータを識別するため、自動画像処理技術を用いて捕捉された超音波像を分析してもよい。超音波像から取得される被験者の医療パラメータは、例えば、駆出率、短縮率、心室直径、心室容積、拡張終期容積、収縮終期容積、心拍出力、行程容積、心室中隔厚さ、心室壁厚さ、および脈拍数である。コンピュータ装置は、例えば、超音波像内の解剖学的特徴(心室、心臓弁、心臓中隔、心臓乳頭筋、心房、大動脈、および肺など)を識別し、識別した解剖学的特徴を分析することにより、斯かる医療パラメータを識別してもよい。コンピュータ装置は、自動画像処理技術(深層画像技術など)を用いて、解剖学的特徴を識別してもよい。例えば、コンピュータ装置は、超音波像のどの画素が特定の解剖学的特徴に関連付けられているかを示す指標を出力として提供するように構成された(例えば、訓練された)ニューラルネットワークへ、捕捉された超音波像を提供してもよい。このニューラルネットワークは、オペレータを導くのに用いられるニューラルネットワークとは別である点は理解されるべきである。
[0198] 生成された医療パラメータは、図4に示される捕捉された超音波像上に重ね合されてもよい。図に示されるように、コンピュータ装置404は、(一体化された表示装置406を経て)超音波像408、および超音波像408上に重ね合された1組の医療パラメータ410を表示してもよい。超音波像408は、被験者の心臓の像を含むPLAX像を有していてもよい。超音波像408において、コンピュータ装置は、解剖学的特徴402として左心室を識別し、左心室の特色(解剖学的特徴の特色404として示される左心室の直径など)を分析することにより、医療パラメータ410を識別するようにしてもよい。図4に示される医療パラメータ410は、左心室の直径(LVD)38.3ミリ(mm)、左心室収縮終期直径(LVESD)38.2mm、左心室拡張終期直径(LVEDD)49.5mm、短縮率(FS)23%、駆出率(EF)45%を含む。
[0199] コンピュータ装置は、標的解剖学的像を含む超音波像を複数用いて、医療パラメータ410を識別してもよい。いくつかの実施形態において、少なくとも1回の完全な鼓動をスパンする心臓の一連の超音波像を捕捉して、医療パラメータを生成してもよい。例えば、超音波像を分析して、心室の収縮の終わりにどの超音波像(収縮終期像と呼ばれる)が捕捉されたのか、並びに心室の収縮の直前にどの超音波像(拡張終期像)が捕捉されたのかを決定してもよい。収縮終期像は、例えば、最小の心室容積(または直径)を有するシーケンスで超音波像を識別することにより識別してもよい。同様に、拡張終期像は、例えば、最大の心室容積(または直径)を有するシーケンスで超音波像を識別することにより識別してもよい。収縮終期像は、心臓の収縮の終わりに測定される1つ以上の医療パラメータ、例えば収縮終期直径(ESD)および/または収縮終期容積(ESV)を決定するのに分析されてもよい。同様に、拡張終期像は、心臓の収縮の直前に測定される1つ以上の医療パラメータ、例えば拡張終期直径(EDD)および/または拡張終期容積(EDV)を決定するのに分析されてもよい。いくつかの医療パラメータは、収縮終期像および拡張終期像の両方の分析を必要とするかもしれない。例えば、EFの識別は、以下の方程式(1)に示されるように、(1)拡張終期像を用いて識別されるEDV、および収縮終期像を用いて識別されるESVを必要とするかもしれない。
同様に、FSの識別は、以下の方程式(2)に示されるように、(1)拡張終期像を用いて識別されるEDD、および収縮終期像を用いて識別されるESDを必要とするかもしれない。
[0200] いくつかの実施形態において、コンピュータ装置は、医療パラメータの値に基づいて、表示装置406に示される医療パラメータ410の色を変化させてもよい。例えば、医療パラメータ410は、値が通常の範囲内にあるのを示すのに第一色(例えば、緑)、値が異常な範囲の境界線にあることを示すのに第二色(例えば、橙色)、および値が異常な範囲にあるのを示すのに第三色(例えば、赤)を表示してもよい。
(例示的拡張現実インターフェース)
[0201] 拡張現実インターフェースを通して指示をオペレータへ提供すれば、オペレータにとっては指示が分かり易くなることを本発明者達は認識している。図5Aは、拡張現実インターフェースをオペレータへ提供するように構成された、例示的超音波システムを示す。図に示されるように、超音波システムは、通信リンク512を通してコンピュータ装置504に通信可能に連結された超音波装置502を有する。超音波装置502、通信リンク512、および/またはコンピュータ装置504は、図1を参照して上述した超音波装置102、通信リンク112、および/またはコンピュータ装置104に類似していてもよい。超音波システムは、超音波装置502上に置かれたマーカーを更に有する。マーカーを用いることにより、コンピュータ装置504は、(例えばコンピュータ装置504に一体化されている)撮像装置506によって捕捉される、非音波画像内の超音波装置の位置を比較的容易に追跡できる。コンピュータ装置504は、非音声画像内の超音波装置の追跡位置を用いて、1つ以上の要素(例えば、指示)をその非音波画像上に重ね合わせ、拡張現実インターフェースを形成してもよい。斯かる拡張現実インターフェースは、(例えば、コンピュータ装置502と一体化され、撮像装置506の反対側に配置されている)表示装置508を通して表示してもよい。
[0201] 拡張現実インターフェースを通して指示をオペレータへ提供すれば、オペレータにとっては指示が分かり易くなることを本発明者達は認識している。図5Aは、拡張現実インターフェースをオペレータへ提供するように構成された、例示的超音波システムを示す。図に示されるように、超音波システムは、通信リンク512を通してコンピュータ装置504に通信可能に連結された超音波装置502を有する。超音波装置502、通信リンク512、および/またはコンピュータ装置504は、図1を参照して上述した超音波装置102、通信リンク112、および/またはコンピュータ装置104に類似していてもよい。超音波システムは、超音波装置502上に置かれたマーカーを更に有する。マーカーを用いることにより、コンピュータ装置504は、(例えばコンピュータ装置504に一体化されている)撮像装置506によって捕捉される、非音波画像内の超音波装置の位置を比較的容易に追跡できる。コンピュータ装置504は、非音声画像内の超音波装置の追跡位置を用いて、1つ以上の要素(例えば、指示)をその非音波画像上に重ね合わせ、拡張現実インターフェースを形成してもよい。斯かる拡張現実インターフェースは、(例えば、コンピュータ装置502と一体化され、撮像装置506の反対側に配置されている)表示装置508を通して表示してもよい。
[0202] コンピュータ装置504は手持ち式装置として実施される必要のないことは、理解されるべきである。いくつかの実施形態において、コンピュータ装置504は、オペレータへの指示の表示機構を有するウェアラブル装置として実施してもよい。例えば、コンピュータ装置504は、ウェアラブルヘッドセットおよび/またはスマートグラス(例えば、GOOGLE GLASS、APPLE ARグラス、およびMICROSOFT HOLOLENS)として実施してもよい。
[0203] 図5Bは、オペレータの観点から見た、超音波システムの別の図を示す。図に示されるように、コンピュータ装置504の表示装置508は、被験者501上で使用される超音波装置502の非音波画像512(例えば撮像装置506によって捕捉される像)と、画像512に重ね合される1つ以上の要素とを有する拡張現実インターフェースを表示する。例えば、オペレータが超音波装置502を移動させる方向を示す指示516、標的解剖学的平面の位置を示す記号、および/または超音波装置502によって捕捉された超音波像514が、画像512上に重ね合されてもよい。斯かる要素は、例えば、半透明要素(要素の下の画像512の部分を覆い隠すため)、透明要素(要素の下の画像512の部分を覆い隠さないため)、疑似カラー要素、および/またはカットアウェイ要素として実施されてもよい。
[0204] いくつかの実施形態において、指示516の少なくとも一部が画像512内の超音波装置502上に重ね合されるような形で、指示516を画像512上に重ね合わせてもよい。コンピュータ装置504は、例えば、マーカー510を用いて、画像512内の超音波装置502のポーズ(例えば、位置および/または方位)を識別し、識別されたポーズを用いて、拡張現実インターフェース内に指示516を位置付けてもよい。マーカー510は、画像512内で容易に認識できるような1つ以上の明瞭な特色を有するように構築してもよい。マーカーは、例えば、単色マーカー、ホログラフィックマーカー、および分散型マーカーを含む。単色マーカー、ホログラフィックマーカー、および/または分散型マーカーであってもよい。単色マーカーは、ArUcoマーカーなどのように単色パターンを有していてもよい。ホログラフィックマーカーは、見る特定の角度によって異なる画像を示すホログラムを有していてもよい。分散型マーカーは、見る特定の角度によって異なる色を示す分散型要素を有していてもよい。コンピュータ装置504は、種々の方法のうちの任意の方法で、超音波装置502のポーズを識別してもよい。いくつかの実施形態において、コンピュータ装置は、マーカー510の位置を識別することにより、画像512内の超音波装置502の位置を識別してもよい。マーカー510の位置は、画像512内のマーカー510の1つ以上の明瞭な特色を探すことにより識別されてもよい。加えて(またはそれに代えて)、コンピュータ装置は、マーカー512の1つ以上の特色を分析することにより、画像512内の超音波装置502の方位を識別してもよい。例えば、マーカー510は分散型マーカーであり、コンピュータ装置は、画像512内のマーカー510の色を識別することにより、画像512内の超音波装置502の方位を特定してもよい。別の例では、マーカー510はホログラフィックマーカーであり、コンピュータ装置は、画像512内のマーカー510によって提示される画像を識別することにより、画像512内の超音波装置502の方位を特定してもよい。更に別の画像においては、マーカー510は単色マーカーであり、コンピュータ装置は、画像512内のマーカー510のパターンの方位を識別することにより、画像512内の超音波装置502の方位を特定してもよい。
[0205] 超音波装置502のポーズは、マーカー510なしに識別してもよいことは理解されるべきである。例えば、超音波装置502は、画像512内で容易に識別可能な明瞭な特色(例えば、形状および/または色)を有していてもよい。従って、コンピュータ装置504は、画像510内の超音波装置502の1つ以上の特色を分析することにより、画像510内の超音波装置502のポーズを識別してもよい。
[0206] いくつかの実施形態において、画像512内の超音波装置502の識別されたポーズを用いて、指示516とは別の要素を画像512上に重ね合わせてもよい。例えば、超音波装置502の識別されたポーズを用いて、超音波像514が超音波装置502から被験者501の方へ延伸して見えるように、超音波像514を画像512上に重ね合わせてもよい。斯かる構成により、超音波装置502によって撮像されている被験者の特定部分の指標がオペレータへ提供できる。コンピュータ装置604の表示装置606に表示されている、斯かる拡張現実インターフェースの例が、図6に示してある。拡張現実インターフェースは、超音波像610および超音波装置の記号608を、被験者601を撮像するのに使用されている超音波装置602の画像上に重ね合わせる(例えば、手持ち式コンピュータ装置604の正面側のカメラで捕捉される)。図に示されるように、超音波像610は、超音波装置602によって撮像されている被験者601の撮像部分上に重ね合わされる。特に、超音波像610は、超音波装置602から被験者601の方向へ延伸するように、位置付けおよび方位付けされている。超音波像の斯かる位置および方位は、撮像されている被験者601の特定の部分をオペレータへ示すものである。例えば、超音波装置602は被験者601の胴体の上側部分に配置されていてもよく、超音波像610は、被験者601に接触している超音波装置602の末端から被験者の胴体の上側部分へ延伸していてもよい。それにより、捕捉された像は、被験者601の胴体の上側部分における体組織の2D断面像であることが、オペレータへ知らされる。
[0207] 図6の被験者601上で使用されている超音波装置602の画像の上に、追加の(またはより少ない)要素が重ね合されてもよいことは理解されるべきである。例えば、超音波装置602上に重ね合された超音波装置の記号608は省かれてもよい。加えて(またはそれに代わって)、ユーザインターフェースが被験者601上の超音波装置602の画像に指示(例えば、拡張現実矢印)を重ね合わせることにより、オペレータへガイダンスを提供してもよい。
(例示的診断アプリケーション)
[0208] 超音波撮像技術は、診断および治療に関する推奨事項と組み合わされることにより、医療撮像へのアクセスを民主化し、日常的な臨床治療および/または患者のモニタリングを加速させる、知的で手頃な価格の製品およびサービスのエコシステムを提供してもよい。この方法は、医療専門家および/または患者が診断および治療決定を病気の初期の段階で行えるようにしたり、新米の撮像装置ユーザ(例えば、消費者)が、種々の状態を検出したり治療への患者の応答をモニターしたりするのを援助したりすることにより、従来の臨床決定支持(CDS)アプリケーションを更に前進させるかもしれない。
[0208] 超音波撮像技術は、診断および治療に関する推奨事項と組み合わされることにより、医療撮像へのアクセスを民主化し、日常的な臨床治療および/または患者のモニタリングを加速させる、知的で手頃な価格の製品およびサービスのエコシステムを提供してもよい。この方法は、医療専門家および/または患者が診断および治療決定を病気の初期の段階で行えるようにしたり、新米の撮像装置ユーザ(例えば、消費者)が、種々の状態を検出したり治療への患者の応答をモニターしたりするのを援助したりすることにより、従来の臨床決定支持(CDS)アプリケーションを更に前進させるかもしれない。
[0209] 本明細書記載の技術改善は、特に、超音波システムによる集中診断、症状の初期検出および治療などの機能を可能にする。超音波システムは、被験者の超音波像を捕捉するように構成されている超音波装置と、超音波装置と通信しているコンピュータ装置とを有していてもよい。コンピュータ装置は、以下の機能、すなわち(1)被験者に関する医療情報を取得する機能、(2)被験者の解剖学的像を識別し、被験者に関する取得された医療情報に基づいて、超音波装置で撮像する機能、(3)識別された解剖学的像を含む超音波像(複数も可)を捕捉するようにオペレータを導く機能、(4)捕捉された超音波像に基づいて、被験者の医療状態の診断(または予備診断)を提供する機能、および(5)診断に基づいて1つ以上の推奨治療法を提供する機能のうちの1つ以上を実行するように構成された、診断アプリケーションを実施してもよい。
[0210] 図7A~7Hは、被験者が心不全を経験しているか否かに関するオペレータの決定を支援するように構成された、診断アプリケーション用の例示的ユーザインターフェースを示す。診断アプリケーションは、例えば、医療専門家(例えば、医師、看護師、医療助手)によって使用されるように設計されていてもよい。診断アプリケーションは、例えば、コンピュータ装置704で実行されてもよい。コンピュータ装置704は、診断アプリケーションの1つ以上のユーザインターフェース画面を表示するように構成されている一体型の表示装置を有していてもよい。コンピュータ装置704は、有線または無線通信リンクを用いて、超音波装置(図示しない)に通信可能に連結されていてもよい。
[0211] 図7Aは、起動された診断アプリケーションで表示される例示的ホーム画面である。ホーム画面で提示される情報には、アプリケーションタイトル702、アプリケーション説明703、およびスポンサー領域708が含まれる。スポンサー領域708は、例えば、名前、記号、または診断アプリケーションを提供している任意のスポンサー実体のロゴに関する情報を表示する。心不全診断アプリケーションの場合、斯かる状態を治療するための1つ以上の医薬品または治療法を提供する製薬会社が、そのアプリケーションのスポンサーである。ホーム画面には、オペレータが診断アプリケーション内の種々の機能を実行できる選択領域、例えば、被験者のフォローアップ検査の計画、更なる医療源へのアクセス、または新しい診断の開始などが更に含まれる。
[0212] コンピュータ装置704は、図7Aに示されるホーム画面で起動された選択領域710内の「新しい診断開始」ボタンに応答し、図7Bに示される臨床質疑応答画面へ移行する。臨床質疑応答画面は、1つ以上の臨床質問712をオペレータへ提示する。心不全診断アプリケーションの場合、オペレータへ提示される適切な臨床質問712は、「患者は発作性夜間呼吸困難を経験しているか?」であってもよい。発作性夜間呼吸困難は、重篤な息切れの発作および一般的に夜間に生じる咳である。斯かる発作は、うっ血性心不全の症状である。診断アプリケーションは、応答領域712における臨床質問への応答を受け取る。図7Bに示されるように、スポンサー領域708は、引き続き、診断アプリケーションに提供されていてもよい。スポンサー領域708は、スポンサーが主催するサイトへ診断アプリケーションを導くリンクを含んでいてもよい。
[0213] コンピュータ装置704は、応答領域714で起動された「はい」ボタンに応答して、臨床質疑応答画面から検査画面へ移行してもよい。検査画面は、オペレータへ1つ以上の検査質問718を提示してもよい。心不全診断アプリケーションの場合、検査質問718は、診断対象の被験者の現在の心拍数を測定するものであってもよい。診断アプリケーションは、応答領域720を通して応答を受け取る。例えば、第一値を下回る(例えば、91心拍数/分(bpm)未満である)、第一値と第二値との間の範囲(91bpmと110bpmの間)内にある、あるいは第二値を上回る(例えば、110bpmを上回る)ことを、オペレータは応答領域720に示してもよい。
[0214] コンピュータ装置704は、検査質問718への応答を受け取ったら、図7Cに示される検査画面から、図7Dに示される超音波画像取得画面へ移行してもよい。超音波画像取得画面は、撮像指示722をオペレータへ提示してもよい。心不全診断アプリケーションの場合、撮像指示722は、被験者の支援型駆動率(EF)測定を開始するように、オペレータへ指示を出してもよい。EFは、収縮毎にどれだけの血液を心室が吐き出すかに関する測定値であってもよい。EFは、例えば、被験者の心臓の1つ以上の超音波像を分析することにより、識別および計算されてもよい。コンピュータ装置704は、起動されている選択領域724の「測定開始」ボタンへ応答して、支援型EF測定プロセスを開始してもよい。
[0215] コンピュータ装置702は、超音波装置と通信し、選択領域724で起動されている「測定開始」ボタンに応答して、超音波像を捕捉してもよい。コンピュータ装置702は、図7Dに示される画像取得画面から、図7Eに示される画像取得支援画面へ移行してもよい。画像取得支援画面は、超音波装置を用いて捕捉される超音波像726を表示してもよい。いくつかの実施形態において、画像取得支援画面は、標的解剖学的像(例えば、PLAX像)を含む超音波像を取得するには超音波装置726をどのように再配置すべきかについて、1つ以上の指示を表示してもよい。超音波装置が適切に位置付けられたら、画像取得支援画面は、超音波装置が適切に位置付けられたことを示す指標を表示してもよい。適切な(臨床的に関連性のある)像(複数も可)が取得されたら、オペレータは、「確証」ボタンを通して取得を確証してもよい。
[0216] 超音波像がオペレータにより確証されたら、コンピュータ装置704は、図7Eに示される画像取得支援画面から、図7Fに示される診断結果画面へ移行してもよい。診断結果画面は、捕捉された超音波像730を分析し、決定された診断結果728、732を表示してもよい。図に示されるように、診断結果画面は、被験者のEF30%および関連のニューヨーク心臓協会(NYHA)分類IVを表示してもよい。この分類システムは、IからIVまで(IVが最も重篤)の4つの範疇の心不全を利用する。
[0217] コンピュータ装置704は、選択領域734で起動されている「可能な治療法を見る」に応答して、図7Fに示される診断結果画面から、図7Gおよび7Hに示される1つ以上の治療画面へ移行してもよい。図7Gに示される治療画面は、被験者へ提供されている現在の治療法に関する治療質問736、および以下、すなわち(1)治療質問736への応答、(2)診断結果、(3)捕捉された超音波像、(4)身体診察質問への応答、および(5)臨床質問への応答のうちの任意の1つに基づいて決定された推奨治療法738を表示してもよい。図7Hに示される治療画面は、図7Gの治療画面の拡張であってもよい。例えば、オペレータは、図7Gに示される治療画面をスクロールダウンすることにより、図7Hの治療画面にアクセスしてもよい。図7Hの治療画面は、被験者へ提供したいと思う治療法をオペレータが選択する、治療選択740を表示してもよい。図に示されるように、治療選択740により、オペレータは、心不全を治療するための1つ以上の医薬品、例えばアンジオテンシン変換酵素阻害薬(ACE阻害薬)、アンジオテンシン受容体拮抗薬(ARB)または他の代替薬のうちから1つを選択できる。次に、診断アプリケーションは、治療法に関してオペレータへ更なる情報を提供するため、選択された治療法に基づいて、1つ以上の外部リンク742を表示してもよい。
[0218] 図7A~7Hは1つの例示的実施に過ぎず、うっ血性心不全とは別の病状に関しては他の診断アプリケーションを作成してもよいことは理解されるべきである。更に、診断アプリケーションは、(医者ではなく)在宅の被験者により使用されるように作成されてもよい。例えば、医師は、超音波装置を用いて被験者の状態をモニターするため、被験者が在宅使用できるように構成された超音波装置を提供してもよい。更に、診断アプリケーションは、超音波装置と一緒に使用されるような形態で被験者へ提供されてもよい。斯かる診断アプリケーションは、被験者の個人的な携帯スマートフォンまたはタブレット上にインストールされてもよい。診断アプリケーションは、被験者による超音波装置の操作を援助し、捕捉された超音波像を医師が分析できるように格納する(および/またはアップロードする)ように構成されていてもよい。その結果、医師は、被験者を入院させることなく、被験者の健康状態を遠隔モニターできるようになる。
[0219] 図8A~8Dは、在宅環境で被験者が使用するように設計された上記のような診断アプリケーション用の例示的ユーザインターフェースを示す。診断アプリケーションは、オペレータが超音波装置を用いて、在宅で超音波像を捕捉するのを援助するように構成されていてもよい。診断アプリケーションは、例えば、コンピュータ装置804(被験者の携帯モービルフォンまたはタブレットなど)によって実行されてもよい。コンピュータ装置804は、診断アプリケーションの1つ以上のユーザインターフェース画面を表示するように構成された一体型表示装置806を有していてもよい。コンピュータ装置804は、有線または無線通信リンクを用いて、超音波装置(図示しない)に通信可能に接続されていてもよい。コンピュータ装置は、非音波像を捕捉するように構成された撮像装置805(例えば、カメラ)を有していてもよい。撮像装置805は、オペレータが超音波装置を保持して画像を捕捉するのと同時に、表示装置806に表示された1つ以上の指示も見ることができるように、表示装置806と同じ側に配置されていてもよい。
[0220] 図8Aは、起動された診断アプリケーション上に表示された例示的ホーム画面である。ホーム画面は、超音波装置に関連付けられた迅速応答(QR)コードをスキャンするようにオペレータへ指示するための、オペレータ用メッセージ808を含む。QRコードは、例えば、超音波装置自体に置かれていてもよいし、および/または超音波装置に関連した包装上に置かれていてもよい。ホーム画面は、撮像装置(例えば、コンピュータ装置804と一体化され、表示装置806の反対側に置かれた撮像装置)によって捕捉された像を表示してもよい。ホーム画面は、撮像装置の視野内のどこにユーザがQRコードを配置してQRコードを読み取らせるべきかを図示するため、捕捉画像内にスキャン領域810を示してもよい。
[0221] コンピュータ装置804がQRコードを読み取ったら、コンピュータ装置804は、図8Aに示されるホーム画面から、図8Bに示される被験者情報画面へ移行してもよい。被験者情報画面は、スキャンしたQRコードを用いてコンピュータ装置804によって取得された被験者情報810の表示を含んでもよい。例えば、コンピュータ装置804は、遠隔サーバー内の被験者の医療記録にアクセスするのに、スキャンしたQRコードを用いているかもしれない。オペレータは、被験者情報810が正しいことを確証したら、選択領域812の確証ボタンを起動してもよい。
[0222] QRコードとは異なるタイプのバーコードを利用してもよいことは、理解されるべきである。他の例示的バーコードには、MaxiCodeバーコード、Codabarバーコード、およびAztecバーコードが含まれる。
[0223] コンピュータ装置804は、選択領域812で起動されている「確証」ボタンに応答して、図8Bに示される被験者情報画面から、図8Cに示される画像取得画面へ移行しても良い。図に示されるように、画像取得画面は、超音波装置にゲルを適用するようにと言うオペレータ用のメッセージ814、およびオペレータが超音波像の取得を開始するための開始ボタンを含む選択領域816を有する。
[0224] コンピュータ装置804は、選択領域816で起動されている「開始」ボタンに応答して、図8Cに示される画像取得画面から、図8Dに示される画像取得支援画面へ移行してもよい。図に示されるように、画像取得支援画面は、超音波装置820を保持している被験者818の非音波像(例えば、撮像装置805によって捕捉された像)を含んでいてもよい。標的解剖学的像を含む超音波像を捕捉するようにオペレータを導くため、指示822が捕捉された非音波像上に重ねられてもよい。コンピュータ装置804が標的解剖学的像を含む超音波像を捕捉したら、コンピュータ装置804は、捕捉した超音波像を後に医師が検索するため、それをローカルで格納し、および/または外部サーバーへ画像をアップロードし、それを被験者に関連付けられた医療記録へ加えてもよい。コンピュータ装置804は、超音波像の捕捉が成功したことの確証をオペレータのために更に表示してもよい。
(例示的プロセス)
[0225] 図9は、標的解剖学的像を含む超音波像を捕捉するように超音波装置のオペレータを導くための、例示的プロセス900を示す。このプロセス900は、例えば、超音波システム内のコンピュータ装置によって実行してもよい。図に示されるように、プロセス900は、超音波像を取得する動作902と、超音波像が標的解剖学的像を含むか否かを決定する動作904と、ガイダンスプランを生成する動作906と、超音波装置を再配置するように指示を提供する動作908と、適切な位置付けを示す指標を提供する動作910とを有する。
[0225] 図9は、標的解剖学的像を含む超音波像を捕捉するように超音波装置のオペレータを導くための、例示的プロセス900を示す。このプロセス900は、例えば、超音波システム内のコンピュータ装置によって実行してもよい。図に示されるように、プロセス900は、超音波像を取得する動作902と、超音波像が標的解剖学的像を含むか否かを決定する動作904と、ガイダンスプランを生成する動作906と、超音波装置を再配置するように指示を提供する動作908と、適切な位置付けを示す指標を提供する動作910とを有する。
[0226] 動作902において、コンピュータ装置は被験者の超音波像を取得する。コンピュータ装置は、該コンピュータ装置と通信可能に連結された超音波装置と通信することにより、超音波像を取得してもよい。例えば、コンピュータ装置は、超音波装置へ指示を送り、超音波データを生成し、その超音波データをコンピュータ装置へ送信してもよい。次に、コンピュータ装置は、受信した超音波データを用いて超音波像を生成してもよい。加えて(あるいはその代わりに)、超音波像は超音波装置が生成し、コンピュータ装置がその超音波像を超音波装置から取得してもよい。
[0227] 動作904において、コンピュータ装置は、超音波像が標的解剖学的像を含んでいるか否かを決定してもよい。超音波像が標的解剖学的像を含んでいることをコンピュータ装置が決定したら、コンピュータ装置は動作910へ進み、オペレータが超音波装置を移動させるためのガイダンスプランを生成してもよい。
[0228] いくつかの実施形態において、コンピュータ装置は、超音波画像が標的解剖学的像を含むか否かを決定するのに、自動画像処理技術(例えば、深層学習技術)を利用してもよい。例えば、超音波像は、該超音波像に含まれる解剖学的像を識別するように訓練されたニューラルネットワークへ、入力として提供されてもよい。斯かるニューラルネットワークの出力は、超音波画像に含まれる特定の解剖学的像を示すものであってもよい。この例において、識別された解剖学的像は標的解剖学的像と比較され、それらが一致するか否か決定されてもよい。識別された解剖学的像と標的解剖学的像とが一致するならば、コンピュータ装置は、超音波像が標的解剖学的像を含むと決定する。そうでなければ、コンピュータ装置は、超音波像は標的解剖学的像を含まないと決定する。別の例では、ニューラルネットワークは、入力された超音波像に基づいて、オペレータ用に指示の表示を直接提供するように構成されていてもよい。従って、コンピュータ装置は、超音波装置が適切に位置付けられていることの確証、あるいは超音波装置を特定の方向へ移動させるようにと言う指示を、出力として提供する。この例の場合、コンピュータ装置は、出力として確証を提供するニューラルネットワークへ応答し、超音波像が標的解剖学的像を含んでいると決定してもよい。そうでなければ、コンピュータ装置は、超音波像は解剖学的像を含まないと決定する。
[0229] 動作906において、コンピュータ装置は、オペレータが超音波装置を移動させるのをどのように導くかに関するガイダンスプランを生成してもよい。いくつかの実施形態において、ガイダンスプランは、オペレータが超音波装置を初期位置から標的位置(すなわち標的解剖学的像を含む超音波像が捕捉される位置)へ移動させるための案内路を有していてもよい。斯かる実施形態において、コンピュータ装置は、少なくとも部分的には、(例えば、深層学習技術を用いて)超音波像に含まれる解剖学的像を識別し、識別された解剖学的像を被験者の位置へマッピングすることにより、被験者上の超音波の初期位置を識別してもよい。標的位置は、例えば、標的解剖学的位置を被験者の位置へマッピングすることにより識別してもよい。初期位置および標的位置が識別されたら、コンピュータ装置は、初期位置と標的位置との間にある、超音波装置を移動させるための案内路を識別してもよい。案内路は、超音波装置が移動して標的位置に到達するための一連の方向(例えば、並進方向または回転方向)を有していてもよい。生成された案内路は、超音波装置の初期位置と超音波装置の標的位置との間の最短経路ではないかもしれない。例えば、生成された経路は、オペレータへ正確に伝えるのには問題のある斜め移動の使用を避けてもよい。あるいは(またはそれに加えて)、生成された経路は、被験者の特定の領域(例えば、硬質組織を含む領域)を避けてもよい。超音波装置の初期位置と標的位置との間の案内路が決定されたら、コンピュータ装置は、1つ以上の一連の指示を生成し、案内路に沿って超音波装置を移動させるための指示をオペレータへ提供してもよい。
[0230] 動作908において、コンピュータ装置は、超音波装置を再配置するための指示をオペレータへ提供してもよい。指示は、例えば、スピーカーを通して行われる音声指示、表示装置を用いて行われる視覚指示、および/または(例えば、コンピュータ装置および/または超音波装置と一体化された)振動装置を用いて提供される触覚指示であってもよい。指示は、例えば、動作906で生成されたガイダンスプラン内の一連の指示に基づいて提供されてもよい。例えば、コンピュータ装置は、一連の指示の中から単一の指示を識別し、その識別された指示を提供してもよい。指示はガイダンスプランから必ずしも出される必要のないことは理解されるべきである。例えば、上述したように、ニューラルネットワークは、受信した超音波像に基づいて指示を直接出力してもよい。この例の場合、出力指示は直接提供され、ガイダンスプランを生成する動作906を省いてもよい。
[0231] コンピュータ装置は、超音波装置を再配置するための指示を提供したら、オペレータへ追加の指示を提供するため、動作902、904、906、および/または908の1つ以上を繰り返してもよい。
[0232] 動作910において、コンピュータ装置は、適切な位置付けを示す指標を提供してもよい。例えば、コンピュータ装置は、スピーカーを通して出される音声確証、表示装置を用いて表示される視覚確証、または振動装置を通して提供される触覚確証を提供してもよい。
[0233] 図10は、オペレータのために拡張現実インターフェースを提供するための例示的プロセス1000を示す。拡張現実インターフェースは、超音波装置を含む現実世界の環境の非音波画像および1つ以上の要素(例えば、指示)を含んでいてもよい。プロセス1000は、例えば、超音波システムのコンピュータ装置によって実行されてもよい。図10に示されるように、プロセス1000は、超音波装置の画像を取得する動作1002と、合成画像を生成する動作1003と、合成画像を提示する動作1008とを含んでいる。合成画像を生成する動作1003は、画像内の超音波装置のポーズを識別する動作1004と、識別されたポーズを用いて指示を画像上に重ね合わせる動作1006とを含んでいてもよい。
[0234] 動作1002において、コンピュータ装置は、超音波装置の画像(例えば、非音声画像)を捕捉してもよい。非音声画像は、コンピュータ装置と一体化された撮像装置(例えば、カメラ)によって捕捉されてもよい。例えば、オペレータが被験者の場合、非音声画像は、携帯スマートフォンの前側にある(例えば、表示装置と同じ側にある)カメラを用いて捕捉してもよい。別の例では、オペレータが被験者以外の人(または人々)の場合、非音声画像は、携帯スマートフォンの後側にある(例えば、表示装置の反対側にある)カメラを用いて捕捉してもよい。
[0235] 動作103において、コンピュータ装置は合成画像を生成する。合成画像は、動作1002で捕捉された非音声画像および非音声画像上に重ね合された1つ以上の要素を含んでいてもよい。非音声画像上に重ね合された1つ以上の要素は、例えば、オペレータへフィードバックを提供するように設計された1つ以上の指示、すなわち標的解剖学的像を含む超音波像を取得するために超音波装置をどのように再配置するかに関する指示であってもよい。コンピュータ装置は、種々の方法のうちの任意の方法で合成画像を生成してもよい。いくつかの実施形態において、コンピュータ装置は、動作1004および1006を実行することにより合成画像を生成するように構成されていてもよい。
[0236] 動作1004において、コンピュータ装置は、非音声画像内の超音波装置のポーズ(例えば、位置および/または方位)を識別してもよい。コンピュータ装置は、自動画像処理技術(例えば、深層学習技術)を用いて、非音声画像内の超音波装置のポーズを識別してもよい。例えば、非音声画像は、その非音声画像のどの画素が超音波装置と関連しているかを識別するように構成されていてもよい。この例において、コンピュータ装置は、識別された画素を用いて、非音声画像内の超音波装置の位置を決定してもよい。いくつかの実施形態において、超音波装置は、非音声画像内の超音波装置の位置の識別を容易にするため、画像内に可視的に配置されたマーカーを有していてもよい。マーカーは、自動画像処理技術を用いて容易に認識可能な明瞭な形状、色、および/または画像を有していてもよい。非音声画像から抽出された情報と組み合わせて(またはその代わりに)、追加情報を用いることにより、超音波装置のポーズを識別してもよい。例えば、超音波装置は、動きを検出する1つ以上のセンサー(例えば、加速度計、ジャイロスコープ、コンパス、および/または慣性測定装置)を有していてもよい。この例において、超音波装置内の斯かるセンサーから得られた動き情報を用いて、超音波装置のポーズを決定してもよい。別の例では、超音波装置(例えば、超音波装置502)および超音波装置に接続されたコンピュータ装置(例えば、コンピュータ装置504)が、動きを検出するように構成されたセンサーを有していてもよい。この例では、超音波装置とコンピュータ装置の両方のセンサーからの動き情報を同時に使用することにより、コンピュータ装置に対する超音波装置のポーズを識別し、それにより、捕捉された非音声画像内の超音波装置のポーズを識別してもよい。
[0237] 動作1006において、コンピュータ装置は、識別されたポーズを用いて指示を非音声画像上に重ね合せることにより、拡張現実インターフェースを形成してもよい。例えば、コンピュータ装置は、超音波装置の移動方法(例えば、方向を示す矢印)に関する指示を、超音波装置の近くに配置するような形で、および/または部分的に超音波装置を覆うような形で、非音声画像上に重ね合わせてもよい。加えて(またはその代わりに)、そのポーズを用いて、拡張現実インターフェース内の他の要素を位置付けてもよい。例えば、超音波装置のポーズを用いて、超音波像を拡張現実インターフェース内に位置付けてもよい。この例において、超音波像は、非音声画像内の超音波装置から被験者の方に延伸して見えるように、拡張現実インターフェース内に位置付けられてもよい。そうすれば、オペレータは、超音波装置で撮像される被験者の特定部分を理解できるようになる。
[0238]動作1008において、コンピュータ装置は合成画像をオペレータに提示する。例えば、コンピュータ装置は、コンピュータ装置と一体化された表示装置を用いて、オペレータへ合成画像を提示してもよい。あるいは(またはそれに加えて)、コンピュータ装置は、合成画像を別の装置へ送信(例えば、その別の装置の表示装置上に提示)してもよい。
[0239] 図11は、超音波装置上のマーカーを用いて、非音声画像内の超音波装置の位置を追跡するための例示的プロセス1100を示す。プロセス1100は、例えば、超音波システム内のコンピュータ装置によって実行されてもよい。図に示されるように、プロセス1100は、超音波装置上に配置されたマーカーの画像を取得する動作1102と、超音波装置のポーズを識別する動作1103と、識別されたポーズを用いて指示を提示する動作1108とを含む。超音波装置のポーズを識別する動作1103は、画像内のマーカーの位置を識別する動作1104と、マーカーの特色を分析する動作1106とを含んでもよい。
[0240] 動作1102において、コンピュータ装置は、超音波装置上のマーカーの非音波画像を捕捉する。非音波画像は、コンピュータ装置と一体型の装置(例えば、カメラ)によって捕捉されてもよい。例えば、オペレータが被験者の場合、非音波画像は、携帯スマートフォンの前側にある(例えば、表示装置と同じ側にある)カメラを用いて捕捉してもよい。別の例では、オペレータが被験者以外の人(または人々)の場合、非音声画像は、携帯スマートフォンの後側にある(例えば、表示装置の反対側にある)カメラを用いて捕捉してもよい。
[0241] 動作1103において、コンピュータ装置は、捕捉された画像内の超音波装置のポーズ(例えば、位置および/または方位)を、マーカーを用いて識別してもよい。コンピュータ装置は、種々の方法のうちの任意の方法で、捕捉された画像内の超音波装置のポーズを識別してもよい。いくつかの実施形態において、コンピュータ装置は、動作1104および1106を実行することにより、非音波画像内の超音波装置のポーズを識別してもよい。
[0242] 動作1104において、コンピュータ装置は、非音波画像内のマーカーの位置を識別してもよい。コンピュータ装置は、識別されたマーカーの位置を用いて、マーカーを有している超音波装置の位置を識別してもよい。マーカーの位置は、自動画像処理技術を用いて、例えば、マーカーに特有の1つ以上の特徴、例えば、形状、色、および/または像を画像内に見つけることにより決定してもよい。
[0243] 動作1106において、コンピュータ装置は、マーカーの特徴を分析してもよい。コンピュータ装置は、例えば、マーカーの特徴を分析することにより、捕捉された画像内の超音波装置の方位を決定してもよい。コンピュータ装置がマーカーの特徴を用いて方位を決定する特定の方法は、例えば、使用される特定のマーカーに依存していてもよい。1つの例において、マーカーは、パターンを有する単色のマーカーであってもよい。この例の場合、パターンを分析してそのパターンの方位を決定し、それによって非音波画像内の超音波装置の方位を決定してもよい。別の例では、マーカーは、見る角度によって異なる色を示すように構成されている分散型マーカーであってもよい。この例の場合、コンピュータ装置は、非音波画像内のマーカーの色を識別することによりマーカーの方位を決定し、それによって超音波装置の方位を決定してもよい。更に別の例では、見る角度によって異なる像を示すように構成されているホログラフィックマーカーであってもよい。この例の場合、コンピュータ装置は、ホログラフィックマーカーが提示する画像を識別し、その識別された画像を用いてマーカーの方位を決定し、それによって超音波装置の方位を決定してもよい。
[0244] 動作1108において、コンピュータ装置は、識別されたポーズを用いて指示を提示してもよい。いくつかの実施形態において、コンピュータ装置は、識別されたポーズを用いて、動作1102で取得された非音波画像上に指示を重ね合わせることにより、拡張現実インターフェース用の合成画像を形成してもよい。例えば、コンピュータ装置は、超音波装置の移動方法(例えば、方向を示す矢印)に関する指示を、超音波装置の近くに配置するような形で、および/または部分的に超音波装置を覆うような形で、非音声画像上に重ね合わせてもよい。加えて(またはその代わりに)、そのポーズを用いて、拡張現実インターフェース内の他の要素を位置付けてもよい。例えば、超音波装置のポーズを用いて、超音波像を拡張現実インターフェース内に位置付けてもよい。この例において、超音波像は、非音声画像内の超音波装置から被験者の方に延伸して見えるように、拡張現実インターフェース内に位置付けられてもよい。そうすれば、オペレータは、超音波装置で撮像される被験者の特定部分を理解できるようになる。
[0245] 図12は、捕捉された超音波像を分析して、被験者の医療パラメータを識別する例示的プロセス1200を示す。プロセス1200は、例えば、超音波システム内のコンピュータ装置によって実行されてもよい。図に示されているように、プロセス1200は、超音波像を取得する動作1202と、超音波像内の解剖学的特徴を識別する動作1204と、識別された解剖学的特徴を用いて医療パラメータを識別する動作1206とを有している。
[0246] 動作1202において、コンピュータ装置は被験者の超音波像を取得する。コンピュータ装置は、超音波装置に通信可能に連結された超音波装置と通信することにより、超音波像を取得してもよい。例えば、コンピュータ装置は、超音波装置へ指示を送信して超音波データを生成し、その超音波データをコンピュータ装置へ送信してもよい。その後、コンピュータ装置は、受信した超音波データを用いて超音波像を生成する。
[0247] 動作1204において、コンピュータ装置は超音波像内の解剖学的特徴を識別する。例えば、コンピュータ装置は、超音波像内の解剖学的特徴として、心室、心臓弁、心臓中隔、心臓乳頭筋、心房、大動脈、および肺などを識別してもよい。コンピュータ装置は、自動画像処理技術(例えば、深層学習技術)を用いて解剖学的特徴を識別してもよい。例えば、コンピュータ装置は、超音波像のどの画素が解剖学的特徴と関連付けられているかを示す指標を出力として提供するように構成された(例えば、訓練された)ニューラルネットワークへ、超音波像を入力として提供してもよい。このニューラルネットワークは、標的解剖学的像を含む超音波像を取得する目的でオペレータを導くのに用いられるニューラルネットワーク(上述のプロセス900で使用されたニューラルネットワークなど)とは全く別である点は理解されるべきである。
[0248] 動作1206において、コンピュータ装置は、識別された解剖学的特徴を用いて医療パラメータを識別してもよい。例えば、コンピュータ装置は、患者の駆出率、短縮率、心室直径、心室容積、拡張終期容積、収縮終期容積、心拍出力、行程容積、心室中隔厚さ、心室壁厚さ、および脈拍数を決定してもよい。いくつかの実施形態において、コンピュータ装置は、識別された解剖学的特徴の1つ以上の特色を分析することにより、医療パラメータを識別してもよい。例えば、コンピュータ装置は超音波像内に心室を識別し、超音波像から心室の寸法を抽出することにより、心室容積および/または心室直径を決定してもよい。コンピュータ装置は、複数の超音波像を分析して医療パラメータを識別してもよいことは理解されるべきである。例えば、コンピュータ装置は、複数の超音波像の各々に心室容積を識別し、収縮終期容積として最小の心室容積を選択し、拡張終期容積として最大の心室容積を選択してもよい。更に、収縮終期容積および拡張終期容積を用いて、別の医療パラメータ(例えば、EF)を決定してもよい。
[0249] 図13は、被験者の医療状態の診断を生成するための例示医的プロセス1300を示す。プロセス1300は、例えば、超音波システム内のコンピュータ装置によって実行されてもよい。図に示されているように、プロセス1300は、被験者に関する医療情報を受信する動作1302と、標的解剖学的像を識別する動作1304と、標的解剖学的像を含む超音波像を取得する動作1306と、被験者の医療状態の診断を生成する動作1308と、被験者のために推奨治療法を生成する動作1310とを含む。
[0250] 動作1302において、コンピュータ装置は被験者に関する医療情報を受信する。受信される被験者に関する医療情報には、例えば、心拍数、血圧、体表面積、年齢、体重、身長、および被験者が摂取している医薬品が含まれる。コンピュータ装置は、例えば、オペレータに1つ以上の質問をし応答を受け取ることにより、医療情報を受信してもよい。加えて(あるいはそれに代わって)、コンピュータ装置は、医療情報を取得するのに外部システムと通信してもよい。例えば、オペレータはコンピュータ装置を用いて超音波装置のバーコード(例えば、QRコード)をスキャンし、コンピュータ装置はバーコードから得た情報を用いて、被験者に関連付けられた、遠隔サーバー上の医療記録にアクセスしてもよい。
[0251] 動作1304において、コンピュータ装置は、受信した医療情報に基づいて標的解剖学的像を識別してもよい。コンピュータ装置は、受信した医療情報を分析し、機能が異常な1つ以上の器官を識別してもよい。次に、コンピュータ装置は、識別された1つ以上の器官を含む解剖学的像を識別してもよい。例えば、被験者に関する医療情報は、被験者の心臓の機能が異常である(例えば、患者はうっ血性心不全である)ことを示しており、撮像対象の解剖学的像としてPLAX像を識別するかもしれない。
[0252] 動作1306において、コンピュータ装置は、標的解剖学的像を含む超音波像を取得する。例えば、コンピュータ装置は、標的解剖学的像を含む被験者の超音波像を、患者の電子健康記録から受信してもよい。あるいは(またはそれに加えて)、コンピュータ装置は、標的解剖学的像を含む超音波像を取得するようにオペレータを導いてもよい。例えば、標的解剖学的像を含む超音波像を取得するには、オペレータはどのようにして超音波装置を被験者に配置すべきかに関する1つ以上の指示を、コンピュータ装置は提示してもよい。コンピュータ装置は、種々の方法のうちの任意の方法で、斯かる指示を生成および/または提供してもよい。例えば、コンピュータ装置は、上述のプロセス900と類似(または同一)のプロセスを実行してもよい。
[0253] 動作1308において、コンピュータ装置は、標的解剖学的像を含む超音波像を用いて、被験者の医療状態の診断を生成してもよい。いくつかの実施形態において、コンピュータ装置は、標的解剖学的像を含む超音波像を分析して1つ以上の医療パラメータ(例えば、被験者のEF)を識別し、識別した1つ以上の医療パラメータを用いて(それだけ用いて、あるいは他の情報(被験者の医療情報など)と組み合わせて用いて)、診断を生成してもよい。斯かる実施形態において、コンピュータ装置はプロセス1200の1つ以上の動作を実行し、被験者の医療パラメータを識別してもよい。例えば、コンピュータ装置は、動作1202、1204、および/または1206を実行することにより被験者の駆出率を決定し、得られた駆出率を閾値と比較することにより、被験者がうっ血性心不全を患っているのか否かを決定してもよい。コンピュータ装置は、医療パラメータに関する情報を他の情報(動作1302で受信した被験者に関する医療情報など)と組み合わせて、被験者の医療状態を診断してもよい。例えば、コンピュータ装置は、被験者の駆出率は閾値を下回っており、被験者はうっ血性心不全の症状(発作性夜間呼吸困難の経験など)を報告していると決定したコンピュータ装置に応答して、その患者をうっ血性心不全と診断してもよい。コンピュータ装置は、種々の医療状態のうちの任意の状態、例えば、心臓病(例えば、うっ血性心不全、冠動脈疾患、先天性心疾患)、肺疾患(例えば、肺癌)、腎臓病(例えば、腎臓結石)、および/または関節疾患(例えば、関節炎)などを診断するように構成してもよいことは理解されるべきである。
[0254] 動作1310において、コンピュータ装置は、被験者のために1つ以上の推奨治療法を生成する。コンピュータ装置は、被験者の診断に基づいて1つ以上の推奨治療法を生成してもよい。推奨治療法は、例えば、食生活の変化、運動ルーチンの変化、医薬品、生物製剤(例えば、ワクチン、遺伝子治療、細胞治療)、放射線療法、化学療法、外科的介入を含む。例えば、被験者はうっ血性心不全と診断され、コンピュータ装置は、アンジオテンシン変換酵素阻害薬(ACE阻害薬)、アンジオテンシン受容体拮抗薬(ARB)または他の代替薬に関する推奨治療法を生成してもよい。
[0255] コンピュータ装置は、推奨治療法を生成するのに、診断以外の情報、例えば、被験者の医療情報、および/または超音波像から抽出した1つ以上の医療パラメータを使用してもよいことは理解されるべきである。例えば、被験者の医療情報は被験者が喫煙者であり、被験者がうっ血性心不全と診断された場合、コンピュータ装置は、喫煙を辞めるべきと言う推奨治療法を含んでもよい。別の例では、被験者の医療情報が被験者に関する医薬品アレルギーを含んでいる場合、コンピュータ装置は、被験者がアレルギーを起こす医薬品の投与を含む治療法は推奨しないであろう。更に別の例では、被験者の医療情報が被験者が摂取している1つ以上の医薬品を含んでいる場合、コンピュータ装置は、被験者が既に摂取している医薬品の1つ以上と有害な相互作用を起こす治療法は推奨しないであろう。
[0256] 種々の発明概念が1つ以上のプロセスとして具体化されてもよく、その例が本明細書に提供されている。各プロセスの一環として実行される動作は、任意の適切な方法で順番付けされてもよい。従って、実施形態は、動作が図示されている順番とは異なる順番で実行されるように構築されてもよく、これには、図示された実施形態では動作が順番に示されていても、いくつかの動作が同時に実行される場合も含まれる。更に、1つ以上のプロセスが組み合わされてもよい。例えば、被験者に関する医療情報に基づいて撮像対象の解剖学的像を識別するプロセス1300は、捕捉された超音波像を分析して被験者の医療パラメータを識別するプロセス1200と組み合わされてもよい。従って、コンピュータ装置は、(1)撮像対象の解剖学的像を識別し、(2)解剖学的像を含む超音波像を捕捉するようにオペレータを導き、(3)捕捉された超音波像を分析して被験者の医療パラメータを識別してもよい。この例の場合、識別された医療パラメータおよび/または被験者に関する医療情報に基づいて、1つ以上の治療推奨が追加的に行われてもよい。
(例示的深層学習技術)
[0257] 本明細書記載の技術の態様は、画像(例えば、超音波像および非音波画像)を分析するための、自動画像処理技術の適用に関する。いくつかの実施形態では、自動画像処理技術は、機械学習技術(例えば、深層学習技術)を含んでもよい。機械学習技術は、1組のデータポイントのパターンを識別し、識別したパターンを用いて新しいデータポイントを予測する技術を含んでいてもよい。斯かる機械学習技術は、斯かる予測を行うため、訓練データセットを用いてモデルを訓練する(および/または構築する)工程を含んでいてもよい。訓練されたモデルは、例えば、データポイントを入力として受け取り、そのデータポイントが属する可能性のあるクラスの指標を出力として提供するように構成された分類子として使用されてもよい。
[0257] 本明細書記載の技術の態様は、画像(例えば、超音波像および非音波画像)を分析するための、自動画像処理技術の適用に関する。いくつかの実施形態では、自動画像処理技術は、機械学習技術(例えば、深層学習技術)を含んでもよい。機械学習技術は、1組のデータポイントのパターンを識別し、識別したパターンを用いて新しいデータポイントを予測する技術を含んでいてもよい。斯かる機械学習技術は、斯かる予測を行うため、訓練データセットを用いてモデルを訓練する(および/または構築する)工程を含んでいてもよい。訓練されたモデルは、例えば、データポイントを入力として受け取り、そのデータポイントが属する可能性のあるクラスの指標を出力として提供するように構成された分類子として使用されてもよい。
[0258] 深層学習技術は、ニューラルネットワークを用いて予測する、機械学習技術を含んでいてもよい。ニューラルネットワークは、通常、神経単位(ニューロンと呼ばれる)の集まりから成っており、各単位は、1つ以上の入力を受信し、その入力の関数である出力を提供するように構成されていてもよい。例えば、ニューロンは入力を合計し、その合計された入力に伝達関数(「活性化関数」と呼ばれる場合もある)を適用することにより、出力を生成する。ニューロンは各入力に重み付けをし、例えば、いくつかの入力に他の入力よりも重みを加えてもよい。使用される伝達関数には、例えば、ステップ関数、区分的線形関数、およびシグモイド関数が含まれる。斯かるニューロンは、複数の連続層(各々1つ以上のニューロンを有する)へ組織化されてもよい。複数の連続層は、ニューラルネットワーク用に入力データを受信する入力層、ニューラルネットワークへ出力データを提供する出力層、および入力層と出力層を接続する1つ以上の隠れ層を含んでいてもよい。隠れ層の各ニューロンは、前の層(入力層など)にある1つ以上のニューロンから入力を受け取り、後続の層(出力層など)にある1つ以上のニューロンへ出力を提供してもよい。
[0259] ニューラルネットワークは、例えば、標識化訓練データを用いて訓練してもよい。標識化訓練データは、1組の例示的入力および各入力に関連付けられた応答を有していてもよい。例えば、訓練データは、各超音波像に含まれる解剖学的像でそれぞれ標識化された複数の超音波像を有していてもよい。この例において、超音波像はニューラルネットワークへ提供され、超音波像の各々に関連付けられたラベルと比較される出力を取得してもよい。ニューラルネットワークが入力画像のほとんど(または全て)を正確に分類するまで、ニューラルネットワークの1つ以上の特色(例えば、異なる層におけるニューロン間の相互接続、および/または末端に関連付けられた重み)を調整してもよい。
[0260] いくつかの実施形態では、標識化訓練データはサンプル患者画像を有していてもよいが、その全てが、解剖学的構造体の「標準」の像または「良好な」像である必要はない。例えば、サンプル患者画像の1つ以上が、訓練目的の故に「非理想的」であってもよい。斯かるサンプル患者画像の各々が、訓練された臨床医によって評価されてもよい。訓練された臨床医は、サンプル患者画像の各々に定量的ラベルを追加してもよい。PLAX画像の特定の例において、臨床医は、その特定の画像が「正常」である(すなわち、分析目的としては、構造体の良好な像を示している)と決定してもよい。あるいは、画像が理想的でなければ、臨床医は、その問題点を示す特定のラベルをその画像に提供してもよい。例えば、超音波装置が患者上で「反時計回り過ぎる」または多分「時計回り過ぎる」方位に置かれていたので、その画像が得られたのかもしれないと。任意数の特定の誤差を特定のサンプル画像に割り当ててもよい。
[0261] 訓練データが作成されたら、その訓練データはデータベース(例えば、画像データベース)へロードされ、深層学習技術を用いてニューラルネットワークを訓練するのに使用されてもよい。ニューラルネットワークが訓練されたら、訓練されたニューラルネットワークは、1つ以上のコンピュータ装置へ導入されてもよい。ニューラルネットワークは、任意数のサンプル患者画像で訓練されてもよいことは理解されるべきである。例えば、多くのサンプル画像を用いれば用いるほど、更に頑健な訓練モデルデータとなることは理解されるであろうが、ニューラルネットワークは僅か7つのサンプル患者画像で訓練してもよい。
畳み込みニューラルネットワーク
[0262] いくつかのアプリケーションにおいて、ニューラルネットワークは、1つ以上の畳み込み層を用いて畳み込みニューラルネットワークを形成するように実施されてもよい。画像1402を分析するように構成された例示的な畳み込みニューラルネットワークが、図14に示してある。図に示されるように、畳み込みニューラルネットワークは、画像1402を受け取るための入力層1404と、出力を提供するための出力層1408と、入力層1404と出力層1408との間に接続されている複数の隠れ層1406とを有する。複数の隠れ層1406は、畳み込みおよびプーリング層1410と、緻密層1412とを有する。
[0262] いくつかのアプリケーションにおいて、ニューラルネットワークは、1つ以上の畳み込み層を用いて畳み込みニューラルネットワークを形成するように実施されてもよい。画像1402を分析するように構成された例示的な畳み込みニューラルネットワークが、図14に示してある。図に示されるように、畳み込みニューラルネットワークは、画像1402を受け取るための入力層1404と、出力を提供するための出力層1408と、入力層1404と出力層1408との間に接続されている複数の隠れ層1406とを有する。複数の隠れ層1406は、畳み込みおよびプーリング層1410と、緻密層1412とを有する。
[0263] 入力層1404は、畳み込みニューラルネットワークへの入力を受け取ってもよい。図14に示されるように、畳み込みニューラルネットワークへの入力は画像1402であってもよい。画像1402は、例えば、超音波像または非音声画像であってもよい。
[0264] 入力層1404の後続は、畳み込みおよびプーリング層1410であってもよい。畳み込み層は、畳み込み層への入力(例えば、画像1402)よりも空間的に小さな(例えば、より小さい幅および/または高さを有する)1組のフィルタを有していてもよい。フィルタの各々は、畳み込み層への入力と重ね合わされ、各空間位置におけるフィルタの応答を示す活性化マッピング(例えば、2次元活性化マッピング)を生成してもよい。畳み込み層の後続は、畳み込み層の出力をダウンサンプルしてその寸法を減少させるプーリング層である。プーリング層は、種々のプーリング技術、例えばマックスプーリングおよび/またはグローバルアベレージプーリングのいずれかを用いてもよい。いくつかの実施形態では、ダウンサンプリングは、ストライドを用いて、畳み込み層自体で(例えば、プーリング層なしで)実行されてもよい。
[0265] 畳み込みおよびプーリング層1410の後続は、緻密層1412であってもよい。緻密層1412は、前の層(例えば、畳み込み層またはプーリング層)から入力を受け取り、次の層(例えば、出力層1408)へ出力を提供する、各々1つ以上のニューロンを含む1つ以上の層を有していてもよい。緻密層1412は、特定の層の各ニューロンが、前の層の各ニューロンから入力を受け取り、次の層で各ニューロンに出力を提供するので、「緻密」と記載される。緻密層1412の後続は、畳み込みニューラルネットワークの出力を提供する出力層1408であってもよい。出力は、例えば、画像1402(または画像1402の任意の部分)が、1組のクラスのうちのどのクラスに属するかを示すものであってもよい。
[0266] 図14に示される畳み込みニューラルネットワークは僅か1つだけの実施例であり、他の実施例を用いてもよいことは理解されるべきである。例えば、1つ以上の層を図14の畳み込みニューラルネットワークに付け加えたり、除去したりしてもよい。畳み込みニューラルネットワークに付け加えられる追加の例示的層には、正規化線形関数(ReLU)層、パッド層、コンカテネイト層、およびアップスケール層が含まれる。アップスケール層は、層への入力をアップサンプリングするように構成されていてもよい。ReLU層は、入力への伝達関数としてレクチファイア(ランプ関数とも呼ばれる)を適用するように構成されていてもよい。パッド層は、入力の1つ以上の寸法をパディングすることにより、層への入力のサイズを変更するように構成されていてもよい。コンカテネイト層は、複数の入力を単一の出力に組み合わせる(例えば、複数の層からの入力を組み合わせる)ように構成されていてもよい。
[0267] 畳み込みニューラルネットワークは、本明細書記載の種々の機能のうちの任意の機能を実行するように使用されてもよい。例えば、畳み込みニューラルネットワークは、(1)超音波像に含まれる解剖学的像の識別、(2)オペレータへ提供される指示の識別、(3)超音波像内の解剖学的特徴の識別、または(4)非音声画像内の超音波装置のポーズの識別に使用されてもよい。斯かる機能の1つ以上を実行するのに、2つ以上の畳み込みニューラルネットワークを使用してもよいことは理解されるべきである。例えば、入力された超音波像に基づいてオペレータへ提供される指示を識別するのに、第一畳み込みニューラルネットワークを利用し、超音波像内の解剖学的特徴を識別するのに、第二の異なる畳み込みニューラルネットワークを利用してもよい。第一および第二ニューラルネットワークは異なる層アレンジメントを有していてもよいし、および/または異なる訓練データを用いて訓練されていてもよい。
[0268] 畳み込みネットワークの実施例が以下の表1に示される。表1に示される畳み込みニューラルネットワークは、入力画像(例えば、超音波像)の分類に利用されてもよい。例えば、表1に示される畳み込みニューラルネットワークは、入力された超音波像を受け取り、次に、超音波装置を正しく位置付けるには、1組の指示のうちのどの指示がオペレータへ提供されるべきかを示す出力を提供するように構成されていてもよい。1組の指示には、(1)超音波装置を下内側へ傾斜、(2)超音波装置を反時計回りに回転、(3)超音波装置を時計回りに回転、(4)超音波装置を1肋間腔下へ移動、(5)超音波装置を1肋間腔上へ移動、および(6)超音波装置を内側へ滑動が含まれていてもよい。表1において、層の順番が「層番号」欄によって示されており、層のタイプが「層タイプ」欄により示されており、層への入力が「層への入力」欄によって示されている。
[0269] 畳み込みニューラルネットワークの別の実施例が以下の表2に示される。表2に示される畳み込みニューラルネットワークは、超音波像内の左心室基部における2点を識別するのに利用してもよい。表2において、層の順番が「層番号」欄によって示されており、層のタイプが「層タイプ」欄により示されており、層への入力が「層への入力」欄によって示されている。
[0270] 畳み込みニューラルネットワークの更なる別の実施例が以下の表3に示される。表3に示される畳み込みニューラルネットワークは、超音波像を受け取り、入力画像内の各画素を前景(解剖学的構造体、例えば、左心室)に属するもの、または背景に属するものとして分類するように構成されていてもよい。表1および2に示される畳み込みニューラルネットワークと比較して、分類出力の解像度を増大させるため、アップサンプリング層が導入されている。個々の画素の正確な分類を提供するため、アップサンプリングされた層の出力と他の層の出力が組み合わされている。表3において、層の順番が「層番号」欄によって示されており、層のタイプが「層タイプ」欄により示されており、層への入力が「層への入力」欄によって示されている。
統計学的知識を畳み込みニューラルネットワークへ統合
[0271] いくつかの実施形態では、統計学的事前知識を畳み込みニューラルネットワークへ統合してもよい。例えば、破損データまたはノイズの多いデータであっても頑健な予測を得るため、主成分分析法(PCA)を通して取得された統計学的事前知識を畳み込みニューラルネットワークへ統合してもよい。斯かる実施形態においては、ネットワークアーキテクチャはエンドツーエンドで訓練され、特別設計の層、すなわちPCAを通して発見されるバリエーションのデータセットモードが組み込まれた層であって、斯かるモードを線形的に組み合わせることにより予測を生成する層を有していてもよい。更に、より正確な予測を取得するため、入力画像に関する特定な関心領域に畳み込みニューラルネットワークの焦点を合わせるメカニズムを有していてもよい。
[0271] いくつかの実施形態では、統計学的事前知識を畳み込みニューラルネットワークへ統合してもよい。例えば、破損データまたはノイズの多いデータであっても頑健な予測を得るため、主成分分析法(PCA)を通して取得された統計学的事前知識を畳み込みニューラルネットワークへ統合してもよい。斯かる実施形態においては、ネットワークアーキテクチャはエンドツーエンドで訓練され、特別設計の層、すなわちPCAを通して発見されるバリエーションのデータセットモードが組み込まれた層であって、斯かるモードを線形的に組み合わせることにより予測を生成する層を有していてもよい。更に、より正確な予測を取得するため、入力画像に関する特定な関心領域に畳み込みニューラルネットワークの焦点を合わせるメカニズムを有していてもよい。
[0272] 解剖学的構造体の複雑さ、並びに雑音、アーチファクト、視覚的混雑、および不明確な画像領域により、画像分析がしばしば不明瞭となり、誤差も生じる。医学分野においては、斯かる誤差の多くが、統計学的な事前知識に依存することにより解決できる。例えば、セグメンテエーションにおいては、セグメント化輪郭に関する事前知識を組み込むと役に立つ。目印局在化タスクにおいては、異なる目印間の記号論的関係、並びにその位置が何故相互に変化可能なのかに関する知識が役立つ。最後に、選択領域の外観を捕捉する統計学的モデルが、多くの場合、結果を改善することが証明されている。
[0273] 形状モデルも、機械学習に基づくセグメント化アルゴリズムを制約するのに用いられる。これは、PCA係数の事後分布を学習し、グラウンドトゥルース輪郭の一部を見えない例に再投射することにより実行される。斯かるモデルは、浅いアーキテクチャ、手動構築または学習された特徴、および正規化または後処理工程の一環として課せられる形状制約に依存する。
[0274] 深層学習方法、特に畳み込みニューラルネットワークには、特徴の階層構造を生データから直接学習する驚異的能力のあることが証明されている。深層学習モデルは複数の層で組織化されており、特徴はカスケード形式で抽出される。ネットワークの深さが増すと、抽出された特徴は更に大きい画像領域に関連するので、初期の層で抽出されたコンセプトと比べ、より高いレベルのコンセプトを認識する。
[0275] 残念なことに、医療画像分析への深層学習方法の適用は、大規模な注釈付きデータセットを用いた訓練が必要とされるので、その可能性は限定される場合が多い。学習プロセス中に更に多くの注釈付きデータを提供することにより、複雑な現実世界の状態を更に大規模に捕捉できるようになり、従って、学習プロセスに事前知識を統合する難しさを部分的には乗り越えられるようになる。医学分野においては、データ使用および循環の制限並びに注釈プロセスの煩雑さの故に、大規模な注釈付きデータベースを得るのは困難な場合が多い。更に、医療画像は、通常、スキャニング次第で構造体の質および外観に大きい違いが生じるので、それが機械視覚アルゴリズムの性能を更に阻害する原因となっている。特に、超音波像は、雑音、影、信号低下領域、および観察者によってさえも解釈が困難な他のアーチファクトにより、破損されている場合が多い。加えて、超音波スキャニングは、専門家がそれを行った場合でも、オペレータ内およびオペレータ間において、様々な取得多様性が生じる。
[0276] いくつかの実施形態では、訓練データの変動の主モードを発見するのにPCAを利用してもよい。斯かる発見された変動の主モードは、畳み込みニューラルネットワークへ統合されてもよい。訓練データを統計学的に分析して抽出される事前知識を用いることによってネットワーク予測を制約すれば、結果の頑健性は増大する。このアプローチ法により、対象組織が部分的にしか見えない場合、その外観が明瞭でない場合、または観察された訓練例と視覚的に異なっている場合などでも、処理が可能とする。
[0277] 新しいPCA層(変動のデータセットモードを組み込み、モードの線形結合として予測を生成する層)を含む、畳み込みニューラルアーキテクチャを利用してもよい。このプロセスは、後続の畳み込みニューラルネットワークの焦点を特定の目的領域に合わせることにより更に精密な予測を取得する工程で使用される。重要な点であるが、ネットワークは、PCA層にコードされた形状、並びに諸々の点の最終位置に課せられた損失を用いて、エンドツーエンドで訓練される。エンドツーエンドでの訓練により、ネットワークパラメータのランダム構成から開始し、次に推定タスクおよび訓練データに従って、最適なフィルタおよびバイアスのセットを見出すことが可能となる。この方法は、例えば、傍胸骨長軸像から得られる2D超音波心臓検査の目印局在化、および心尖部4腔像から得られるスキャン中の心室セグメント化に適用されてもよい。
[0278] PCAで取得される統計学的な事前知識を畳み込みニューラルネットワークに取り込むことにより、以前の深層学習法の限界(強力な形状プライアの欠如)、およびアクティブ形状モデルの限界(最新のパターン認識能力の欠如)を乗り越えることができる。この方法は完全に自動式であるので、人間の介入を必要とするASMに基づいた従来のほとんどの方法とは異なっている。ニューラルネットワークは、最適化ループを全く必要とせずに、単一の工程で予測を出力する。
[0279] いくつかの実施形態では、N像を含む訓練セット並びに(目印位置を示すPキーポイントの座標から成る)関連グラウンドトゥルース注釈を用いてもよい。訓練セットは、まずYの座標の変動に関する主モードを取得し、次にそれを用いて畳み込みニューラルネットワークを訓練するのに使用してもよい。予測を形成するのに使用される情報は、複数の畳み込みおよびプーリング操作の後に得られるので、精密で高解像度の詳細が層全体で失われる可能性がある。そのため、画像の一部をクロップし、ネットワークの焦点を完全解像度の詳細に合わせることにより予測を精密化するメカニズムを利用してもよい。アーキテクチャはエンドツーエンドで訓練してもよいし、ネットワークの全パラメータは反復毎に更新されてもよい。
[0280] 自然に起きる構造体(例えば、器官、体の解剖学的詳細)の変動の多くは、気まぐれに生じているのではない。母集団を示す形状のデータセットを単に観察することにより、異なる形状部分間に対称性および相関関係が存在することに気付くであろう。同様に、体の異なる目印の位置においても、それらは相互に密接に関連し合っているので、相関関係を観察できる場合が多い。手元のデータセット変動の主モードを発見するのにPCAを利用できる。形状が全データセットにおいて整列点集合として記載されている場合、PCAは、異なる点間にどういう相関関係が存在するかを見出し、変動の主モードが軸に対応する新しい座標フレームを定義する。その主成分は、それがデータセットを含む行列Yを有する場合(この場合、各観察yiはそのカラムの1つを構成する)、まず方程式(3)を用いてYを軽視し、次に共分散行列
の固有ベクトルを計算することにより取得してもよい。
の固有ベクトルを計算することにより取得してもよい。
これは方程式(4)のUに対応する。
これは、特異値分解(SVD)を用いて取得される。行列
は対角行列であり、共分散行列の固有値を含んでおり、Eigenbase内の各主成分に関連付けられた分散を示す。
は対角行列であり、共分散行列の固有値を含んでおり、Eigenbase内の各主成分に関連付けられた分散を示す。
[0281] データベース内の例はいずれも、方程式(5)に示されるような主成分の線形結合として合成できる。
線形結合の各係数は、1つの位置だけでなく、手元の形状を記述する複数の相関関連ポイントも決定する。各主成分の効果に重みを付けて係数に制約を課すことにより、あるいは保持された分散と主成分の数との間に正しいバランスが達成されるまで数を減少させることにより、前に導入された「legal shape」のコンセプトを尊重する形状が合成できる。
[0282] 畳み込みニューラルネットワークは、方程式5の重みwに回帰推定を行うようには訓練されなくてもよい。その代り、エンドツーエンドアーキテクチャが用いられるが、その場合、ネットワークは、キーポイント位置の形で1つの画像から予測を立てるのに、PCA Eigenbaseを直接使用する。これは訓練プロセスに直接影響を及ぼす。ネットワークは、損失を最小限抑えることにより係数を導く方法を学習しつつ、それが及ぼす結果への影響も承知している。各重みが、相関関係にある複数のキーポイントの位置を同時に制御する。予測は主成分の線形結合として取得されるので、「legal shape」のコンセプトに従うものであり、従って、データ損失、雑音、およびアーチファクトに対して更に頑健である。
[0283] ネットワークは2つのブランチを有していてもよい。最初のブランチは畳み込み層、プーリング層、および緻密層を用いており、PCAを通してキーポイント位置の粗推定を生成する。第二ブランチは、粗キーポイント位置の周りで入力画像からクロップされた完全解像度パッチで作動する。第二ネットワークの出力は、更に精密な可視情報を用いることにより、第一ブランチによって行われた予測を精密化する。両ブランチは同時に訓練され、完全に微分可能である。畳み込みは全てパディングなしに適用され、第一畳み込みニューラルネットワークにおいてはサイズ3x3のカーネルを使用し、より浅い第二ブランチにおいては5x5が使用される。ネットワーク全体で使用される非線形性は正規化線形関数である。PCA層の全入力が非線形性を通して処理されるわけではない。
[0284] PCA層は、(5)の合成方程式を僅かに修正した方程式を実施する。ネットワークの緻密層によって提供される重みwに加えて、全予測ポイントに適用されるグローバルシフトsも提供される。二次元的ベクトルsを通して、対象組織の変換が処理可能となる。注釈を僅かに変更し、方程式(5)を書き換えて、方程式(6)に示されるようにしてもよい。
[0285] クロッピングを実行する層は、Spatial tansformerに鼓舞された実施(微分可能性を確実にする)に従う。通常のサンプリングパターンは粗キーポイント位置へ変換され、周りの領域の強度値は双線形補間法を用いてサンプリングされる。PキーポイントおよびPパッチをミニバッチ内の各K画像用に取得してもよい。その結果得られるKPパッチは、次に、パディングなしに適用される8フィルタを用いて、3層の深さを有する畳み込みニューラルネットワークを通して処理される(サイズが全部で12画素減少)。畳み込み層の後、パッチは、Px8チャネルを有するK要素のバッチへ再び配列され、3つの緻密層(wと同じ次元性を有するWAを最終的に計算する)を通して更に処理される。更に正確なキーポイント予測を得るため、PCA層で使用される精密化された重みWFが、WF=WA+Wとして得られる。
[0286] この方法は、2つの異なるタスクを良好な結果を持って解決するため、人間の心臓を示す2つの異なる超音波データセットで試験された。第一タスクは先端撮像から得られたスキャンの左心室(LV)のセグメント化であり、第二タスクは目印局在化問題である(目的は、傍胸骨長軸撮像から得られる像における対象ポイント14の局在化である)。第一の場合、対象の構造体の形状に対して統計学的な事前知識が利用され、第二の場合は、異なる患者の心臓周期における目印間の時空関係を捕捉する。セグメント化タスクには1100の注釈付き画像が用いられ、訓練には953、試験には147が用いられた。
畳み込みニューラルネットワークを用いた目印局在化技術
[0287] 超音波ビデオシーケンスは、雑音、影、解剖学的相違点、およびスキャン平面の多様性の故に困難であることを本発明者達は理解している。従って、本発明者達は、斯かる困難に対処するため、目印位置を回帰推定するように訓練された完全な畳み込みニューラルネットワークを創案および開発した。この畳み込みニューラルネットワークにおいては、一連の畳み込み層およびプーリング層の後続は、前の層から引き継いだ特徴を有する一群のアップサンプリング層および畳み込み層である。最後の位置推定は、最後の層の回帰マップの質量中心を計算することにより生成される。加えて、推定の不確実性は、予測の標準偏差として計算される。推定の時間的一貫性は、長短期記憶セル(現在のフレームの推定を精密化させるため、前のいくつかのフレームを処理するセル)によって達成される。傍胸骨長軸撮像における左心室の自動測定およびその後の駆出率計算は、ユーザ間の多様性にも拘らず同等の正確性を示している。
[0287] 超音波ビデオシーケンスは、雑音、影、解剖学的相違点、およびスキャン平面の多様性の故に困難であることを本発明者達は理解している。従って、本発明者達は、斯かる困難に対処するため、目印位置を回帰推定するように訓練された完全な畳み込みニューラルネットワークを創案および開発した。この畳み込みニューラルネットワークにおいては、一連の畳み込み層およびプーリング層の後続は、前の層から引き継いだ特徴を有する一群のアップサンプリング層および畳み込み層である。最後の位置推定は、最後の層の回帰マップの質量中心を計算することにより生成される。加えて、推定の不確実性は、予測の標準偏差として計算される。推定の時間的一貫性は、長短期記憶セル(現在のフレームの推定を精密化させるため、前のいくつかのフレームを処理するセル)によって達成される。傍胸骨長軸撮像における左心室の自動測定およびその後の駆出率計算は、ユーザ間の多様性にも拘らず同等の正確性を示している。
[0288] 回帰モデル化は、独立変数と2つ以上の従属変数との間の関係を示す方法である。機械学習においては、この関係は、実施例を訓練することによって学習されるパラメータを有する関数によって記載される。深層学習モデルにおいて、この関数は、ネットワークの各層における、ロジスティック(シグモイド)、双曲線正接、あるいはより最近の正規化線形関数を合成したものである。多くのアプリケーションにおいて、入力画像パッチと連続予測変数との間のマッピングを学習する。
[0289] 回帰モデリングは、画像内の器官または目印位置の検出、物体または特徴の視覚的な追跡、および体のポーズの推定に用いられている。深層学習方法は、特に大規模な注釈付き訓練データセットが利用可能な場合には、以前の技術よりも優れた性能を発揮する。提案されているアーキテクチャでは、回帰変数のカスケード、精密化の局在化段階、複数の目印からの手掛かりを組み合わせることによる目印の局在化が用いられた。医療画像においては、目印は診断を助けるための測定ポイントとして使用されるので、正確な局在化は極めて重要である。ビデオシーケンスで測定値を追跡する場合、各フレーム内に諸点を正確に検出し、それと同時に、検出の時間的一貫性を確実なものにしなければならない。
[0290] ビデオシーケンス内の解剖学的目印の正確な局在化に関する、完全な畳み込みネットワークアーキテクチャが考案されている。完全な畳み込みネットワークの有利な点は、入力画像をカバーする複数のウインドウからの応答が、単一工程で計算できることである。該ネットワークは、エンドツーエンドで訓練されて目印の位置を出力する。最後の畳み込み層における回帰位置の集積は、予測の平均位置を計算する新しい質量中心層によって確認される。斯かる層により、予測候補の分散に基づく新しい正規化技術の使用、および目印の相対的位置に基づく新しい損失の定義が可能となる。評価は、ビデオシーケンスの各フレームをフレームレートに近い速度で処理するので迅速である。測定の時間的一貫性は、畳み込み長短期記憶(CLSTM)セル(いくつかの以前のフレームからの特徴マップを処理し、推定を精密化するため、更新された特徴を現在のフレーム用に生成する)によって改善される。
[0291] 幅w高さhの入力画像をI(独立変数)と表示し、列方向に集積されたk目印の位置をp(従属変数)と表示する。回帰の目標は、θによってパラメータ表示される関数f(I;θ)=pを学習することである。fは畳み込みニューラルネットワークによって近似され、画像および対応する注釈のデータベースを用いて、パラメータparamsを訓練する。通常、各注釈付き画像を用いてfを訓練するのに、ユークリッド損失が利用される。
[0292] 回帰推定は、以前は、ネットワークの最後の層(前の層に完全に接続されている)から直接取得されていた。これは極めて非線形的なマッピングであり、推定は、畳み込みブロックの後の完全に接続された層から計算されている。我々は、完全に接続されたネットワークの代わりに、完全な畳み込みアーキテクチャ(FCNN)を用いて目印位置を回帰することを提案する。推定を単一の評価工程で計算できるのがその利点である。提案されているアーキテクチャにおいては、目印座標推定が各画像位置で取得できる。
[0293] 集積された目印座標推定は、各予測位置lijにおける入力から、新しい質量中心で計算される。
[0294] リカレントニューラルネットワーク(RNN)は、各時間ステップtにおいて入力xtを受け入れ、隠れベクトルhtを更新することにより、連続文脈依存性を学習する。RNNネットワークは、長短期記憶(LSTM)装置で構成されていてもよく、その場合、各々0から1の範囲の3つのタイプの更新it、ft、otを有するゲート機構によって制御される。値itは各記憶セルの更新を制御し、ftは各記憶セルの忘却を制御し、otは隠れベクトルへの記憶状態の影響を制御する。畳み込み長短期記憶(CLSTM)において、入力重みおよび隠れベクトル重みは、空間的制約をモデル化するため、乗算される代わりに畳み込まれる。関数は非線形を導入する(その場合、tanhが選択されてもよい)。方程式8~10において、畳み込み演算子は*として表示されるが、ゲートにおける値は以下の式で計算される。
[0295] 重みWおよびバイアスbのパラメータは訓練シーケンスから学習される。ゲート値に加えて、各CLSTM装置が状態候補値を計算する。
この場合、gtは-1と1との間の範囲であり、記憶内容に影響を及ぼす。記憶セルは以下の式によって更新される。
この式は、加法的に各記憶セルを修正する。更新プロセスにより、勾配は逆伝播中に分散される。記号
はアダマール積を表示する。最後に、隠れ状態が以下の式として更新される。
はアダマール積を表示する。最後に、隠れ状態が以下の式として更新される。
[0296] 画像シーケンスの連続処理において、LSTMへの入力は、畳み込みニューラルネットワークから計算される特徴マップで構成される。この場合、特徴マップを計算するのに、2つのアーキテクチャが提案されている。第一のアーキテクチャは、畳み込み層およびプーリング層を有するニューラルネットワークである。CLSTMの特徴マップを連続的に処理した後、目印位置推定を計算するため、完全に接続された層へ出力が供給される。第二アーキテクチャにおいて、CLSTM入力は、完全な畳み込みアーキテクチャ(FCN)の畳み込み経路の最後の層で行われる。目印位置推定は、FCNネットワークの転置畳み込み部分を通して処理されるCLSTM出力から計算される。
(例示的超音波システム)
[0297] 図15Aは、本明細書記載の技術の種々の態様を実施するための、例示的超音波システム1500Aの態様を示す概略ブロック図である。例えば、超音波システム1500Aの1つ以上の構成要素が、本明細書記載のプロセスのいずれかを実行してもよい。図に示されるように、超音波システム1500Aは、処理回路1501と、入力/出力装置1503と、超音波回路1505と、メモリ回路1507とを有している。
[0297] 図15Aは、本明細書記載の技術の種々の態様を実施するための、例示的超音波システム1500Aの態様を示す概略ブロック図である。例えば、超音波システム1500Aの1つ以上の構成要素が、本明細書記載のプロセスのいずれかを実行してもよい。図に示されるように、超音波システム1500Aは、処理回路1501と、入力/出力装置1503と、超音波回路1505と、メモリ回路1507とを有している。
[0298] 超音波回路1505は、超音波像を生成するのに使用される超音波データを生成するように構成されていてもよい。超音波回路1505は、単一の半導体ダイとモノリシックに一体化された1つ以上の超音波変換器を有していてもよい。超音波変換器には、例えば、1つ以上の容量性微細加工超音波変換器(CMUT)、CMOS超音波変換器(CUT)、および圧電微細加工超音波変換器(PMUT)、および/または1つ以上の他の適切な超音波変換器セルが含まれる。いくつかの実施形態において、超音波変換器は、超音波回路1505の他の電子構成要素(例えば、送信回路、受信回路、制御回路、電力管理回路、および処理回路)と同じチップ上に形成され、モノリシックな超音波装置を形成してもよい。
[0299] 処理回路1501は、本明細書記載の機能のいずれかを実行するように構成されていてもよい。処理回路1501は、1つ以上のプロセッサ(例えば、コンピュータハードウェアプロセッサ)を有していてもよい。1つ以上の機能を実行するため、処理回路1501は、メモリ回路1507に記憶された1つ以上のプロセッサ実行可能指示を実行してもよい。メモリ回路1507は、超音波システム1500Bの操作中、プログラムおよびデータを格納するのに使用されてもよい。メモリ回路1507は、非一時的コンピュータ読取り可能記憶媒体などの1つ以上の記憶装置を有していてもよい。処理回路1501は、任意の適切な方法で、メモリ回路1507へデータを書き込んだり、メモリ回路からデータを読み取ったりしてもよい。
[0300] いくつかの実施形態において、処理回路1501は、アプリケーション特有集積回路(ASIC)など、特別にプログラムされたハードウェア、および/または特別目的のハードウェアを有していてもよい。例えば、処理回路1501は、1つ以上のテンソル処理装置(TPU)を有していてもよい。TPUは、機械学習(例えば、深層学習)用に特別に設計されたASICであってもよい。TPUは、例えば、ニューラルネットワークの推論処理フェーズを加速させるのに用いてもよい。
[0301] 入力/出力(I/O)装置1503は、他のシステムおよび/またはオペレータとの通信を促進させるように構成されていてもよい。オペレータとの通信を促進させるI/O装置には、例えば、キーボード、マウス、トラックボール、マイクロフォン、タッチ画面、印刷装置、表示画面、スピーカー、および振動装置が含まれる。他のシステムとの通信を促進させるI/O装置には、例えば、有線および/または無線通信回路、例えば、BLUETOOTH、ジグビー、ワイファイ、および/またはUSB通信回路が含まれる。
[0302] 超音波システム1500Aは任意数の装置を使用して実行してもよく、この点は理解されるべきである。例えば、超音波システム1500Aの構成要素は、単一の装置に一体化されていてもよい。別の例では、超音波回路1505は、処理回路1501、入力/出力装置1503、およびメモリ回路1507を有するコンピュータ装置と通信可能に接続された超音波装置との一体型であってもよい。
[0303] 図15Bは、本明細書記載の技術の種々の態様を実施するための、例示的超音波システム1500Bの態様を示す概略ブロック図である。例えば、超音波システム1500Bの1つ以上の構成要素が、本明細書記載のプロセスのいずれかを実行してもよい。図に示されるように、超音波システム1500Bは、コンピュータ装置1502と有線および/または無線通信状態にある超音波装置1514を有していてもよい。コンピュータ装置1502は、音声出力装置1504と、撮像装置1506と、表示画面1508と、プロセッサ1510と、メモリ1512と、振動装置1509とを有する。コンピュータ装置1502は、ネットワーク1516を通して、1つ以上の外部装置と通信していてもよい。例えば、コンピュータ装置1502は、1つ以上のワークステーション1520、サーバー1518、および/またはデータベース1522と通信していてもよい。
[0304] 超音波装置1514は、超音波像を生成するのに使用される超音波データを生成するように構成されてもよい。超音波装置514は、種々の方法のうちの任意の方法で構築されてもよい。いくつかの実施形態において、超音波装置1514は、送信ビーム形成器へ信号を送信する送信器を含んでおり、該送信ビーム形成器は、変換器アレイ内の変換器要素を駆動し、パルス状の超音波信号を構造体(例えば、患者)へ向けて放射する。パルス状の超音波信号は体の構造体(例えば、血液細胞、筋肉組織)から後方散乱してエコーを生成し、それが変換器要素へ戻される。次に、斯かるエコーは、変換器要素によって電気信号または超音波データへ変換され、電気信号は受信器により受信される。受信エコーを示す電気信号は、超音波データを出力する受信ビーム形成器へ送信される。
[0305] コンピュータ装置1502は、超音波装置1514からの超音波データを処理し、表示画面1508上に表示される超音波像を生成するように構成されていてもよい。処理は、例えば、プロセッサ1510によって実行されてもよい。プロセッサ1510は、超音波装置1514を用いて超音波データの取得を制御するように適合されていてもよい。超音波データは、エコー信号の受信に合わせて、スキャニングセッション中にリアルタイムで処理されてもよい。いくつかの実施形態において、表示された超音波像は、少なくとも5Hz、少なくとも20Hz、5Hzと60Hzとの間、または20Hz超で更新されてもよい。例えば、超音波データは、以前に取得されたデータに基づいて画像が生成されている間であっても、あるいは生の超音波像が表示されている間でも、取得されてよい。追加の超音波データの取得に合わせて、新たに取得される超音波データから生成される追加のフレームまたは画像が、連続的に表示されてもよい。加えてまたはその代わりに、超音波データは、スキャニングセッション中に一時的にバッファに格納され、リアルタイム以下で処理されてもよい。
[0306] 加えて(またはその代わりに)、コンピュータ装置1502は、(例えば、プロセッサ1510を用いて)本明細書記載のプロセスのいずれかを実行したり、および/または(例えば、表示画面1508を用いて)本明細書記載のユーザインターフェースのいずれかを表示したりしてもよい。例えば、コンピュータ装置1502は、超音波装置のオペレータへ指示を提供し、撮像対象の被験者の標的解剖学的像をオペレータが選択するのを支援したり、標的解剖学的像を含む超音波像を捕捉するようにオペレータを導いたりするように構成されていてもよい。図に示されるように、コンピュータ装置1502は、斯かるプロセスの実行中に使用される1つ以上の要素を有していてもよい。例えば、コンピュータ装置1502は、1つ以上のプロセッサ1510(例えば、コンピュータハードウェアプロセッサ)と、非一時的コンピュータ読取り可能記憶媒体(メモリ1512など)を有する1つ以上の製造品とを有していてもよい。プロセッサ1510は、任意の適切な方法で、メモリ1512へデータを書き込んだり、メモリからデータを読み取ったりしてもよい。本明細書記載の機能のいずれかを実行するため、プロセッサ1510は、1つ以上の非一時的コンピュータ読取り可能記憶媒体(例えば、メモリ1512)(すなわちプロセッサ1510を実行するため、プロセッサ実行可能な指示を記憶する、非一時的コンピュータ読取り可能記憶媒体として機能する媒体)に格納された1つ以上のプロセッサ実行可能な指示を実行してもよい。
[0307] いくつかの実施形態において、コンピュータ装置1502は、1つ以上の入力および/または出力装置、例えば、音声出力装置1504、撮像装置1506、表示画面1508、および振動装置1509を有していてもよい。音声出力装置1504は、可聴音を出すように構成された装置(例えば、スピーカー)であってもよい。撮像装置1506は、光(例えば、可視光)を検出して像を形成するように構成されていてもよい(例えば、カメラ)。表示画面1508は、液晶表示装置(LCD)、プラズマ表示装置、および/または有機光ダイオード(OLED)表示装置など、画像および/またはビデオを表示するように構成されていてもよい。振動装置1509は、コンピュータ装置1502の1つ以上の構成要素を振動させて、触覚フィードバックを提供するように構成されていてもよい。斯かる入力および/または出力装置は、プロセッサ1510に通信可能に接続されていてもよいし、および/またはプロセッサ1510の制御下にあってもよい。プロセッサ1510は、該プロセッサ1510によって実行されるプロセス(図9~13に示されるプロセスのいずれか)に従って、斯かる装置を制御してもよい。例えば、プロセッサ1510は表示画面1508を制御することにより、上述のユーザインターフェース、指示、および/または超音波像のいずれかを表示してもよい。同様に、プロセッサ1510は、音声出力装置1504を制御して音声の指示を出したり、および/または振動装置1509を制御して触覚フィードバック(例えば、振動)の強度を変化させたりすることにより、触覚指示を出してもよい。加えて(またはその代わりに)、プロセッサ1510は撮像装置1506を制御し、被験者に使用される超音波装置1514の非音波画像を捕捉することにより、超音波装置1514のオペレータへ(例えば、図5Bおよび6に示されるような)拡張現実インターフェースを提供してもよい。
[0308] コンピュータ装置1502は、種々の方法のうちの任意の方法で実施されてもよいことは理解されるべきである。例えば、コンピュータ装置1502は、手持ち式装置(携帯スマートフォン、タブレットなど)として実施されてもよい。そうすれば、超音波装置1514のオペレータは、片方の手で超音波装置1514を操作し、もう一方の手でコンピュータ装置1502を保持できる。他の例では、コンピュータ装置1502は、手持ち式装置ではない携帯装置(ラップトップなど)であってもよい。更に他の例では、コンピュータ装置1502は、固定式装置(デスクトップコンピュータなど)として実施されてもよい。
[0309] いくつかの実施形態において、コンピュータ装置1502は、ネットワーク1516を通して1つ以上の外部装置と通信していてもよい。コンピュータ装置1502は、有線接続(例えば、イーサーネットケーブルを通して)および/または無線接続(例えば、ワイファイネットワークを通して)により、ネットワーク1516と接続されていてもよい。図15Bに示されるように、斯かる外部装置は、サーバー1518、ワークステーション1520、および/またはデータベース1522を有していてもよい。コンピュータ装置1502は、例えば、斯かる装置へ通信することにより、計算機負荷の大きいタスクをオフロードしてもよい。例えば、コンピュータ装置1502は、分析のため(例えば、超音波像内の解剖学的特徴を識別したり、および/またはオペレータへ提供される指示を識別したりするため)、ネットワーク1516を通して超音波像をサーバー1518へ送信し、分析結果をサーバー1518から受信してもよい。加えて(またはその代わりに)、コンピュータ装置1502は斯かる装置と通信し、ローカルでは入手可能でない情報にアクセスしたり、および/または中央情報レポジトリを更新したりしてもよい。例えば、コンピュータ装置1502は、超音波装置で撮像されている被験者の医療記録に、データベースに格納されているファイルからアクセスしてもよい。この例の場合、コンピュータ装置1502は、被験者に関する1つ以上の捕捉された超音波像をデータベース1522へ提供し、それを被験者の医療記録に付け加えてもよい。
[0310] 本明細書で使用される場合、「プログラム」、「アプリケーション」、または「ソフトウェア」と言う用語は一般的な意味で使用されるものであり、コンピュータまたは他のプロセッサをプログラムするのに使用され、上述の実施形態の種々の態様を実施するための、任意タイプのコンピュータコードまたはプロセッサ実施可能な1組の指示を意味するものである。加えて、1つの態様によれば、本明細書で開示された方法を実行する1つ以上のコンピュータプログラムは、単一のコンピュータまたはプロセッサに存在する必要はなく、本明細書で開示された種々の態様を実施するため、モジュラー様式で異なるコンピュータまたはプロセッサ間で分散されていてもよい。
[0311] プロセッサ実施可能な指示は、1つ以上のコンピュータまたは他の装置で実行される多くの形態(プログラムモジュールなど)であってよい。一般的に、プログラムモジュールには、特定のタスクを実行したり、特定の抽象的なデータタイプを実施したりする、ルーチン、プログラム、オブジェクト、構成要素、データ構造などが含まれる。通常、プログラムの機能は組み合わされてもよいし、あるいは分散されていてもよい。
[0312] 更に、データ構造は、任意の適切な形態で、1つ以上の非一時的コンピュータ読取り可能記憶媒体に格納されてもよい。説明の簡略化のため、データ構造は、当該データ構造の位置によって関連付けられるフィールドを有するように示されてもよい。同様に、斯かる関係は、フィールド間の関係を示す非一時的コンピュータ読取り可能記憶媒体内の位置を用いて、フィールドに保存先を割り当てることにより達成してもよい。
(例示的超音波装置)
[0313] 図16は、上述の超音波装置(例えば、超音波装置102、502、602、および1514)のいずれか、あるいは本明細書記載の超音波回路のいずれか(例えば、超音波回路1505)として利用される、モノリシックな超音波装置1600の例示的実施例を示す。図に示されるように、超音波装置1600には、1つ以上の変換器配列(例えば、アレイ)1602、送信(TX)回路1604、受信(RX)回路1606、タイミングおよび制御回路1608、信号調節/処理回路1610、電力管理回路1618、および/または高密度焦点式超音波(HIFU)制御装置1620が含まれてもよい。図示の実施形態においては、図示された要素の全てが単一の半導体ダイ1612上に形成されている。しかし、代替実施形態においては、図示された要素のうちの1つ以上がチップの外に配置されてもよいことは理解されるべきである。加えて、図示された実施例ではTX回路系1604およびRX回路系1606の両方が示されているが、代替実施形態においては、TX回路系だけ、またはRX回路だけを利用してもよい。例えば、斯かる実施形態は、音響信号を送信するのに1つ以上の送信専用装置1600が使用され場合、並びに超音波による撮像対象の被験者を通して、または斯かる被験者から反射された音響信号を受信するのに、1つ以上の受信専用装置1600が使用される場合に、利用されてもよい。
[0313] 図16は、上述の超音波装置(例えば、超音波装置102、502、602、および1514)のいずれか、あるいは本明細書記載の超音波回路のいずれか(例えば、超音波回路1505)として利用される、モノリシックな超音波装置1600の例示的実施例を示す。図に示されるように、超音波装置1600には、1つ以上の変換器配列(例えば、アレイ)1602、送信(TX)回路1604、受信(RX)回路1606、タイミングおよび制御回路1608、信号調節/処理回路1610、電力管理回路1618、および/または高密度焦点式超音波(HIFU)制御装置1620が含まれてもよい。図示の実施形態においては、図示された要素の全てが単一の半導体ダイ1612上に形成されている。しかし、代替実施形態においては、図示された要素のうちの1つ以上がチップの外に配置されてもよいことは理解されるべきである。加えて、図示された実施例ではTX回路系1604およびRX回路系1606の両方が示されているが、代替実施形態においては、TX回路系だけ、またはRX回路だけを利用してもよい。例えば、斯かる実施形態は、音響信号を送信するのに1つ以上の送信専用装置1600が使用され場合、並びに超音波による撮像対象の被験者を通して、または斯かる被験者から反射された音響信号を受信するのに、1つ以上の受信専用装置1600が使用される場合に、利用されてもよい。
[0314] 図示された構成要素のうち1つ以上が、種々の方法のうちの任意の方法で実行されてもよいことは理解されるべきである。いくつかの実施形態において、例えば、高速チップ内通信、または1つ以上のオフチップ構成要素を用いた通信を可能にするため、統合型ノースブリッジによって使用されるような、1つ以上の高速バス(図示しない)を利用してもよい。
[0315] 1つ以上の変換器アレイ1602は種々の形態のうちの任意の形態を取ってもよく、本技術の態様は、変換器セルまたは変換器要素に関し、必ずしも特定のタイプまたは配列を要求するものではない。事実、本記載には「アレイ」と言う用語が使用されてはいるが、いくつかの実施形態においては、変換器要素はアレイ形態ではなく、非アレイ形態に配列されていてもよい。種々の実施形態において、アレイ1602の変換器要素の各々は、例えば、1つ以上の容量性微細加工超音波変換器(CMUT)、CMOS超音波変換器(CUT)、および圧電微細加工超音波変換器(PMUT)、および/または1つ以上の他の適切な超音波変換器セルを含む。いくつかの実施形態において、変換器アレイ102の変換器要素は、TX回路系1604および/またはRX回路系1606の電子機器と同じチップ上に形成されていてもよい。いくつかの実施形態において、変換器要素1602、TX回路系1604、およびRX回路系1606は、単一の超音波装置と一体化されていてもよい。いくつかの実施形態において、単一の超音波装置は手持ち式装置であってもよい。他の実施形態においては、単一の超音波装置は、患者に取り付けられるパッチによって具体化されてもよい。パッチは、更なる処理のために、パッチによって集められたデータを無線で1つ以上の外部装置へ送信するように構成されていてもよい。
[0316] CUTは、例えば、CMOSウェーハに形成されたキャビティを含んでいてもよく、その場合、キャビティ上に膜が配置されており、いくつかの実施形態においては、その膜はキャビティを密閉している。覆われたキャビティ構造体から変換器セルを形成するため、電極が提供されてもよい。CMOSウェーハは、変換器セルが接続された集積回路を含んでいてもよい。変換器セルおよびCMOSウェーハはモノリシックに一体化され、単一の基盤(CMOSウェーハ)上に、一体化された超音波変換器セルおよび集積回路を形成してもよい。
[0317] TX回路系1604は(それが含まれている場合)、例えば、撮像に使用される音響信号を生成するため、変換器アレイ(複数も可)1602の個々の要素または該アレイ内の1つ以上の要素を駆動するパルスを生成してもよい。一方、RX回路系1606は、音響信号が斯かる要素に作用した場合に、変換器アレイ(複数も可)102の個々の要素によって生成される電子信号を受信および処理してもよい。
[0318] いくつかの実施形態において、タイミングおよび制御回路1608は、例えば、装置1600内の他の要素の動作を同期化および調整するのに使用される全てのタイミングおよび制御信号を生成する責任を有していてもよい。図示された例においては、タイミングおよび制御回路1608は、例えば、入力ポート1616に供給される単一のクロック信号CLKであってもよい。クロック信号CLKは、例えば、オンチップ回路構成要素の1つ以上を駆動するのに使用される高周波数クロックであってもよい。いくつかの実施形態においては、クロック信号CLKは、例えば、信号調節/処理回路1610内の高速シリアル出力装置(図16には図示しない)を駆動するのに使用される1.5625GHzまたは2.5GHzクロック、または半導体ダイ1612上の他のデジタル構成要素を駆動するのに使用される20MHzまたは40MHzクロックであってもよく、タイミングおよび制御回路1608は、必要に応じてクロックCLKをセグメント化または乗算することにより、ダイ1612上の他の構成要素を駆動してもよい。他の実施形態において、(上述したような)異なる周波数の2つ以上のクロックが、オフチップ源からタイミングおよび制御回路1608へ別々に供給されてもよい。
[0319] 電力管理回路1618は、例えば、オフチップ源からの1つ以上の入力電圧VINをチップの動作を実行するのに必要な電圧へ変換する責任、並びに装置1600内の電力消費を管理する責任を有していてもよい。いくつかの実施形態において、例えば、単一の電圧(例えば、12V、80V、100V、120Vなど)がチップへ供給され、電荷ポンプ回路を用いて、あるいは特定の他の直流/直流電圧変換機構を通して、必要に応じ、電圧を上げ下げしてもよい。他の実施形態では、複数の異なる電圧が、処理および/または他のオンチップ構成要素への分散のため、電力管理回路1618へ別々に供給されてもよい。
[0320] 図16に示されるように、いくつかの実施形態において、HIFU制御装置1620は、変換器アレイ(複数も可)1602の1つ以上の要素を通して、HIFU信号の生成を可能にするため、半導体ダイ1612上に一体化されていてもよい。他の実施形態においては、変換器アレイ(複数も可)1602を駆動するためのHIFU制御装置は、オフチップであってもよいし、あるいはそれが装置1600とは別の装置内に存在していてもよい。すなわち、本開示の態様は、超音波撮像機能を有する場合および有さない場合の、超音波オンチップHIFUシステムの提供に関する。しかし、いくつかの実施形態では、HIFU機能を有せず、従ってHIFU制御装置1620を含まないことは理解されるべきである。
[0321] 更に、HIFU機能を提供する斯かる実施形態において、HIFU制御装置は個別の回路である必要はなく、この点は理解されるべきである。例えば、いくつかの実施形態において、図16の残りの回路(HIFU制御装置1620以外)が、超音波撮像機能および/またはHIFUを提供するのに適していてもよい、すなわち、いくつかの実施形態では、同一の共有回路が撮像システムおよび/またはHIFUとして作動してもよい。撮像機能が示されるか、それともHIFU機能が示されるかは、システムへ提供される電力次第であってもよい。HIFUは、通常、超音波撮像よりも大きい電力で作動する。従って、撮像アプリケーションに適した第一電力レベル(または電圧レベル)をシステムに提供することにより、該システムは撮像システムとして作動し、高い電力レベル(または電圧レベル)をシステムに提供することにより、該システムはHIFU用として作動する。斯かる電力管理は、いくつかの実施形態においては、オフチップ制御回路によって提供されてもよい。
[0322] 撮像アプリケーションおよびHIFUアプリケーションは、異なる電力レベルの使用に加え、異なる波形の使用を実行してもよい。従って、システムを撮像システムとして作動させるのに適した波形、あるいはHIFUシステムとして作動させるのに適した波形を、波形生成回路を用いて提供してもよい。
[0323] いくつかの実施形態において、システムは、撮像システムおよびHIFUシステムの両方(例えば、画像誘導HIFUを提供できるシステム)として作動してもよい。斯かるいくつかの実施形態では、両機能を提供するのに同じオンチップ回路を使用し、2つのモダリティ間の作動を制御するのに適したタイミングシーケンスを用いてもよい。
[0324] 図示された例において、1つ以上の出力ポート1614が、信号調節/処理回路1610の1つ以上の構成要素によって生成された高速シリアルデータストリームを出力してもよい。斯かるデータストリームは、例えば、半導体ダイ1612と一体化された1つ以上のUSB3.0モジュール、および/または1つ以上の10GB、40GB、または100GBイーサーネットモジュールによって生成されてもよい。いくつかの実施形態では、出力ポート1614で生成された信号ストリームは、2次元、3次元、および/または断層画像を生成および/または表示するため、コンピュータ、タブレット、またはスマートフォンに供給されてもよい。撮像機能が信号調節/処理回路1610に組み込まれている実施形態においては、限定された処理能力しか有さない比較的低電力の装置、例えばスマートフォンやタブレットでさえ、出力ポート1614からのシリアルデータストリームだけを用いて、画像を表示できる。上述したように、オンチップアナログ/デジタル変換およびデジタルデータストリームをオフロードするための高速シリアルデータリンクの使用は、本明細書記載の技術のいくつかの実施形態による「超音波オンチップ」解決策を促進するための特徴の1つである。
[0325] 図16に示されているような装置1600は、数多くの撮像および/または治療(例えばHIFU)アプリケーションのうちの任意のアプリケーションで使用できるので、本明細書記載の特定の例は限定的に解釈されるべきではない。1つの例示的実施において、例えば、CMUT要素のNxM平面アレイまたは実質的な平面アレイを含む撮像装置は、それ自体を用いて、1つ以上の送信フェーズ中にアレイ(複数も可)1602の要素のいくつかまたは全てに(一緒にまたは個別に)電圧を加え、各受信フェーズ中に被験者が反射した音響信号をCMUT要素が感知するように、1つ以上の受信フェーズ中にアレイ(複数も可)1602の要素のいくつかまたは全てによって生成された信号を受信および処理することにより、被験者の超音波像(例えば、人の腹部)を取得してもよい。他の実施においては、アレイ(複数も可)1602の要素のいくつかが音響信号を送信する目的だけに使用され、同じアレイ(複数も可)1602の他の要素が音響信号を受信する目的だけに同時に使用されてもよい。更に、いくつかの実施において、単一の撮像装置が、個々の装置のPxQアレイまたはCMUT要素の個々のNxM平面アレイのPxQアレイを有していてもよく、その場合、単一の装置1600または単一のダイ1612に具体化された場合よりもデータを多くのCMUTから集積できるように、構成要素は、並列に、または連続的に、あるいは他のいくつかのタイミング方式に従って作動できるようにする。
[0326] 更に他の実施において、1対の撮像装置が被験者を跨ぐように配置されてもよく、その場合、被験者の一方側にある撮像装置の装置1600(複数も可)の1つ以上のCMUT要素が、被験者の他方側にある撮像装置の装置1600(複数も可)の1つ以上のCMUT要素によって生成される音響信号を(斯かるパルスが被験者によって実質的に減衰されない範囲で)感知できるように配置される。更に、いくつかの実施においては、同じ装置1600を用いて、それ自体のCMUT要素の1つ以上からの音響信号の散乱が測定できるだけでなく、被験者の反対側にある撮像装置のCMUT要素の1つ以上からの音響信号の送信も測定できるようにする。
[0327] 図17は、いくつかの実施形態において、特定の変換器要素用のTX回路系1604およびRX回路系1606が、変換器要素1702に電力を与えて超音波パルスを発射するのにどのように使用されるか、あるいは感知された超音波パルスを示す変換器要素1702からの信号を受信および処理するのにどのように使用されるかを示すブロック図である。いくつかの実施において、TX回路系1604は「送信」フェーズ中に使用され、RX回路系は、送信フェーズとは重なり合わない「受信」フェーズ中に使用されてもよい。他の実施において、例えば、1対の超音波装置が透過型撮像だけに使用される場合、TX回路系1604およびRX回路系1606ののうちの1つは、特定の装置1600で使用されなくてもよい。上述のように、いくつかの実施形態では、超音波装置1600は、TX回路系1604だけ、またはRX回路系1606だけを交互に用いてもよく、本技術の態様は、斯かるタイプの回路の両方の存在を必ずしも要求するものではない。種々の実施形態において、TX回路系1604および/またはRX回路系1606は、単一の変換器セル(例えば、CUTまたはCMUT)、単一の変換器要素1702内の2つ以上の変換器セル、1群の変換器セルを有する単一の変換器要素1702、アレイ1602内の2つ以上の変換器要素1702、あるいは変換器要素1702の全アレイ1602に関連付けられたTX回路系および/またはRX回路系を有していてもよい。
[0328] 図17に示される例において、TX回路系1604/RX回路1606は、アレイ(複数も可)1602の各変換器要素1702に関して個別のTX回路系および個別のRX回路系を含んでいるが、タイミングおよび制御回路1608および信号調節/処理回路1610の各々は1個体だけである。従って、斯かる実施においては、タイミングおよび制御回路1608はダイ1612上のTX回路系1604/RX回路1606の全組み合わせの動作を同期化および調整するのに責任があり、信号調節/処理回路1610はダイ1612上の全RX回路1606からの入力の取り扱いに責任がある。他の実施形態においては、タイミングおよび制御回路1608は、各変換器要素1702または1群の変換器要素1702に関して反復されてもよい。
[0329] 図17に示されるように、タイミングおよび制御回路1608は、装置1600内の種々のデジタル構成要素を駆動するためにクロック信号を生成および/または分散する機能に加え、TX回路系1604の各TX回路の動作を有効にするための「TX有効」信号か、あるいはRX回路系1606の各RX回路の動作を有効にするための「RX有効」信号を出力してもよい。図示されている例においては、TX回路系1604の出力がRX回路系1606を駆動することがないように、TX回路系が有効となる前には、RX回路系のスイッチ1716は必ず開いた状態になっていてもよい。スイッチ1716は、変換器要素1702によって生成される信号をRX回路系1606が受信および処理できるように、RX回路系の作動が有効の場合は閉じられている。
[0330] 図に示されているように、それぞれの変換器要素1702用のTX回路系1604は、波形発生器1714およびパルサー1712の両方を有していてもよい。波形発生器1714は、パルサー1712が生成された波形に対応する変換器要素1702へ駆動信号を出力できるように、例えば、パルサー1712に適用される波形の生成に責任がある。
[0331] 図17に示される例において、それぞれの変換器要素1702用のRX回路系1606は、アナログ処理ブロック1718、アナログ/デジタル変換器(ADC)1720、およびデジタル処理ブロック1722を含む。ADC1720は、例えば、10ビット、12ビット、20Msps、25Msps、40Msps、50Msps、または80MspsADCを有していてもよい。
[0332] デジタル処理ブロック1722の処理を経た後、半導体ダイ1612上の全RX回路系(この例の場合、その数はチップ上の変換器要素1702の数に等しい)の出力は、信号調節/処理回路1610の多重化装置(MUX)1724へ送られる。他の実施形態では、変換器要素の数はRX回路系の数よりも多く、いくつかの変換器要素が信号を単一のRX回路系へ供給する。MUX1724はRX回路系からのデジタルデータを多重化し、MUX1724の出力は、例えば1つ以上の高速シリアル出力ポート1614を経て半導体ダイ1612からデータが出力される前に、最後の処理として、信号調節/処理回路1610内の多重化デジタル処理ブロック1726へ送られる。MUX1724は任意選択であり、いくつかの実施形態では、並列信号処理が実行される。高速シリアルデータポートは、ブロック間の任意のインターフェースまたはブロック内の任意のインターフェース、チップ間の任意のインターフェース、および/またはホストへの任意のインターフェースにおいて提供されてもよい。アナログ処理ブロック1718および/またはデジタル処理ブロック1722の種々の構成要素は、高速シリアルリンクなどを経て半導体ダイ1612から出力される必要のあるデータ量を減少させてもよい。従って、いくつかの実施形態では、例えば、RX回路系1606は、アナログ処理ブロック1718および/またはデジタル処理ブロック1722の1つ以上の構成要素の機能により、改善された信号対雑音比並びに種々の波形に対応可能な方法で、送信および/または散乱された超音波圧力波を受信できるようになる。従って、いくつかの実施形態では、斯かる要素を含むことにより、開示されている「超音波オンチップ」を更に簡便化および/または改善できる。
[0333] 本明細書記載の超音波装置は、種々の物理的構成のうちの任意の構成(例えば、(取得された画像を表示するための画面を含む)手持ち式装置の一部として、あるいは被験者に取り付けられるように構成されたパッチの一部として)で実施してもよい。
[0334] いくつかの実施形態において、超音波装置は、図18Aおよび18Bに示される手持ち式装置1802で具体化されてもよい。手持ち式装置1802は、被験者に接触して(またはその近くに)保持され、被験者を撮像するのに使用されてもよい。手持ち式装置1802は、超音波装置および表示装置1804(いくつかの実施形態では、タッチ画面)を有していてもよい。表示装置1804は、装置1802内の超音波装置によって生成される超音波データを用いて、手持ち式装置1802内で生成される被験者の画像(例えば、超音波像)を表示するように構成されていてもよい。
[0335] いくつかの実施形態において、手持ち式装置1802は、聴診器と類似の方法で使用してもよい。医療専門家は、患者の体の種々の場所に手持ち式装置1802を配置できる。手持ち式装置1802内の超音波装置が患者を撮像してもよい。超音波装置が取得したデータは処理され、患者の画像(複数も可)を生成するのに使用され、その画像(複数も可)は、表示装置1804を通して医療専門家に表示されてもよい。従って、医療専門家は、手間を要し非実用的な従来の複数の装置を持ち運ぶ代わりに、手持ち式装置1802を(例えば、首の周り、またはポケットの中に)携帯できるであろう。
[0336] いくつかの実施形態において、超音波装置は、患者に取り付け可能なパッチとして具体化されてもよい。例えば、図18Cおよび18Dは、患者1812に取り付けられたパッチ1810を示す。パッチ1810は、該パッチ1810によって集められたデータを、更なる処理のため、1つ以上の外部装置へ無線で送信されるように構成されていてもよい。図18Eはパッチ1810の分解立体図を示す。
[0337] いくつかの実施形態では、超音波装置は、図18Fに示される手持ち式装置1820で具体化されてもよい。手持ち式装置1820は、該手持ち式装置1820によって集められたデータを、更なる処理のため、1つ以上の外部装置へ無線で送信されるように構成されていてもよい。この点に関して、本明細書記載の技術の態様は制限されていないので、他の実施形態においては、手持ち式装置1820は、該装置1820によって集められたデータを、更なる処理のため、1つ以上の有線接続を用いて、1つ以上の外部装置へ送信されるように構成されていてもよい。
[0338] 本開示の種々の態様は、単独で使用されてもよいし、組み合わされて使用されてもよいし、あるいは前述の実施形態では特に触れられていない種々のアレンジメントで使用されてもよいので、そのアプリケーションにおいて、前述の記載で説明されている構成要素、または図面に示されている構成要素の詳細およびアレンジメントに制限されるものではない。例えば、1つの実施形態に記載されている態様は、任意の方法で、他の実施形態に記載されている態様と組み合わされてもよい。
[0339] 更に、いくらかの行動は「オペレータ」または「被験者」が行うものとして記載されている。「オペレータ」または「被験者」は一人の個人である必要はなく、いくつかの実施形態では、「オペレータ」または「被験者」に帰される行為は、複数の個人から成るチームによって行われてもよいし、および/またはコンピュータ支援ツールまたは他の機構と組み合わされて個人によって行われてもよい。更に、いくつかの例では、「オペレータ」と「被験者」は同一人物である。例えば、個人が超音波装置で自分を撮像してもよく、従って、その個人は、撮像される「被験者」および超音波装置の「オペレータ」の両方であってもよい。
[0340] 請求項要素を修飾するために使用される「第一」、「第二」、「第三」等の序数は、それ自体では、優先順位や優位性を意味するものではなく、1つの請求項要素に対する別の請求項要素の順番を意味するものでもなく、方法を実行するための時間的順番を意味するものでもなく、単に、請求項要素を区別するため、特定の名前を有する1つの請求項を、(序数の使用以外)同一名を有する別の要素と見分けるためのラベルとして使用されるものである。
[0341] 「約」および「大体」と言う用語は、いくつかの実施形態では標的値の+/-20%以内、いくつかの実施形態では標的値の+/-10%以内、いくつかの実施形態では標的値の+/-5%以内、更にいくつかの実施形態では標的値の+/-2%以内を意味するように使用されている。
[0342] 更に、本明細書で使用される言い回しおよび用語は記載目的のためだけであり、限定的に解釈されるべきものではない。「含んでいる」、「有する」、「持つ」、「含む」、「関して」、およびそれらの変形は、それ以降に挙げられている項目およびその等価物、並びに追加の項目を包含するものである。
[0343] 少なくとも1つの実施形態のうちいくつかの態様が上述されているが、当業者には、種々の変形、修正、および改善項目が容易に想到できることは理解されるべきである。斯かる変形、修正、および改善項目も本開示の対象である。従って、前述の記載および図面は例示目的であるに過ぎない。
Claims (30)
- 超音波ガイダンス装置であって、
別の超音波像の分析に基づいて、被験者の標的解剖学的像を含む超音波像の捕捉を導くように構成された、少なくとも1つのプロセッサを有する
装置。 - 前記少なくとも1つのプロセッサは、少なくとも部分的には、前記標的解剖学的像を含む超音波像を捕捉するために、超音波装置のオペレータを導く方法に関するガイダンスプランを生成することにより、前記超音波像の捕捉を導くように構成される、請求項1に記載の装置。
- 前記少なくとも1つのプロセッサは、少なくても部分的に、前記生成されたガイダンスプランに基づいて、前記オペレータに少なくとも1つの指示を提供することにより、前記超音波像の捕捉を導くように構成される、請求項2に記載の装置。
- 前記少なくとも1つのプロセッサに連結される表示装置であって、前記オペレータに前記少なくとも1つの指示を表示する表示装置を、更に有する、請求項3に記載の装置。
- 前記表示装置および前記少なくとも1つのプロセッサは、コンピュータ装置と一体化されている、請求項4に記載の装置。
- 前記少なくとも1つのプロセッサは、少なくとも部分的には、深層学習技術を用いて、前記別の超音波像に含まれる解剖学的像を識別することにより、前記超音波像の捕捉を導くように構成される、請求項3に記載の装置。
- 前記少なくとも1つのプロセッサは、少なくとも部分的には、前記識別された解剖学的像を用いて前記超音波装置を移動させる方向を識別することにより、前記超音波像の捕捉を導くように構成される、請求項6に記載の装置。
- 前記少なくとも1つのプロセッサは、少なくとも部分的には、前記別の超音波像が、前記被験者の標的領域内に前記被験者の解剖学的像を含んでいるか否かを決定することにより、前記超音波像の捕捉を導くように構成される、請求項3に記載の装置。
- 前記少なくとも1つのプロセッサは、少なくとも部分的には、前記別の超音波像に含まれる前記解剖学的像が前記標的領域の外にあるという決定に応答して、前記超音波装置が前記被験者の標的領域内に表示の像を取得できるような位置の方向へ前記超音波装置を移動させるようにと、前記オペレータへ指示を提供することにより、前記オペレータに前記少なくとも1つの指示を提供する、請求項8に記載の装置。
- 前記少なくとも1つのプロセッサは、少なくとも部分的には、前記別の超音波像に含まれる前記解剖学的像が前記標的領域内にあるという決定に応答して、前記超音波装置が前記標的解剖学的像の像を取得できるような位置の方向へ前記超音波装置を移動させるようにと、前記オペレータへ指示を提供することにより、前記オペレータに前記少なくとも1つの指示を提供する、請求項8に記載の装置。
- システムであって、
被験者の超音波像を捕捉するように構成された超音波装置と、
前記超音波装置によって捕捉された前記超音波像の分析に基づいて、前記被験者の標的解剖学的像を含む別の超音波像の捕捉を導く少なくとも1つのプロセッサとを有する
システム。 - 前記超音波装置は、容量性微細加工超音波変換器(CMUT)、CMOS超音波変換器(CUT)、および圧電微細加工超音波変換器(PMUT)から成る群から選択される超音波変換器を有する、請求項11記載のシステム。
- 前記少なくとも1つのプロセッサは、携帯スマートフォンまたはタブレットと一体化している、請求項11記載のシステム。
- 前記少なくとも1つのプロセッサは、
前記超音波像が標的解剖学的像を含むか否かを決定する工程と、
前記超音波像が前記標的解剖学的像を含まないと言う決定に応答して、前記標的解剖学的像を含む前記被験者の超音波像を捕捉するように、前記超音波装置のオペレータを導くための方法に関するガイダンスプランを、前記超音波像を用いて生成する工程と、
前記生成されたガイダンスプランに基づいて、前記オペレータに少なくとも1つの指示を提供する工程とにより、少なくとも部分的に捕捉を導くように構成されている、請求項11記載のシステム。 - 前記ガイダンスプランは、前記超音波装置を標的場所へ移動するように前記超音波装置のオペレータを導く一連の指示を有する、請求項14記載のシステム。
- 前記一連の指示における各指示は、前記超音波装置を並進方向または回転方向へ移動させる指示である、請求項15記載のシステム。
- 前記少なくとも1つのプロセッサは、少なくとも部分的には、前記被験者の標的領域内に、前記超音波像が前記被験者の解剖学的像を含んでいるか否かを決定することにより、前記ガイダンスプランを生成するように構成される、請求項14記載のシステム。
- 請前記少なくとも1つのプロセッサは、少なくとも部分的には、前記超音波像に含まれる前記解剖学的像が前記標的領域の内にはないという決定に応答して、前記超音波装置が前記被験者の標的領域内に表示画像を取得できるような位置の方向へ前記超音波装置を移動させるようにと、前記オペレータへ指示を提供することにより、前記オペレータに前記少なくとも1つの指示を提供する、請求項17記載のシステム。
- 前記少なくとも1つのプロセッサは、少なくとも部分的には、前記超音波像に含まれる前記解剖学的像が前記標的領域内にあるという決定に応答して、前記超音波装置が前記標的解剖学的像の画像を取得できるような位置の方向へ前記超音波装置を移動させるようにと、前記オペレータへ指示を提供することにより、前記オペレータに前記少なくとも1つの指示を提供する、請求項17記載のシステム。
- 方法であって、
超音波装置によって捕捉される、被験者の超音波像を取得する工程と、
前記超音波像が標的解剖学的像を含んでいるか否かを決定する工程と、
前記超音波像が前記標的解剖学的像を含まないという決定に応答して、前記標的解剖学的像を含む前記被験者の超音波像を捕捉するように、前記超音波装置のオペレータを導くための方法に関するガイダンスプランを、前記超音波像を用いて生成する工程と、
前記生成されたガイダンスプランに基づいて、前記オペレータに少なくとも1つの指示を提供する工程とを実行する少なくとも1つのプロセッサを含む、少なくとも1つのコンピュータ装置の使用を有する
方法。 - 前記ガイダンスプランを生成する工程は、自動画像処理技術を用いて、前記超音波像に含まれる解剖学的像を識別する工程を有する、請求項20記載の方法。
- 前記ガイダンスプランを生成する工程は、前記識別された解剖学的像を用いて、前記超音波装置を移動させる方向を識別する工程を有し、前記少なくとも1つの指示を提供する工程は、前記識別された方向に前記超音波装置を移動させるように前記オペレータに指示を提供する工程を有する、請求項21記載の方法。
- 前記超音波装置を移動させる方向を識別する工程は、前記超音波装置を移動させる並進方向または回転方向を識別する工程を有する、請求項22記載の方法。
- 前記ガイダンスプランを生成する工程は、前記被験者の標的領域内に、前記超音波像が前記被験者の解剖学的像を含むか否かを決定する工程を有する、請求項20記載の方法。
- 前記被験者の標的領域内に、前記超音波像が前記被験者の解剖学的像を含むか否かを決定する工程は、前記超音波像が、前記被験者の胴体の少なくとも一部の解剖学的像を含むか否かを決定する工程を有する、請求項24記載の方法。
- 前記超音波像に含まれる前記解剖学的像が前記標的領域内にないという決定に応答して、少なくとも部分的には、前記被験者の標的領域内の表示の像を前記超音波装置が取得できるような位置の方向へ前記超音波装置を移動させるようにと、前記オペレータへ指示を提供することにより、少なくとも1つの指示を前記オペレータへ提供する工程を更に有する、請求項24記載の方法。
- 前記位置の方向へ前記超音波装置を移動させるようにと、前記オペレータへ前記指示を提供する工程は、前記標的領域が位置する場所の可視指標を前記オペレータへ提供する工程を有する、請求項26記載の方法。
- 前記超音波像に含まれる前記解剖学的像が前記標的領域内に存在するという決定に応答して、少なくとも部分的には、前記標的解剖学的像の画像を前記超音波装置が取得できるような位置の方向へ前記超音波装置を移動させるようにと、前記オペレータへ指示を提供することにより、少なくとも1つの指示を前記オペレータへ提供する工程を更に有する、請求項24記載の方法。
- 前記位置の方向へ前記超音波装置を移動するようにと、前記オペレータへ前記指示を提供する工程は、前記超音波装置を移動させる方向の可視指標を前記オペレータへ提供する工程を有する、請求項28記載の方法。
- プロセッサ実行可能な指示を記憶する少なくとも1つの非一時的コンピュータ読取り可能記憶媒体であって、
前記指示が、少なくとも1つのプロセッサによって実行される場合、前記少なくとも1つのプロセッサに、
超音波装置によって捕捉される被験者の超音波像を取得させ、
前記超音波像が標的解剖学的像を含んでいるか否かを決定させ、
前記超音波像が前記標的解剖学的像を含まないと言う決定に応答して、前記標的解剖学的像を含む前記被験者の超音波像を捕捉するように、前記超音波装置のオペレータを導くための方法に関するガイダンスプランを、前記超音波像を用いて生成させ、および
前記生成されたガイダンスプランに基づいて、前記オペレータに少なくとも1つの指示を提供させる、
少なくとも1つの非一時的コンピュータ読取り可能記憶媒体。
Applications Claiming Priority (16)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662352382P | 2016-06-20 | 2016-06-20 | |
US62/352,382 | 2016-06-20 | ||
US201662384144P | 2016-09-06 | 2016-09-06 | |
US201662384187P | 2016-09-06 | 2016-09-06 | |
US62/384,144 | 2016-09-06 | ||
US62/384,187 | 2016-09-06 | ||
US201662434980P | 2016-12-15 | 2016-12-15 | |
US62/434,980 | 2016-12-15 | ||
US201762445195P | 2017-01-11 | 2017-01-11 | |
US62/445,195 | 2017-01-11 | ||
US201762453696P | 2017-02-02 | 2017-02-02 | |
US62/453,696 | 2017-02-02 | ||
US201762463094P | 2017-02-24 | 2017-02-24 | |
US62/463,094 | 2017-02-24 | ||
PCT/US2017/038106 WO2017222970A1 (en) | 2016-06-20 | 2017-06-19 | Automated image acquisition for assisting a user to operate an ultrasound device |
JP2018563500A JP7361470B2 (ja) | 2016-06-20 | 2017-06-19 | ユーザによる超音波装置の操作を援助するための自動画像取得 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018563500A Division JP7361470B2 (ja) | 2016-06-20 | 2017-06-19 | ユーザによる超音波装置の操作を援助するための自動画像取得 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022123076A true JP2022123076A (ja) | 2022-08-23 |
Family
ID=60661018
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018563500A Active JP7361470B2 (ja) | 2016-06-20 | 2017-06-19 | ユーザによる超音波装置の操作を援助するための自動画像取得 |
JP2022099045A Pending JP2022123076A (ja) | 2016-06-20 | 2022-06-20 | ユーザによる超音波装置の操作を援助するための自動画像取得 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018563500A Active JP7361470B2 (ja) | 2016-06-20 | 2017-06-19 | ユーザによる超音波装置の操作を援助するための自動画像取得 |
Country Status (9)
Country | Link |
---|---|
US (12) | US10993697B2 (ja) |
EP (2) | EP4201340A1 (ja) |
JP (2) | JP7361470B2 (ja) |
KR (1) | KR20190021344A (ja) |
CN (2) | CN113876353A (ja) |
AU (2) | AU2017281281B2 (ja) |
CA (1) | CA3026162A1 (ja) |
TW (1) | TWI765895B (ja) |
WO (1) | WO2017222970A1 (ja) |
Families Citing this family (189)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8187260B1 (en) * | 2006-12-29 | 2012-05-29 | Endocare, Inc. | Variable cryosurgical probe planning system |
US9877699B2 (en) | 2012-03-26 | 2018-01-30 | Teratech Corporation | Tablet ultrasound system |
US10667790B2 (en) | 2012-03-26 | 2020-06-02 | Teratech Corporation | Tablet ultrasound system |
EP3445250B1 (en) | 2016-04-21 | 2021-09-15 | The University of British Columbia | Echocardiographic image analysis |
TWI765895B (zh) | 2016-06-20 | 2022-06-01 | 美商蝴蝶網路公司 | 用於協助使用者操作超音波裝置的自動化影像獲取之系統和方法 |
CA3039666C (en) | 2016-10-28 | 2022-08-23 | Ppg Industries Ohio, Inc. | Coatings for increasing near-infrared detection distances |
JP2019534110A (ja) * | 2016-11-16 | 2019-11-28 | テラテク・コーポレーシヨン | 携帯型超音波システム |
US10627464B2 (en) | 2016-11-22 | 2020-04-21 | Hyperfine Research, Inc. | Low-field magnetic resonance imaging methods and apparatus |
US10955504B2 (en) | 2016-11-22 | 2021-03-23 | Hyperfine Research, Inc. | Systems and methods for automated detection in magnetic resonance images |
EP3895605A1 (en) * | 2016-12-21 | 2021-10-20 | Emory University | Methods and systems for determining abnormal cardiac activity |
WO2018140415A1 (en) * | 2017-01-24 | 2018-08-02 | Tietronix Software, Inc. | System and method for three-dimensional augmented reality guidance for use of medical equipment |
US20210327303A1 (en) * | 2017-01-24 | 2021-10-21 | Tienovix, Llc | System and method for augmented reality guidance for use of equipment systems |
US20210327304A1 (en) * | 2017-01-24 | 2021-10-21 | Tienovix, Llc | System and method for augmented reality guidance for use of equpment systems |
US20210295048A1 (en) * | 2017-01-24 | 2021-09-23 | Tienovix, Llc | System and method for augmented reality guidance for use of equipment systems |
CN110520933B (zh) * | 2017-03-01 | 2023-10-27 | 皇家飞利浦有限公司 | 超声心动图上下文测量工具 |
CN106919310A (zh) * | 2017-03-07 | 2017-07-04 | 肖璐瑶 | 增强现实实现方法 |
WO2018178212A1 (en) * | 2017-03-28 | 2018-10-04 | Koninklijke Philips N.V. | Ultrasound clinical feature detection and associated devices, systems, and methods |
US20210113191A1 (en) * | 2017-04-26 | 2021-04-22 | Shenzhen Mindray Bio-Medical Electronics Co., Ltd. | Image data adjustment method and device |
WO2018226377A1 (en) * | 2017-06-06 | 2018-12-13 | Avent, Inc. | System and method for identifying and navigating anatomical objects using deep learning networks |
US20190012432A1 (en) * | 2017-07-05 | 2019-01-10 | General Electric Company | Methods and systems for reviewing ultrasound images |
US10740607B2 (en) * | 2017-08-18 | 2020-08-11 | Autel Robotics Co., Ltd. | Method for determining target through intelligent following of unmanned aerial vehicle, unmanned aerial vehicle and remote control |
AU2018323621A1 (en) * | 2017-08-31 | 2020-02-06 | Butterfly Network, Inc. | Methods and apparatus for collection of ultrasound data |
US10671918B2 (en) * | 2017-10-24 | 2020-06-02 | International Business Machines Corporation | Attention based sequential image processing |
JP6943138B2 (ja) * | 2017-10-26 | 2021-09-29 | コニカミノルタ株式会社 | 医用画像処理装置 |
TW201923776A (zh) | 2017-10-27 | 2019-06-16 | 美商蝴蝶網路公司 | 超音波影像上的自動化測量及用於自動化測量的收集的品質指示器 |
USD846749S1 (en) | 2017-10-27 | 2019-04-23 | Butterfly Network, Inc. | Ultrasound probe |
USD876636S1 (en) | 2017-10-27 | 2020-02-25 | Butterfly Networks, Inc. | Ultrasound probe housing |
CN111432731A (zh) * | 2017-11-02 | 2020-07-17 | 皇家飞利浦有限公司 | 用于检测图像伪影的智能超声*** |
JP7065592B2 (ja) * | 2017-11-17 | 2022-05-12 | 日本光電工業株式会社 | 超音波プローブ、超音波測定システム |
TW201928604A (zh) | 2017-12-22 | 2019-07-16 | 美商蝴蝶網路公司 | 用於基於超音波資料來識別姿勢的方法和設備 |
CN108226404A (zh) * | 2017-12-27 | 2018-06-29 | 广州安食通信息科技有限公司 | 一种智能食品检测***及其实现方法 |
CN109996023B (zh) * | 2017-12-29 | 2021-06-29 | 华为技术有限公司 | 图像处理方法和装置 |
USD846128S1 (en) | 2018-01-12 | 2019-04-16 | Butterfly Network, Inc | Ultrasound probe housing |
JP7081163B2 (ja) * | 2018-01-16 | 2022-06-07 | コニカミノルタ株式会社 | 超音波診断装置 |
US20200352542A1 (en) * | 2018-01-24 | 2020-11-12 | Koninklijke Philips N.V. | Guided-transcranial ultrasound imaging using neural networks and associated devices, systems, and methods |
US10595727B2 (en) * | 2018-01-25 | 2020-03-24 | Siemens Healthcare Gmbh | Machine learning-based segmentation for cardiac medical imaging |
WO2019150715A1 (ja) * | 2018-01-31 | 2019-08-08 | 富士フイルム株式会社 | 超音波診断装置および超音波診断装置の制御方法 |
CN108324320B (zh) * | 2018-02-02 | 2021-02-09 | 青岛市妇女儿童医院(青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心) | 一种超声探头连接***及其方法 |
US11164003B2 (en) * | 2018-02-06 | 2021-11-02 | Mitsubishi Electric Research Laboratories, Inc. | System and method for detecting objects in video sequences |
KR102160828B1 (ko) * | 2018-02-06 | 2020-09-29 | (주) 레지에나 | 초음파를 이용한 피부 시술을 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
EP3759720A4 (en) * | 2018-02-27 | 2021-12-01 | Butterfly Network, Inc. | TELEMEDICINE PROCESSES AND APPARATUS |
US11382601B2 (en) * | 2018-03-01 | 2022-07-12 | Fujifilm Sonosite, Inc. | Method and apparatus for annotating ultrasound examinations |
EP3764909A1 (en) * | 2018-03-12 | 2021-01-20 | Koninklijke Philips N.V. | Ultrasound imaging plane alignment guidance for neural networks and associated devices, systems, and methods |
JP7401447B2 (ja) * | 2018-03-12 | 2023-12-19 | コーニンクレッカ フィリップス エヌ ヴェ | ニューラルネットワークを使用した超音波撮像平面整列並びに関連するデバイス、システム、及び方法 |
WO2019174953A1 (en) * | 2018-03-12 | 2019-09-19 | Koninklijke Philips N.V. | Ultrasound imaging dataset acquisition for neural network training and associated devices, systems, and methods |
US11950961B2 (en) | 2018-03-14 | 2024-04-09 | The Regents Of The University Of California | Automated cardiac function assessment by echocardiography |
US20190296933A1 (en) * | 2018-03-20 | 2019-09-26 | Microsoft Technology Licensing, Llc | Controlling Devices Based on Sequence Prediction |
TWI682169B (zh) * | 2018-03-29 | 2020-01-11 | 佳世達科技股份有限公司 | 超音波成像方法 |
WO2019197427A1 (en) * | 2018-04-09 | 2019-10-17 | Koninklijke Philips N.V. | Ultrasound system with artificial neural network for retrieval of imaging parameter settings for recurring patient |
WO2019201726A1 (en) * | 2018-04-20 | 2019-10-24 | Koninklijke Philips N.V. | Adaptive ultrasound scanning |
US10861603B2 (en) * | 2018-05-07 | 2020-12-08 | Medtronic Minimed, Inc. | Proactive image-based infusion device delivery adjustments |
US11553900B2 (en) * | 2018-05-08 | 2023-01-17 | Fujifilm Sonosite, Inc. | Ultrasound system with automated wall tracing |
WO2019222478A2 (en) * | 2018-05-17 | 2019-11-21 | Teratech Corporation | Portable ultrasound system |
CN113222966B (zh) * | 2018-06-07 | 2023-01-10 | 深圳迈瑞生物医疗电子股份有限公司 | 基于超声影像设备的图像分析方法及超声影像设备 |
CN108830211A (zh) * | 2018-06-11 | 2018-11-16 | 厦门中控智慧信息技术有限公司 | 基于深度学习的人脸识别方法及相关产品 |
US20190388060A1 (en) * | 2018-06-22 | 2019-12-26 | General Electric Company | Imaging system and method with live examination completeness monitor |
WO2020006142A1 (en) * | 2018-06-26 | 2020-01-02 | Fanuc America Corporation | Automatic dynamic diagnosis guide with augmented reality |
CN108846840B (zh) * | 2018-06-26 | 2021-11-09 | 张茂 | 肺部超声图像分析方法、装置、电子设备及可读存储介质 |
CN112367920A (zh) * | 2018-07-02 | 2021-02-12 | 富士胶片株式会社 | 声波诊断装置及声波诊断装置的控制方法 |
US10284432B1 (en) * | 2018-07-03 | 2019-05-07 | Kabushiki Kaisha Ubitus | Method for enhancing quality of media transmitted via network |
EP3590436A1 (en) | 2018-07-06 | 2020-01-08 | Koninklijke Philips N.V. | Identifying an optimal image from a number of ultrasound images |
EP3823534A1 (en) * | 2018-07-18 | 2021-05-26 | Koninklijke Philips N.V. | Acquisition workflow and status indicators in a handheld medical scanning device |
JP2021530303A (ja) * | 2018-07-20 | 2021-11-11 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 深層学習による超音波イメージング、並びに関連デバイス、システム、及び方法 |
CA3107582A1 (en) * | 2018-07-25 | 2020-01-30 | The Trustees Of The University Of Pennsylvania | Methods, systems, and computer readable media for generating and providing artificial intelligence assisted surgical guidance |
JP7407790B2 (ja) * | 2018-07-26 | 2024-01-04 | コーニンクレッカ フィリップス エヌ ヴェ | 誘導肝イメージングのための人工ニューラルネットワークを有する超音波システム |
US11200811B2 (en) | 2018-08-03 | 2021-12-14 | International Business Machines Corporation | Intelligent recommendation of guidance instructions |
WO2020028738A1 (en) | 2018-08-03 | 2020-02-06 | Butterfly Network, Inc. | Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data |
US20200037986A1 (en) * | 2018-08-03 | 2020-02-06 | Butterfly Network, Inc. | Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data |
WO2020028740A1 (en) * | 2018-08-03 | 2020-02-06 | Butterfly Network, Inc. | Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data |
WO2020033376A1 (en) | 2018-08-07 | 2020-02-13 | Butterfly Network, Inc. | Methods and apparatuses for ultrasound imaging of lungs |
WO2020033380A1 (en) * | 2018-08-07 | 2020-02-13 | Butterfly Network, Inc. | Methods and apparatuses for determining and displaying locations on images of body portions based on ultrasound data |
AU2019326372A1 (en) | 2018-08-20 | 2021-03-11 | Butterfly Network, Inc. | Methods and apparatuses for guiding collection of ultrasound data |
WO2020068306A1 (en) * | 2018-08-21 | 2020-04-02 | The Government Of The United States, As Represented By The Secretary Of The Army | Systems and methods for ultrasound imaging |
US20210177374A1 (en) * | 2018-08-23 | 2021-06-17 | Koninklijke Philips N.V. | Biometric measurement and quality assessment |
AU2019330810A1 (en) * | 2018-08-29 | 2021-03-11 | Butterfly Network, Inc. | Methods and apparatuses for collection of ultrasound data |
US20200069285A1 (en) * | 2018-08-31 | 2020-03-05 | General Electric Company | System and method for ultrasound navigation |
US10751029B2 (en) | 2018-08-31 | 2020-08-25 | The University Of British Columbia | Ultrasonic image analysis |
US20200069219A1 (en) * | 2018-09-04 | 2020-03-05 | University Of South Carolina | Combining Pulmonary Function Test Data with Other Clinical Data |
US10282864B1 (en) * | 2018-09-17 | 2019-05-07 | StradVision, Inc. | Method and device for encoding image and testing method and testing device using the same |
TWI691930B (zh) | 2018-09-19 | 2020-04-21 | 財團法人工業技術研究院 | 基於神經網路的分類方法及其分類裝置 |
EP3864629A4 (en) | 2018-10-08 | 2022-07-27 | McGinley Education Innovations, LLC | AUGMENTED REALITY BASED PLAYBACK OF ULTRASONOGRAPHIC IMAGES FOR SURGICAL ASSISTANT |
US20200113542A1 (en) * | 2018-10-16 | 2020-04-16 | General Electric Company | Methods and system for detecting medical imaging scan planes using probe position feedback |
US20210369249A1 (en) * | 2018-10-16 | 2021-12-02 | Koninklijke Philips N.V. | Deep learning-based ultrasound imaging guidance and associated devices, systems, and methods |
WO2020086811A1 (en) | 2018-10-25 | 2020-04-30 | Butterfly Network, Inc. | Methods and apparatus for performing measurements on an ultrasound image |
US11730387B2 (en) * | 2018-11-02 | 2023-08-22 | University Of Central Florida Research Foundation, Inc. | Method for detection and diagnosis of lung and pancreatic cancers from imaging scans |
CN109330626B (zh) * | 2018-11-16 | 2022-04-12 | 中聚科技股份有限公司 | 一种自适应调节超声探头位置的装置及方法 |
CN113591754B (zh) * | 2018-11-16 | 2022-08-02 | 北京市商汤科技开发有限公司 | 关键点检测方法及装置、电子设备和存储介质 |
TW202022713A (zh) * | 2018-12-05 | 2020-06-16 | 宏碁股份有限公司 | 心臟狀態評估方法與系統、電子裝置及超音波掃描裝置 |
WO2020122606A1 (ko) * | 2018-12-11 | 2020-06-18 | 시너지에이아이 주식회사 | 인공신경망을 이용한 장기의 부피 측정 방법 및 그 장치 |
EP3669787A1 (en) * | 2018-12-19 | 2020-06-24 | Koninklijke Philips N.V. | Ultrasound transducer unit with friction guiding function |
US20220051781A1 (en) * | 2018-12-21 | 2022-02-17 | Varian Medical Systems International Ag | Methods and systems for radiotherapy treatment planning based on deep transfer learning |
CN111374710A (zh) * | 2018-12-28 | 2020-07-07 | 宏碁股份有限公司 | 心脏状态评估方法与***、电子装置及超声波扫描装置 |
CN109464757B (zh) | 2018-12-29 | 2021-07-20 | 上海联影医疗科技股份有限公司 | 一种确定目标对象位置的方法、***、装置及存储介质 |
US20200214679A1 (en) * | 2019-01-04 | 2020-07-09 | Butterfly Network, Inc. | Methods and apparatuses for receiving feedback from users regarding automatic calculations performed on ultrasound data |
TWI691310B (zh) * | 2019-01-04 | 2020-04-21 | 宏碁股份有限公司 | 超音波掃描方法與超音波掃描裝置 |
EP3909039A4 (en) * | 2019-01-07 | 2022-10-05 | Butterfly Network, Inc. | METHOD AND DEVICE FOR TELEMEDICINE |
US20200214672A1 (en) * | 2019-01-07 | 2020-07-09 | Butterfly Network, Inc. | Methods and apparatuses for collection of ultrasound data |
US11561329B2 (en) | 2019-01-07 | 2023-01-24 | Ppg Industries Ohio, Inc. | Near infrared control coating, articles formed therefrom, and methods of making the same |
US11751848B2 (en) | 2019-01-07 | 2023-09-12 | Bfly Operations, Inc. | Methods and apparatuses for ultrasound data collection |
JP7180393B2 (ja) * | 2019-01-11 | 2022-11-30 | 富士通株式会社 | 学習プログラム、学習装置及び学習方法 |
JP7192512B2 (ja) | 2019-01-11 | 2022-12-20 | 富士通株式会社 | 学習プログラム、学習装置及び学習方法 |
CN111466948B (zh) * | 2019-01-23 | 2023-04-07 | 宏碁股份有限公司 | 超声波扫描方法与超声波扫描装置 |
CN109646047B (zh) * | 2019-01-23 | 2023-12-26 | 上海浅葱网络技术有限公司 | 一种超声设备操作引导的显示方法 |
JP7262232B2 (ja) * | 2019-01-29 | 2023-04-21 | 東京エレクトロン株式会社 | 画像認識システムおよび画像認識方法 |
WO2020154921A1 (zh) * | 2019-01-29 | 2020-08-06 | 昆山华大智造云影医疗科技有限公司 | 超声扫描控制方法及***、超声扫描设备及存储介质 |
WO2020167938A1 (en) * | 2019-02-13 | 2020-08-20 | Butterfly Network, Inc. | Methods and apparatuses for collecting ultrasound images depicting needles |
KR102246408B1 (ko) * | 2019-02-14 | 2021-05-18 | 엔에이치엔 주식회사 | 딥러닝 기반 유사상품 제공방법 |
EP3925542B1 (en) * | 2019-02-15 | 2023-04-05 | FUJIFILM Corporation | Ultrasonic diagnostic device and ultrasonic diagnostic device control method |
WO2020172156A1 (en) | 2019-02-18 | 2020-08-27 | Butterfly Network, Inc. | Methods and apparatuses enabling a user to manually modify input to a calculation relative to an ultrasound image |
JP7204106B2 (ja) * | 2019-03-03 | 2023-01-16 | 株式会社レキオパワー | 超音波プローブ用ナビゲートシステム、および、そのナビゲート表示装置 |
US11707255B2 (en) * | 2019-04-02 | 2023-07-25 | Siemens Medical Solutions Usa, Inc. | Image-based probe positioning |
WO2020206069A1 (en) * | 2019-04-03 | 2020-10-08 | Butterfly Network, Inc. | Methods and apparatuses for guiding collection of ultrasound images |
US11727558B2 (en) | 2019-04-03 | 2023-08-15 | Bfly Operations, Inc. | Methods and apparatuses for collection and visualization of ultrasound data |
US20220211267A1 (en) | 2019-04-16 | 2022-07-07 | Spect Inc. | Device navigation and capture of media data |
EP3973537A4 (en) * | 2019-05-22 | 2023-06-14 | BFLY Operations, Inc. | METHODS AND APPARATUS FOR ANALYZING IMAGING DATA |
WO2020252300A1 (en) | 2019-06-14 | 2020-12-17 | Butterfly Network, Inc. | Methods and apparatuses for collection of ultrasound data along different elevational steering angles |
CN114072062A (zh) | 2019-06-25 | 2022-02-18 | 布弗莱运营公司 | 用于处理超声信号的方法和装置 |
EP3989834A4 (en) | 2019-06-25 | 2023-08-02 | BFLY Operations, Inc. | METHODS AND APPARATUS FOR PROCESSING ULTRASOUND SIGNALS |
WO2021002217A1 (ja) * | 2019-07-03 | 2021-01-07 | ソニー株式会社 | 表示装置、表示方法、及び、超音波診断システム |
JP7272149B2 (ja) * | 2019-07-08 | 2023-05-12 | コニカミノルタ株式会社 | 選択支援システム及びプログラム |
CN110313941B (zh) * | 2019-08-01 | 2021-02-19 | 无锡海斯凯尔医学技术有限公司 | 数据处理方法、装置、设备及存储介质 |
EP4010734A4 (en) | 2019-08-08 | 2023-08-16 | BFLY Operations, Inc. | METHODS AND APPARATUS FOR COLLECTING ULTRASOUND IMAGES |
JP7210749B2 (ja) * | 2019-08-15 | 2023-01-23 | 富士フイルム株式会社 | 超音波システムおよび超音波システムの制御方法 |
US11844654B2 (en) | 2019-08-19 | 2023-12-19 | Caption Health, Inc. | Mid-procedure view change for ultrasound diagnostics |
US20210052251A1 (en) * | 2019-08-23 | 2021-02-25 | Butterfly Network, Inc. | Methods and apparatuses for guiding a user to collect ultrasound data |
CN110503622B (zh) * | 2019-08-23 | 2022-07-01 | 上海圭目机器人有限公司 | 基于定位数据的图像全局定位优化拼接方法 |
JP7321836B2 (ja) * | 2019-08-26 | 2023-08-07 | キヤノン株式会社 | 情報処理装置、検査システム及び情報処理方法 |
JP7362354B2 (ja) * | 2019-08-26 | 2023-10-17 | キヤノン株式会社 | 情報処理装置、検査システム及び情報処理方法 |
US11602331B2 (en) * | 2019-09-11 | 2023-03-14 | GE Precision Healthcare LLC | Delivery of therapeutic neuromodulation |
CN114430671A (zh) * | 2019-09-26 | 2022-05-03 | 皇家飞利浦有限公司 | 用于超声成像中的目标定位的自动闭环超声平面转向以及相关联的设备、***和方法 |
US11640665B2 (en) | 2019-09-27 | 2023-05-02 | Bfly Operations, Inc. | Methods and apparatuses for detecting degraded ultrasound imaging frame rates |
US20210096243A1 (en) * | 2019-09-27 | 2021-04-01 | Butterfly Network, Inc. | Methods and apparatus for configuring an ultrasound system with imaging parameter values |
US20220344034A1 (en) * | 2019-09-30 | 2022-10-27 | Koninklijke Philips N.V. | Recording ultrasound images |
KR102097390B1 (ko) * | 2019-10-10 | 2020-04-06 | 주식회사 메디씽큐 | 시선 검출 기반의 스마트 안경 표시 장치 |
CN112773402A (zh) * | 2019-11-09 | 2021-05-11 | 无锡祥生医疗科技股份有限公司 | 智能辅助引导方法、超声诊断设备及存储介质 |
US20220401062A1 (en) * | 2019-11-21 | 2022-12-22 | Koninklijke Philips N.V. | Point-of-care ultrasound (pocus) scan assistance and associated devices, systems, and methods |
JP7379120B2 (ja) * | 2019-11-28 | 2023-11-14 | キヤノン株式会社 | 超音波診断装置、医用画像撮影装置、学習装置、超音波画像表示方法及びプログラム |
WO2021110576A1 (en) * | 2019-12-02 | 2021-06-10 | Koninklijke Philips N.V. | Providing information for assisting in the treatment of a ventilated and sedated patient |
US11182909B2 (en) * | 2019-12-10 | 2021-11-23 | Google Llc | Scalable real-time hand tracking |
US11488700B2 (en) * | 2019-12-13 | 2022-11-01 | Medtronic Minimed, Inc. | Medical device configuration procedure guidance responsive to detected gestures |
SG10201912715RA (en) * | 2019-12-20 | 2021-07-29 | Ultron Techniques Pte Ltd | System and method for housekeeping monitoring |
CN113116378A (zh) * | 2019-12-31 | 2021-07-16 | 无锡祥生医疗科技股份有限公司 | 多模态融合成像方法、超声设备及存储介质 |
CN113116386B (zh) * | 2019-12-31 | 2023-08-04 | 无锡祥生医疗科技股份有限公司 | 超声成像引导方法、超声设备及存储介质 |
CN112215843B (zh) * | 2019-12-31 | 2021-06-11 | 无锡祥生医疗科技股份有限公司 | 超声智能成像导航方法、装置、超声设备及存储介质 |
KR102144671B1 (ko) * | 2020-01-16 | 2020-08-14 | 성균관대학교산학협력단 | 증강현실 안경을 활용한 인공지능형 초음파 자가 진단을 위한 초음파 스캐너 자세 교정 장치 및 이를 이용한 원격 의료 진단 방법 |
EP3868303A1 (en) * | 2020-02-18 | 2021-08-25 | Koninklijke Philips N.V. | Ultrasound guidance method and system |
TWI768288B (zh) * | 2020-02-10 | 2022-06-21 | 中國醫藥大學 | 腎臟功能評估方法、腎臟功能評估系統及腎臟照護裝置 |
US20230094631A1 (en) * | 2020-03-05 | 2023-03-30 | Koninklijke Philips N.V. | Ultrasound imaging guidance and associated devices, systems, and methods |
US11246569B2 (en) * | 2020-03-09 | 2022-02-15 | Verdure Imaging, Inc. | Apparatus and method for automatic ultrasound segmentation for visualization and measurement |
WO2021200001A1 (ja) * | 2020-03-30 | 2021-10-07 | 富士フイルム株式会社 | 撮影支援装置、その作動方法、及び作動プログラム |
US12023201B2 (en) | 2020-04-22 | 2024-07-02 | Bfly Operations, Inc. | Methods and apparatuses for beamforming in ultrasound systems using unbuffered data samples |
CN111477318B (zh) * | 2020-04-25 | 2022-12-16 | 华南理工大学 | 一种用于远程操纵的虚拟超声探头跟踪方法 |
US20210330296A1 (en) * | 2020-04-27 | 2021-10-28 | Butterfly Network, Inc. | Methods and apparatuses for enhancing ultrasound data |
US20210330285A1 (en) * | 2020-04-28 | 2021-10-28 | EchoNous, Inc. | Systems and methods for automated physiological parameter estimation from ultrasound image sequences |
CN111553467B (zh) * | 2020-04-30 | 2021-06-08 | 陈永聪 | 一种实现通用人工智能的方法 |
IL274382A (en) * | 2020-05-01 | 2021-12-01 | Pulsenmore Ltd | A system and method for assisting an unskilled patient in performing ultrasound scans himself |
US11532084B2 (en) | 2020-05-11 | 2022-12-20 | EchoNous, Inc. | Gating machine learning predictions on medical ultrasound images via risk and uncertainty quantification |
US11523801B2 (en) * | 2020-05-11 | 2022-12-13 | EchoNous, Inc. | Automatically identifying anatomical structures in medical images in a manner that is sensitive to the particular view in which each image is captured |
US11478124B2 (en) | 2020-06-09 | 2022-10-25 | DOCBOT, Inc. | System and methods for enhanced automated endoscopy procedure workflow |
TWI746001B (zh) * | 2020-06-10 | 2021-11-11 | 宏碁股份有限公司 | 頭戴式裝置及其立體音效控制方法 |
JP2022006717A (ja) * | 2020-06-24 | 2022-01-13 | キヤノン株式会社 | 医用画像診断装置およびマーカー |
CN111915568B (zh) * | 2020-07-08 | 2023-07-25 | 深圳大学 | 图像篡改定位模型的生成方法、图像篡改定位方法及设备 |
US20220087644A1 (en) * | 2020-09-24 | 2022-03-24 | GE Precision Healthcare LLC | Systems and methods for an adaptive interface for an ultrasound imaging system |
JPWO2022080228A1 (ja) * | 2020-10-16 | 2022-04-21 | ||
CN117119990A (zh) * | 2020-10-22 | 2023-11-24 | 史赛克公司 | 用于捕获、显示和操控医学图像和视频的***和方法 |
US11636593B2 (en) * | 2020-11-06 | 2023-04-25 | EchoNous, Inc. | Robust segmentation through high-level image understanding |
US11941503B2 (en) * | 2020-11-11 | 2024-03-26 | EchoNous, Inc. | Performing inference using an adaptive, hybrid local/remote technique |
US11806192B2 (en) | 2020-12-09 | 2023-11-07 | Industrial Technology Research Institute | Guiding system and guiding method for ultrasound scanning operation |
CN114694442B (zh) * | 2020-12-31 | 2024-07-02 | 无锡触典科技有限公司 | 基于虚拟现实的超声培训方法、装置、存储介质及超声设备 |
US20220233167A1 (en) * | 2021-01-22 | 2022-07-28 | Echo Mind AI Corp | Detecting pathologies using an ultrasound probe |
US11501502B2 (en) * | 2021-03-19 | 2022-11-15 | International Business Machines Corporation | Augmented reality guided inspection |
US20220301240A1 (en) * | 2021-03-22 | 2022-09-22 | GE Precision Healthcare LLC | Automatic Model-Based Navigation System And Method For Ultrasound Images |
WO2022217360A1 (en) * | 2021-04-13 | 2022-10-20 | Machine.Healthcare Ltd | Automated detection of indicators of health through analysis of digital images captured by consumer computing devices and stratification of patients based on the same |
US20220338836A1 (en) * | 2021-04-21 | 2022-10-27 | Ultrasight Ltd | System and method for guiding positioning and orienting of an ultrasound probe |
US11922621B2 (en) | 2021-04-26 | 2024-03-05 | Biosense Webster (Israel) Ltd. | Automatic frame selection for 3D model construction |
EP4370035A1 (en) * | 2021-06-16 | 2024-05-22 | BFLY Operations, Inc. | Methods and apparatuses for guiding a user to collect ultrasound images |
US11278260B1 (en) | 2021-07-09 | 2022-03-22 | Qure.Ai Technologies Private Limited | Acquiring ultrasound image |
TWI792581B (zh) * | 2021-07-20 | 2023-02-11 | 明俐科技有限公司 | 具快速顯示及系統失效備援機制的顯示設備及顯示方法 |
RU2761518C1 (ru) * | 2021-07-30 | 2021-12-09 | ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "СберМедИИ" | Цифровая платформа для постановки медицинских диагнозов на основе искусственного интеллекта с возможностью верификации врачом |
CO2021010157A1 (es) * | 2021-07-30 | 2021-11-08 | Paulo Andres Escobar Rincon | Estación de entrenamiento para procedimientos quirúrgicos |
US11944501B2 (en) * | 2022-02-16 | 2024-04-02 | GE Precision Healthcare LLC | Systems and methods for automatic measurements of medical images |
WO2023191950A1 (en) * | 2022-03-31 | 2023-10-05 | Bfly Operations, Inc. | Methods and systems for acquisition of patient information for ultrasound scans via barcode extraction |
TWI823416B (zh) * | 2022-06-08 | 2023-11-21 | 鴻海精密工業股份有限公司 | 深度估計網路之訓練方法、裝置、電子設備及存儲介質 |
WO2023244413A1 (en) | 2022-06-16 | 2023-12-21 | Bfly Operations, Inc. | Method and system for managing ultrasound operations using machine learning and/or non-gui interactions |
WO2024059184A1 (en) * | 2022-09-16 | 2024-03-21 | The Johns Hopkins University | Machine learning systems and related aspects for the detection of disease states |
US20240115238A1 (en) * | 2022-10-10 | 2024-04-11 | Fujifilm Sonosite, Inc. | Ultrasound scanner with display interface |
WO2024090190A1 (ja) * | 2022-10-26 | 2024-05-02 | ソニーグループ株式会社 | 超音波検査装置、検査方法、およびプログラム |
EP4368114A1 (en) * | 2022-11-08 | 2024-05-15 | BFLY Operations, Inc. | Systems and methods for transforming ultrasound images |
CN117017355B (zh) * | 2023-10-08 | 2024-01-12 | 合肥合滨智能机器人有限公司 | 一种基于多模态生成式对话的甲状腺自主扫查*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130237811A1 (en) * | 2012-03-07 | 2013-09-12 | Speir Technologies Inc. | Methods and systems for tracking and guiding sensors and instruments |
JP2015217306A (ja) * | 2014-05-13 | 2015-12-07 | 株式会社東芝 | 超音波診断装置及び超音波プローブ |
Family Cites Families (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6358208B1 (en) * | 1998-11-21 | 2002-03-19 | Philipp Lang | Assessment of cardiovascular performance using ultrasound methods and devices that interrogate interstitial fluid |
JP4088104B2 (ja) | 2002-06-12 | 2008-05-21 | 株式会社東芝 | 超音波診断装置 |
GB0221169D0 (en) * | 2002-09-12 | 2002-10-23 | Univ Bath | Crystal |
US20040122707A1 (en) | 2002-12-18 | 2004-06-24 | Sabol John M. | Patient-driven medical data processing system and method |
EP1680024A2 (en) * | 2003-10-21 | 2006-07-19 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for intraoperative targetting |
US20060074315A1 (en) * | 2004-10-04 | 2006-04-06 | Jianming Liang | Medical diagnostic ultrasound characterization of cardiac motion |
WO2006086223A2 (en) | 2005-02-08 | 2006-08-17 | Blue Belt Technologies, Inc. | Augmented reality device and method |
WO2006138643A2 (en) | 2005-06-16 | 2006-12-28 | Nomos Corporation | System, tracker, and program product to facilitate and verify proper target alignment for radiation delivery, and related methods |
US7648460B2 (en) | 2005-08-31 | 2010-01-19 | Siemens Medical Solutions Usa, Inc. | Medical diagnostic imaging optimization based on anatomy recognition |
US20080009733A1 (en) * | 2006-06-27 | 2008-01-10 | Ep Medsystems, Inc. | Method for Evaluating Regional Ventricular Function and Incoordinate Ventricular Contraction |
US20080119731A1 (en) * | 2006-11-20 | 2008-05-22 | North American Medical Corporation | Portable ultrasound with touch screen interface |
WO2009094646A2 (en) * | 2008-01-24 | 2009-07-30 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for image guided ablation |
WO2009117419A2 (en) | 2008-03-17 | 2009-09-24 | Worcester Polytechnic Institute | Virtual interactive system for ultrasound training |
AU2009243918A1 (en) | 2008-05-07 | 2009-11-12 | Signostics Limited | Docking system for medical diagnostic scanning using a handheld device |
US8194952B2 (en) | 2008-06-04 | 2012-06-05 | Raytheon Company | Image processing system and methods for aligning skin features for early skin cancer detection systems |
US8090443B2 (en) | 2008-09-15 | 2012-01-03 | Xiaoyi Min | Monitoring HF exacerbation and cardiac resynchronization therapy performance |
US9002427B2 (en) | 2009-03-30 | 2015-04-07 | Lifewave Biomedical, Inc. | Apparatus and method for continuous noninvasive measurement of respiratory function and events |
AU2010258354B2 (en) * | 2009-06-12 | 2015-08-13 | Generex Pharmaceuticals, Inc. | Composition used to prevent and treat red blood cell coagulation |
US8343053B2 (en) * | 2009-07-21 | 2013-01-01 | Siemens Medical Solutions Usa, Inc. | Detection of structure in ultrasound M-mode imaging |
JP5643549B2 (ja) | 2010-06-11 | 2014-12-17 | 任天堂株式会社 | 画像処理システム、画像処理プログラム、画像処理装置および画像処理方法 |
KR101656775B1 (ko) * | 2010-12-24 | 2016-09-12 | 삼성전자주식회사 | 진단영상을 표시하는 방법, 이를 수행하는 영상처리장치 및 의료영상시스템 |
CN103732134B (zh) | 2010-12-29 | 2016-08-17 | 迪亚卡帝奥有限公司 | 用于自动左心室功能评价的***、装置、设备和方法 |
AU2012219076B2 (en) | 2011-02-17 | 2016-06-30 | Tyto Care Ltd | System and method for performing an automatic and self-guided medical examination |
WO2012123943A1 (en) | 2011-03-17 | 2012-09-20 | Mor Research Applications Ltd. | Training, skill assessment and monitoring users in ultrasound guided procedures |
US9687204B2 (en) * | 2011-05-20 | 2017-06-27 | Siemens Healthcare Gmbh | Method and system for registration of ultrasound and physiological models to X-ray fluoroscopic images |
US9480457B2 (en) * | 2011-09-08 | 2016-11-01 | Hitachi Medical Corporation | Ultrasound diagnostic device and ultrasound image display method |
WO2013077977A1 (en) | 2011-11-23 | 2013-05-30 | Remedev, Inc. | Remotely-executed medical diagnosis and therapy including emergency automation |
JP2015502807A (ja) * | 2011-12-01 | 2015-01-29 | ネオコード インコーポレイテッドNeochord,Inc. | 心臓弁尖の修復用の外科用ナビゲーション |
JP5832938B2 (ja) * | 2012-03-15 | 2015-12-16 | 富士フイルム株式会社 | 画像処理装置、方法及びプログラム |
CN103429164B (zh) | 2012-03-30 | 2015-04-22 | 东芝医疗***株式会社 | 超声波诊断装置、图像处理装置以及图像处理方法 |
EA201491615A1 (ru) * | 2012-04-01 | 2015-04-30 | Ариэль-Юниверсити Рисёрч Энд Дивелопмент Компани, Лтд. | Устройство для обучения пользователей устройства ультразвуковой визуализации |
DE102012206350A1 (de) * | 2012-04-18 | 2013-10-24 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren zum Betreiben eines Roboters |
WO2013161277A1 (ja) * | 2012-04-23 | 2013-10-31 | パナソニック株式会社 | 超音波診断装置およびその制御方法 |
US8777856B2 (en) | 2012-06-26 | 2014-07-15 | General Electric Company | Diagnostic system and method for obtaining an ultrasound image frame |
US10568586B2 (en) * | 2012-10-05 | 2020-02-25 | Volcano Corporation | Systems for indicating parameters in an imaging data set and methods of use |
CN102999902B (zh) * | 2012-11-13 | 2016-12-21 | 上海交通大学医学院附属瑞金医院 | 基于ct配准结果的光学导航定位导航方法 |
US20150124051A1 (en) | 2013-11-05 | 2015-05-07 | Robert Schinker | Methods and Apparatus for Enhanced Reality Messaging |
EP2934328B1 (en) | 2012-12-21 | 2018-09-26 | Koninklijke Philips N.V. | Anatomically intelligent echocardiography for point-of-care |
KR20140095164A (ko) * | 2013-01-23 | 2014-08-01 | 삼성전자주식회사 | 초음파 프로브 및 이를 채용한 초음파 의료 시스템 |
CN104027893B (zh) * | 2013-03-08 | 2021-08-31 | 奥赛拉公司 | 用于多焦点超声治疗的装置和方法 |
JP5410629B1 (ja) * | 2013-05-14 | 2014-02-05 | 健司 三木 | 超音波診断システム、画像処理装置およびその制御方法と制御プログラム |
US10702248B2 (en) | 2013-06-28 | 2020-07-07 | Koninklijke Philips N.V. | Ultrasound acquisition feedback guidance to a target view |
WO2015039302A1 (en) | 2013-09-18 | 2015-03-26 | Shenzhen Mindray Bio-Medical Electronics Co., Ltd | Method and system for guided ultrasound image acquisition |
US9700219B2 (en) * | 2013-10-17 | 2017-07-11 | Siemens Healthcare Gmbh | Method and system for machine learning based assessment of fractional flow reserve |
EP3080778B1 (en) | 2013-12-09 | 2019-03-27 | Koninklijke Philips N.V. | Imaging view steering using model-based segmentation |
WO2015103388A1 (en) * | 2014-01-02 | 2015-07-09 | Metritrack, Inc. | System and method for tracking completeness of co-registered medical image data |
JP6479039B2 (ja) | 2014-03-31 | 2019-03-06 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 超音波画像取得に対する触覚フィードバック |
US20150272553A1 (en) | 2014-04-01 | 2015-10-01 | General Electric Company | Ultrasound probe for automated management of data entry for a patient |
KR101705120B1 (ko) | 2014-08-28 | 2017-02-09 | 삼성전자 주식회사 | 자가 진단 및 원격 진단을 위한 초음파 진단 장치 및 초음파 진단 장치의 동작 방법 |
WO2016036173A1 (en) * | 2014-09-04 | 2016-03-10 | Samsung Electronics Co., Ltd. | Ultrasound probe and operating method thereof |
KR20160046670A (ko) | 2014-10-21 | 2016-04-29 | 삼성전자주식회사 | 영상 진단 보조 장치 및 방법 |
KR102328269B1 (ko) * | 2014-10-23 | 2021-11-19 | 삼성전자주식회사 | 초음파 영상 장치 및 그 제어 방법 |
JP2016097079A (ja) * | 2014-11-21 | 2016-05-30 | 株式会社東芝 | 超音波診断装置 |
EP3136392A1 (en) | 2015-08-25 | 2017-03-01 | Thomson Licensing | Method and system for embedding and retrieving information through marker transformation |
US10646199B2 (en) | 2015-10-19 | 2020-05-12 | Clarius Mobile Health Corp. | Systems and methods for remote graphical feedback of ultrasound scanning technique |
US10964424B2 (en) * | 2016-03-09 | 2021-03-30 | EchoNous, Inc. | Ultrasound image recognition systems and methods utilizing an artificial intelligence network |
JP6648587B2 (ja) | 2016-03-23 | 2020-02-14 | コニカミノルタ株式会社 | 超音波診断装置 |
WO2017182278A1 (en) * | 2016-04-19 | 2017-10-26 | Koninklijke Philips N.V. | Acoustic registration of internal and external ultrasound probes |
EP3445250B1 (en) * | 2016-04-21 | 2021-09-15 | The University of British Columbia | Echocardiographic image analysis |
US10856840B2 (en) | 2016-06-20 | 2020-12-08 | Butterfly Network, Inc. | Universal ultrasound device and related apparatus and methods |
TWI765895B (zh) | 2016-06-20 | 2022-06-01 | 美商蝴蝶網路公司 | 用於協助使用者操作超音波裝置的自動化影像獲取之系統和方法 |
-
2017
- 2017-06-19 TW TW106120366A patent/TWI765895B/zh active
- 2017-06-19 US US15/626,423 patent/US10993697B2/en active Active
- 2017-06-19 CA CA3026162A patent/CA3026162A1/en active Pending
- 2017-06-19 CN CN202111215277.2A patent/CN113876353A/zh active Pending
- 2017-06-19 US US15/626,885 patent/US10856848B2/en active Active
- 2017-06-19 US US15/626,954 patent/US11540808B2/en active Active
- 2017-06-19 US US15/626,771 patent/US10702242B2/en active Active
- 2017-06-19 WO PCT/US2017/038106 patent/WO2017222970A1/en unknown
- 2017-06-19 KR KR1020197001667A patent/KR20190021344A/ko not_active IP Right Cessation
- 2017-06-19 EP EP23153155.9A patent/EP4201340A1/en active Pending
- 2017-06-19 JP JP2018563500A patent/JP7361470B2/ja active Active
- 2017-06-19 US US15/626,925 patent/US20170360411A1/en not_active Abandoned
- 2017-06-19 US US15/626,844 patent/US10959702B2/en active Active
- 2017-06-19 AU AU2017281281A patent/AU2017281281B2/en active Active
- 2017-06-19 EP EP17815998.4A patent/EP3471623B1/en active Active
- 2017-06-19 CN CN201780037918.5A patent/CN109310396B/zh active Active
-
2020
- 2020-06-02 US US16/889,944 patent/US11185307B2/en active Active
- 2020-11-09 US US17/093,616 patent/US11670077B2/en active Active
-
2021
- 2021-05-25 US US17/330,343 patent/US11564657B2/en active Active
- 2021-09-07 US US17/468,633 patent/US11861887B2/en active Active
-
2022
- 2022-05-20 AU AU2022203420A patent/AU2022203420A1/en not_active Abandoned
- 2022-06-20 JP JP2022099045A patent/JP2022123076A/ja active Pending
- 2022-10-27 US US17/975,268 patent/US11928859B2/en active Active
-
2023
- 2023-11-20 US US18/514,522 patent/US20240161491A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130237811A1 (en) * | 2012-03-07 | 2013-09-12 | Speir Technologies Inc. | Methods and systems for tracking and guiding sensors and instruments |
JP2015217306A (ja) * | 2014-05-13 | 2015-12-07 | 株式会社東芝 | 超音波診断装置及び超音波プローブ |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7361470B2 (ja) | ユーザによる超音波装置の操作を援助するための自動画像取得 | |
US20220386990A1 (en) | Methods and apparatus for collection of ultrasound data | |
CN113260313A (zh) | 用于超声数据收集的方法和装置 | |
US20200037986A1 (en) | Methods and apparatuses for guiding collection of ultrasound data using motion and/or orientation data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220719 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230508 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231129 |