CN114554969A - 用于基于深度学习的超声波束形成的方法和装置 - Google Patents
用于基于深度学习的超声波束形成的方法和装置 Download PDFInfo
- Publication number
- CN114554969A CN114554969A CN202080072656.8A CN202080072656A CN114554969A CN 114554969 A CN114554969 A CN 114554969A CN 202080072656 A CN202080072656 A CN 202080072656A CN 114554969 A CN114554969 A CN 114554969A
- Authority
- CN
- China
- Prior art keywords
- data
- ultrasound
- beamforming
- image
- beamforming data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 172
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013135 deep learning Methods 0.000 title description 51
- 210000003484 anatomy Anatomy 0.000 claims abstract description 46
- 238000004891 communication Methods 0.000 claims abstract description 32
- 238000012285 ultrasound imaging Methods 0.000 claims abstract description 26
- 238000002592 echocardiography Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 36
- 238000013528 artificial neural network Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 25
- 238000012360 testing method Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 7
- 230000015654 memory Effects 0.000 description 36
- 239000000523 sample Substances 0.000 description 32
- 235000019801 trisodium phosphate Nutrition 0.000 description 30
- 238000003384 imaging method Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 20
- 238000013527 convolutional neural network Methods 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 14
- 239000002131 composite material Substances 0.000 description 14
- 230000000747 cardiac effect Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 11
- 210000002216 heart Anatomy 0.000 description 10
- 230000004044 response Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000017531 blood circulation Effects 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 238000013329 compounding Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 230000001934 delay Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 210000003734 kidney Anatomy 0.000 description 3
- 229910052451 lead zirconate titanate Inorganic materials 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010011732 Cyst Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 208000031513 cyst Diseases 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013175 transesophageal echocardiography Methods 0.000 description 2
- 238000010967 transthoracic echocardiography Methods 0.000 description 2
- 238000004804 winding Methods 0.000 description 2
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 230000005534 acoustic noise Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000005242 cardiac chamber Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000007340 echolocation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001174 endocardium Anatomy 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 238000010874 in vitro model Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002608 intravascular ultrasound Methods 0.000 description 1
- HFGPZNIAWCZYJU-UHFFFAOYSA-N lead zirconate titanate Chemical compound [O-2].[O-2].[O-2].[O-2].[O-2].[Ti+4].[Zr+4].[Pb+2] HFGPZNIAWCZYJU-UHFFFAOYSA-N 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000004379 membrane Anatomy 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 210000003516 pericardium Anatomy 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
- G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
- G01S15/8965—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using acousto-optical or acousto-electronic conversion techniques
- G01S15/8968—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using acousto-optical or acousto-electronic conversion techniques using acoustical modulation of a light beam
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52023—Details of receivers
- G01S7/52025—Details of receivers for pulse systems
- G01S7/52026—Extracting wanted echo signals
- G01S7/52028—Extracting wanted echo signals using digital techniques
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4483—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/488—Diagnostic techniques involving Doppler signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
- G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
- G01S15/8909—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
- G01S15/8915—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52046—Techniques for image enhancement involving transmitter or receiver
- G01S7/52047—Techniques for image enhancement involving transmitter or receiver for elimination of side lobes or of grating lobes; for increasing resolving power
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52085—Details related to the ultrasound signal acquisition, e.g. scan sequences
- G01S7/52087—Details related to the ultrasound signal acquisition, e.g. scan sequences using synchronization techniques
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Cardiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Gynecology & Obstetrics (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
提供了超声图像设备、***和方法。一种超声成像***，包括：声学元件的阵列，其被配置为将超声能量发送到解剖结构中并且接收与所述解剖结构相关联的超声回波；以及处理器电路，其与声学元件的阵列通信并且被配置为从所述阵列接收对应于接收到的超声回波的超声信道数据；通过将预测网络应用于所述超声信道数据来生成第一组波束形成数据，其中，所述第一组波束形成数据与不同于所述第一预设采集设置的第二预设采集设置相关联；根据所述第一组波束形成数据生成所述解剖结构的图像；并且向与所述处理器电路通信的显示器输出所述解剖结构的图像。
Description
技术领域
本公开总体上涉及超声成像，并且具体而言，涉及使用用于波束形成的预测模型根据超声回波信道响应重建超声图像。
背景技术
超声成像***广泛用于医学成像。常规医学超声***可以包括超声换能器探头，其耦合到处理***和一个或多个显示设备。超声换能器探头可以包括声学元件的阵列，其将声波发送到对象(例如，患者的身体)中并且记录从对象反射的声波。声波的传输和/或反射声波或者回波响应的接收可以通过超声换能器元件的相同集合或者声学元件的不同集合执行。处理***根据由声学元件接收的回波响应重建或者创建对象的图像。对于常规超声成像，处理***可以通过对接收到的回波响应信号进行延迟和求和来执行波束形成，以实现沿着成像深度的接收聚焦。处理***可以通过应用信号处理和/或图像处理技术根据波束形成信号重建图像。
动态解剖特征(诸如心脏)的超声成像具有挑战性，因为难以找到足够的声学窗口和维持声学耦合，这需要精确定位用于对(一个或多个)特征进行成像的最佳声学和采集设置。现有的超声软件常常包括组织特异性预设(TSP)，其被设计为通过提供可选择的默认声学和采集参数集和/或信号处理路径来促进图像采集过程。然而，预定义的TSP常常未能产生质量图像，尤其是对于门控序列，例如在整个心动周期中，因此迫使用户进行额外的成像调节或者在多个TSP之间切换以寻找能够产生最佳图像的TSP。即便如此，使用不同TSP获得的图像的同步比较常常是不可能且耗时的，这使得用户难以为给定的解剖特征选择最佳TSP。因此，常规超声成像***中的超声图像质量可能受到采集过程的能力的限制。
发明内容
尽管现有超声成像已经证明对临床指导和诊断有用，但是仍然存在对用于提供高质量超声图像的改进的***和技术的需要。例如，可能由用户选择和调节的声学和采集参数的长序列可能难以在超声检查期间充分考虑和选择，即使这样的参数被组织为预定义TSP，这是由缺乏使用先前和当前参数获得的图像的同步并排比较加重的复杂化。本公开的实施例提供了被布置为通过使用预定义的一组不同的TSP或声学/采集设置配置同时采集和重建图像来帮助用户选择超声装置上的最佳声学和/或采集设置以用于对靶向解剖特征进行成像的***。尽管本文关于心脏超声成像讨论了具体范例，但是实施例不限于超声心动图，并且还可以应用于对任何其他解剖特征进行成像，包括但不限于诸如肺、肾或肝的器官。实施例对于对诸如心脏和肺的动态特征成像可能是特别有利的。
范例提供一种深度学习框架以将超声回波信道信号映射到对应于不同TSP的波束形成信号以补充或者代替于执行常规基于延迟相加(DAS)的波束形成。基于深度学习的波束形成可以产生多个TSP的波束形成数据特性，而不降低数据采集期间的帧速率并且不中断用户工作流程。然后可以比较以不同设置成像的(一个或多个)靶向特征的影像回放，以找到用于每个患者或诊断目的的最佳图像设置。用户可以选择最佳TSP并继续检查而无需手动执行迭代成像调节。在各种范例中，包括换能器阵列的成像探头可以被用于超声成像。所述换能器阵列可以包括声学元件的阵列，其将超声脉冲发射到对象(例如，患者的解剖结构)中并且接收对应于从所述对象反射的超声波的超声信道信号。预测网络(例如，卷积神经网络(CNN))可以被训练为在逐像素或逐行基础上将每信道超声回波信道信号映射到波束形成信号。所述预测网络可以包括多个神经网络，每个神经网络被布置为生成对应于特定TSP的波束形成数据，该特定TSP可以不同于用于采集原始回波信号输入的TSP。在一些实施例中，可以训练所述预测网络以在多个时间点提供对应于多个TSP的波束形成信号。可以同时显示对应于不同TSP的所得波束形成信号以用于由用户查看、比较和/或选择。所述预测网络可以使用模拟数据、从实验测试设置中的体模采集的数据、和/或从临床设置中的患者采集的数据的组合来训练。所公开的实施例适于在二维(2D)成像、三维(3D)体积成像、聚焦成像和/或未聚焦成像中使用。
根据本公开的实施例，超声成像***可以包括声学元件的阵列，其被布置为根据第一预设采集设置将超声能量发送到解剖结构中并且接收与所述解剖结构相关联的超声回波。所述***还可以包括与所述声学元件的阵列通信的处理器电路。所述处理器电路可以被布置为：从所述阵列接收对应于接收到的超声回波的超声信道数据；通过将预测网络应用于所述超声信道数据来生成第一组波束形成数据，其中，所述第一组波束形成数据与不同于所述第一预设采集设置的第二预设采集设置相关联；根据所述第一组波束形成数据生成所述解剖结构的图像；并且向与所述处理器电路通信的显示器输出所述解剖结构的图像。
在一些范例中，所述处理器电路还可以被布置为：通过将所述预测网络应用于所述超声信道数据来生成第二组波束形成数据，其中，所述第二组波束形成数据与不同于所述第一预设采集设置和所述第二采集设置的第三预设采集设置相关联。在一些实施例中，所述处理器电路还可以被布置为处理所述信道数据以用于与所述第一组波束形成数据并行地生成所述第二组波束形成数据。在一些范例中，所述预测网络包括第一和第二神经网络，其并行布置以接收所述信道数据并输出第一和第二组波束形成数据中的相应一项。在一些实施例中，第一和第二预设采集设置各自应用于单个采集帧。
在一些范例中，所述处理器电路还可以被布置为：根据所述第二组波束形成数据生成所述解剖结构的图像；并且将根据所述第二组波束形成数据的解剖结构的图像与根据所述第一组波束形成数据的解剖结构的图像同时输出到与所述处理器电路通信的显示器。在一些实施例中，所述预测网络可以通过以下各项来训练：提供基于所述第一预设采集设置生成的测试超声信道数据和基于所述第二预设采集设置生成的第一目标波束形成数据；并且训练所述预测网络以根据所述测试超声信道数据来产生所述第一目标波束形成数据。在一些范例中，所述预测网络可以通过以下各项来训练：提供基于所述第一预设采集设置生成的第二目标波束形成数据；并且在训练所述预测网络以产生所述第一目标波束形成数据之前，训练所述预测网络以根据所述测试超声信道数据产生所述第二目标波束形成数据。在一些范例中，所述声学元件的阵列包括声学元件的一维阵列或声学元件的二维阵列。
根据本公开的实施例，一种超声成像的方法可以涉及：根据接收与解剖结构相关联的超声回波的第一预设采集设置将超声能量发送到解剖结构中；接收对应于接收到的超声回波的超声信道数据；通过将预测网络应用于所述超声信道数据来生成第一组波束形成数据，其中，所述第一组波束形成数据与不同于所述第一预设采集设置的第二预设采集设置相关联；根据所述第一组波束形成数据生成所述解剖结构的图像；并且输出所述解剖结构的图像。
在一些范例中，方法还可以涉及：通过将所述预测网络应用于所述超声信道数据来生成第二组波束形成数据，其中，所述第二组波束形成数据与不同于所述第一预设采集设置和所述第二采集设置的第三预设采集设置相关联。在一些实施例中，所述方法还可以涉及：处理所述信道数据以用于与所述第一组波束形成数据并行地生成所述第二组波束形成数据。在一些范例中，所述预测网络包括第一和第二神经网络，其并行布置以接收所述信道数据并输出第一和第二组波束形成数据中的相应一项。在一些实施例中，第一和第二预设采集设置各自应用于单个采集帧。在一些范例中，所述方法还涉及：根据所述第二组波束形成数据生成所述解剖结构的图像；并且将根据所述第二组波束形成数据的解剖结构的图像与根据所述第一组波束形成数据的解剖结构的图像同时输出。在一些实施例中，所述方法还涉及：通过提供基于所述第一预设采集设置生成的测试超声信道数据和基于所述第二预设采集设置生成的第一目标波束形成数据来训练所述预测网络；并且训练所述预测网络以根据所述测试超声信道数据来产生所述第一目标波束形成数据。在一些范例中，训练所述预测网络还涉及：提供基于所述第一预设采集设置生成的第二目标波束形成数据；并且在训练所述预测网络以产生所述第一目标波束形成数据之前训练所述预测网络以根据所述测试超声信道数据产生所述第二目标波束形成数据。在一些范例中，所述声学元件的阵列包括声学元件的一维阵列或声学元件的二维阵列。
本公开的额外方面、特征和优点将根据以下详细描述变得显而易见。
附图说明
将参考附图描述本公开的说明性实施例，其中：
图1是根据本公开的方面的超声成像***的示意图。
图2是根据本公开的实施例的实施基于延迟相加(DAS)的波束形成的超声成像***的示意图。
图3是根据本公开的实施例的图像采集方案的示意图。
图4是根据本公开的实施例的图3的图像采集方案的另一示意图，其示出了基于深度学习的波束形成的结果。
图5是根据本公开的方面的可以被用于执行图3和图4的图像采集方案的波束形成器的示意图。
图6是根据本公开的方面的图示深度学习网络的配置的示意图。
图7图示了根据本公开的方面的从基于DAS的波束形成和基于深度学习的波束形成所生成的超声图像。
图8是根据本公开的方面的图示深度学习网络训练方案的示意图。
图9图示了根据本公开的方面的被布置为示出使用基于深度学习的波束形成生成的超声图像的显示器。
图10图示了根据本公开的方面的从基于深度学习的波束形成生成的合成超声图像。
图11是根据本公开的实施例的处理器电路的示意图。
图12是根据本公开的方面的基于深度学习的超声成像方法的流程图。
具体实施方式
出于促进对本公开的原理的理解的目的，现在将参考附图中所示的实施例，并且特定的语言将被用于对其进行描述。然而，应理解，并不预期对本公开的范围的限制。所描述的设备、***和方法的任何变型和其他修改和本公开的原理的任何其他应用被完全预期并且被包括在本公开内，如本公开涉及的领域的技术人员将通常想到的。具体而言，应完全预期到，关于一个或多个实施例所描述的特征、部件和/或步骤可以与关于本公开的其他实施例所描述的特征、部件和/或步骤组合。然而，出于简洁的缘故，这些组合的许多迭代和变化将不单独描述。
图1是根据本发明的方面的被布置为执行超声成像的***100的示意图。***100被用于扫描患者的身体的区域或体积。***100包括通过通信接口或者链路120与主机130通信的探头110。探头110包括换能器112、模拟前端(AFE)113、波束形成器114、处理器部件，即处理器电路116和通信接口118。主机130包括显示器132、显示处理器电路134、通信接口136、和存储器138。存储器138可以包括任何适合的存储设备，诸如高速缓存存储器(例如，处理器电路134的高速缓存存储器)、随机存取存储器(RAM)、磁阻RAM(MRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪速存储器、固态存储器设备、硬盘驱动器、固态驱动器、其他形式的易失性和非易失性存储器、或不同类型的存储器的组合。
探头110可以以任何适合的形式用于当定位在患者的身体内部或外部时对患者的各种身体部分(例如，心脏或肾)进行成像。在实施例中，探头110是外部超声成像设备，包括被布置用于由用户手持操作的壳体。换能器112可以被布置为当用户握住探头110的壳体使得换能器112邻近患者的皮肤和/或与患者的皮肤接触定位时获得超声数据。探头110被布置为当探头110被定位在患者的身体外部时获得患者的身体内的解剖结构的超声数据。在一些其他实施例中，探头110可以采取以下各项的形式：导管、血管内超声(IVUS)导管、心脏内超声心动图(ICE)导管、经食道超声心动图(TEE)探头、经胸廓超声心动图(TTE)探头、内腔探头、手持式超声扫描器、或基于贴片的超声设备。
通常，换能器112朝向解剖对象105发射超声信号并且接收从对象105反射回到换能器112的回波信号。在一些实施例(未示出)中，换能器112可以发射超声信号并且第二接收换能器可以接收回波信号。对象105可以包括适合于超声成像检查的患者的任何解剖结构(例如，心脏、肺、血管、组织、肾、和/或肝)。
超声换能器112可以包括任何适合数目的声学元件，包括一个或多个声学元件和/或多个声学元件。在一些实例中，换能器112包括单个声学元件。在一些实例中，换能器112可以包括具有采取任何适合的配置的任何数目的声学元件的声学元件的阵列。例如，换能器112可以包括在1个声学元件与1000个声学元件之间，包括诸如2个声学元件、4个声学元件、36个声学元件、64个声学元件、128个声学元件、500个声学元件、812个声学元件的值、和/或更大和更小的其他值。在一些实例中，换能器112可以包括具有采取任何适合的配置的任何数目的声学元件的声学元件的阵列，诸如线性阵列、平面阵列、曲面阵列、曲线阵列、圆周阵列、环形阵列、相控阵列、矩阵阵列、一维(1D)阵列、1.x维阵列(例如，1.5D阵列)、或二维(2D)阵列。声学元件的阵列(例如，一个或多个行、一个或多个列、和/或一个或多个取向)可以一致或独立地控制和激活。换能器112可以被布置为获得患者解剖结构的1D、2D、和/或三维(3D)图像。声学元件也可以被称为换能器元件或者成像元件。在一些实施例中，换能器112可以包括压电微机械超声换能器(PMUT)、电容性微机械超声换能器(CMUT)、单晶体、锆钛酸铅(PZT)、PZT复合物、其他适合的换能器类型、和/或其组合。
AFE 113耦合到换能器112。AFE 113可以包括控制换能器112处的超声波的发送和/或换能器112处的回波响应的接收的部件。例如，在发送路径中，AFE 113可以包括数字模拟转换器(DAC)、滤波器、增益控制、和/或高压(HV)发射器，其驱动或触发换能器112的声学元件或换能器元件处的超声脉冲发射。在接收路径中，AFE 113可以包括增益控制、滤波器、放大器、和/或模拟数字转换器(ADC)，其接收来自换能器112的换能器元件的回波响应。AFE 113还可以包括多个发送/接收(T/R)开关，其控制换能器元件处的发送和接收之间的切换并且防止高压脉冲损坏用于换能器112的换能器元件。
在实施例中，换能器112包括M多个换能器元件(例如，图2的声学元件202)。在一些实施例中，M可以是大约2、16、64、128、192、或大于192。在接收路径中，每个换能器元件可以将从反射超声脉冲接收的超声能量转换为电信号，形成单个接收信道。换句话说，换能器112可以生成M个模拟超声回波信道信号160。AFE 113可以经由M个信号线耦合到换能器112。AFE 113中的ADC(例如，图2的ADC 204)可以产生各自对应于换能器112中的换能器元件之一处接收的模拟超声回波信道信号160的M个数字超声回波信道信号162。数字超声回波信道信号162也可以被称为超声回波数据流或超声回波信道数据。
波束形成器114耦合到AFE 113。波束形成器114可以包括延迟元件和求和元件，其被布置为控制换能器112处的发送和/或接收波束形成。波束形成器114可以将适当的时间延迟应用到至少数字超声回波信道信号162的子集并且组合时间延迟的数字超声回波信道信号以形成波束形成信号164(例如，聚焦束)。例如，波束形成器114可以产生L多个波束形成信号164，其中，L是小于M的正整数。
在一些实施例中，波束形成器114可以包括波束形成的多个阶段。例如，波束形成器114可以执行部分波束形成以组合数字超声回波信道信号162的子集以形成部分波束形成信号并且随后对部分波束形成信号进行波束形成以产生完全波束形成信号。尽管波束形成器114在数字波束形成的背景下描述，但是在一些实施例中，AFE 113可以包括用于模拟部分波束形成的电子器件和/或专用硬件。在一些范例中，可以包括多个硬件波束形成器114，每个波束形成器被布置为根据特定TSP进行操作。
通信接口118耦合到探头处理器电路116，其可以被配置为从由波束形成器114生成的波束形成信号164生成图像信号166。通信接口118可以包括一个或多个发射器、一个或多个接收器、一个或多个收发器、和/或用于发送和/或接收通信信号的电路。通信接口118可以包括实施适合于通过通信链路120将信号运输到主机130的特定通信协议的硬件部件和/或软件部件。通信接口118可以被称为通信设备或者通信接口模块。通信接口118可以由处理器实施，诸如图11所示的处理器1100。
通信链路120可以是任何适合的通信链路。例如，通信链路120可以是有线链路，诸如通用串行总线(USB)链路或者以太网链路。备选地，通信链路120可以是无线链路，诸如超宽带(UWB)链路、电气和电子工程师协会(IEEE)802.11WiFi链路、或蓝牙链路。
在主机130处，通信接口136可以接收换能器元件信号(例如，模拟超声回波信道信号160)、图像信号166、或部分波束形成信号。现在示出了适当的连接。通信接口136可以与通信接口118基本上相似或相同。主机130可以是任何适合的计算和显示设备，诸如工作站、个人计算机(PC)、膝上型电脑、平板电脑、或移动电话。
显示处理器电路134耦合到通信接口136。显示处理器电路134可以被实施为软件部件和硬件部件的组合，例如如图11中所描述的。显示处理器电路134可以包括中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、控制器、FPGA设备、另一硬件设备、固件设备、或其任何组合，其被布置为执行本文所描述的操作。显示处理器电路134还可以被实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、结合DSP核心的一个或多个微处理器或者任何其他这样的配置。
显示处理器电路134可以被布置为根据从探头110接收的图像信号166、来自换能器信号(例如，模拟超声回波信道信号160)的波束形成图像168、或部分波束形成信号164生成或重建对象105的图像168。处理器电路134还可以向图像信号166应用图像处理技术。在一些实施例中，显示处理器电路134可以执行扫描转换以根据图像信号166形成2D或3D体积图像。在一些实施例中，处理器电路134可以对图像信号166执行实时处理以提供对象105的超声图像168的流式视频。在一些范例中，显示处理器电路134可以生成一个或多个影像回放，每个影像回放包括一定数目的图像帧。根据这样的范例，每个影像回放可以对应于一个门控序列，例如一个心动周期或一个呼吸周期。显示处理器电路134可以被布置为生成多个影像回放，每个影像回放根据特定TSP生成。显示处理器电路134还可以被布置为生成多个图像、视频和/或影像回放以用于同时显示在显示器132上，每个图像对应于特定时间点和/或TSP。
如结合图10进一步描述的，显示处理器电路134还可以被布置为通过混合使用多个TSP采集的图像数据生成对象105的合成超声图像。图像168可以取决于在探头110处使用的采集模态而包括对象105的形态信息、功能信息、和/或定量测量结果。形态信息可以包括对象105的解剖结构信息(例如，B模式信息)。功能信息的范例可以包括与对象105相关联的组织应变、弹性、多普勒血流、组织多普勒血流、和/或血流信息。定量测量结果的范例可以包括血流速度、血流量、管腔直径、管腔面积、狭窄长度、斑块负荷、和/或组织弹性。在一些实施例中，显示处理器电路134可以对图像信号166执行图像分析以确定与对象105相关联的临床条件。显示处理器电路134还可以被布置为覆盖各种指示符，例如有界框，识别一个或多个感兴趣特征，例如，使用特定TSP以最佳质量捕获的特征。
显示器132耦合到显示处理器电路134。显示器132可以是用户接口、监测器或任何适合的显示器。在一些范例中，显示器132可以是被布置为显示各种图像并接收一个或多个用户输入的触摸屏。显示器132可以被布置为显示与在检查中的对象105相关联的超声图像、图像视频、影像回放、和/或信息。
尽管***100被图示有在探头110处分别由波束形成器114和探头处理器电路116执行的波束形成和信号处理功能，但是在一些实施例中，可以在主机130处执行波束形成和/或信号处理功能中的至少一些。换句话说，探头110可以将数字超声回波信道信号162或波束形成信号164发送到主机130以用于处理。在一些其他实施例中，探头110可以例如利用一些增益控制、滤波、和/或部分模拟波束形成将模拟超声回波信道信号160传输到主机130以用于处理。在这样的实施例中，主机130还可以包括ADC和波束形成器。此外，探头110处的通信接口118可以是工业标准物理连接器和/或专用物理连接器，并且通信链路120可以包括任何工业标准线缆、同轴线缆、和/或专用线缆。***100可以表示任何类型的超声成像***，其中，超声成像功能可以跨探头(例如，包括换能器112)、主机、和/或探头与主机之间的任何中间处理子***以任何适合的方式划分。
根据本公开的实施例，补充或者代替于上文所描述的基于延迟相加(DAS)的波束形成，***100可以使用一个或多个用于波束形成的预测模型(例如，深度学习模型)。***100可以使用在超声成像的各种阶段中。在实施例中，***100可以被用于收集超声图像以形成用于训练用于超声波束形成的机器学习网络142的训练数据集140。例如，主机130可以包括存储器138，其可以是上文所公开的任何形式的存储器。存储器138可以被布置为存储训练图像数据集。例如，训练图像数据集140可以存储与使用***100生成的波束形成信号或模拟波束形成信号相关联的数字超声回波信道信号162。
在实施例中，代替于或者补充临床设置中的DAS波束形成器114(例如，在超声检查期间)，***100可以利用用于波束形成的经训练的机器学习网络142。在一些实施例中，机器学习网络142可以包括多层网络，每个层被训练为将输入信道数据映射到具有对应于特定TSP的特性的波束形成信号，该特定TSP可以不同于用于采集输入信道数据的TSP。范例还可以包括布置在机器学习网络142内的多个神经网络，例如CNN，每个个体神经网络被训练为将输入信道数据映射到具有对应于特定TSP的特性的波束形成信号。
在一些范例中，机器学习网络142可以包括生成网络。这样的网络可以包括被训练为捕获输入信道数据分布的生成模型，以及被训练为估计给定数据集对生成模型从训练数据导出的概率的判别模型。例如，生成模型可以处理利用特定TSP重建的波束形成图像，并且合成对应于不同TSP的输出图像。本文更详细地描述了用于训练用于超声波束形成的深度学习模型和应用用于超声波束形成的经训练的深度学习模型的机制。
图2是图示根据本公开的实施例的实施基于DAS的波束形成的超声成像***200的示意图。***200对应于***100的部分并且提供沿着***100的接收信号路径的分量的更详细视图(例如，在探头110和/或主机130内)。如图2所示，换能器112可以包括多个声学元件202。通常，换能器112会将一个或多个声波发送到对象中。从对象的声波的反射是接收回波。每个声学元件202形成接收信道，其中，模拟超声回波信道信号160可以当声学元件202被激活用于在发送触发之后接收时被接收，即，在一个或多个超声脉冲的发送之后。例如，换能器112可以包括M个数量的声学元件202。因此，接收信道可以被称为信道(1)到信道(M)。在实施例中，AFE 113可以包括多个ADC 204。每个ADC 204可以耦合到声学元件202。AFE 113可以额外地包括其他部件，诸如滤波器和放大器，其耦合到每个声学元件202。每个ADC 204可以对对应模拟超声回声信道信号160进行采样以形成数字超声回波信道信号162。每个数字超声回波信道信号162包括沿着成像场深的一系列样本。在一些实施例中，AFE 113可以包括比接收信道的数目更少的ADC 204。在这样的实施例中，每个ADC 204可以耦合到接收信道的子集并且被布置为从接收信道的子集采样模拟超声回波信道信号160，例如，以复用方式。
波束形成器114耦合到AFE 113。波束形成器114包括各自耦合到ADC 204的多个延迟元件210。所有延迟元件210耦合到求和元件220。每个延迟元件210被布置为向对应数字超声回波信道信号162应用时间延迟以产生延迟的超声回波信道信号212。延迟元件210可以动态地被布置为向数字超声回波信道信号162应用适当的时间延迟。例如，声学元件202中的一个或多个可以被触发以将超声能量发送到解剖结构(例如，解剖结构对象1105)中，并且声学元件202的组可以被激活以接收由于超声信号发送从解剖结构反射的超声回波。由于不同传播路径，因此接收回波可以在不同时间处到达声学元件202。因此，延迟元件210延迟超声回波信道信号162，使得超声回波信道信号162全部在时间上对准。求和元件220被布置为组合延迟的超声回波信道信号212以产生波束形成数据230。波束形成数据230对应于波束形成信号164。
延迟元件210可以与单个ADC 204或多个ADC 204配对。同样地，单个ADC 204可以与多个延迟元件210连接。在一些实施例中，ADC 204和延迟元件210的多个布置可以被配置为允许装置的不同利用，这取决于例如期望的帧速率或被成像的超声研究。
通常，波束形成的目标是反转声波传播效应，使得超声或声能可以聚焦在沿着超声回波信号路径的主轴的各位置处。例如，延迟元件210可以动态地被布置为提供沿着超声回波信号路径的主轴的每个回波位置处的接收聚焦。换句话说，延迟元件210可以被布置有不同延迟以提供不同回波位置处的聚焦。
波束形成数据230可以由探头处理器电路116和/或显示处理器电路134进一步处理，例如，包括频率复合、包络检测、对数压缩、和/或如上文关于图1所描述的非线性图像滤波，以产生图像168。
一些性能量度，诸如图像质量或分辨率和/或数据采集速率或帧速率，可能对于超声成像重要。例如，图像质量、分辨率、或对比度可能影响临床医师的区分采集的超声图像内的解剖细节的能力。数据采集速率或帧速率可能影响用于采集超声图像或视频所需的时间量，并且因此实时成像能力和超声检查时间。
本公开可以结合常规基于DAS的波束形成使用用于波束形成的深度学习技术。在一些实施例中，机器学习网络被训练为将使用某个TSP生成的每信道超声回波数据(例如，超声回波信道信号162)映射到对应于不同TSP的波束形成数据。作为结果，基于深度学习的波束形成数据可以包括对应于使用与实际上用于获得原始信道数据的参数不同的声学和/或采集参数生成的图像的图像性质。例如，声学参数可以包括超声脉冲形状、序列或频率，并且采集参数可以包括线密度、分辨率、对比度和/或散斑。
图3是根据本公开的实施例实施的图像采集方案300的示意图。仅出于说明目的被描绘为矩阵的图像采集方案300包括使用多个不同TSP 304之一在多个时间点306(t1-t6)上采集的心脏302的水平布置的图像301，以及使用不同TSP 304(TSP1-5)中的每个在多个时间点306(t1-t6)上在箭头309的方向上顺序采集的对角布置的图像307(i1-i6)，每个TSP由一组独特的声学和采集参数定义。
水平布置的图像301和对角布置的图像307(i1-i6)可以在相同门控序列(例如，心动周期)的不同迭代期间采集，使得在时间点t2-t6中的每个时间点不同时采集两幅图像，而是在相同序列的单独迭代的相同时间点处。图像采集方案300可以被实施以采集由一个或多个预测网络用来执行基于深度学习的波束形成的初始数据，从而在没有额外图像采集的情况下生成额外的图像(如图4所示)。
图像采集方案300初始涉及使用单个固定或默认TSP(此处TSP1)随时间采集多幅图像301，并且使用所采集的图像数据执行基于DAS的波束形成。固定TSP可以应用于单个门控序列，例如，一个心动周期、少于门控序列、多于门控序列或它们之间的任何时段。用于采集图像的超声***(例如，***100或200)也可以被布置为将TSP 304从一个图像帧快速切换到下一个。在一些实施例中，不同的TSP 304中的每个可以用于仅一帧。逐帧TSP切换和以单个固定TSP进行成像之间的转换可以由用户发起或根据存储的设置自动发起。例如，超声***可以被布置为在针对一个、两个、三个或更多个门控序列利用TSP切换之后恢复恒定的、固定的TSP。采集时段可以持续一个或多个门控序列(例如，一个或多个心动周期，诸如2、3或4个周期或更多)，其可以由用户指定或控制。备选地，采集时段可以无限期地持续以同时实时可视化多幅图像。
在所示的范例中，使用TSP1-5采集的图像307在六个离散时间点306(t1-6)处获得，每个时间点对应于心动周期的相位。超声换能器(例如，超声换能器112)可以通过为一个图像帧发送特定于某个预设(例如，TSP2)的脉冲，并且然后为下一个图像帧发送特定于不同预设(例如，TSP3)的脉冲，采集用于生成对角布置的图像307的数据。因此，换能器可以循环通过多个预设，例如TSP4和TSP5，将一帧专用于每个预设(由对角箭头309表示)。特别地，TSP1可以被用于在一个心动周期期间的时间点t1-6中的每个处采集心脏302的图像，而TSP2可以被用于在另一个心动周期的t2处采集图像i2，TSP3可以被用于在t3处采集图像i3，TSP4被用于在t4处采集图像i4，并且TSP5被用于在t5处采集图像i5。在采集图像i5之后，超声换能器可以使用固定的TSP重新发起成像。TSP1-5中的任一个可以被用于固定成像。在所示的范例中，超声换能器使用TSP5重新发起固定成像，因此在t6处采集图像i6。超声换能器可以在预定的时间长度(例如一个或多个额外的心动周期，或任何期望的时间长度)内使用TSP5继续成像。
如图3中明显的，跨整个心动周期恒定使用TSP1可能是次优的，这是因为使用该设置在若干时间306点处产生的心壁的未聚焦的模糊图像。本文中的实施例可以被布置为通过识别在每个时间点产生心脏302(或其他对象105)的最佳图像的TSP来避免该问题。所示的范例包括五个预设，但是可以根据本文所描述的实施例来实施更多或更少的预设。例如，如果消除的预设不太可能与给定的成像操作相关，则用户可以指定预设的数目或类型以消除一个或多个预设。
在一些范例中，从一个TSP切换到下一个TSP可以涉及在不同的空间位置从一个发送脉冲切换到另一个发送脉冲。根据这样的范例，可以利用来自不同帧处的不同TSP的脉冲对不同的线进行声处理。用于实施这样的实施例的***部件可以与例如图1和图2中所示的相同。
图4是在并入使用一个或多个神经网络波束形成的图像i1-2–i6-4之后图3所示的图像采集方案300的示意图。如所示，使用基于DAS的波束形成进行波束形成的初始采集的图像i1-6现在伴随有使用在每个时间点采集的初始信道数据的基于神经网络的波束形成生成的19幅额外图像i1-2–i6-4。
在所示的范例中，图像i1-2是通过对用于在时间点t1采集图像i1的信道数据执行基于神经网络的波束形成但是根据TSP2而不是实际上用于采集图像数据集(TSP1)的预设来生成的。图像i1-3也是通过对用于采集图像i1的信道数据执行基于神经网络的波束形成但是根据TSP3来生成的。同样地，图像i2-3是通过对用于采集图像i2的信道数据执行基于神经网络的波束形成但是根据TSP3来生成的。因此，针对时间点306中的每个(由矩阵的每列表示)和TSP 304中的每个(由每行表示)的丢失图像可以使用利用某个TSP采集的信道数据来填充，但是使用被训练为将信道数据映射到对应于不同TSP(即，不是用于采集原始数据的TSP)的波束形成信号的一个或多个神经网络来波束形成。
每信道数据可以被保存并稍后处理，或者直接传输到处理单元(例如，FPGA GPU或CPU)以用于处理而不被保存。可以同时显示以这种方式生成的所有图像或至少图像子集以供用户复查，从而促进用于对特定特征进行成像的最佳TSP或多个TSP的选择。
图5是可以根据图3和图4所示的图像采集方案300利用的波束形成器500的示意图。图5示出了可以被用于在每个时间点应用每个TSP的波束形成器。即，图5所示的波束形成器的布置不表示波束形成器的物理分配，而是与图像采集方案300一致的概念布置。如图所示，实施例可以利用多个硬件波束形成器(波束形成器1-1至5-5)来使用基于DAS的波束形成从多个TSP重建图像，从而生成图像i1-i6，其中每幅对应于用于采集时间点306中的每个处的初始信道数据的TSP。深度神经网络波束形成器(DNN波束形成器1-2至6-4)可以各自被训练为将使用初始TSP采集的信道数据波束形成为对应于不同TSP的图像数据。例如，DNN波束形成器1-2被训练为使用用TSP1采集的每信道数据来形成看起来好像是使用TSP2采集的图像。因此，DNN波束形成器1-2使用利用TSP1采集的输入数据和经由TSP2获得的输出数据进行训练。每个DNN波束形成器可以构成多层网络(例如，机器学习网络142)的离散层，或若干个体神经网络之一。DNN波束形成器的数目可能变化。在一些实施例中，为了处理N数量的TSP设置，将要求N个硬件波束形成器，并且将要求N(N-1)个DNN波束形成器。
图6是图示可以实施为根据一个或多个特定TSP对信道数据进行波束形成的深度学习网络642(或深度神经网络)的配置600的示意图。深度学习网络642可以包括一个或多个CNN 610。每个CNN 610可以在每信道超声信道数据602上操作。CNN 610将每信道超声信道数据602(经由一个TSP采集)映射到波束形成数据604(与不同的TSP相关联)。在范例中，超声信道数据602可以对应于例如根据US 62/809080(于2019年2月22日递交)的公开内容生成的归一化的、时间对准的超声回波信道信号，通过引用将其整体并入本文。CNN 610可以提供2D数据和/或3D数据到波束形成数据的每信道基于像素的映射。
CNN 610包括一组N个卷积层620，跟随有一组K个完全连接层630，其中，N和K可以是任何正整数。卷积层620被示出为620(1)至620(N)。完全连接层630被示出为630(1)至630(K)。在范例中，卷积层620(1)至620(N)和完全连接层630(1)至630(K-1)可以利用整流线性单元(ReLU)非线性激活函数。最后输出层630(K)可以利用线性激活函数。每个卷积层620可以包括一组滤波器622，其被布置为从超声信道数据602提取特征。值N和K和每个卷积层620中的滤波器622的大小可以根据实施例而变化。应当注意，CNN 610不一定包括通常被用于减少卷积层的大小的池化层。池化层的排除允许所有卷积贡献于CNN 610的输出。备选地，CNN610可以包括仅卷积层620、或仅完全连接层630。
在范例中，超声信道数据602可以包括跨越对应于接收信道(例如，图2的信道(1)至信道(M))的x维度和对应于成像深度的y维度的2D数据集。CNN 610可以包括大约五个卷积层620(例如，N＝5)和大约两个完全连接层630(例如，K＝2)。卷积层620可以包括在x和y维度上跨越的2D卷积核(例如，滤波器622)。2D卷积核大小可以根据实施例而变化。在一些范例中，相同2D卷积核大小被用于所有卷积层620。在一些范例中，不同2D卷积核大小可以被用于卷积层620。在一些范例中，2D卷积核大小可以取决于用于收集超声信道数据602的超声传输配置。第一卷积层620(1)层可以包括大约六十四个滤波器622或2D卷积核、或在44与84个之间的滤波器，第二卷积层620(2)层可以包括大约三十二个滤波器622、或在20与44个之间的滤波器，第三卷积层620(3)层可以包括大约十六个滤波器622、或在8与24个之间的滤波器，第四卷积层620(4)层可以包括大约八个滤波器622、或在4与12个之间的滤波器，并且第五卷积层620(5)层可以包括大约四个滤波器622、或在2与6个之间的滤波器。第一完全连接层630(1)可以具有大约32、或在20与44之间的大小，并且最后完全连接层630(2)可以具有大约1、或在1与3、5、或7之间的大小。最后完全连接层630(2)处的输出对应于单个波束形成输出样本或像素。
在另一范例中，超声信道数据602可以包括跨越对应于接收信道(例如，图2的信道(1)至信道(M))的x维度、对应于成像深度的y维度、和对应于发送触发或发送事件的z维度的3D数据集。CNN 610可以包括大约六个卷积层620(例如，N＝6)和大约四个完全连接层630(例如，K＝4)。卷积层620可以包括在x、y、和z维度上跨越的3D卷积核。3D卷积核大小可以根据实施例而变化。在一些范例中，相同3D卷积核大小被用于所有卷积层620。在一些范例中，不同3D卷积核大小可以被用于卷积层620。在一些范例中，3D卷积核大小可以取决于用于收集超声信道数据602的超声传输配置。第一卷积层620(1)层可以包括大约六十四个滤波器622或3D卷积核、或在44与84个之间的滤波器，第二卷积层620(2)层可以包括大约三十二个滤波器622、或在20与44个之间的滤波器，第三卷积层620(3)层可以包括大约十六个滤波器622、或在8与24个之间的滤波器，第四卷积层620(4)层可以包括大约八个滤波器622、或在4与12个之间的滤波器，第五卷积层620(5)层可以包括大约四个滤波器622、或在2与6个之间的滤波器，并且第六卷积层620(6)层可以包括大约两个滤波器622、或在2与3、5或7个之间的滤波器。第一完全连接层630(1)可以具有大约32、或在20与44之间的大小，第二完全连接层630(2)可以具有大约16、或在8与24之间的大小，第三完全连接层630(3)可以具有大约8、或在4与12之间的大小，并且最后完全连接层630(4)可以具有大约1、或在1与3、5或7之间的大小。最后完全连接层630(4)处的输出对应于单个波束形成输出样本或像素。
在一些范例中，CNN 610可以包括最后卷积层620(N)的输出处的平坦层，以将CNN610的卷积部分转换为用于后续完全连接层630的1D特征向量。在一些范例中，卷积层620可以包括零填充，使得卷积或滤波器622的输入和输出大小是相同的。在一些范例中，CNN 610可以包括在第一卷积层620(1)之前用于归一化的额外层，以及在最后完全连接层630(K)之后用于去归一化的额外层，例如如US 62/809080中所描述的。因此，CNN 610可以在不显式地归一化时间对准每信道超声回波信号并且不明确地去归一化CNN 610的输出的情况下应用。
图7示出了根据本发明的方面使用基于DAS的波束形成或基于深度学习的波束形成单独生成的超声图像。超声图像710、720和730全部是根据从模拟体模采集的同一组每信道超声回波信号生成的，每个示出暗囊肿712和更亮的病变714。超声图像710使用常规基于DAS的波束形成器(例如，波束形成器114)对所采集的每信道超声回波信号进行波束形成来生成，而超声图像720通过应用深度学习网络(例如，使用图8所示的方案800训练的深度学习网络642)以将每信道回波信号映射到波束形成数据来生成。超声图像710和720两者根据相同的TSP使用五个发散波传输和复合来形成。如图所示，经由基于深度学习的波束形成形成的超声图像720表现为与经由基于DAS的波束形成形成的超声图像710几乎相同。
超声图像730是使用深度学习网络生成的，该网络被训练为接收来自五个发送的对准数据和通过相干复合51个发送波束形成的输出值。超声图像730示出暗囊肿712中的减少的杂乱和针对较亮的病变714的改进的对比度。因此，深度学习网络可以被布置为不仅以模拟基于DAS的波束形成的预测方式对信道数据进行波束形成，而且以改进图像分辨率和总体质量的预测方式对信道数据进行波束形成。
图8是根据本公开的方面的图示深度学习网络训练方案800的示意图。方案800可以由计算机***实施，诸如图1所示的主机130和/或图11所示的处理器1100。方案800可以被用于训练深度学习网络642或者多个神经网络以用于超声波束形成。方案800训练深度学习网络642以预测或者模拟从利用与使用中的换能器不同的TSP的换能器获得的波束形成数据。
方案800可以在两个阶段810和820中训练深度学习网络642。两个阶段可以涉及使用超声信道数据802作为训练输入，深度学习网络642将其变换为第一阶段810中的第一输出804和第二阶段820中的第二输出806。在第一阶段810中，方案800使用输入-输出对来训练深度学习网络642，其中，输入包括超声信道数据802，并且输出包括目标波束形成数据812。超声信道数据802可以包括归一化的、时间对准的超声回波信道信号。超声信道数据802可以从换能器阵列(例如，换能器112)采集，并且超声信道数据802可以对应于从某个受检者(例如，对象105)接收的超声回波响应。超声信道数据802可以是具有对应于接收信道的x维度和对应于成像深度的y维度的2D数据集。
目标数据812可以对应于使用基于DAS的波束形成器(例如，波束形成器114)从超声信道数据802生成的波束形成数据。目标数据812还可以归一化使得训练不必学习幅度映射。
在训练期间，深度学习网络642可以使用正向传播应用到超声信道数据802以产生第一输出804(例如，波束形成数据)。卷积层620中的滤波器622的系数和完全连接层630中的权重可以使用反向传播调节以使第一输出804与目标输出812之间的误差最小化。在一些实施例中，误差函数或者损失函数可以是均方误差(MSE)函数或者任何其他适合的误差量度函数。换句话说，方案800训练深度学习网络642以近似由波束形成器114提供的波束形成。针对滤波器622的系数的训练或者调节可以针对多个输入-输出对重复。第一阶段810用作深度学习网络642中的滤波器系数和/或权重的初始化。
在一些实施例中，感知损失函数可以被用于评价和改进深度学***的特征。这样的损失网络的最终输出(未示出)或更高特征层的输出可以被用于定义损失函数。在范例中，可以训练网络以在使用一个TSP(例如，由五个发散波发送定义)采集的图像与经由另一个TSP(例如，由51个发散波发送定义)采集的图像之间进行区分。例如，损失网络然后可以被用于计算用于深度学习网络642的损失项，以将五次发送的每信道数据映射到51次发送的波束总和值。对于具有属于目标类别(例如，目标TSP)的低概率的图像，经由感知损失生成的损失项可能非常大。随着类似于目标损失的特征的数目在训练期间增加，损失值缩小。这样的损失项可以单独或结合MSE被用于评价和改进深度学习网络642的性能。
额外地或备选地，可以使用对抗性损失函数。与感知损失类似，对抗性损失方法可以利用两个网络：一个网络用于波束形成，并且一个网络用于计算波束形成网络上的损失，例如深度学习网络642。损失网络可以在训练过程期间与波束形成网络一起训练，例如，在利用方案800时。
在随后的阶段820中，方案800使用从第一阶段810获得的用于深度学习网络642的滤波器系数和/或权重作为开始，并且继续训练。方案800使用输入-输出对训练深度学习网络642，其中，输入包括超声信道数据802，并且输出包括波束形成目标数据822。目标数据822可以对应于从应用不同TSP的换能器生成的相同受检者的波束形成数据，使得深度学习网络642学习将特征从每信道数据映射到不同图像采集设置的图像像素值，例如，用于快速成像的不同数目的发散发送，如上文图7所示。目标数据822是归一化数据。
继续图3-5所示的范例，可以为TSP1生成目标数据812，并且可以为应用TSP5的换能器生成目标数据822。类似于第一阶段820，深度学习网络642通过使用正向传播应用超声信道数据802训练以产生输出806。卷积层620中的滤波器622的系数和完全连接层630中的权重可以使用反向传播调节以使输出806与目标输出822之间的误差最小化。针对滤波器622的系数的训练或者调节可以针对多个输入-输出对重复。尽管方案800利用训练的两个阶段，但是在一些实施例中，方案800可以在不执行训练的第一阶段810的情况下执行训练的第二阶段820。
训练方案800可以使用离线生成的模拟数据、从临床设置中的患者采集的数据和从测试设置中的体模采集的数据的任何适合的组合来训练深度学习网络642。在一些范例中，由于可能产生于使用模拟数据的物理现象的过度简化，使用从超声***(例如，***100和200)采集的实际数据代替于或者至少补充模拟数据作为输入-输出数据对可能是有利的。通过至少用来自体模和体外成像的真实数据补充模拟数据，深度学习网络642可以被训练为准确地抑制来自噪声源的杂波，诸如声学噪声、热噪声、电子噪声、像差和/或混响，其由于差的声学条件而引入并且不能沿着超声***(例如，***100和/或200)的信号路径解决。可以使用多个不同的TSP对相同的体模材料或体外模型进行成像。原始数据可以保存为用于每个TSP的输入数据，并且输出数据可以保存为用于每个对应TSP的波束总和值。体内模型也可以用作数据源。来自这样的模型的数据收集可能要求利用门控序列(例如，心脏门控、呼吸门控等)进行成像，以同步在不同时间处采集的两组图像，其然后被配对以用于训练。
如可以观察到的，方案800训练深度学习网络642以将每信道超声回波信号映射到对应于与用于收集超声回波信道信号的换能器的TSP不同的TSP的波束形成数据。因此，与常规基于DAS的波束形成器(例如，波束形成器114)相比，深度学习网络642可以在最终重建图像中提供更多聚焦或更少聚焦的图像特征。由给定TSP产生的较少聚焦的图像降低用户选择该TSP用于继续检查的可能性。
图9图示了根据本公开的方面的示出根据基于深度学习的波束形成生成的超声图像的显示器900(例如，用户接口)。用于采集超声图像910、920、930和940的数据是从患者心脏的体内扫描采集的。超声图像910、920、930和940可以通过应用深度学习网络642以利用对应于四个不同TSP的波束形成数据将每信道超声回波信号进行映射来生成。示出在显示器900上的四幅图像910、920、930和940可以由用户基于在心动周期过程期间经由基于DAS的波束形成和基于深度学习的波束形成生成的图像的视觉分析来选择。图像910、920、930和940可以实时显示，例如，在扫描期间，或在回顾模式下作为记录的影像回放。如进一步所示，显示器900可以包括按钮950或可选择的指示器，其被布置为初始化包括图3和图4中所示的方案300的自动采集模式(“自动”)。
图10图示了根据本公开的方面的从基于深度学***滑心包纹理1008、弱心内膜1010的改进描绘、高分辨率瓣膜1012、清洁心尖1014、一个或多个心室1016的减少的杂乱、以及增加的穿透1018的图像。
为了形成合成图像1000，用户可以选择和/或分割从不同TSP生成的个体图像的部分，例如图4中所描绘的那些，并且调节这样的TSP特异性分段的权重，以用于在合成图像1000内优先混合。可以跟踪每幅图像的选定/分割的部分(例如，使用单独的神经网络或散斑跟踪算法)，并且在影像回放内将期望的混合权重应用于每个帧的图像部分。最终合成图像1000包括来自被分配更大权重的图像分段的更大输入。在范例中，对于每个像素，最终合成图像可以公式化为Ic＝∑wi*Ii，其中，“i”表示TSP编号，“Ii”表示针对第I个TSP被波束形成的图像，“Ic”表示最终合成图像，并且“w”表示用于被用在混合过程中的每个TSP的权重。在一些范例中，可以通过除以所有wi项之和来对合成图像进行归一化以获得无失真合成图像。
除了使用不同TSP所成像的一个或多个特征的用户定义的加权之外，***可以包括使用高质量和低质量图像训练的额外的分类器神经网络。这样的网络可以被布置为优化特征权重，使得最终合成图像具有被分类为高质量图像的最高可能性。
在又额外的实施例中，检测算法可以由超声***(例如，***100)利用以消除对一个或多个图像部分或分段的手动选择的需要。检测算法可以被布置为围绕不同解剖结构定位边界框1002、1004、1006，诸如个体心室、瓣膜、隔膜、心包等。然后，不同的TSP设置可以被应用于由特定边界框定义的每个感兴趣区域。
通常，本公开的方面描述使用机器学习网络替换来一个或多个常规超声图像处理步骤，诸如波束形成，其被需要以生成常规超声图像。机器学习网络应用于由超声换能器获得的原始信道数据，而不是常规图像处理步骤中的一个或多个在原始信道数据上执行(例如，多个发送的波束形成和/或复合)。机器学习网络使用多个目标波束形成数据训练。将机器学习网络应用到原始信道数据得到经修改的数据。处理器电路使用经修改的数据生成超声图像，该经修改的数据包括目标图像的特征(例如，解剖结构、散斑等)。尽管在使用深度学习将超声回波信道数据RF数据映射到波束形成数据的背景下描述了所公开的实施例，但是在一些实施例中，类似深度学习技术可以应用于在中频(IF)或基带(BB)中将超声回波信道数据映射到波束形成数据。
图11是图示根据本公开的实施例的范例处理器1100的框图。处理器1100可以被用于实施本文所描述的一个或多个处理器，例如，图1所示的探头处理器电路116或显示处理器电路134。处理器1100可以是任何适合的处理器类型，包括但不限于微处理器、微控制器、数字信号处理器(DSP)、现场可编程阵列(FPGA)(其中，FPGA已经被编程以形成处理器)、图形处理单元(GPU)、专用电路(ASIC)(其中，ASIC已经被设计为形成处理器)或其组合。
处理器1100可以包括一个或多个核心1102。核心1102可以包括一个或多个算术逻辑单元(ALU)1104。在一些实施例中，补充或者代替于ALU 1104，核心1102可以包括浮点逻辑单元(FPLU)1106和/或数字信号处理单元(DSPU)1108。
处理器1100可以包括通信地耦合到核心1102的一个或多个寄存器1112。寄存器1112可以使用专用逻辑门电路(例如，触发器)和/或任何存储器技术实施。在一些实施例中，寄存器1112可以使用静态存储器实施。寄存器可以向核心1102提供数据、指令和地址。
在一些实施例中，处理器1100可以包括通信地耦合到核心1102的一级或多级高速缓存存储器1110。高速缓存存储器1110可以向核心1102提供计算机可读指令以用于执行。高速缓存存储器1110可以提供数据以用于由核心1102处理。在一些实施例中，计算机可读指令可能已经由本地存储器提供给高速缓存存储器1110，例如，附接到外部总线1116的本地存储器。高速缓存存储器1110可以利用任何适合的高速缓存存储器类型实施，例如金属氧化物半导体(MOS)存储器，诸如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)和/或任何其他适合的存储器技术。
处理器1100可以包括控制器1114，其可以控制从在***中包括的其他处理器和/或部件(例如，图1所示的通信接口136)到处理器1100的输入和/或从处理器1100到在***中包括的其他处理器和/或部件(例如，图1所示的显示器132)的输出。控制器1114可以控制ALU 1104、FPLU 1106和/或DSPU 1108中的数据路径。控制器1114可以实施为一个或多个状态机、数据路径和/或专用控制逻辑。控制器1114的门可以实施为独立的门、FPGA、ASIC或任何其他适合的技术。
寄存器1112和高速缓存1110可以经由内部连接1120A、1120B、1120C和1120D与控制器1114和核心1102通信。内部连接可以实施为总线、多路复用器、交叉开关和/或任何其他适合的连接技术。
用于处理器1100的输入和输出可以经由总线1116提供，总线1116可以包括一条或多条导线。总线1116可以通信地耦合到处理器1100的一个或多个部件，例如控制器1114、高速缓存1110和/或寄存器1112。总线1116可以耦合到***的一个或多个部件，诸如先前所提到的部件通信接口136。
总线1116可以耦合到一个或多个外部存储器。外部存储器可以包括只读存储器(ROM)1132。ROM 1132可以是掩模ROM、电子可编程只读存储器(EPROM)或任何其他适合的技术。外部存储器可以包括随机存取存储器(RAM)1133。RAM 1133可以是静态RAM、电池备份的静态RAM、动态RAM(DRAM)或任何其他适合的技术。外部存储器可以包括电可擦可编程只读存储器(EEPROM)1135。外部存储器可以包括闪速存储器1134。外部存储器可以包括磁存储设备，诸如磁盘1136。在一些实施例中，外部存储器可以包括在诸如图1所示的超声成像***100的***中。
图12是根据本公开的方面的基于深度学习的超声成像方法1200的流程图。方法1200的步骤可以由***100和/或200执行，例如，由处理器(诸如处理器电路116、134或处理器1160、诸如处理器电路1100的处理器电路)和/或诸如探头110和/或主机130的其他适合的部件执行。如所图示，方法1200包括多个列举步骤，但是方法1200的实施例可以在列举步骤之前、之后和之间包括额外步骤。在一些实施例中，列举步骤中的一个或多个可以省略或以不同的次序执行。
在步骤1202处，方法1200涉及“根据接收与解剖结构相关联的超声回波的第一预设采集设置将超声能量发送到解剖结构中”。
在步骤1204处，方法1200涉及“接收对应于接收到的超声回波的超声信道数据”。
在步骤1206处，方法1200涉及“通过将预测网络应用于超声信道数据来生成第一组波束形成数据，其中，第一组波束形成数据与不同于第一预设采集设置的第二预设采集设置相关联”。
在步骤1208处，方法1200涉及“根据第一组波束形成数据生成解剖结构的图像”。
在步骤1210处，方法1200涉及“输出解剖结构的图像”。
本公开的方面可以提供若干益处。此外，使用深度学习网络可以提供与常规基于DAS的波束形成器(例如波束形成器114)相比较的计算成本优点，因为深度学习网络的推理阶段中的运算主要是卷积(例如，乘加)和矩阵乘法。
本领域的技术人员将认识到，可以以各种方式修改上文所描述的装置、***和方法。因此，本领域普通技术人员将意识到，由本公开涵盖的实施例不限于上文所描述的特定示范性实施例。在该方面，尽管已经示出和描述了说明性实施例，但是在前述公开中预期实施例的广泛修改、改变、替换和任何组合。应理解，可以对前述内容做出这样的变化而不脱离本公开的范围。因此，广泛地以与本公开一致的方式解释权利要求书是适当的。
Claims (20)
1.一种超声成像***，包括：
声学元件的阵列，
其中，所述声学元件的阵列被配置为根据第一预设采集设置将超声能量发送到解剖结构中，
其中，所述声学元件的阵列被配置为接收与所述解剖结构相关联的超声回波；以及
处理器电路，其中，所述处理器电路与所述声学元件的阵列通信，
其中，所述处理器电路被配置为接收对应于从所述声学元件的阵列接收的所述超声回波的超声信道数据，
其中，所述处理器电路被配置为生成第一组波束形成数据，
其中，所述波束形成数据是通过将预测网络应用于所述超声信道数据来生成的，
其中，所述第一组波束形成数据与第二预设采集设置相关联，
其中，所述第二预设采集设置与所述第一预设采集设置不同，
其中，所述处理器电路被配置为根据所述第一组波束形成数据来生成所述解剖结构的图像，并且
其中，所述处理器电路被配置为将所述解剖结构的所述图像输出到显示器。
2.根据权利要求1所述的***，
其中，所述处理器电路被配置为通过将所述预测网络应用于所述超声信道数据来生成第二组波束形成数据，
其中，所述第二组波束形成数据与第三预设采集设置相关联，
其中，所述第三预设采集设置与所述第一预设采集设置和所述第二预设采集设置不同。
3.根据权利要求2所述的***，其中，所述处理器电路还被配置为处理所述信道数据以用于与所述第一组波束形成数据并行地生成所述第二组波束形成数据。
4.根据权利要求3所述的***，
其中，所述预测网络包括第一神经网络和第二神经网络，
其中，所述第一神经网络与所述第二神经网络并行布置，
其中，所述第一神经网络和所述第二神经网络分别被布置为输出所述第一组波束形成数据和所述第二组波束形成数据。
5.根据权利要求1所述的***，其中，所述第一预设采集设置和所述第二预设采集设置各自被应用于单个采集帧。
6.根据权利要求2所述的***，
其中，所述处理器电路被配置为根据所述第二组波束形成数据来生成所述解剖结构的图像，
其中，所述处理器电路被配置为将根据所述第二组波束形成数据的所述解剖结构的所述图像与根据所述第一组波束形成数据的所述解剖结构的所述图像同时输出。
7.根据权利要求1所述的***，
其中，所述预测网络是通过提供测试超声信道数据来训练的，
其中，所述测试超声信道数据是基于所述第一预设采集设置来生成的，并且第一目标波束形成数据是基于所述第二预设采集设置来生成的；并且其中，所述预测网络是通过训练所述预测网络以根据所述测试超声信道数据来产生所述第一目标波束形成数据来训练的。
8.根据权利要求7所述的***，
其中，所述预测网络是通过提供第二目标波束形成数据来训练的，
其中，所述第二目标波束形成数据是基于所述第一预设采集设置来生成的；并且
其中，在训练所述预测网络以产生所述第一目标波束形成数据之前，所述预测网络被训练为根据所述测试超声信道数据来产生所述第二目标波束形成数据。
9.根据权利要求1所述的***，其中，所述声学元件的阵列包括声学元件的一维阵列。
10.根据权利要求1所述的***，其中，所述声学元件的阵列包括声学元件的二维阵列。
11.一种超声成像的方法，包括：
将超声能量发送到解剖结构中，
其中，所述超声能量是根据第一预设采集设置来发送的；
接收与所述解剖结构相关联的超声回波；
接收超声信道数据，
其中，所述超声信道数据对应于接收到的超声回波；
生成第一组波束形成数据，
其中，所述第一组波束形成数据是通过将预测网络应用于所述超声信道数据来生成的，
其中，所述第一组波束形成数据与第二预设采集设置相关联，
其中，所述第二预设采集设置与所述第一预设采集设置不同；
生成所述解剖结构的图像；
其中，所述图像是根据所述第一组波束形成数据来生成的；并且
输出所述解剖结构的所述图像。
12.根据权利要求11所述的方法，还包括生成第二组波束形成数据，
其中，所述第二组波束形成数据是通过将所述预测网络应用于所述超声信道数据来生成的，
其中，所述第二组波束形成数据与第三预设采集设置相关联，
其中，所述第三采集设置与所述第一预设采集设置和所述第二采集设置不同。
13.根据权利要求12所述的方法，还包括处理所述信道数据以用于与所述第一组波束形成数据并行地生成所述第二组波束形成数据。
14.根据权利要求13所述的方法，其中，所述预测网络包括第一神经网络和第二神经网络，
其中，所述第一神经网络与所述第二神经网络并行布置；
其中，所述第一神经网络和所述第二神经网络分别被布置为输出所述第一组波束形成数据和所述第二组波束形成数据。
15.根据权利要求11所述的方法，其中，所述第一预设采集设置和所述第二预设采集设置各自被应用于单个采集帧。
16.根据权利要求12所述的方法，还包括：
根据所述第二组波束形成数据来生成所述解剖结构的图像；并且
输出根据所述第二组波束形成数据的所述解剖结构的所述图像，
其中，根据所述第二组波束形成数据的所述解剖结构的所述图像与根据所述第一组波束形成数据的所述解剖结构的所述图像同时被输出。
17.根据权利要求11所述的方法，还包括训练所述预测网络，其中，所述训练包括：
提供测试超声信道数据；
其中，所述测试超声信道数据是基于所述第一预设采集设置来生成的，并且第一目标波束形成数据是基于所述第二预设采集设置来生成的；并且
训练所述预测网络以根据所述测试超声信道数据来产生所述第一目标波束形成数据。
18.根据权利要求17所述的方法，还包括：
提供第二目标波束形成数据，
其中，所述第二波束形成数据是基于所述第一预设采集设置来生成的；并且
在训练所述预测网络以产生所述第一目标波束形成数据之前，训练所述预测网络以根据所述测试超声信道数据来产生所述第二目标波束形成数据。
19.根据权利要求11所述的方法，其中，声学元件的阵列包括声学元件的一维阵列。
20.根据权利要求11所述的方法，其中，声学元件的阵列包括声学元件的二维阵列。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962915672P | 2019-10-16 | 2019-10-16 | |
| US62/915,672 | 2019-10-16 | ||
| PCT/EP2020/078348 WO2021074015A1 (en) | 2019-10-16 | 2020-10-09 | Method and apparatus for deep learning-based ultrasound beamforming |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114554969A true CN114554969A (zh) | 2022-05-27 |
Family
ID=72840537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080072656.8A Pending CN114554969A (zh) | 2019-10-16 | 2020-10-09 | 用于基于深度学习的超声波束形成的方法和装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20240111045A1 (zh) |
| EP (1) | EP4045940A1 (zh) |
| CN (1) | CN114554969A (zh) |
| WO (1) | WO2021074015A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20240111045A1 (en) * | 2019-10-16 | 2024-04-04 | Koninklijke Philips N.V. | Method and apparatus for deep learning-based ultrasound beamforming |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113381948B (zh) * | 2021-05-12 | 2023-05-19 | 聚融医疗科技(杭州)有限公司 | 一种分通道超声数据采集上传方法及*** |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9515378B2 (en) * | 2010-11-16 | 2016-12-06 | Muthukumar Prasad | Environment property based antenna radiation pattern optimizing system |
| US9578159B2 (en) * | 2011-06-20 | 2017-02-21 | Prasad Muthukumar | Fisheye lens based proactive user interface for mobile devices |
| CN112470028A (zh) * | 2018-07-20 | 2021-03-09 | 皇家飞利浦有限公司 | 通过深度学习进行的超声成像及关联的设备、***和方法 |
| CN113454484A (zh) * | 2019-02-22 | 2021-09-28 | 皇家飞利浦有限公司 | 具有基于深度学习的波束形成的超声成像和相关联的设备、***及方法 |
| CN110477951B (zh) * | 2019-08-30 | 2020-08-25 | 浙江大学 | 基于宽频带声学超材料的超快复合平面波成像方法 |
| WO2021074015A1 (en) * | 2019-10-16 | 2021-04-22 | Koninklijke Philips N.V. | Method and apparatus for deep learning-based ultrasound beamforming |
| US20220401062A1 (en) * | 2019-11-21 | 2022-12-22 | Koninklijke Philips N.V. | Point-of-care ultrasound (pocus) scan assistance and associated devices, systems, and methods |
| EP4182943A4 (en) * | 2020-07-20 | 2024-07-17 | Deep Breathe Inc | LUNG ULTRASOUND PROCESSING SYSTEMS AND METHODS |
| US20230414111A1 (en) * | 2022-06-27 | 2023-12-28 | Wuhan United Imaging Healthcare Co., Ltd. | Methods and systems for medical image processing |
| CN115330681A (zh) * | 2022-07-11 | 2022-11-11 | 深圳蓝影医学科技股份有限公司 | 一种超声图像测量方法、***、智能终端及存储介质 |
| CN115761452A (zh) * | 2022-11-15 | 2023-03-07 | 飞依诺科技股份有限公司 | 基于强化学习的超声图像优化方法、设备及存储介质 |
-
2020
- 2020-10-09 WO PCT/EP2020/078348 patent/WO2021074015A1/en active Application Filing
- 2020-10-09 CN CN202080072656.8A patent/CN114554969A/zh active Pending
- 2020-10-09 EP EP20789929.5A patent/EP4045940A1/en active Pending
- 2020-10-09 US US17/769,159 patent/US20240111045A1/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20240111045A1 (en) * | 2019-10-16 | 2024-04-04 | Koninklijke Philips N.V. | Method and apparatus for deep learning-based ultrasound beamforming |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4045940A1 (en) | 2022-08-24 |
| US20240111045A1 (en) | 2024-04-04 |
| WO2021074015A1 (en) | 2021-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11678861B2 (en) | Ultrasound imaging system memory architecture | |
| US10617384B2 (en) | M-mode ultrasound imaging of arbitrary paths | |
| US10835210B2 (en) | Three-dimensional volume of interest in ultrasound imaging | |
| JP6932192B2 (ja) | 超音波画像クラッタをフィルタリングする方法及びシステム | |
| KR101303626B1 (ko) | 피사체를 진단하는 진단시스템, 피사체에 대한 진단영상을 제공하는 의료영상시스템 및 피사체에 대한 진단영상을 표시하는 방법 | |
| CN112470028A (zh) | 通过深度学习进行的超声成像及关联的设备、***和方法 | |
| US20210321978A1 (en) | Fat layer identification with ultrasound imaging | |
| US11950960B2 (en) | Ultrasound imaging with deep learning-based beamforming and associated devices, systems, and methods | |
| JP6109498B2 (ja) | 超音波診断装置及び超音波診断装置制御プログラム | |
| US20240111045A1 (en) | Method and apparatus for deep learning-based ultrasound beamforming | |
| US20230054610A1 (en) | Contextual multiplanar reconstruction of three-dimensional ultrasound imaging data and associated devices, systems, and methods | |
| Bera et al. | Three-dimensional beamforming combining micro-beamformed RF datasets | |
| US20240221153A1 (en) | Super resolution for electronic 4d (e4d) cardiovascular ultrasound (cvus) probes | |
| KR101456923B1 (ko) | 애퍼처 컴파운딩을 이용한 초음파 촬영 방법과 그를 위한 초음파 진단 장치 | |
| Ibrahim et al. | Assessment of image quality vs. computation cost for different parameterizations of ultrasound imaging pipelines | |
| JP2023554036A (ja) | 超音波データにおける境界検出 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |