CN108460754B - 低频超声图像转换为高频超声图像的方法 - Google Patents

低频超声图像转换为高频超声图像的方法 Download PDF

Info

Publication number
CN108460754B
CN108460754B CN201810036659.0A CN201810036659A CN108460754B CN 108460754 B CN108460754 B CN 108460754B CN 201810036659 A CN201810036659 A CN 201810036659A CN 108460754 B CN108460754 B CN 108460754B
Authority
CN
China
Prior art keywords
image
dimensional
layer
frequency ultrasonic
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810036659.0A
Other languages
English (en)
Other versions
CN108460754A (zh
Inventor
檀韬
李哲人
梁浈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shenbo Medical Technology Co ltd
Original Assignee
Zhejiang Shenbo Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shenbo Medical Technology Co ltd filed Critical Zhejiang Shenbo Medical Technology Co ltd
Priority to CN201810036659.0A priority Critical patent/CN108460754B/zh
Publication of CN108460754A publication Critical patent/CN108460754A/zh
Application granted granted Critical
Publication of CN108460754B publication Critical patent/CN108460754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理领域，公开了一种低频超声图像转换为高频超声图像的方法。所述低频超声图像转换为高频超声图像的方法包括：获取三维低频超声图像，其中包括c层二维图像，在每一层二维图像的相同位置选取n个图像块；其中c、n是正整数；所述n个图像块包括相同大小的第一图像块和n‑1个其他图像块，所述第一图像块是该层原始二维图像的一部分，所述其他图像块是以所述第一图像块为中心的不同更大范围的原始二维图像经下采样得到的；将选取的c*n个图像块输入已训练的c*n通道的神经网络，以输出高频超声图像。本发明能够将低频超声图像转换成高频超声图像，以获得噪声少，并且深度大，成像速度快的图像。

Description

低频超声图像转换为高频超声图像的方法
技术领域
本发明涉及图像处理领域，特别涉及低频超声图像转换为高频超声图像的方法。
背景技术
现有技术中的低频超声图像噪声大，具有成像速度快，穿透深度大，深度方向分辨率低的优点，但是存在噪声大的缺点；而高频超声***产生的高频超声图像的优点是噪声少，深度方向分辨率高，但是存在穿透深度小，成像速度慢的缺点。
目前工业界存在median filter以及Optimized Bayesian Non-Local Mean(OBNLM)等简单的去超声噪声方法，但是这些方法并不能提高原本图像的分辨率，以及提高图像质量。
因此，有必要提供一种获得噪声少、深度大、成像速度快的图像的方法。
发明内容
本发明的目的在于提供一种低频超声图像转换为高频超声图像的方法，能够获得噪声少、深度大、质量高、成像速度快的图像。
本申请提供了一种低频超声图像转换为高频超声图像的方法，包括：
获取三维低频超声图像，其中包括c层二维图像，在每一层二维图像的相同位置选取n个图像块；其中c、n是正整数；
所述n个图像块包括相同大小的第一图像块和n-1个其他图像块，所述第一图像块是该层原始二维图像的一部分，所述n-1个其他图像块是以所述第一图像块为中心的不同更大范围的原始二维图像经下采样得到的；
将选取的c*n个图像块输入已训练的c*n通道的神经网络，以输出高频超声图像。
本申请还提供了一种神经网络的训练方法，包括：
采集相同位置的低频超声图像与高频超声图像；
所述低频超声图像包括c层二维图像，在每一层二维图像的相同位置选取n个图像块；其中c、n是正整数；
所述n个图像块包括相同大小的第一图像块和n-1个其他图像块，所述第一图像块是该层原始二维图像的一部分，所述n-1个其他图像块是以所述第一图像块为中心的不同更大范围的原始二维图像经下采样得到的；
将选取的c*n个图像块输入c*n通道的神经网络，输出转化后的高频超声图像；
调节神经网络参数，使所述采集的高频超声图像与所述转化后的高频超声图像的平均方差最小。
在一个优选例中，c为奇数且c≥3。
在一个优选例中，所述以输出高频超声图像为一层高频超声图像。
在一个优选例中，输出的一层高频超声图像与所述c层二维图像的中间层对应。
在一个优选例中，所述以输出高频超声图像包括为高频超声图像。
在一个优选例中，输出的多层高频超声图像的各层分别与所述c层二维图像的各层对应。
在一个优选例中，当存在两个图像块的边沿重合时，对外图像块进行置零。
在一个优选例中，所述采集相同位置的低频超声图像与高频超声图像是在三维超声***下，采集相同位置的低频超声图像与高频超声图像。
在一个优选例中，所述相同位置是患者身体的同一部位。
在一个优选例中，所述患者身体的同一部位是乳腺部位。
本发明实施方式与现有技术相比，至少具有以下区别和效果：
本发明通过对同一物体不同频率图像对照组的训练，获得用于超声图像转换的神经网络参数，从而利用该神经网络参数实现低频超声图像到高频超声图像的转换。
所述转换方法通过GPU实现，能够提高各个超声***采集图像质量，从而使得超声***生成速度快，成像质量高，深度大，分辨率高，噪声小的图像。
可以理解，在本发明范围内中，本发明的上述各技术特征和在下文(如实施方式和例子)中具体描述的各技术特征之间都可以互相组合，从而构成新的或优选的技术方案。限于篇幅，在此不再一一累述。
附图说明
图1是本申请第一实施方式中一种神经网络的训练方法的流程图。
图2是本申请第二实施方式中一种低频超声图像转换为高频超声图像的方法的流程图。
具体实施方式
在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
本申请的第一实施方式涉及一种神经网络的训练方法，图1是本申请第一实施方式中一种神经网络的训练方法的流程图。如图1所示，所述神经网络的训练方法包括以下步骤：
步骤101：在三维超声***下，采集相同位置的低频超声图像与高频超声图像；
在一个实施例中，采集相同位置的低频超声图像与高频超声图像包括；在三维超声图像***下分别对相同位置的低频(譬如8Hz)超声图像和高频(譬如15Hz)图像进行配对采集，采集深度以高频图像最深的范围为准。所述相同位置包括病人身体的同一部位，优选地，为患者的乳腺部位；当固定好病人位置以后，对病人的特定部位进行低频率扫描，保持病人位置不变，再次对该部位进行高频扫描。由于两次扫描的位置相同，因而所获取的病人同一部位的低频超声图像的像素和高频超声图像的像素有着一一对应的关系。
在一个实施例中，低频和高频的配对超声图像可以使用不同的超声体模来获取，以作为神经网络的训练数据。
所述低频超声图像包括c层二维图像，在每一层二维图像的相同位置选取n个图像块；其中c、n是正整数；
所述n个图像块包括相同大小的第一图像块和n-1个其他图像块，所述第一图像块是该层原始二维图像的一部分，所述n-1个其他图像块是以所述第一图像块为中心的不同更大范围的原始二维图像经下采样得到的。
在一个实施例中，所述在每一层二维图像的相同位置选取n个图像块包括：选取第一图像块，尺寸为X*Y；
N≥2时，以第一图像块为中心，依次选取第二图像块至第n图像块；所述第n图像块包含第n-1图像块，每个图像块被缩小至X*Y。
步骤102：将选取的c*n个图像块输入c*n通道的神经网络，输出转化后的高频超声图像；
在一个实施例中，所述神经网络包括一层输入卷积层(包括Relu function),若干卷积层(包括batch normalization and Relut function)和最后一层卷积层；其中，最后一层卷基层将产生和原始图像块(patch)一样大小的图像。
在一个实施例中，所述神经网络包括c*n输入通道。X*Y*(c*n)的图像块被输入至c*n通道的神经网络。第一层卷积使用K个kernel，每个kernel大小为3*3。第一层后的中间卷积层的kernel是3*3,最后一层kernel大小为3*3*K，神经网络的输出是X*Y*c*n的多通道图像块。
步骤103：调节神经网络参数，使所述采集的高频超声图像与所述转化后的高频超声图像的平均方差最小。
本申请第二实施方式涉及一种低频超声图像转换为高频超声图像的方法，图2是本申请第二实施方式中一种低频超声图像转换为高频超声图像的方法的流程图。如图2所示，所述低频超声图像转换为高频超声图像的方法包括：
步骤201：获取三维低频超声图像，其中包括c层二维图像，在每一层二维图像的相同位置选取n个图像块；其中c、n是正整数；
所述n个图像块包括相同大小的第一图像块和n-1个其他图像块，所述第一图像块是该层原始二维图像的一部分，所述n-1个其他图像块是以所述第一图像块为中心的不同更大范围的原始二维图像经下采样得到的。
在一个实施例中，所述在每一层二维图像的相同位置选取n个图像块包括：选取第一图像块，尺寸为X*Y；
N≥2时，以第一图像块为中心，依次选取第二图像块至第n图像块；所述第n图像块包含第n-1图像块，每个图像块被缩小至X*Y。
在一个实施例中，当存在两个图像块的边沿重合时，将外图像块置零。
在一个实施例中，当二维图像层位于最外层时，重复对其内层的二维图像的相同位置选取n个图像块。
步骤202：将选取的c*n个图像块输入已训练的c*n通道的神经网络，以输出高频超声图像。
在一个实施例中，c为奇数且c≥3，输出一层高频超声图像，且该多层高频超声图像的各层分别与所述c层二维图像的各层对应。
在一个实施例中，c为奇数且c≥3，输出多层高频超声图像与所述c层二维图像的中间层对应。
在一个实施例中，所述已训练的c*n通道的神经网络通过第一实施方式所述的神经网络的训练方法获取。
在一个实施例中，所述c*n通道的神经网络包括多个卷积层
在一个实施例中，将选取的c*n个图像块输入已训练的c*n通道的神经网络，输出一层图像作为高频超声图像。
在一个实施例中，将选取的c*n个图像块输入已训练的c*n通道的神经网络，输出c层图像，选取中间层作为高频超声图像。
需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。
在本发明提及的所有文献都在本申请中引用作为参考，就如同每一篇文献被单独引用作为参考那样。此外应理解，在阅读了本发明的上述讲授内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所要求保护的范围。

Claims (10)

1.一种低频超声图像转换为高频超声图像的方法，其特征在于，包括：
获取三维低频超声图像，其中包括c层二维图像，在每一层二维图像的相同位置选取n个图像块；其中c、n是正整数；
所述n个图像块包括相同大小的第一图像块和n-1个其他图像块，所述第一图像块是该层原始二维图像的一部分，所述n-1个其他图像块是以所述第一图像块为中心的不同更大范围的原始二维图像经下采样得到的，其中第n图像块包含第n-1图像块；
将选取的c*n个图像块输入已训练的c*n通道的神经网络，以输出高频超声图像。
2.根据权利要求1所述的低频超声图像转换为高频超声图像的方法，其特征在于，c为奇数且c≥3。
3.根据权利要求2所述的低频超声图像转换为高频超声图像的方法，其特征在于，所述输出高频超声图像为一层高频超声图像。
4.根据权利要求3所述的低频超声图像转换为高频超声图像的方法，其特征在于，输出的一层高频超声图像与所述c层二维图像的中间层对应。
5.根据权利要求2所述的低频超声图像转换为高频超声图像的方法，其特征在于，所述输出高频超声图像为多层高频超声图像。
6.根据权利要求5所述的低频超声图像转换为高频超声图像的方法，其特征在于，输出的多层高频超声图像的各层分别与所述c层二维图像的各层对应。
7.一种神经网络的训练方法，其特征在于，包括：
采集相同位置的低频超声图像与高频超声图像；
所述低频超声图像包括c层二维图像，在每一层二维图像的相同位置选取n个图像块；其中c、n是正整数；
所述n个图像块包括相同大小的第一图像块和n-1个其他图像块，所述第一图像块是该层原始二维图像的一部分，所述n-1个其他图像块是以所述第一图像块为中心的不同更大范围的原始二维图像经下采样得到的，其中第n图像块包含第n-1图像块；
将选取的c*n个图像块输入c*n通道的神经网络，输出转化后的高频超声图像；
调节神经网络参数，使所述采集的高频超声图像与所述转化后的高频超声图像的平均方差最小。
8.根据权利要求7所述的神经网络的训练方法，其特征在于，所述采集相同位置的低频超声图像与高频超声图像是在三维超声***下，采集相同位置的低频超声图像与高频超声图像。
9.根据权利要求7所述的神经网络的训练方法，其特征在于，所述相同位置是患者身体的同一部位。
10.根据权利要求9所述的神经网络的训练方法，其特征在于，所述患者身体的同一部位是乳腺部位。
CN201810036659.0A 2018-01-15 2018-01-15 低频超声图像转换为高频超声图像的方法 Active CN108460754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810036659.0A CN108460754B (zh) 2018-01-15 2018-01-15 低频超声图像转换为高频超声图像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810036659.0A CN108460754B (zh) 2018-01-15 2018-01-15 低频超声图像转换为高频超声图像的方法

Publications (2)

Publication Number Publication Date
CN108460754A CN108460754A (zh) 2018-08-28
CN108460754B true CN108460754B (zh) 2020-08-18

Family

ID=63220219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810036659.0A Active CN108460754B (zh) 2018-01-15 2018-01-15 低频超声图像转换为高频超声图像的方法

Country Status (1)

Country Link
CN (1) CN108460754B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320423A (zh) * 2008-06-26 2008-12-10 复旦大学 基于高频超分辨率的低分辨率步态识别方法
CN102958445A (zh) * 2011-06-30 2013-03-06 株式会社东芝 超声波诊断装置、图像处理装置以及图像处理方法
CN103065299A (zh) * 2012-12-22 2013-04-24 深圳先进技术研究院 超声图像边缘提取方法和装置
CN107292815A (zh) * 2017-06-14 2017-10-24 上海联影医疗科技有限公司 乳腺图像的处理方法、装置及乳腺成像设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101120820B1 (ko) * 2009-11-19 2012-03-22 삼성메디슨 주식회사 초음파 공간 합성 영상을 제공하는 초음파 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320423A (zh) * 2008-06-26 2008-12-10 复旦大学 基于高频超分辨率的低分辨率步态识别方法
CN102958445A (zh) * 2011-06-30 2013-03-06 株式会社东芝 超声波诊断装置、图像处理装置以及图像处理方法
CN103065299A (zh) * 2012-12-22 2013-04-24 深圳先进技术研究院 超声图像边缘提取方法和装置
CN107292815A (zh) * 2017-06-14 2017-10-24 上海联影医疗科技有限公司 乳腺图像的处理方法、装置及乳腺成像设备

Also Published As

Publication number Publication date
CN108460754A (zh) 2018-08-28

Similar Documents

Publication Publication Date Title
KR100830263B1 (ko) 컴퓨터 단층촬영 영상을 개선하기 위한 방법, 컴퓨터프로그램 제품 및 장치
Liu et al. A medical image enhancement method using adaptive thresholding in NSCT domain combined unsharp masking
JP5942203B2 (ja) ステレオ画像処理装置およびステレオ画像処理方法
JP6103395B2 (ja) 画像処理用ディジタルフィルタ、画像処理装置、印刷媒体、記録媒体、画像処理方法、および、プログラム
Sapkal et al. Image fusion based on wavelet transform for medical application
CN109003232B (zh) 基于频域尺度平滑Shearlet的医学MRI图像去噪方法
CN109242799A (zh) 一种变阈值的小波去噪方法
CN110060315B (zh) 一种基于人工智能的图像运动伪影消除方法及***
CN111915691B (zh) 基于神经网络的图像处理***、方法、终端、及介质
CN105844606A (zh) 基于小波变换的图像融合方法及其***
US20190282205A1 (en) Ultrasound imaging system and ultrasound imaging method
CN113744155B (zh) 一种基于三重卷积网络的岩矿样ct图像金属伪影校正方法
WO2022045210A1 (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
CN109300098B (zh) 一种基于小波变换的多聚焦显微图像融合方法
CN108460754B (zh) 低频超声图像转换为高频超声图像的方法
CN109003247B (zh) 彩色图像混合噪声的去除方法
JP2005193008A (ja) 領域分割ベースの画像操作の方法及び装置
CN111127371B (zh) 图像增强参数自动优化方法、存储介质和x射线扫描装置
CN111462004B (zh) 图像增强方法和装置、计算机设备、存储介质
JP2021065707A (ja) 医用画像処理装置、学習済みモデルおよび医用画像処理方法
CN108961161B (zh) 一种图像数据处理方法、装置和计算机存储介质
Manoharan et al. A spatio-frequency domain anisotropic filtering for contrast enhancement of histopathological images
CN110717855A (zh) 在多维图像数据中提供可缩放分辨率的成像***和方法
CN109523487A (zh) 一种基于Hankel矩阵算法的红外图像去噪方法
Kravchenko et al. 3D filtering of images corrupted by mixed additive-impulsive noise

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant