CN114862842A - 图像处理装置、电子设备及介质 - Google Patents

图像处理装置、电子设备及介质 Download PDF

Info

Publication number
CN114862842A
CN114862842A CN202210634176.7A CN202210634176A CN114862842A CN 114862842 A CN114862842 A CN 114862842A CN 202210634176 A CN202210634176 A CN 202210634176A CN 114862842 A CN114862842 A CN 114862842A
Authority
CN
China
Prior art keywords
image
feature
calcification
probability
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210634176.7A
Other languages
English (en)
Inventor
张可欣
王雅倩
王子腾
丁佳
吕晨翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yizhun Medical AI Co Ltd
Original Assignee
Beijing Yizhun Medical AI Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yizhun Medical AI Co Ltd filed Critical Beijing Yizhun Medical AI Co Ltd
Priority to CN202210634176.7A priority Critical patent/CN114862842A/zh
Publication of CN114862842A publication Critical patent/CN114862842A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开实施例提供了一种图像处理装置、电子设备及介质。该图像处理装置包括输入层、残差网络、特征融合层、肿块特征提取网络以及钙化特征提取网络。其中，输入层用于获得同一乳腺病灶区域在第一***的第一图像以及在第二***的第二图像。残差网络用于分别处理所述第一图像和所述第二图像，获得所述第一图像的第一特征和所述第二图像的第二特征。特征融合层用于融合所述第一特征和第二特征，得到融合特征。肿块特征提取网络用于处理所述融合特征，以确定肿块特征和第一恶性概率。钙化特征提取网络用于处理所述融合特征，以确定钙化特征和第二恶性概率。

Description

图像处理装置、电子设备及介质
技术领域
本说明书涉及计算机视觉技术领域，尤其涉及一种图像处理装置、电子设备及介质。
背景技术
在医学成像领域中，经常显示来自患者的医学图像。乳腺钼靶影像或乳腺断层影像可以提供患者***的图像。相关技术中已经存在一些用于检测并提示用户在医学图像序列内的感兴趣区域的方法。随着深度学习的发展，用网络提取图像特征成为医疗影像问题中的主流方法。然而，医疗影像的数据与自然图像相比数量相对较少，同时要解决的问题更加复杂，因此采用这样的方式很难学到最适合的特征。
发明内容
为解决相关技术中的问题，本公开实施例提供了一种图像处理装置、电子设备及介质。
本公开的一个方面提供了一种图像处理方法，包括：获得同一乳腺病灶区域在第一***的第一图像以及在第二***的第二图像；通过残差网络分别处理所述第一图像和所述第二图像，获得所述第一图像的第一特征和所述第二图像的第二特征；融合所述第一特征和第二特征，得到融合特征；通过肿块特征提取网络处理所述融合特征，得到肿块特征和第一恶性概率；通过钙化特征提取网络处理所述融合特征，得到钙化特征和第二恶性概率。
本公开的另一个方面提供了一种图像处理装置，包括输入层、残差网络、特征融合层、肿块特征提取网络以及钙化特征提取网络。其中，输入层用于获得同一乳腺病灶区域在第一***的第一图像以及在第二***的第二图像。残差网络用于分别处理所述第一图像和所述第二图像，获得所述第一图像的第一特征和所述第二图像的第二特征。特征融合层用于融合所述第一特征和第二特征，得到融合特征。肿块特征提取网络用于处理所述融合特征，以确定肿块特征和第一恶性概率。钙化特征提取网络用于处理所述融合特征，以确定钙化特征和第二恶性概率。
本公开的另一个方面提供了一种电子设备，包括至少一个处理器以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：获得同一乳腺病灶区域在第一***的第一图像以及在第二***的第二图像；通过残差网络分别处理所述第一图像和所述第二图像，获得所述第一图像的第一特征和所述第二图像的第二特征；融合所述第一特征和第二特征，得到融合特征；通过肿块特征提取网络处理所述融合特征，得到肿块特征和第一恶性概率；通过钙化特征提取网络处理所述融合特征，得到钙化特征和第二恶性概率。
本公开的另一个方面提供了一种计算机可读存储介质，存储有计算机可读指令，所述指令在被处理器执行时用于实现如上所述的图像处理方法。
本公开的另一个方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的图像处理方法。
本公开实施例提供的图像处理装置或电子设备，通过将肿块或钙化的先验知识加入算法框架，使算法能够更快学习到这些与病灶恶性程度相关的扩展属性，更好地识别病灶的扩展属性能够对良恶性判断起到明显的辅助作用。
附图说明
结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
图1示意性示出应用本公开实施例的图像处理方法或装置的***架构示意图；
图2示意性示出本公开实施例的图像处理方法的流程图；
图3A和图3B示意性示出本公开实施例的内外侧斜位和头足轴位的乳腺影像的示意图；
图3C和图3D示意性示出本公开实施例的同一病灶在不同***乳腺影像的病灶区域图像的示意图；
图4示意性示出本公开另一实施例的图像处理方法的流程图；
图5示意性示出本公开实施例的图像处理装置的框图；
图6示意性示出本公开另一实施例的图像处理装置的结构示意图；
图7示意性示出本公开实施例的肿块特征提取网络的示意图；
图8示意性示出本公开实施例的钙化特征提取网络的示意图；
图9示意性示出本公开实施例的类别特征提取网络的示意图；以及
图10示意性示出适于实现本公开实施例的图像处理方法和装置的计算机***的结构示意图。
具体实施方式
下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
应当注意的是，本公开中数据的获取或展示均经用户授权、确认、或由用户主动选择。
本公开的实施例提供了一种图像处理方法，包括获得同一乳腺病灶区域在第一***的第一图像以及在第二***的第二图像；通过残差网络分别处理所述第一图像和所述第二图像，获得所述第一图像的第一特征和所述第二图像的第二特征；融合所述第一特征和第二特征，得到融合特征；通过肿块特征提取网络处理所述融合特征，得到肿块特征和第一恶性概率；通过钙化特征提取网络处理所述融合特征，得到钙化特征和第二恶性概率。通过将肿块或钙化的先验知识加入算法框架，使算法能够更快学习到这些与病灶恶性程度相关的扩展属性，更好地识别病灶的扩展属性能够对良恶性判断起到明显的辅助作用。
此外，肿块病灶没有钙化形态分布的属性；钙化也没有肿块边缘属性。同时，肿块在图像中占据体积较大，提取的特征比较宏观；而钙化虽然分布较广，但每个钙化的体积都很小，想要分辨图像中的钙化需要提取较微观的特征。本公开实施例的方法通过在网络浅层共同提取特征后，对肿块和钙化的属性分类分别用不同的提取网络进行处理，得到每个任务的预测结果，可以有效兼顾肿块和钙化的不同特点，结果更为准确。
以下结合附图，详细说明本公开各实施例提供的技术方案。
图1示意性示出应用本公开实施例的图像处理方法的***架构示意图。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用。例如浏览器类应用、搜索类应用、即时通信类工具等等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种专用或通用的电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。
服务器105可以是提供各种服务的服务器，例如为终端设备101、102、103上所安装的客户端应用提供服务的后端服务器。
服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。
本公开实施例提供的图像处理方法例如可以由服务器105执行，也可以由终端设备101、102、103执行。或者，本公开实施例的图像处理方法可以部分地由终端设备101、102、103执行，其他部分由服务器105执行。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图2示意出本说明书实施例的图像处理方法的流程图。
如图2所示，该图像处理方法包括操作S202、S204、S206、S208和S210。
在操作S202，获得同一乳腺病灶区域在第一***的第一图像以及在第二***的第二图像；
在操作S204，通过残差网络分别处理所述第一图像和所述第二图像，获得所述第一图像的第一特征和所述第二图像的第二特征；
在操作S206，融合所述第一特征和第二特征，得到融合特征；
在操作S208，通过肿块特征提取网络处理所述融合特征，得到肿块特征和第一恶性概率；
在操作S210，通过钙化特征提取网络处理所述融合特征，得到钙化特征和第二恶性概率。
根据本公开实施例，乳腺影像如钼靶影像或断层影像等，可以显示乳腺内部的组织的状态。同一乳腺可以在不同***的状态下进行拍摄，至少包括第一***和第二***。例如，内外侧斜位(MLO)是以30-70度角(通常是45度)从斜上方向下方投射乳腺X射线摄影常规***，示例性的拍摄影像如图3A所示。头足轴位(CC)是将乳腺上下压迫的摄影常规***，示例性的拍摄影像如图3B所示。根据本公开实施例，第一***例如可以是头足轴位，第二***例如可以是内外侧斜位。
根据本公开实施例，例如可以通过病灶识别算法提取不同***影像中疑似病灶的区域。病灶识别算法可以采用任何可能的现有算法。通过位置匹配可以确定不同***之间的病灶区域图像的对应关系。图3C和图3D示出了同一病灶在不同***乳腺影像的病灶区域图像的示意图，在本公开实施例中，第一图像可以是图3C，第二图像可以是图3D。当然，病灶区域图像也可以是由医生手动提取的，本公开实施例的方法对病灶区域图像的获取方法不做限定。
根据本公开实施例，在操作S204，通过残差网络分别提取所述第一图像和第二图像的特征。用于处理第一图像和第二图像的残差网络的参数是相同的，在实现时，可以使用两个结构相同且共享参数的残差网络分别处理第一图像和第二图像。示例性地，该残差网络可以使用resnet的前三个残差单元。通过残差网络处理第一图像得到第一特征，通过残差网络处理第二图像得到第二特征。
在操作S206，可以使用特征融合层融合第一特征和第二特征，得到融合特征。例如，可以采用压缩激励模块(SE，Squeeze-and-Excitation)进行特征融合。
在操作S208和S210，分别使用肿块特征提取网络和钙化特征提取网络处理融合特征。该肿块特征提取网络和钙化特征提取网络可以具有相同或不同的结构，但参数不共享，而是基于肿块特征和钙化特征的标注分别学习产生的，用于特定病灶的特征及恶性程度的预测。示例性地，该肿块特征提取网络或钙化特征提取网络可以具有相同的结构，例如，二者可以均包含Resnet的第四个残差单元。
病灶扩展属性是医生对于病灶形态分布等性质的描述。对于肿块，有三种扩展属性，分别为形状、边缘和密度，其中边缘特征与病理良恶性有一定关系。本公开实施例的肿块特征包括边缘特征，肿块特征提取网络可以用于判断病灶区域图像是否属于毛刺状、分叶状、模糊、清晰或遮蔽状中的一种或多种。对于钙化，有两种扩展属性，分别为分布特征和形态特征。其中形态特征与病理良恶性有一定关系。本公开实施例的钙化特征包括形态特征，钙化特征提取网络可以用于判断病灶区域图像是否属于无定形钙化、细小多形性钙化、粗糙不均质钙化、细线或细分枝样中的一种或多种。肿块边缘特征和钙化形态特征见如下表1和表2。
Figure BDA0003679857080000071
表1肿块边缘特征描述及与良恶性的相关性
Figure BDA0003679857080000072
表2钙化形态特征描述及与良恶性的相关性
根据本公开实施例，可以结合融合特征和肿块边缘特征，通过序回归的方法确定从肿块维度产生的第一恶性概率，结合融合特征和钙化形态特征，通过序回归的方法确定从钙化维度产生的第二恶性概率。第一恶性概率和第二恶性概率用于以各种方法结合，从而确定综合恶性概率的预测结果。例如，可以计算第一恶性概率和第二恶性概率的平均值作为综合恶性概率。
根据本公开实施例的图像处理方法，通过将肿块或钙化的先验知识加入算法框架，使算法能够更快学习到这些与病灶恶性程度相关的扩展属性，更好地识别病灶的扩展属性能够对良恶性判断起到明显的辅助作用。此外，通过在网络浅层共同提取特征后，对肿块和钙化的属性分类分别用不同的提取网络进行处理，得到每个任务的预测结果，可以有效兼顾肿块和钙化的不同特点，结果更为准确。
在乳腺病灶良恶性分析问题中，病灶通常只是肿块或钙化中的一种，因此，对于肿块应该更多考虑肿块分支的恶性概率预测结果，对于钙化应该更多考虑钙化分支的恶性概率预测结果。本公开实施例还提供了一种对第一恶性概率和第二恶性概率加权计算综合恶性概率的方法，下面结合图4所示的实施例进行说明。
图4示意性示出本公开另一实施例的图像处理方法的流程图。
如图4所示，该方法包括操作S402、S404、S406、S408、S410、S412和S414，其中，S402、S404、S406、S408、S410与图2所示意的操作S202、S204、S206、S208、S210一致，此处不再赘述。
在操作S412，使用类别特征提取网络处理所述融合特征，得到类别概率权重。
根据本公开实施例，类别特征提取网络与肿块特征提取网络或钙化特征提取网络可以具有相同或不同的结构，但参数不共享，而是基于肿块和钙化的类别标注学习产生的。示例性地，该类别特征提取网络可以与肿块特征提取网络和钙化特征提取网络具有相同的结构，例如，三者可以均包含Resnet的第四个残差单元。类别特征提取网络用于判断乳腺病灶区域属于肿块或者钙化，产生类别概率权重。例如，该类别特征提取网络可以产生一个二维向量(0.7,0.3)，表示该乳腺病灶区域为肿块的概率为0.7，为钙化的概率为0.3。
在操作S414，基于所述类别概率权重处理所述第一恶性概率和第二恶性概率，得到综合恶性概率。例如，第一恶性概率为0.2，第二恶性概率为0.1，类别概率权重为(0.7,0.3)，则综合恶性概率为0.2×0.7+0.1×0.3＝0.17。
图5示意性示出本公开实施例的图像处理装置500的框图。其中，该装置500可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
如图5所示，该图像处理装置500包括输入层502、残差网络504、特征融合层506、肿块特征提取网络508以及钙化特征提取网络510。该图像处理装置500可以执行上文描述的各种方法。
输入层502，用于获得同一乳腺病灶区域在第一***的第一图像以及在第二***的第二图像。
残差网络504，用于分别处理所述第一图像和所述第二图像，获得所述第一图像的第一特征和所述第二图像的第二特征。
特征融合层506，用于融合所述第一特征和第二特征，得到融合特征。
肿块特征提取网络508，用于处理所述融合特征，以确定肿块特征和第一恶性概率。
钙化特征提取网络510，用于处理所述融合特征，以确定钙化特征和第二恶性概率。
图6示意性示出本公开另一实施例的图像处理装置的结构示意图。
该装置在图5的基础上，还包括类别特征提取网络和加权计算单元。其中，类别特征提取网络用于处理所述融合特征，以确定类别概率权重。加权计算单元用于基于所述类别概率权重处理所述第一恶性概率和第二恶性概率，得到综合恶性概率。
如图6所示，该图像处理装置的输入为两个病灶区域图像，经过共享参数的残差网络602和604，分别产生第一特征和第二特征。第一特征和第二特征被特征融合层606整合为融合特征，并分别输入至肿块特征提取网络608、钙化特征提取网络610以及类别特征提取网络612。其中，肿块特征提取网络608和钙化特征提取网络610分别对肿块特征和钙化特征进行提取，并产生第一恶性概率和第二恶性概率。类别特征提取网络612判断病灶类别，产生类别概率权重。最后，加权计算单元614按照类别概率权重对第一恶性概率和第二恶性概率加权，得到综合恶性概率。
图7示意性示出本公开实施例的肿块特征提取网络的示意图。
如图7所示，该肿块特征提取网络包括第一残差单元702、第一多头注意力单元704、第一全连接层706和第一序回归单元708。其中，第一全连接层706和第一序回归单元708分别与第一多头注意力单元704连接。第一全连接层706用于预测肿块特征，第一序回归单元708基于肿块特征和第一多头注意力单元704的输出预测第一恶性概率。
图8示意性示出本公开实施例的钙化特征提取网络的示意图。
如图8所示，该钙化特征提取网络包括第二残差单元802、第二多头注意力单元804、第二全连接层806和第二序回归单元808。第二全连接层806和第二序回归单元808分别与第二多头注意力单元804连接。第二全连接层806用于预测钙化特征，第二序回归单元808基于钙化特征和第二多头注意力单元804的输出预测第二恶性概率。
图9示意性示出本公开实施例的类别特征提取网络的示意图。
如图9所示，该类别特征提取网络包括第三残差单元902、第三多头注意力单元904和第三全连接层906，第三全连接层906用于预测类别概率权重。
根据本公开的实施例，采用如下表3和表4的训练集以及表5和表6的测试集的数据进行实验，得到如表7的实验结果。
Figure BDA0003679857080000101
表3训练集上肿块边缘特征与病理良恶性的相关性分布
Figure BDA0003679857080000102
表4训练集上钙化形态特征与病理良恶性的相关性分布
Figure BDA0003679857080000103
表5测试集上肿块边缘特征与病理良恶性的相关性分布
Figure BDA0003679857080000111
表6测试集上钙化形态特征与病理良恶性的相关性分布
Figure BDA0003679857080000112
表7测试集上钙化形态特征与病理良恶性的相关性分布
从表中可以看出，在假阳性率较低的情况下，加入肿块和钙化属性性能取得了提升。加入病灶分类，并用分类概率对结果进行加权的方法后，算法性能比仅用肿块和钙化属性又有了提升。
本公开还公开了一种电子设备，该电子设备包括存储器和处理器，其中，该存储器用于存储支持电子设备执行上述任一实施例中的图像处理方法的程序，该处理器被配置为用于执行该存储器中存储的程序，以实现如上文描述的图像处理方法。
图10示意性示出适于实现本公开实施例的图像处理方法和装置的计算机***的结构示意图。
如图10所示，计算机***1000包括处理单元1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行上述实施例中的各种处理。在RAM 1003中，还存储有***1000操作所需的各种程序和数据。处理单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。其中，所述处理单元1001可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。
特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行上述方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中电子设备或计算机***中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种图像处理装置，包括：
输入层，用于获得同一乳腺病灶区域在第一***的第一图像以及在第二***的第二图像；
残差网络，用于分别处理所述第一图像和所述第二图像，获得所述第一图像的第一特征和所述第二图像的第二特征；
特征融合层，用于融合所述第一特征和第二特征，得到融合特征；
肿块特征提取网络，用于处理所述融合特征，以确定肿块特征和第一恶性概率；
钙化特征提取网络，用于处理所述融合特征，以确定钙化特征和第二恶性概率。
2.根据权利要求1所述的装置，其中：
所述肿块特征提取网络包括第一残差单元、第一多头注意力单元、第一全连接层和第一序回归单元，所述第一全连接层和所述第一序回归单元分别与所述第一多头注意力单元连接，所述第一全连接层用于预测所述肿块特征，所述第一序回归单元用于预测所述第一恶性概率；以及/或者
所述钙化特征提取网络包括第二残差单元、第二多头注意力单元、第二全连接层和第二序回归单元，所述第二全连接层和所述第二序回归单元分别与所述第二多头注意力单元连接，所述第二全连接层用于预测所述钙化特征，所述第二序回归单元用于预测所述第二恶性概率。
3.根据权利要求1或2所述的装置，还包括：
类别特征提取网络，用于处理所述融合特征，以确定类别概率权重；
加权计算单元，用于基于所述类别概率权重处理所述第一恶性概率和第二恶性概率，得到综合恶性概率。
4.根据权利要求3所述的装置，其中，所述类别特征提取网络包括第三残差单元、第三多头注意力单元和第三全连接层，所述第三全连接层用于预测所述类别概率权重。
5.根据权利要求1或2所述的装置，其中，所述肿块特征包括毛刺状、分叶状、模糊、清晰、遮蔽状中的至少一种；所述钙化特征包括无定形钙化、细小多形性钙化、粗糙不均质钙化、细线或细分枝样中的至少一种。
6.一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：
获得同一乳腺病灶区域在第一***的第一图像以及在第二***的第二图像；
通过残差网络分别处理所述第一图像和所述第二图像，获得所述第一图像的第一特征和所述第二图像的第二特征；
融合所述第一特征和第二特征，得到融合特征；
通过肿块特征提取网络处理所述融合特征，得到肿块特征和第一恶性概率；
通过钙化特征提取网络处理所述融合特征，得到钙化特征和第二恶性概率。
7.根据权利要求6所述的电子设备，其中：
所述肿块特征提取网络包括第一残差单元、第一多头注意力单元、第一全连接层和第一序回归单元，所述第一全连接层和所述第一序回归单元分别与所述第一多头注意力单元连接，所述第一全连接层用于预测所述肿块特征，所述第一序回归单元用于预测所述第一恶性概率；以及/或者
所述钙化特征提取网络包括第二残差单元、第二多头注意力单元、第二全连接层和第二序回归单元，所述第二全连接层和所述第二序回归单元分别与所述第二多头注意力单元连接，所述第二全连接层用于预测所述钙化特征，所述第二序回归单元用于预测所述第二恶性概率。
8.根据权利要求6或7所述的电子设备，其中，所述处理器还用于执行：
使用类别特征提取网络处理所述融合特征，得到类别概率权重；
基于所述类别概率权重处理所述第一恶性概率和第二恶性概率，得到综合恶性概率。
9.根据权利要求8所述的电子设备，其中，所述类别特征提取网络包括第三残差单元、第三多头注意力单元和第三全连接层，所述第三全连接层用于预测所述类别概率权重。
10.根据权利要求6或7所述的电子设备，其中，所述肿块特征包括毛刺状、分叶状、模糊、清晰、遮蔽状中的至少一种；所述钙化特征包括无定形钙化、细小多形性钙化、粗糙不均质钙化、细线或细分枝样中的至少一种。
11.一种计算机可读存储介质，其上存储有计算机可读指令，所述指令被处理器执行时使得处理器执行：
获得同一乳腺病灶区域在第一***的第一图像以及在第二***的第二图像；
通过残差网络分别处理所述第一图像和所述第二图像，获得所述第一图像的第一特征和所述第二图像的第二特征；
融合所述第一特征和第二特征，得到融合特征；
通过肿块特征提取网络处理所述融合特征，得到肿块特征和第一恶性概率；
通过钙化特征提取网络处理所述融合特征，得到钙化特征和第二恶性概率。
12.根据权利要求11所述的计算机可读存储介质，其中，所述指令被处理器执行时使得处理器还执行：
使用类别特征提取网络处理所述融合特征，得到类别概率权重；
基于所述类别概率权重处理所述第一恶性概率和第二恶性概率，得到综合恶性概率。
CN202210634176.7A 2022-06-06 2022-06-06 图像处理装置、电子设备及介质 Pending CN114862842A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210634176.7A CN114862842A (zh) 2022-06-06 2022-06-06 图像处理装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210634176.7A CN114862842A (zh) 2022-06-06 2022-06-06 图像处理装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN114862842A true CN114862842A (zh) 2022-08-05

Family

ID=82625201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210634176.7A Pending CN114862842A (zh) 2022-06-06 2022-06-06 图像处理装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN114862842A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727537A (zh) * 2009-11-16 2010-06-09 杭州电子科技大学 基于双视角信息融合的乳腺cr图像的计算机确定方法
CN110136829A (zh) * 2019-05-16 2019-08-16 腾讯科技（深圳）有限公司 乳腺钼靶图像的辅助诊断方法、装置、***及介质
CN112699948A (zh) * 2020-12-31 2021-04-23 无锡祥生医疗科技股份有限公司 超声乳腺病灶的分类方法、装置及存储介质
CN112767346A (zh) * 2021-01-18 2021-05-07 北京医准智能科技有限公司 基于多影像的全卷积单阶段乳腺图像病灶检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727537A (zh) * 2009-11-16 2010-06-09 杭州电子科技大学 基于双视角信息融合的乳腺cr图像的计算机确定方法
CN110136829A (zh) * 2019-05-16 2019-08-16 腾讯科技（深圳）有限公司 乳腺钼靶图像的辅助诊断方法、装置、***及介质
US20210338179A1 (en) * 2019-05-16 2021-11-04 Tencent Technology (Shenzhen) Company Limited Mammographic image processing method and apparatus, system and medium
CN112699948A (zh) * 2020-12-31 2021-04-23 无锡祥生医疗科技股份有限公司 超声乳腺病灶的分类方法、装置及存储介质
CN112767346A (zh) * 2021-01-18 2021-05-07 北京医准智能科技有限公司 基于多影像的全卷积单阶段乳腺图像病灶检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
包昌宇等: "基于深度学习的乳腺钼靶图像分类方法研究进展", 《生物医学工程研究》 *
孙利: "基于多分类器和双视角信息融合的乳腺钼靶图像病灶分类算法研究", 《中国优秀硕士学位论文全文数据库（基础科学辑）》 *

Similar Documents

Publication Publication Date Title
CN110111313B (zh) 基于深度学习的医学图像检测方法及相关设备
CN110728674B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN110264469B (zh) 用于改进断层合成医学图像数据读取中的工作流效率的***和方法
CN110473186B (zh) 一种基于医学图像的检测方法、模型训练的方法及装置
CN111627508B (zh) 一种医学影像的解读方法、装置及计算机可读介质
WO2016057960A1 (en) Apparatus, system and method for cloud based diagnostics and image archiving and retrieval
Patel Predicting invasive ductal carcinoma using a reinforcement sample learning strategy using deep learning
Schlossbauer et al. Classification of small contrast enhancing breast lesions in dynamic magnetic resonance imaging using a combination of morphological criteria and dynamic analysis based on unsupervised vector-quantization
CN110235172B (zh) 基于超声影像设备的图像分析方法及超声影像设备
US20210145389A1 (en) Standardizing breast density assessments
Onishi et al. Investigation of pulmonary nodule classification using multi-scale residual network enhanced with 3DGAN-synthesized volumes
Wang et al. Investigating the use of texture features for analysis of breast lesions on contrast-enhanced cone beam CT
Lee et al. Detecting mammographically occult cancer in women with dense breasts using deep convolutional neural network and Radon Cumulative Distribution Transform
Pinto et al. Compressed breast shape characterization and modelling during digital breast tomosynthesis using 3D stereoscopic surface cameras
CN114862842A (zh) 图像处理装置、电子设备及介质
Lee et al. Impact of GAN artifacts for simulating mammograms on identifying mammographically occult cancer
Farhidzadeh et al. Signal intensity analysis of ecological defined habitat in soft tissue sarcomas to predict metastasis development
Riveira-Martin et al. Multi-vendor robustness analysis of a commercial artificial intelligence system for breast cancer detection
Yang et al. MABEL: An AI-powered mammographic breast lesion diagnostic system
Liu et al. Improvement of mass detection in mammogram using multi-view information
Coorens et al. Intracerebral hemorrhage segmentation on noncontrast computed tomography using a masked loss function U-Net approach
Jailin et al. Lesion detection in contrast enhanced spectral mammography
Xu et al. False positive reduction of microcalcification cluster detection in digital breast tomosynthesis
Sargent et al. Automatic segmentation of mammogram and tomosynthesis images
CN114820591B (zh) 图像处理方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000

Applicant after: Zhejiang Yizhun Intelligent Technology Co.,Ltd.

Address before: 100000 floor 12, building a, Zhizhen building, No. 7 Zhichun Road, Haidian District, Beijing

Applicant before: Beijing Yizhun Intelligent Technology Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220805