CN113662573B - 乳腺病灶定位方法、装置、计算机设备和存储介质 - Google Patents

乳腺病灶定位方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113662573B
CN113662573B CN202111064487.6A CN202111064487A CN113662573B CN 113662573 B CN113662573 B CN 113662573B CN 202111064487 A CN202111064487 A CN 202111064487A CN 113662573 B CN113662573 B CN 113662573B
Authority
CN
China
Prior art keywords
breast
mammary gland
image
focus
ultrasonic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111064487.6A
Other languages
English (en)
Other versions
CN113662573A (zh
Inventor
储冬玮
李彦庆
柴维敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruinjin Hospital Affiliated to Shanghai Jiaotong University School of Medicine Co Ltd
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Ruinjin Hospital Affiliated to Shanghai Jiaotong University School of Medicine Co Ltd
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruinjin Hospital Affiliated to Shanghai Jiaotong University School of Medicine Co Ltd, Shanghai United Imaging Healthcare Co Ltd filed Critical Ruinjin Hospital Affiliated to Shanghai Jiaotong University School of Medicine Co Ltd
Priority to CN202111064487.6A priority Critical patent/CN113662573B/zh
Publication of CN113662573A publication Critical patent/CN113662573A/zh
Application granted granted Critical
Publication of CN113662573B publication Critical patent/CN113662573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B2090/101—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis for stereotaxic radiosurgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Dentistry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请涉及一种乳腺病灶定位方法、装置、计算机设备和存储介质。所述方法包括：获取待测试者的乳腺X射线图像或第一乳腺超声图像，乳腺X射线图像或第一乳腺超声图像标注有待测试者的初始病灶位置；将待测试者的乳腺X射线图像或第一乳腺超声图像输入乳腺病灶定位模型中，乳腺病灶定位模型是经过乳腺X射线图像或第一乳腺超声图像与包含病灶基准位置的第二乳腺超声图像组成的训练样本进行模型训练得到的神经网络模型；通过乳腺病灶定位模型，得到待测试者的乳腺模拟图像，乳腺模拟图像中携带有矫正后的病灶位置。采用本方法提高病灶定位的准确性。

Description

乳腺病灶定位方法、装置、计算机设备和存储介质
技术领域
本申请涉及病灶检测技术领域，特别是涉及一种乳腺病灶定位方法、装置、计算机设备和存储介质。
背景技术
在乳腺检查或者乳腺治疗过程中，对于可疑的病灶，医生通常需要进行活检取样，对取出的样本进行病理分析进一步判断病灶的良恶性。活检取样的方式有两种，一种是开放式手术取样，一种是乳腺穿刺活检。这两种方式均需要在影像引导下对乳腺病灶进行定位。
传统的影像引导下的病灶定位方式为通过乳腺X射线的引导，对乳腺病灶组织进行病灶导丝定位，进而医生可以根据定位导丝确定病灶组织位置，具体地，医生在进行X射线引导下的乳腺病灶导丝定位时，需要对***进行压迫，其目的在于固定***位置，减少成像时的运动伪影。
然而，当患者***解压迫后，将患者转送至手术室进行活检取样，且病人在进行手术时会采取不同的***，在这一过程中患者发生运动，均会导致其定位导丝位置随着病灶组织发生空间位置的变化，从而影响定位的病灶位置的准确性。
发明内容
基于此，有必要针对上述技术问题，提供一种乳腺病灶定位方法、装置、计算机设备和存储介质。
一种乳腺病灶定位方法，所述方法包括：
获取待测试者的乳腺X射线图像或第一乳腺超声图像，所述乳腺X射线图像或所述第一乳腺超声图像标注有所述待测试者的初始病灶位置；
将所述待测试者的乳腺X射线图像或所述第一乳腺超声图像输入乳腺病灶定位模型中，所述乳腺病灶定位模型是经过乳腺X射线图像或所述第一乳腺超声图像与包含病灶基准位置的第二乳腺超声图像组成的训练样本进行模型训练得到的神经网络模型；
通过所述乳腺病灶定位模型，得到所述待测试者的乳腺模拟图像，所述乳腺模拟图像中携带有所述初始病灶位置被矫正后的病灶位置。
在其中一个实施例中，将所述乳腺模拟图像发送至投射设备，以使所述投射设备生成投射影像，以显示所述被矫正后的病灶位置。
在其中一个实施例中，所述方法还包括：
获取所述待测试者的目标移动距离和目标手术***；
根据所述目标移动距离和所述目标手术***，在移动距离数据区间、手术***和乳腺病灶定位模型的对应关系中，选择与所述目标移动距离和所述目标手术***对应的乳腺病灶定位模型。
在其中一个实施例中，所述方法通过所述乳腺病灶定位模型实现，所述乳腺病灶定位模型的训练方法包括：
获取乳腺病灶训练样本集，所述乳腺病灶训练样本集包含乳腺X射线图像或第一乳腺超声图像，以及与所述乳腺X射线图像或所述第一乳腺超声图像对应的第二乳腺超声图像；所述第二乳腺超声图像为模拟患者发生运动位移和手术***状态的标注有病灶基准位置的图像；
将所述乳腺病灶训练样本集中每一所述乳腺X射线图像或所述第一乳腺超声图像与对应的所述第二乳腺超声图像输入乳腺病灶定位模型；
根据所述乳腺超声图像的病灶基准位置，对所述乳腺病灶定位模型进行有监督学习的模型训练，得到训练后的乳腺病灶定位模型；
其中，所述乳腺病灶定位模型用于确定乳腺模拟图像中的矫正后的病灶位置。
在其中一个实施例中，所述获取乳腺病灶训练样本集，包括：
针对每一样本患者，获取所述样本患者的乳腺X射线图像或第一乳腺超声图像，并在所述乳腺X射线图像或第一乳腺超声图像中识别并标注病灶位置；
获取所述样本患者在发生运动位移后、且位于手术***的第二乳腺超声图像；
建立所述乳腺X射线图像或所述第一乳腺超声图像与所述第二乳腺超声图像间的对应关系；将基于各个样本患者建立的具有所述对应关系的所述乳腺X射线图像或所述第一乳腺超声图像与所述第二乳腺超声图像，构成乳腺病灶训练样本集。
在其中一个实施例中，所述方法还包括：
针对每一所述乳腺X射线图像或所述第一乳腺超声图像，在所述乳腺X射线图像或所述第一乳腺超声图像中识别第一标识位置，并根据预设的标识编号对所述第一标识位置进行编码；
针对每一所述第二乳腺超声图像，在所述第二乳腺超声图像中识别第二标识位置，并根据预设的标识编号对所述第二标识位置进行编码；标识位置为辅助病灶定位的参考点；
所述建立所述乳腺X射线图像与所述乳腺超声图像间的对应关系，包括：
建立所述乳腺X射线图像或所述第一乳腺超声图像中标注的病灶位置与所述第二乳腺超声图像中的参考病灶位置的对应关系；
根据标识编码建立所述第一标识位置与所述第二标识位置间的对应关系。
在其中一个实施例中，所述方法还包括：
根据预设的运动位移区间和预设的手术***状态，对所述每一样本患者的所述第二乳腺超声图像进行分类，得到多个乳腺超声图像集；
所述将基于各个样本患者建立的具有所述对应关系的所述乳腺X射线图像或所述第一乳腺超声图像与所述第二乳腺超声图像，构成乳腺病灶训练样本集，包括：
针对每一个乳腺超声图像集，将每一个第二乳腺超声图像集中的第二乳腺超声图像与对应的乳腺X射线图像或第一乳腺超声图像，构成一个乳腺病灶训练样本集，得到多个乳腺病灶训练样本集。
在其中一个实施例中，所述根据所述第二乳腺超声图像的病灶基准位置，对所述乳腺病灶定位模型进行有监督学习的模型训练，得到训练后的乳腺病灶定位模型，包括：
将所述第二乳腺超声图像中标注的病灶位置作为基准位置，利用乳腺病灶定位模型对与所述第二乳腺超声图像对应的乳腺X射线图像或第一乳腺超声图像中标注的初始病灶位置进行位置矫正，得到矫正后的病灶位置；
计算所述矫正后的病灶位置与所述基准位置间的相对距离，若所述相对距离大于预设的距离阈值，则调整所述乳腺病灶定位模型的模型参数，并重新计算矫正后的病灶位置的，直至矫正后的病灶位置与所述基准位置间的所述相对距离小于等于预设距离阈值，所述乳腺病灶定位模型训练完成。
一种乳腺病灶定位装置，所述装置包括：
获取模块，用于获取待测试者的乳腺X射线图像或第一乳腺超声图像，所述乳腺X射线图像或所述第一乳腺超声图像标注有所述待测试者的初始病灶位置；
输入模块，用于将所述待测试者的乳腺X射线图像或所述第一乳腺超声图像输入乳腺病灶定位模型中，所述乳腺病灶定位模型是经过乳腺X射线图像或第一乳腺超声图像与包含病灶基准位置的第二乳腺超声图像组成的训练样本进行模型训练得到的神经网络模型；
处理模块，用于通过所述乳腺病灶定位模型，得到所述待测试者的乳腺模拟图像，所述乳腺模拟图像中携带有所述初始病灶位置被矫正后的病灶位置。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待测试者的乳腺X射线图像或第一乳腺超声图像，所述乳腺X射线图像或所述第一乳腺超声图像标注有所述待测试者的初始病灶位置；
将所述待测试者的乳腺X射线图像或所述第一乳腺超声图像输入乳腺病灶定位模型中，所述乳腺病灶定位模型是经过乳腺X射线图像与包含病灶基准位置的乳腺超声图像组成的训练样本进行模型训练得到的神经网络模型；
通过所述乳腺病灶定位模型，得到所述待测试者的乳腺模拟图像，所述乳腺模拟图像中携带有所述初始病灶位置被矫正后的病灶位置。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待测试者的乳腺X射线图像或第一乳腺超声图像，所述乳腺X射线图像或所述第一乳腺超声图像标注有所述待测试者的初始病灶位置；
将所述待测试者的乳腺X射线图像或所述第一乳腺超声图像输入乳腺病灶定位模型中，所述乳腺病灶定位模型是经过乳腺X射线图像或第一乳腺超声图像与包含病灶基准位置的第二乳腺超声图像组成的训练样本进行模型训练得到的神经网络模型；
通过所述乳腺病灶定位模型，得到所述待测试者的乳腺模拟图像，所述乳腺模拟图像中携带有所述初始病灶位置被矫正后的病灶位置。
上述乳腺病灶定位方法、装置、计算机设备和存储介质，获取待测试者的乳腺X射线图像或第一乳腺超声图像，所述乳腺X射线图像或所述第一乳腺超声图像标注有所述待测试者的初始病灶位置；将所述待测试者的乳腺X射线图像或所述第一乳腺超声图像输入乳腺病灶定位模型中，所述乳腺病灶定位模型是经过乳腺X射线图像或所述第一乳腺超声图像与包含病灶基准位置的第二乳腺超声图像组成的训练样本进行模型训练得到的神经网络模型；通过所述乳腺病灶定位模型，得到所述待测试者的乳腺模拟图像，所述乳腺模拟图像中携带有所述初始病灶位置被矫正后的病灶位置。采用本方法，通过乳腺病灶定位模型补偿由于***解压迫和测试者身体运动造成的病灶位置偏移，提高病灶定位的准确性。
附图说明
图1为一个实施例中乳腺病灶定位方法的流程示意图；
图2为一个实施例中乳腺病灶定位模型的具体模型结构示意图；
图3为一个实施例中乳腺病灶定位模型应用步骤的流程示意图；
图4为一个实施例中乳腺病灶定位模型的训练方法的流程示意图；
图5为一个实施例中构建乳腺病灶训练样本集步骤的流程示意图；
图6为一个实施例中建立训练样本中图像对应关系步骤的流程示意图；
图7为一个实施例中划分多个乳腺病灶训练样本步骤的流程示意图；
图8为一个实施例中乳腺病灶定位模型训练调参步骤的流程示意图；
图9为一个实施例中乳腺病灶定位模型的训练过程示意图；
图10为一个实施例中乳腺病灶定位装置的结构框图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
首先，在具体介绍本申请实施例的技术方案之前，先对本申请实施例基于的技术背景或者技术演进脉络进行介绍。通常情况下，在病灶检测技术领域，当前的技术背景是：在进行乳腺检查或者乳腺治疗的过程中，医生对于乳腺可疑病灶区域需要进行活检取样，才可以判断可疑病灶的良恶性。而在进行活检取样之前，需要准确定位可疑病灶位置，以通过开放式手术或者穿刺针取出可疑病灶样本。目前的，对于可疑病灶位置的定位，是通过影像引导进行定位，例如，通过X射线生成的图像对可疑病灶进行影像引导，并通过定位导丝对病灶位置进行定位。然而，基于X射线影像引导的导丝定位方法中，为减少***运动伪影和分离乳腺腺体重叠部分，在拍摄X射线图像时人体是处于坐立状态且***处于被压迫状态，在此情况下进行的导丝定位，在***解压迫之后，***内腺体部分的定位导丝位置会因为***解压迫以及人体运动发生变化，导致***外部导丝不能准确表示其导丝头部定位的病灶组织，造成病灶定位不准确的问题。基于该背景，申请人通过长期的模型模拟研发以及实验数据的搜集、演示和验证，发现可以针对***解压迫，直至患者移动到活检取样手术室手术期间病灶移动位置进行学习，基于学习到的偏移信息对病灶位置进行校准。因此，如何对患者运动后乳腺病灶位置进行校准成为目标亟待解决的难题。另外，需要说明的是，发现***解压迫后***腺体移动造成的病灶位置移动的技术问题以及下述实施例介绍的技术方案，申请人均付出了大量的创造性劳动。
在一个实施例中，如图1所示，提供了一种乳腺病灶定位方法，本实施例以该方法应用于终端(实施例中统称为计算机设备)进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的***，并通过终端和服务器的交互实现。本实施例中，以导丝定位时采用乳腺X射线图像或第一乳腺超声图像并在手术时采用第二超声图像举例，该方法包括以下步骤：
步骤101，获取待测试者的乳腺X射线图像或第一乳腺超声图像。
其中，乳腺X射线图像标注有待测试者的初始病灶位置。
具体的，在医生在进行病灶活检取样之前，需要通过图像引导确定病灶位置进行导丝定位。例如，采用X射线影像引导的方式，当进行X射线乳腺病灶摄影时，需要对待测试者***进行固定和压迫，然后通过X射线断层摄影得到乳腺X射线图像(也称为DBT，digitalbreast tomosynthsis,数字乳腺断层摄影)，在该乳腺X射线图像中识别测试者的病灶位置，将该病灶位置(作为初始病灶位置)进行位置标注。在一种实施例中，该乳腺X射线图像可以为3D图像，在另一种实施例中，该乳腺X射线图像也可以为至少两张2D图像。
可选的，双模态设备包括X射线乳腺机以及耦接到X射线乳腺机上的超声设备，通过双模态设备可以同时获取***压迫状态下的乳腺X射线图像和第一乳腺超声图像。同理，对由双模态设备输出的乳腺X射线图像和第一乳腺超声图像中的病灶位置进行位置标注，将其病灶位置作为初始病灶位置。
在实施中，计算机设备获取待测试者的标注有初始病灶位置的乳腺X射线图像或第一乳腺超声图像，以对待测试者的乳腺病灶位置进行进一步分析。
步骤102，将待测试者的乳腺X射线图像或第一乳腺超声图像输入乳腺病灶定位模型中。
其中，乳腺病灶定位模型是经过乳腺X射线图像或第一乳腺超声图像与包含病灶基准位置的第二乳腺超声图像组成的训练样本进行模型训练得到的神经网络模型。例如，适用于乳腺X射线图像(或第一乳腺超声图像)与第二乳腺超声图像的病灶位置拟合的深度卷积神经网络模型。
在实施中，计算机设备中存储有预先训练的乳腺病灶定位模型，该乳腺病灶定位模型经过大量训练样本进行模型训练，学习训练样本中病灶位置运动后发生的偏移信息，以使对初始病灶位置进行补偿。该乳腺病灶定位模型的训练样本包括***压迫状态下的乳腺X射线图像或第一乳腺超声图像，以及包含病灶基准位置的第二乳腺超声图像。以第二乳腺超声图像中的病灶位置作为基准病灶位置图像进行有监督学习的神经网络模型的训练，当需要对新的待测试者的病灶位置进行准确定位时，计算机设备将待测试者的乳腺X射线图像(或第一乳腺超声图像)输入训练好的乳腺病灶定位模型中，以进行初始病灶位置矫正。
步骤103，通过乳腺病灶定位模型，得到待测试者的乳腺模拟图像。
其中，乳腺模拟图像中携带有矫正后的病灶位置。
在实施中，计算机设备通过乳腺病灶定位模型，利用乳腺病灶模型训练过程中学习到的病灶位置的位置偏移信息(即训练后的模型参数)，对输入的乳腺X射线图像中的初始病灶位置进行补偿处理，得到病灶位置矫正后待测者的乳腺模拟图像。该乳腺模拟图像是基于乳腺X射线图像中包含的图像特征信息生成的图像，其中包含患者的***内腺体、脂肪等正常组织部位信息，同时也包含乳腺腺体中矫正后的病灶位置信息，以使医生根据待测试者在乳腺X射线引导下设置在***内部上的定位导丝以及矫正后的病灶位置信息进行手术。
上述乳腺病灶定位方法中，计算机设备获取待测试者的乳腺X射线图像，其中，乳腺X射线图像标注有待测试者的初始病灶位置。然后，计算机设备将待测试者的乳腺X射线图像输入预先训练的乳腺病灶定位模型中。通过乳腺病灶定位模型，得到待测试者的乳腺模拟图像，该乳腺模拟图像中携带有矫正后的病灶位置。采用本方法，通过乳腺病灶定位模型补偿由于***解压迫和测试者身体运动造成的病灶位置偏移，提高病灶定位的准确性。
在一个实施例中，上述用于病灶位置矫正的深度卷积神经网络模型，可以为深度配准模型，例如，改进后的SEResnet网络(模型)，如图2所示，其网络结构主要包括特征提取模块(包含多个特征提取层，SE-Residual)、规模层(scale)、特征整合层(SE-Residual-2)和全连接层(FC)。
其中，特征提取模块(SE-Residual-1)采用全局池化(global)+(加上)卷积(conv)的模式(global+conv)，用于获取不同特征提取层的特征信息(图像特征信息)。scale(规模层)，用于对特征提取信息进行扩厂，将全局特征信息(图像特征信息)添加到原始的特征信息上，以提升特征提取模块的提取精确性。特征整合层(SE-Residual-2)用于特征整合，采用全局池化+卷积+sigmoid(激活)的模式，提取神经网络中不同通道的权重，不同权重代表不同通道的重要性，然后，基于不同权重对原始的特征信息进行计算处理(即利用权重乘以原始的特征信息)，得到最终图像特征信息，该最终图像特征信息在本申请实施例中即为乳腺模拟图像的图像特征信息。最后，全连接层(FC)，用于将提取到的最终图像特征信息转换为坐标信息，对乳腺模拟图像进行特征显示。
图2中网络结构还包含其他层：批规范化层(BN)、最大池化层(MaxPooling)和残差网络层(Residual)，也是神经网络中的常用层，本申请实施例不再详细介绍。
在一种实施例中，该乳腺病灶定位方法还可以包括：
步骤104，将乳腺模拟图像发送至投射设备，以使投射设备生成投射影像，以显示被矫正后的病灶位置在乳腺中的位置。
在实施中，计算机设备可以将乳腺模拟图像发送至投射设备，以使投射设备在接收到乳腺模拟图像之后，基于患者当前手术***，通过VR(Virtual Realit，虚拟现实)或者AR(Augmented Reality，增强现实)技术，实现***部位的真实场景与虚拟场景的融合，将从不同角度乳腺模拟影像投射到患者***，从而基于融合场景在***上的投影，显示被矫正后的病灶位置所处***中乳腺的位置。
在一个实施例中，如图3所示，该方法还包括：
步骤301，获取待测试者的目标移动距离和目标手术***。
其中，目标移动距离为待测试者在乳腺X射线成像之后，到进行活检取样期间发生移动的距离。另外，在进行手术时存在多种不同的手术***，例如，俯卧、仰卧、左侧卧、右侧卧等，本实施例不做限定。目标手术***为待测试者在进行活检取样时采取的特定手术***。
在实施中，医生在活检取样之前可以基于待测试者的实际情况，向计算机设备输入待测试者的目标移动距离和目标手术***。例如，待测试者A的目标移动距离为100米，目标手术***为仰卧。计算机设备获取到待测试者的目标移动距离和目标手术***，以进行乳腺病灶定位模型的选择。
步骤302，根据目标移动距离和目标手术***，在移动距离数据区间、手术***和乳腺病灶定位模型的对应关系中，选择与目标移动距离和目标手术***对应的乳腺病灶定位模型。
在实施中，计算机设备中存储有多个预先训练完成的乳腺病灶定位模型，每个乳腺病灶定位模型的模型结构相同，但参与模型训练的训练样本不同，通过不同的训练样本训练得到的不同参数配置的乳腺病灶定位模型适用于不同运动距离区间和手术***。
具体的，各乳腺病灶定位模型的训练样本中包含的乳腺X射线图像基于的样本患者(即采样对象)的移动距离和手术***进行区分。移动距离划分不同的距离区间，每一距离区间结合多种手术***划分为多个训练样本集。针对每一训练样本集训练乳腺病灶定位模型，使得移动距离区间、手术***和乳腺病灶定位模型间形成对应关系。
进而，当计算机设备接收到待测试者的目标移动距离和目标手术***后，计算机设备根据目标移动距离和目标手术***，在预设的移动距离数据区间、手术***和乳腺病灶定位模型的对应关系中，确定目标移动距离和目标手术***对应的目标乳腺病灶定位模型。
在一个实施例中，如图4所示，上述乳腺病灶定位方法通过预先训练的乳腺病灶定位模型实现，该乳腺病灶定位模型的训练方法包括如下步骤：
步骤401，获取乳腺病灶训练样本集。
其中，乳腺病灶训练样本集包含乳腺X射线图像或者第一乳腺超声图像，以及与乳腺X射线图像或者第一乳腺超声图像对应的第二乳腺超声图像。第二乳腺超声图像为模拟患者发生运动位移和手术***状态的标注有病灶基准位置的图像。
在实施中，计算机设备获取乳腺病灶训练样本集。具体的，计算机设备获取由多个样本患者的乳腺X射线图像和第二乳腺超声图像组成的训练样本集，即针对每一样本对象(即作为病灶图像采集对象的患者，也可以称为样本患者)采集的其***压迫状态下的乳腺X射线图像，将采集到的乳腺X射线图像进行可疑病灶位置的标注，同时，在该样本对象***解压迫且处于手术***的状态下进行***超声扫描得到第二乳腺超声图像。
可选的，基于双模态设备可以同时获取到乳腺压迫状态下的乳腺X射线图像和第一乳腺超声图像，因此，乳腺病灶训练样本集也可以是由多个样本患者的第一乳腺超声图像(包含初始病灶位置)和对应的第二乳腺超声图像(包含基准病灶位置)组成的训练样本集。又或者，乳腺病灶训练样本集中可以包含多个样本患者分别获取的乳腺X射线图像、第一乳腺超声图像和第二乳腺超声图像三者对应组成的训练样本集，因此，本申请实施例对于训练样本集中包含的图像数量和种类不做限定。
步骤402，将乳腺病灶训练样本集中每一乳腺X射线图像或第一乳腺超声图像与对应的第二乳腺超声图像输入乳腺病灶定位模型。
在实施中，计算机设备将乳腺病灶训练样本集中每一乳腺X射线图像或第一乳腺超声图像与对应的第二乳腺超声图像输入乳腺病灶定位模型，以通过乳腺病灶定位模型对训练样本中的乳腺病灶位置进行处理。
步骤403，根据第二乳腺超声图像的病灶基准位置，对乳腺病灶定位模型进行有监督学习的模型训练，得到训练后的乳腺病灶定位模型。
其中，乳腺病灶定位模型用于确定乳腺模拟图像中初始病灶位置被矫正后的病灶位置。
在实施中，计算机设备根据第二乳腺超声图像的病灶基准位置，对乳腺病灶定位模型进行有监督式的模型训练，将第二乳腺超声图像中标注的病灶位置作为***解压迫、人体发生运动后的乳腺病灶基准位置，逐渐调整模型参数，使得根据乳腺X射线图像或第一乳腺超声图像中初始病灶位置进行模型运算，输出的预测病灶位置与基准病灶位置进行逐步重合配准，实现对乳腺X射线图像或者第一乳腺超声图像中初始病灶位置的矫正。
在一个实施例中，以导丝定位时采用乳腺X射线图像或第一乳腺超声图像，并在手术时采用第二乳腺超声图像举例，如图5所示，步骤401中获取乳腺病灶定位模型的训练样本的具体处理过程包括如下步骤：
步骤501，针对每一样本患者，获取样本患者的乳腺X射线图像或第一乳腺超声图像，并在乳腺X射线图像或第一乳腺超声图像中识别并标注病灶位置。
在实施中，计算机设备根据预先获取的样本患者集中的每位样本患者进行乳腺图像采集。具体的，针对每一样本患者，获取样本患者的乳腺X射线图像，并在乳腺X射线图像中识别并标注病灶位置。或者，针对每一样本患者，获取样本患者的第一乳腺超声图像，并在第一乳腺超声图像中识别并标注病灶位置。
步骤502，获取样本患者在发生运动位移后、且位于手术***的第二乳腺超声图像。
在实施中，计算机设备获取样本患者集中样本患者在发生运动位移后、且位于手术***状态下的第二乳腺超声图像，以该第二乳腺超声图像作为模型训练中的参考样本图像。例如，样本患者A在***解压迫后，由X射线摄影室到达活检取样手术室间运动了100米，样本患者A在活检取样过程中采取仰卧的手术***，则此时在样本患者A发生运动且仰卧***的状态下，获取样本患者A***的第二乳腺超声图像。
步骤503，建立乳腺X射线图像或第一乳腺超声图像与第二乳腺超声图像间的对应关系；将基于各个样本患者建立的具有对应关系的乳腺X射线图像或第一乳腺超声图像与第二乳腺超声图像，构成乳腺病灶训练样本集。
在实施中，计算机设备针对同一样本患者的乳腺X射线图像或第一乳腺超声图像，与第二乳腺超声图像，建立乳腺X射线图像与第二乳腺超声图像间，或者，第一乳腺超声图像与第二乳腺超声图像间的对应关系。具体的，以建立乳腺X射线图像与第二乳腺超声图像间的对应关系进行描述，建立由同一样本患者所属的同一运动距离区间内任意运动距离对应的运动前后的乳腺X射线图像和第二乳腺超声图像间的对应关系，得到所属运动距离区间内乳腺X射线图像与第二乳腺超声图像的图像对，则多个样本患者在不同运动距离区间内包含的两种乳腺病灶图像的图像对，构建成乳腺病灶训练样本集。
在一个实施例中，如图6所示，该方法还包括：
步骤601，针对每一乳腺X射线图像或第一乳腺超声图像，在乳腺X射线图像或第一乳腺超声图像中识别第一标识位置，并根据预设的标识编号对第一标识位置进行编码。
在实施中，在进行乳腺X射线摄影之前，可以预先在样本患者的***表面粘贴作为位置参考点的标识，该标识可以为由硅胶包裹的金属颗粒。然后，将金属颗粒进行预先编号，在对样本患者的***进行乳腺X摄影成像过程中，金属颗粒可以进行成像显示，则可以得到包含金属颗粒的乳腺X射线图像。然后，计算机设备针对每一乳腺X射线图像，识别其中的金属颗粒所处位置，作为第一标识位置。并根据预设的标识编号对图像中的第一标识位置进行编码。例如，6个金属颗粒的编号分别为编号1至6，则在乳腺X射线图像中，金属颗粒所处位置进行相同顺序编码。
可选地，如果以第一乳腺超声图像为例，则可以通过双模态设备获取每一第一乳腺超声图像，进而，在第一乳腺超声图像中识别第一标识位置并进行位置编码，具体的，在第一乳腺超声图像中进行第一标识位置的识别和编码过程与在乳腺X射线图像中的相同，本申请实施例不再赘述。
步骤602，针对每一第二乳腺超声图像，在第二乳腺超声图像中识别第二标识位置，并根据预设的标识编号对第二标识位置进行编码。
其中，标识位置为辅助病灶定位的参考点。
硅胶可以在超声中进行成像显示，在对乳腺的超声成像中，硅胶所在位置可以作为第二标识位置。可以理解的是，该硅胶可以由气泡替代。
在实施中，基于同一样本患者，该样本患者***皮肤上粘贴的标识点位置不变，在该样本患者***解压迫之后，该样本患者移动至活检取样手术室，基于超声设备，对处于手术***状态下的样本患者进行乳腺图像采集，得到包含标识成像的第二乳腺超声图像。然后，计算机设备针对每一第二乳腺超声图像，在第二乳腺超声图像中识别解压迫后每一标识所处的第二标识位置，并根据预设的标识编号对第二标识位置进行同样编号顺序的编码。
进而，基于乳腺X射线图像或者第一乳腺超声图像包含的标识位置及编码，分别与第二乳腺超声图像中包含的标识位置及编码，建立乳腺X射线图像或者第一乳腺超声图像与第二乳腺超声图像间的对应关系，则步骤503的具体处理过程包括：
步骤603，建立乳腺X射线图像或者第一乳腺超声图像中标注的病灶位置与第二乳腺超声图像中的参考病灶位置的对应关系。
在实施中，以建立乳腺X射线图像与第二乳腺超声图像间对应关系为例，计算机设备建立乳腺X射线图像中标注的初始病灶位置与第二乳腺超声图像中的参考病灶位置(也称为基准病灶位置)的对应关系。其中，该乳腺X射线图像与乳腺超声图像为样本患者一次运动的前后分别对应的两次***成像。这两次成像所得图像间病灶位置的变化，也表示样本患者运动对乳腺病灶位置造成的偏移影响。具体的，在同一坐标系下，乳腺X射线图像中的初始病灶位置表示为[x1,y1]，第二乳腺超声图像中的基准病灶位置表示为[x2,y2]，进而建立初始病灶位置(即[x1,y1]坐标)与基准病灶位置(即[x2,y2]坐标)间的关联关系，以使在模型训练过程中，可以以基准病灶位置的坐标为基准，逐渐调整初始病灶位置坐标，进而确定模型参数，以实现乳腺病灶定位模型对初始病灶位置进行预测模拟，输出被矫正后的病灶位置。
可以理解的，在该实施例中，乳腺X射线图像可以对应替换为第一乳腺超声图像，其具体实施过程不变。
步骤604，根据标识编码建立第一标识位置与第二标识位置间的对应关系。
在实施中，计算机设备根据一组具备对应关系的乳腺X射线图像与第二乳腺超声图像，将其中包含的各标识点的位置进行对应，根据标识编码顺序，依次建立乳腺X射线图像中第一标识位置与第二乳腺超声图像中第二标识位置间的对应关系。具体地，在乳腺X射线图像中包含初始病灶位置以及反映各标识点的第一标识位置，因此，在乳腺X射线图像中包含初始病灶位置与各标识点位置(即第一标识位置)间的第一相对位置关系；在第二乳腺超声图像中包含基准病灶位置以及反映各标识点的第二标识位置，因此，在第二乳腺超声图像中包含基准病灶位置与第二标识位置间的第二相对位置关系；基于初始病灶位置与基准病灶位置间的对应关系，以及建立第一标识位置与第二标识位置间的对应关系，实现第一相对位置关系与第二相对位置关系间的关联，以使实现乳腺病灶定位模型可以基于第二相对位置关系，对第一相对位置关系进行预测模拟，输出第一相对位置关系中初始病灶位置被矫正后的病灶位置。
例如，具体的建立第一相对位置关系与第二相对位置关系间的关联关系的过程包括：在乳腺X射线图像中包含多个标识点，各标识点标识在包括***、与***相距预设距离的至少两个位置处。各标识点对应的位置坐标分别表示为[x1,y1]、[x2,y2]和[x3,y3](统称为第一标识位置)，建立各标识点的第一标识位置与初始病灶位置间的第一相对位置关系，该第一相对位置关系中可以表示为各个标识位置坐标与初始病灶位置间的两两相对距离，也可以以各标识点围成的区域范围确定初始病灶位置在区域范围中的相对位置，因此，本申请实施例不做限定。同样的多个标识点，显示在对应的第二乳腺超声图像中表示为多个第二标识位置。其对应的位置坐标分别表示为[x4,y4]、[x5,y5]和[x6,y6]，建立各标识点的第二标识位置与基准病灶位置间的第二相对位置关系，该第二相对位置关系的确定，与第一相对位置关系的过程相同，本申请实施例不再赘述。从而由各标识点间第一标识位置与第二标识位置间的对应关系，建立第一相对位置关系与第二相对位置关系间的关联关系，以及基于第一相对位置关系与第二相对位置关系间的关联关系进行乳腺病灶定位模型的训练。
可以理解的，在该实施例中，乳腺X射线图像可以对应替换为第一乳腺超声图像，其具体实施过程不变，本申请不再赘述。
可以理解的，本申请乳腺病灶定位模型中，可以仅依据初始病灶位置与基准病灶位置间的关联关系进行模型训练，也可以基于第一相对位置关系与第二相对位置关系间的关联关系进行模型训练，本申请实施例不做限定。
在一个实施例中，如图7所示，该方法还包括：
步骤701，根据预设的运动位移区间和预设的手术***状态，对每一样本患者的第二乳腺超声图像进行分类，得到多个乳腺超声图像集。
在实施中，计算机设备根据预设的位移区间和预设的手术***状态，对每一样本患者的第二乳腺超声图像进行分类，得到多个乳腺超声图像集。具体的，多个样本患者间发生的运动位移不同，手术***也可能不同，因此，可以在样本患者集中，针对样本患者的运动位移划分距离区间，并根据手术***不同进行对应，例如，运动位移的区间范围(单位：米)：[0，50)，[50，100)，[100，150)…手术***：俯卧、仰卧、左侧卧、右侧卧。进而，可以得到运动距离和手术***决策表，如下表1(其中具体图像数据内容在表格中省略)：
表1
Figure BDA0003257691720000161
则步骤503的具体处理过程包括：
步骤702，针对每一个乳腺超声图像集，将每一个乳腺超声图像集中的第二乳腺超声图像与对应的乳腺X射线图像或第一乳腺超声图像，构成一个乳腺病灶训练样本集，得到多个乳腺病灶训练样本集。
在实施中，计算机设备针对每一乳腺超声图像集，将每一乳腺超声图像集中的第二乳腺超声图像与对应的乳腺X射线图像，构成一个乳腺病灶训练样本集，得到多个乳腺病灶训练样本集，针对每一乳腺病灶训练样本可以训练得到适用于该运动距离区间和手术***状态的乳腺病灶定位模型。
可选的，将每一乳腺超声图像集中的第二乳腺超声图像与对应的第一乳腺超声图像，构成一个乳腺病灶训练样本集，进而得到多个乳腺病灶训练样本集。
在一个实施例中，如图8所示，在具体的乳腺病灶定位模型的训练过程中，步骤403的具体处理过程包括：
步骤801，将第二乳腺超声图像中标注的病灶位置作为基准位置，利用乳腺病灶定位模型对与第二乳腺超声图像对应的乳腺X射线图像或第一乳腺超声图像中标注的初始病灶位置进行位置矫正，得到矫正后的病灶位置。
在实施中，以第二乳腺超声图像与对应的乳腺X射线图像为例，计算机设备将第二乳腺超声图像中标注的病灶位置作为基准位置，利用乳腺定位模型对于第二乳腺超声图像对应的乳腺X射线图像中标注的初始病灶位置进行位置矫正，得到乳腺X射线图像中初始病灶位置矫正后的病灶位置。可以理解的，在该实施例中，乳腺X射线图像可以对应替换为第一乳腺超声图像，其具体实施过程不变，本申请不再赘述。
步骤802，计算矫正后的病灶位置与基准位置间的相对距离，若相对距离大于预设的距离阈值，则调整乳腺病灶定位模型的模型参数，并重新计算矫正后的病灶位置的，直至矫正后的病灶位置与基准位置间的相对距离小于等于预设距离阈值，乳腺病灶定位模型训练完成。
在实施中，计算矫正后的病灶位置与第二乳腺超声图像中的基准位置间的相对距离(相对距离即作为模型训练损失函数值)，若相对距离大于预设的距离阈值，则调整乳腺病灶定位模型的模型参数，重新执行上述步骤801中的病灶位置矫正过程，进而，基于新的矫正后的病灶位置，重新计算与基准位置间的相对距离，直至相对距离小于或者等于预设距离阈值，则乳腺病灶定位模型训练完成。
具体的，乳腺病灶定位模型可以为深度配准网络模型，则该乳腺病灶定位模型的训练过程，如图9所示，将训练样本中的乳腺X射线图像或第一乳腺超声图像，以及对应的包含基准病灶位置的第二乳腺超声病灶图像的叠加图，输入至深度配准网络模型，利用该深度配准网络模型的各神经网络层的运算处理，得到预测出的乳腺X射线图像或者第一乳腺超声图像中包含的初始位置的被矫正后的病灶位置坐标，通过输出的被矫正后的病灶位置坐标()与对应的第二乳腺超声图像中的基准病灶位置(也即位置坐标)进行损失计算，具体的损失函数(即最小化平方误差Loss，Least Square Error)如下所示：
Figure BDA0003257691720000171
其中，pi为基准病灶位置的位置坐标，gi为被矫正后的病灶位置坐标。进而，通过不断迭代更新网络参数来降低损失值，当损失值达到设定的阈值或是迭代次数达到了设定的值，停止训练，得到训练好的深度配准模型。
可选的，针对不同的运动距离区间和手术***状态，可以对应划分多个乳腺病灶训练样本，计算机设备针对多个训练样本中的每一训练样本分别训练乳腺病灶定位模型，得到对应不同运动距离区间和手术***状态的乳腺病灶定位模型。
应该理解的是，虽然图1至8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1至8中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图10所示，提供了一种乳腺病灶定位装置1000，包括：获取模块1010、输入模块1020和处理模块1030，其中：
获取模块1010，用于获取待测试者的乳腺X射线图像或第一乳腺超声图像，乳腺X射线图像或第一乳腺超声图像标注有待测试者的初始病灶位置；
输入模块1020，用于将待测试者的乳腺X射线图像或第一乳腺超声图像输入乳腺病灶定位模型中，乳腺病灶定位模型是经过乳腺X射线图像或第一乳腺超声图像与包含病灶基准位置的第二乳腺超声图像组成的训练样本进行模型训练得到的神经网络模型；
处理模块1030，用于通过乳腺病灶定位模型，得到待测试者的乳腺模拟图像，乳腺模拟图像中携带有初始病灶位置被矫正后的病灶位置。
上述乳腺病灶定位装置1000，获取待测试者的乳腺X射线图像，将待测试者的乳腺X射线图像输入预先训练的乳腺病灶定位模型中。其中，乳腺X射线图像标注有待测试者的初始病灶位置。然后，通过乳腺病灶定位模型，得到待测试者的乳腺模拟图像，乳腺模拟图像中携带有矫正后的病灶位置。采用本装置，通过乳腺病灶定位模型补偿由于***解压迫和测试者身体运动造成的病灶位置偏移，提高病灶定位的准确性。
在一个实施例中，该装置1000还包括：
投影模块，用于将乳腺模拟图像发送至投射设备，以使投射设备生成投射影像，以显示被矫正后的病灶位置。
在其中一个实施例中，该装置1000还包括：
获取模块，用于获取待测试者的目标移动距离和目标手术***；
确定模块，用于根据目标移动距离和目标手术***，在移动距离数据区间、手术***和乳腺病灶定位模型的对应关系中，选择与目标移动距离和目标手术***对应的乳腺病灶定位模型。
在其中一个实施例中，该装置1000通过乳腺病灶定位模型实现，该装置1000还包括：
获取模块，用于获取乳腺病灶训练样本集，乳腺病灶训练样本集包含乳腺X射线图像或第一乳腺超声图像，以及与乳腺X射线图像对应的第二乳腺超声图像；第二乳腺超声图像为模拟患者发生运动位移和手术***状态的标注有病灶基准位置的图像；
输入模块，用于将乳腺病灶训练样本集中每一乳腺X射线图像或第一乳腺超声图像与对应的第二乳腺超声图像输入乳腺病灶定位模型；
训练模块，用于根据乳腺超声图像的病灶基准位置，对乳腺病灶定位模型进行有监督学习的模型训练，得到训练后的乳腺病灶定位模型；
其中，乳腺病灶定位模型用于确定乳腺模拟图像中的矫正后的病灶位置。
在其中一个实施例中，获取模块，具体用于针对每一样本患者，获取样本患者的乳腺X射线图像或第一乳腺超声图像，并在乳腺X射线图像或第一乳腺超声图像中识别并标注病灶位置；
获取样本患者在发生运动位移后、且位于手术***的第二乳腺超声图像；
建立乳腺X射线图像或第一乳腺超声图像与第二乳腺超声图像间的对应关系；将基于各个样本患者建立的具有对应关系的乳腺X射线图像或第一乳腺超声图像与第二乳腺超声图像，构成乳腺病灶训练样本集。
在其中一个实施例中，该装置1000还包括：
第一编码模块，用于针对每一乳腺X射线图像或第一乳腺超声图像，在乳腺X射线图像或第一乳腺超声图像中识别第一标识位置，并根据预设的标识编号对第一标识位置进行编码；
第二编码模块，用于针对每一第二乳腺超声图像，在第二乳腺超声图像中识别第二标识位置，并根据预设的标识编号对第二标识位置进行编码；标识位置为辅助病灶定位的参考点；
获取模块，具体用于建立乳腺X射线图像或第一乳腺超声图像中标注的病灶位置与第二乳腺超声图像中的参考病灶位置的对应关系；
根据标识编码建立第一标识位置与第二标识位置间的对应关系。
在其中一个实施例中，该装置1000还包括：
分类模块，用于根据预设的运动位移区间和预设的手术***状态，对每一样本患者的第二乳腺超声图像进行分类，得到多个乳腺超声图像集；
获取模块，还用于针对每一个乳腺超声图像集，将每一个乳腺超声图像集中的第二乳腺超声图像与对应的乳腺X射线图像或第一乳腺超声图像，构成一个乳腺病灶训练样本集，得到多个乳腺病灶训练样本集。
在其中一个实施例中，训练模块，具体用于将第二乳腺超声图像中标注的病灶位置作为基准位置，利用乳腺病灶定位模型对与第二乳腺超声图像对应的乳腺X射线图像或第一乳腺超声图像中标注的初始病灶位置进行位置矫正，得到矫正后的病灶位置；
计算矫正后的病灶位置与基准位置间的相对距离，若相对距离大于预设的距离阈值，则调整乳腺病灶定位模型的模型参数，并重新计算矫正后的病灶位置的，直至矫正后的病灶位置与基准位置间的相对距离小于等于预设距离阈值，乳腺病灶定位模型训练完成。
关于乳腺病灶定位装置1000的具体限定可以参见上文中对于乳腺病灶定位方法的限定，在此不再赘述。上述乳腺病灶定位装置1000中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种乳腺病灶定位方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种乳腺病灶定位方法，其特征在于，所述方法包括：
获取待测试者的乳腺X射线图像或第一乳腺超声图像，所述乳腺X射线图像或所述第一乳腺超声图像标注有所述待测试者的初始病灶位置；
将所述待测试者的乳腺X射线图像或所述第一乳腺超声图像输入乳腺病灶定位模型中，所述乳腺病灶定位模型是经过乳腺X射线图像或第一乳腺超声图像与包含病灶基准位置的第二乳腺超声图像组成的训练样本进行模型训练得到的神经网络模型；所述第二乳腺超声图像为模拟患者发生运动位移和手术***状态的标注有病灶基准位置的图像；
通过所述乳腺病灶定位模型，得到所述待测试者的乳腺模拟图像，所述乳腺模拟图像中携带有所述初始病灶位置被矫正后的病灶位置。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述乳腺模拟图像发送至投射设备，以使所述投射设备生成投射影像，以显示所述被矫正后的病灶位置。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述待测试者的目标移动距离和目标手术***；
根据所述目标移动距离和所述目标手术***，在移动距离数据区间、手术***和乳腺病灶定位模型的对应关系中，选择与所述目标移动距离和所述目标手术***对应的乳腺病灶定位模型。
4.根据权利要求1所述的方法，其特征在于，所述方法通过所述乳腺病灶定位模型实现，所述乳腺病灶定位模型的训练方法包括：
获取乳腺病灶训练样本集，所述乳腺病灶训练样本集包含乳腺X射线图像或第一乳腺超声图像，以及与所述乳腺X射线图像或所述第一乳腺超声图像对应的第二乳腺超声图像；
将所述乳腺病灶训练样本集中每一所述乳腺X射线图像或所述第一乳腺超声图像与对应的所述第二乳腺超声图像输入乳腺病灶定位模型；
根据所述第二乳腺超声图像的病灶基准位置，对所述乳腺病灶定位模型进行有监督学习的模型训练，得到训练后的乳腺病灶定位模型；
其中，所述乳腺病灶定位模型用于确定乳腺模拟图像中的矫正后的病灶位置。
5.根据权利要求4所述的方法，其特征在于，所述获取乳腺病灶训练样本集，包括：
针对每一样本患者，获取所述样本患者的乳腺X射线图像或第一乳腺超声图像，并在所述乳腺X射线图像或所述第一乳腺超声图像中识别并标注病灶位置；
获取所述样本患者在发生运动位移后、且位于手术***的第二乳腺超声图像；
建立所述乳腺X射线图像或所述第一乳腺超声图像与所述第二乳腺超声图像间的对应关系；将基于各个样本患者建立的具有所述对应关系的所述乳腺X射线图像或所述第一乳腺超声图像与所述第二乳腺超声图像，构成乳腺病灶训练样本集。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
针对每一所述乳腺X射线图像或所述第一乳腺超声图像，在所述乳腺X射线图像或所述第一乳腺超声图像中识别第一标识位置，并根据预设的标识编号对所述第一标识位置进行编码；
针对每一所述第二乳腺超声图像，在所述第二乳腺超声图像中识别第二标识位置，并根据预设的标识编号对所述第二标识位置进行编码；标识位置为辅助病灶定位的参考点；
所述建立所述乳腺X射线图像或所述第一乳腺超声图像与所述第二乳腺超声图像间的对应关系，包括：
建立所述乳腺X射线图像或所述第一乳腺超声图像中标注的病灶位置与所述第二乳腺超声图像中的参考病灶位置的对应关系；
根据标识编码建立所述第一标识位置与所述第二标识位置间的对应关系。
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据预设的运动位移区间和预设的手术***状态，对所述每一样本患者的所述第二乳腺超声图像进行分类，得到多个乳腺超声图像集；
所述将基于各个样本患者建立的具有所述对应关系的所述乳腺X射线图像
或所述第一乳腺超声图像与所述第二乳腺超声图像，构成乳腺病灶训练样本集，包括：
针对每一个第二乳腺超声图像集，将每一个第二乳腺超声图像集中的第二乳腺超声图像与对应的乳腺X射线图像或第一乳腺超声图像，构成一个乳腺病灶训练样本集，得到多个乳腺病灶训练样本集。
8.根据权利要求4所述的方法，其特征在于，所述根据所述第二乳腺超声图像的病灶基准位置，对所述乳腺病灶定位模型进行有监督学习的模型训练，得到训练后的乳腺病灶定位模型，包括：
将所述第二乳腺超声图像中标注的病灶位置作为基准位置，利用乳腺病灶定位模型对与所述第二乳腺超声图像对应的乳腺X射线图像或第一乳腺超声图像中标注的初始病灶位置进行位置矫正，得到矫正后的病灶位置；
计算所述矫正后的病灶位置与所述基准位置间的相对距离，若所述相对距离大于预设的距离阈值，则调整所述乳腺病灶定位模型的模型参数，并重新计算矫正后的病灶位置的，直至矫正后的病灶位置与所述基准位置间的所述相对距离小于等于预设距离阈值，所述乳腺病灶定位模型训练完成。
9.一种乳腺病灶定位装置，其特征在于，所述装置包括：
获取模块，用于获取待测试者的乳腺X射线图像或第一乳腺超声图像，所述乳腺X射线图像或所述第一乳腺超声图像标注有所述待测试者的初始病灶位置；
输入模块，用于将所述待测试者的乳腺X射线图像或所述第一乳腺超声图像输入乳腺病灶定位模型中，所述乳腺病灶定位模型是经过乳腺X射线图像或第一乳腺超声图像与包含病灶基准位置的第二乳腺超声图像组成的训练样本进行模型训练得到的神经网络模型；所述第二乳腺超声图像为模拟患者发生运动位移和手术***状态的标注有病灶基准位置的图像；
处理模块，用于通过所述乳腺病灶定位模型，得到所述待测试者的乳腺模拟图像，所述乳腺模拟图像中携带有所述初始病灶位置被矫正后的病灶位置。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202111064487.6A 2021-09-10 2021-09-10 乳腺病灶定位方法、装置、计算机设备和存储介质 Active CN113662573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111064487.6A CN113662573B (zh) 2021-09-10 2021-09-10 乳腺病灶定位方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111064487.6A CN113662573B (zh) 2021-09-10 2021-09-10 乳腺病灶定位方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113662573A CN113662573A (zh) 2021-11-19
CN113662573B true CN113662573B (zh) 2023-06-30

Family

ID=78549124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111064487.6A Active CN113662573B (zh) 2021-09-10 2021-09-10 乳腺病灶定位方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113662573B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115474992A (zh) * 2022-09-21 2022-12-16 数坤(上海)医疗科技有限公司 进针位置确定方法、装置、电子设备及可读存储介质
CN117179893B (zh) * 2023-09-18 2024-02-23 南京康友医疗科技有限公司 一种乳腺穿刺定位路径规划***
CN117314988B (zh) * 2023-11-29 2024-02-20 南京邮电大学 一种多角度投影配准的dbt重建法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014192187A1 (ja) * 2013-05-31 2014-12-04 国立大学法人東北大学 ***画像病変検出システム、***画像病変検出方法、***画像病変検出プログラムおよび***画像病変検出プログラムを記録したコンピュータ読み取り可能な記録媒体
CN111709950A (zh) * 2020-08-20 2020-09-25 成都金盘电子科大多媒体技术有限公司 一种乳腺钼靶ai辅助筛查方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10699412B2 (en) * 2017-03-23 2020-06-30 Petuum Inc. Structure correcting adversarial network for chest X-rays organ segmentation
US11839507B2 (en) * 2017-11-08 2023-12-12 Koninklijke Philips N.V. Ultrasound system and method for correlation between ultrasound breast images and breast images of other imaging modalities
CN108665456B (zh) * 2018-05-15 2022-01-28 广州尚医网信息技术有限公司 基于人工智能的乳腺超声病灶区域实时标注的方法及***
JP7084291B2 (ja) * 2018-12-07 2022-06-14 富士フイルム株式会社 トモシンセシス撮影支援装置、方法およびプログラム
CN110136829A (zh) * 2019-05-16 2019-08-16 腾讯科技（深圳）有限公司 乳腺钼靶图像的辅助诊断方法、装置、***及介质
CN110189323B (zh) * 2019-06-05 2022-12-13 深圳大学 一种基于半监督学习的乳腺超声图像病灶分割方法
WO2021099214A1 (en) * 2019-11-21 2021-05-27 Koninklijke Philips N.V. Systems and methods for obtaining medical ultrasound images
CN111047608A (zh) * 2019-12-26 2020-04-21 北京工业大学 一种基于Distance-AttU-Net的端到端的乳腺超声图像的分割方法
CN111275116A (zh) * 2020-01-20 2020-06-12 太原理工大学 基于三维卷积神经网络的乳腺肿瘤超声图像分类方法
CN111428709B (zh) * 2020-03-13 2023-10-24 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN112336358A (zh) * 2020-04-30 2021-02-09 中山大学孙逸仙纪念医院 一种预测致密型乳腺的乳腺病灶恶性风险模型及其构建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014192187A1 (ja) * 2013-05-31 2014-12-04 国立大学法人東北大学 ***画像病変検出システム、***画像病変検出方法、***画像病変検出プログラムおよび***画像病変検出プログラムを記録したコンピュータ読み取り可能な記録媒体
CN111709950A (zh) * 2020-08-20 2020-09-25 成都金盘电子科大多媒体技术有限公司 一种乳腺钼靶ai辅助筛查方法

Also Published As

Publication number Publication date
CN113662573A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN113662573B (zh) 乳腺病灶定位方法、装置、计算机设备和存储介质
US10453360B2 (en) Ultrasound simulation methods
JP7277967B2 (ja) 超音波画像データの三次元撮像およびモデリング
CN103402453A (zh) 用于导航***的自动初始化和配准的***和方法
CN111275825B (zh) 一种基于虚拟智能医疗平台的摆位结果可视化方法及装置
JP2019511268A (ja) 脳深部刺激療法の電極の三次元画像における回転配向の決定
EP3162292B1 (en) Ultrasound imaging apparatus and method of controlling the same
CN115105207A (zh) 基于混合现实的手术全息导航方法及***
CN104145295B (zh) 使用不同指示器来确定放射治疗目标的位置变化
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
CN112150543A (zh) 医疗成像设备的成像定位方法、装置、设备及存储介质
CA3102807A1 (en) Orientation detection in fluoroscopic images
KR101862359B1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
CN111369675B (zh) 基于肺结节脏层胸膜投影的三维可视模型重建方法及装置
BR102018076393A2 (pt) Mapas faciais codificados por cores com distância entre os ossos do ouvido, nariz e garganta
Advincula et al. Development and future trends in the application of visualization toolkit (VTK): the case for medical image 3D reconstruction
KR20190088419A (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
CN116224829B (zh) 基于数字孪生的手术机器人穿刺取样手术半实物仿真方法
CN116824173A (zh) 医学图像的处理方法、设备及存储介质
CN112022229B (zh) 乳腺活检定位装置校验方法、***、设备和可读存储介质
CN112669450B (zh) 人体模型构建方法和个性化人体模型构建方法
CN111583354B (zh) 医学图像处理单元的训练方法和医学图像运动估计方法
KR101940706B1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
CN114067994A (zh) 一种目标部位的方位标记方法及***
CN111243023B (zh) 基于虚拟智能医疗平台的质控方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant