CN107545561A - ***图像的分析方法以及其电子装置 - Google Patents

***图像的分析方法以及其电子装置 Download PDF

Info

Publication number
CN107545561A
CN107545561A CN201710281167.3A CN201710281167A CN107545561A CN 107545561 A CN107545561 A CN 107545561A CN 201710281167 A CN201710281167 A CN 201710281167A CN 107545561 A CN107545561 A CN 107545561A
Authority
CN
China
Prior art keywords
breast
image
region
interest
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710281167.3A
Other languages
English (en)
Inventor
徐振峰
陈鸿豪
张瑞峰
陈荣泰
赖信宏
张元严
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taihao Medical Inc
Original Assignee
Taihao Medical Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taihao Medical Inc filed Critical Taihao Medical Inc
Publication of CN107545561A publication Critical patent/CN107545561A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Physiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供一种***图像的分析方法以及其电子装置。分析方法包括下列步骤。取得以超声波所扫描的***图像。基于***图像的多个矩形特征，利用检测模型在***图像中取得包括异常区域的关注区域。由关注区域获取异常区域，并且萃取该异常区域的多项特征参数以进行该异常区域的性质分析。

Description

***图像的分析方法以及其电子装置
技术领域
本发明涉及一种分析方法以及其电子装置，尤其涉及一种用于分析***图像的分析方法以及其电子装置。
背景技术
乳腺癌(mammary carcinoma)是女性常见的恶性肿瘤之一，其主要症状包括***肿瘤(tumor)、异常分泌物或形状变异等。提早筛检出***的异常症状，将有助于尽早针对肿瘤进行治疗，以降低癌细胞恶化或扩散等问题。诸如临床或自我***检测、活体组织检查、***摄影术(mammography)、超声波(ultrasound)显像或磁共振(magnetic resonance)显像等筛检方式已广泛在临床上使用或成为学术研究的重要议题。
传统上，取得***图像后，一般是交由医检人员进行判读以确认***图像中是否有异常部分，然后再进一步地通过不同的检验方式来确认是否为恶性肿瘤。然而，当存在大量的***图像时，由医检人员逐一地去判读***图像中是否存在异常部分是耗时且低效率的。另一方面，以人眼对***图像的异常部分进行筛选也可能产生误差。
据此，如何提出一种分析方法以及其电子装置，用于检测、分析并获取***图像的异常部分，仍是本领域技术人员努力的目标之一。
发明内容
本发明提供一种***图像的分析方法以及其电子装置，用于检测、分析并获取***图像中的异常部分。
本发明的实施例提供一种***图像的分析方法，包括下列步骤。取得以超声波所扫描的***图像。基于***图像的多个矩形特征，利用检测模型在***图像中取得包括异常区域的关注区域。由关注区域获取异常区域，以及萃取异常区域的多项特征参数以进行异常区域的性质分析。其中取得关注区域的步骤包括：切割***图像为多个图像区块；计算每一图像区块的矩形特征；基于矩形特征，由检测模型判断每一图像区块是否为关注区块；以及当关注区块相邻时，将关注区块合并作为关注区域。
本发明的实施例提供一种电子装置，适于对***图像进行分析。电子装置包括存储单元、处理器。存储单元用以存储多个模块，而耦接存储单元的处理器存取并执行存储单元所存储的多个模块。前述模块包括图像输入模块、检测模块、获取模块与萃取模块。图像输入模块取得以超声波所扫描的***图像。检测模块基于***图像的多个矩形特征，利用检测模型在***图像中取得包括异常区域的关注区域，其中检测模块切割***图像为多个图像区块，计算每一图像区块的矩形特征，并且基于矩形特征，由检测模型判断每一图像区块是否为关注区块，当关注区块相邻时，将关注区块合并作为关注区域；。获取模块由关注区域获取异常区域。萃取模块萃取异常区域的多项特征参数以进行异常区域的性质分析。
基于上述，本发明实施例所提供的***图像的分析方法与其电子装置，以***图像的矩形特征作为基础，利用检测模型在***图像中取得包括异常区域的关注区域，并且由关注区域之中将异常区域获取出来。对于异常区域，还可萃取多项特征参数以进行性质分析，并且判断多个异常区域是否为同一个肿瘤并对应地显示。据此，前述分析方法以及其电子装置，可以从***图像中识别具有异常症状的异常区域，并且提供相关的性质分析。另一方面，纵使面对大量的***图像，也可以迅速、即时且有效地完成分析。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1为依据本发明一实施例所示出的电子装置的方块示意图。
图2为依据本发明一实施例所示出的***图像的分析方法的流程图。
图3为依据本发明一实施例所示出的取得关注区域的流程图。
图4为依据本发明一实施例所示出的关注区域与异常区域的示意图。
图5为依据本发明一实施例所示出的肌肉线与关注区域的比对示意图。
图6为依据本发明一实施例所示出的获取异常区域的流程图。
图7为依据本发明一实施例所示出的获取异常区域的示意图。
图8为依据本发明一实施例所示出的取得全乳***密度的流程图。
图9为依据本发明一实施例所示出的判断多个异常区域为同一个肿瘤并显示的流程图。
图10为依据本发明一实施例所示出的将肿瘤显示在路径图上的示意图。
附图标记说明
100：电子装置
120：存储单元
140：处理器
122：图像输入模块
124：检测模块
126：获取模块
128：萃取模块
130：训练模块
132：密度分析模块
134：肿瘤判断模块
136：显示模块
1000：路径图
R：关注区域
A、10a、10b、10c、10d、12a、12b、14a：异常区域
ML：肌肉线
B：背景图像
F：前景图像
U：未知区域
5a、5c、7a：***图像
5b、5d、7b、7d：边缘强化图像
7c：三元图
S210、S220、S230、S240：***图像的分析方法的步骤
S221、S222、S223、S224：取得关注区域的步骤
S231、S232、S233、S234：获取异常区域的步骤
S210、S252、S254：取得全乳***密度的步骤
S901、S903、S905：判断多个异常区域为同一个肿瘤并显示的步骤
具体实施方式
本发明的部份实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部份，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的权利要求中的装置与方法的范例。
在本发明的实施例中所提出的***图像的分析方法与其电子装置，首先基于***图像的矩形特征，利用检测模型在***图像中取得包括异常区域的关注区域(Region ofInterest,ROI)。异常区域是指***图像中具有异常症状的区域。更详细而言，具有异常症状的区域可能是肿瘤或者病征，而经训练的检测模型可协助检测、识别前述异常区域。
分析方法与其电子装置还可精确地从关注区域中获取异常区域，并萃取相关的特征参数以供性质分析，藉以提升后续对***进行诊断的准确性。另一方面，分析方法与其电子装置还从多张***图像计算并提供全乳***密度来作为诊断参考。
图1为依据本发明一实施例所示出的电子装置的方块示意图。参照图1，电子装置100至少包括存储单元120以及处理器140，并且处理器140耦接至存储单元120，但本发明不限于此。在本发明的一实施例中，电子装置100可以是伺服器、智能行动装置、台式电脑、笔记本电脑、工作站、个人数字助理(Personal digital assistant,PDA)等，但本发明不限于此。
在前述实施例之中，电子装置100还连接至超声波扫描装置、手持式超声波扫描器、自动***超声波***(Automated breast ultrasound system,ABUS)或磁波定位超声波扫描***。然而，在本发明的其他实施例中，电子装置100则例如是直接地以超声波扫描装置、手持式超声波扫描器、自动***超声波***(ABUS)或磁波定位超声波扫描***的形式实作。
在本发明的一实施例中，存储单元120可以是任何型态的固定或可移动随机存取存储器(Random access memory,RAM)、只读存储器(Read-only memory,ROM)、快闪存储器(Flash memory)或类似元件或上述元件的组合。在本实施例中，存储单元120存储多个可以由处理器140存取以及执行的模块，包括图像输入模块122、检测模块124、获取模块126、萃取模块128、训练模块130、密度分析模块132、肿瘤判断模块134、显示模块136等模块。另一方面，存储单元120还可用于存储***图像、检测模型、参数等数据，但本发明不以此为限。
值得注意的是，前述实施例中所述的存储单元120并未限制是单一存储器元件，上述的各模块也可以分开存储在两个或两个以上相同或不同型态的存储器元件中。在本发明的其他实施例中，前述模块还例如是分别以特定的电路结构而实现。
在本发明的一实施例中，处理器140例如是以中央处理单元(Central processingunit,CPU)、数字信号处理(Digital signal processing,DSP)芯片、场可程式化逻辑闸阵列(Field programmable gate array,FPGA)、微处理器、微控制器等可程式化单元来实施，但本发明不限于此。处理器140也可以独立电子装置或积体电路(Integrated circuit,IC)来实施。
在本发明的一实施例中，电子装置100还包括输出入接口(未示出)、通讯接口(未示出)等元件，但本发明不以此为限。详细而言，输出入接口包括显示器、扬声器、键盘、滑鼠、触控面板等用于输出或输入讯息、数据的元件。另一方面，通讯接口支援各类有线通讯标准与无线通讯标准，使得电子装置100能与其他装置相互连接。
本发明实施例所提供的***图像的分析方法可实施于图1所示的电子装置100。以下将举诸多实施例详细搭配图1所示的电子装置100来说明前述分析方法。需要注意的是，***图像的分析方法并不限于实施在电子装置100上，而其他具备相应能力的电子装置或***同样可实施前述分析方法。
图2为依据本发明一实施例所示出的***图像的分析方法的流程图。参照图1与图2，在本实施例中，图像输入模块122首先取得以超声波所扫描的***图像(步骤S210)。
在本发明的一实施例中，***图像是由超声波扫描装置、手持式超声波扫描器、自动***超声波***(ABUS)或磁波定位超声波扫描***，针对受测者的***部位进行扫描所取得的图像。图像输入模块122例如是直接地由超声波扫描装置、手持式超声波扫描器、自动***超声波***(ABUS)或磁波定位超声波扫描***接收***图像，但本发明不限于此。在本发明的另一实施例中，电子装置100例如是将取得的***图像先存储至存储单元120，而图像输入模块122则由存储单元120读取欲进行分析的***图像。
参照图1与图2，在本发明的实施例中，图像输入模块122取得***图像后，检测模块124在所取得的***图像的多个矩形特征，利用检测模型在***图像中取得包括异常区域的关注区域(步骤S220)。
检测模块124的一个任务在于检测并取得***图像中包括异常区域的关注区域。一般而言，若是***部位出现肿瘤或肿块，在以超声波扫描取得的***图像中，通常会对应地出现阴影区域。因此，在本实施例中，检测模块124基于***图像的矩形特征(Rectangular Feature)，利用检测模型判断***图像是否有异常的阴影区域。若有，检测模块124将前述阴影区域作为异常区域，并且取得包括异常区域的关注区域。需要注意的是，前述矩形特征(Rectangular Feature)即为哈尔特征(Haar-like Feature)。
图3为依据本发明一实施例所示出的取得关注区域的流程图。参照图1、图2与图3，检测模块124切割***图像为多个图像区块(步骤S221)。图像区块的大小例如是11*11、12*12或15*20(像素,pixel)，但本发明不限于此，而图像区块的大小可以随实际运算需要而改变。接着，检测模块124依据常见的矩形特征模板，计算每个图像区块的矩形特征(步骤S222)。一般而言，矩形特征模板具有边缘特征、线性特征、中心环绕特征、对角线特征等分类。
接着，检测模块124基于前述的矩形特征，由检测模型判断每一个图像区块是否为关注区块(步骤S223)。更详细而言，在本发明的一实施例中，检测模型用于识别每一个图像区块中是否包含由异常症状所造成的至少部分的阴影区域，并且是以具备肿瘤或肿块的***图像与不具备肿瘤或肿块的***图像来进行训练。换言之，利用检测模型在***图像中取得关注区域之前，需要先投以相关的训练***图像进行训练。
在本发明的一实施例中，图像输入模块122取得以超声波所扫描的多张训练***图像，由训练模块130计算每一训练图像区块的矩形特征后，基于各训练***图像的训练图像区块，训练分类器以作为检测模型。训练***图像例如是包括肿瘤或肿块的训练***图像与不具备肿瘤或肿块的训练***图像，而分类器为二元分类器(Binary Classifier)，例如是支持向量机(Support Vector Machine,SVM)、自适应增强(Adaptive Boosting,Adaboost)分类器等，但本发明不限于此。
参照图1、图2与图3，检测模块124判断每一图像区块是否为关注区块后，当多个关注区块相邻时，将关注区块合并作为关注区域(步骤S224)。具体而言，每一个关注区块都包括异常症状所造成的部分的阴影区域，而检测模块124则将相邻的关注区块合并为具有完整的异常区域的关注区域。图4为依据本发明一实施例所示出的关注区域与异常区域的示意图。参照图4，在***图像中，关注区域R中包含异常区域A。
在本发明的其他实施例中，若仅有一个关注区块，则检测模块124例如是将关注区块做为关注区域。另一方面，***图像还可能具有多个关注区域。换言之，即是***图像具有多个相邻的关注区块群组。
在本发明的一实施例中，检测模块124例如是实作于电脑辅助检测(ComputerAided Detection,CADe)模块，但本发明不以此为限。
需要注意的是，在进行超声波扫描时，除了肿瘤或肿块外，肋骨或其他因素也可能造成***图像中出现对应的阴影区域。换言之，纵使检测模块124利用***图像的矩形特征以及检测模型来取得包含异常区域的关注区域，也可能因肋骨或其他因素而造成误检测。
在本发明的一实施例中，检测模块124还基于肌肉线来识别关注区域是否为误检测的检测结果。一般而言，在受测者***部位以及肋骨、肋间之间，通常还包括胸大肌等肌肉组织。换言之，前述肌肉组织可用于判别关注区域是否位于***部位，进而分辨关注区域是否为肋骨或其他因素所造成的阴影区域。
图5为依据本发明一实施例所示出的肌肉线与关注区域的比对示意图。参照图5，检测模块124例如是对***图像5a、***图像5c执行边缘检测(Edge Detection)，并且以数学型态学(Mathematical Morphology)的方式对所检测到的边缘部分进行强化与处理，进而识别并分别取得图像5b、图像5d中的肌肉线ML。取得肌肉线ML后，检测模块124比对肌肉线ML以及关注区域R在图像5b、5d的位置以决定是否进一步地由关注区域R获取异常区域。
举例来说，在图像5b中的关注区域R位于肌肉线ML的下方，代表前述关注区域R不在***部位。此时，对于***图像5a的关注区域R，便不再进行后续的分析流程。另一方面，在图像5d中的关注区域R仅有少部分突出于肌肉线ML之上，代表前述关注区域R很可能是肋骨所造成的阴影区域。此时，对于***图像5c的关注区域R，同样不再进行后续的分析流程。
参照图1与图2，在本发明的实施例中，取得包括异常区域的关注区域后，获取模块126由关注区域中获取异常区域(步骤S230)。详细而言，检测模块124仅由***图像中检测并取得关注区域，而获取模块126则负责对关注区域执行图像获取(Image Matting，或称图像透明度分析)以获取异常区域，进而供后续分析与诊断的使用。
图6为依据本发明一实施例所示出的获取异常区域的流程图。图7为依据本发明一实施例所示出的获取异常区域的示意图。参照图1、图2、图6与图7，获取模块126首先产生关注区域的三元图(Tri-map)(步骤S231)。具体而言，在本实施例中，当取得***图像7a的关注区域R后，获取模块126例如是以等位函数(Level Set)、区域成长(Region Growing)等方式对图像进行预切割，从而产生如图像7b中的前景图像F与背景图像B。
在前述实施例中，图像7b的前景图像F主要是对应至***图像7a的异常区域A，但并非是准确的对应关系。在取得前景图像F与背景图像B后，获取模块126还通过膨胀(Dilation)、侵蚀(Erosion)，在前景图像F与背景图像B间置入未知区域U以产生三元图7c。
在本实施例中，产生三元图7c后，获取模块126计算三元图7c中的每一像素的透明度(alpha)(步骤S232)。详细而言，获取模块126以三元图7c为基础来获取异常区域。在此，获取模块126采取闭合解(Closed-form Solution)、卜瓦松获取(Poisson Matting)等图像切割方法，在已知的前景图像F与背景图像B下，判断未知区域U之中每一个像素所属的图像类别。
一般而言，在前景图像F与背景图像B所组成的三元图7c之中，每一个像素Ii的可以为一个线性组合如下。
Ii＝αiFi+(1-αi)Bi..........(1)
其中，αi为第i个像素的透明度，或者说是在第i个像素之中，前景图像F与背景图像B所占的比例。获取模块126计算未知区域U或三元图7c内的每个像素的透明度后，还基于各像素的透明度(alpha)，产生阿尔法图(Alpha Map)(步骤S233)。阿尔法图即为包含各像素透明度的透明图，并且在阿尔法图内，每个像素的数值范围分布在0～255的范围内。最后，获取模块126将阿尔法图二值化后产生图像7d以获取异常区域A(步骤S234)。图像7b、7d为边缘强化的图像，而二值化的方法例如是大津算法(Otsu’s Thresholding)或直方图平衡法(Balanced Histogram Thresholding)，但本发明不以此为限。
参照图1与图2，在本发明的一实施例中，获取异常区域后，萃取模块128萃取异常区域的多项特征参数以进行异常区域的性质分析(步骤S240)。详细而言，萃取模块128萃取异常区域的亮度特征(Intensity Feature)、纹理特征(Texture Feature)与型态学特征(Morphology Feature)等作为特征参数以作为后续性质分析或诊断的基础。
举例而言，在本发明的一实施例中，前述特征参数还输入至电脑辅助诊断(Computer Aided Diagnosis,CADx)模块进行性质分析，但本发明不限于此。电脑辅助诊断(CADx)模块例如是由处理器140或其他装置、***所执行，并且具有经训练过的辅助诊断模型。通过电脑辅助诊断(CADx)模块的辅助诊断模型，异常区域的相关分析数据，例如为良性病变或恶性病变、病变情况等可以被取得，并且提供给医护人员做为诊断时的参考数据。
值得注意的是，在***部位的超声波扫描过程中，通常是需要由多个方位对***部位进行扫描而取得多张的***图像。在本发明的一实施例中，前述分析方法是分别针对每一张***图像进行分析，并且逐一地取得每张***图像的异常区域与特征参数。
在本发明另一实施例中，***图像的分析方法以及其电子装置100还可以取得***部位的***密度来做为分析用的另一个特征参数。
图8为依据本发明一实施例所示出的取得全乳***密度的流程图。参照图1与图8，图像输入模块122取得以超声波所扫描的***图像(步骤S210)后，密度分析模块132基于***图像中乳腺组织的面积，计算***图像的***密度(步骤S252)。详细而言，在本实施例中，以超声波扫描的***图像具有固定的大小或解析度。密度分析模块132例如是以训练过的乳腺检测模型来判断***图像中的乳腺组织的位置与面积，然后再以***图像的大小来计算乳腺组织所占的比例作为***图像的***密度。
在前述实施例中，对于一个受测者的***部位进行超声波扫描时，需要从不同方位扫描取得多张***图像。在此，密度分析模块132对于每张***图像皆计算对应的***密度，然后对于所有***图像的***密度，进一步地进行加权平均以取得全乳***密度(步骤S254)。由于全乳***密度包含了从多个方位所扫描的***图像的***密度，故可视为实质***部位的***密度，并且同样可做为诊断***肿瘤或病变的参考特征参数。
须注意的是，一张***图像经由上述的***图像的分析方法可能可以获取到多个异常区域，而此些异常区域例如是***部位中可能的肿瘤或肿块的位置。在本发明的一实施例中，还可以判断多个异常区域是否为同一个肿瘤。图9为依据本发明一实施例所示出的判断多个异常区域为同一个肿瘤并显示的流程图。参照图1与图9，在由关注区域获取异常区域的步骤(即，图2的步骤S230)之后，获取模块126例如可以从***图像中取得多个异常区域。之后，可以通过肿瘤判断模块134根据所获取的多个异常区域中的第一异常区域的第一坐标信息以及第二异常区域中的第二坐标信息，判断第一异常区域与第二异常区域的距离是否小于门槛值(步骤S901)。
详细来说，当电子装置100例如使用磁波定位超声波扫描***来扫描并取得原始的***图像时可以设置参考点的坐标，并且同时地根据参考点的坐标记录所取得的图像中各个位置的三维坐标信息。当通过获取模块126获取出多个异常区域后，肿瘤判断模块134可以得到此些异常区域的三维坐标信息，并且可以根据此些三维坐标信息对此些异常区域进行分类，进而将位置相近的异常区域判断为同一个肿瘤。在本范例实施例中，当异常区域中的一异常区域(例如，上述的第一异常区域)与另一异常区域(例如，上述的第二异常区域)彼此之间三维坐标的距离小于一门槛值时，肿瘤判断模块134可以判断此两个异常区域属于同一个肿瘤(步骤S903)。特别是，本发明并不用于限定上述门槛值的数值。
此外，在判断多个异常区域属于同一个肿瘤之后，还可以通过显示模块136显示上述同一个肿瘤在所取得的原始的***图像上或一路径图上，其中路径图是根据超声波在一扫描路径上所取得的多个图像所产生(步骤S905)。
举例来说，在本发明的一实施例中，***图像是由超声波扫描装置、手持式超声波扫描器、自动***超声波***(ABUS)或磁波定位超声波扫描***，针对受测者的***部位进行扫描所取得的图像。而在扫描的过程中，上述用于扫描的装置或***在受测者的***部位的移动过程会形成一个扫描路径。同时，上述用于扫描的装置或***会沿着扫描路径获取多张图像，并通过处理器140将此些图像结合成一张路径图。当肿瘤判断模块134通过上述方式判断多个异常区域属于同一个肿瘤时，显示模块136会将上述同一个肿瘤显示在路径图上并通过输出装置(例如，屏幕)输出，以供医师做即时地诊断。例如，图10为依据本发明一实施例所示出的将肿瘤显示在路径图上的示意图。参照图10，上述用于扫描的装置或***可以沿着一扫描路径，从受测者的***部位获取多张图像，处理器140会将此些图像结合成一张如图10所示的路径图。同时，图10中的路径图中还会显示经由本发明的方法所取得的异常区域10a、异常区域10b、异常区域10c、异常区域10d、异常区域12a、异常区域12b以及异常区域14a。特别是，肿瘤判断模块134会将异常区域10a、异常区域10b、异常区域10c以及异常区域10d判断为同一个肿瘤，并且通过显示模块136以同一个颜色(例如，红色)显示在路径图中。类似地，肿瘤判断模块134会将异常区域12a以及异常区域12b判断为同一个肿瘤，并且通过显示模块136以同一个颜色(例如，蓝色)显示在路径图中。特别是，肿瘤判断模块134会将异常区域14a判断为独立的一个肿瘤，并且通过显示模块136以一个颜色(例如，紫色)显示在路径图中。
然而，在一范例实施例中，被判断为同一个肿瘤的异常区域10a、异常区域10b、异常区域10c以及异常区域10d也可以通过显示模块136以同一个颜色(例如，红色)叠加显示在通过超声波所取得的原始的***图像中。类似地，被判断为同一个肿瘤的异常区域12a以及异常区域12b也可以通过显示模块136以同一个颜色(例如，蓝色)显示在通过超声波所取得的原始的***图像中。此外，被判断为独立一个肿瘤的异常区域14a也可以通过显示模块136以一个颜色(例如，紫色)显示在通过超声波所取得的原始的***图像中。
综上所述，本发明实施例所提供的***图像的分析方法与其电子装置，以***图像的矩形特征作为基础，利用检测模型在***图像中取得包括异常区域的关注区域，并且由关注区域之中将异常区域获取出来。对于异常区域，还可萃取多项特征参数以进行性质分析，并且判断多个异常区域是否为同一个肿瘤并对应地显示。据此，前述分析方法以及其电子装置，可以从***图像中识别具有异常症状的异常区域，并且提供相关的性质分析。另一方面，纵使面对大量的***图像，也可以迅速、即时且有效地完成分析。
虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视权利要求所界定者为准。

Claims (12)

1.一种***图像的分析方法，包括：
取得以超声波所扫描的***图像；
基于所述***图像的多个矩形特征，利用检测模型在所述***图像中取得包括异常区域的关注区域；
由所述关注区域获取所述异常区域；以及
萃取所述异常区域的多项特征参数以进行所述异常区域的性质分析，
其中取得所述关注区域的步骤包括：
切割所述***图像为多个图像区块；
计算每一所述多个图像区块的所述多个矩形特征；
基于所述多个矩形特征，由所述检测模型判断每一所述多个图像区块是否为关注区块；以及
当多个所述多个关注区块相邻时，将所述多个关注区块合并作为所述关注区域。
2.根据权利要求1所述的分析方法，还包括：
识别所述***图像中的肌肉线；以及
比对所述肌肉线以及所述关注区域在所述***图像的位置以决定是否进一步地由所述关注区域获取所述异常区域。
3.根据权利要求1所述的分析方法，其中在利用所述检测模型在所述***图像中取得所述关注区域的步骤前，还包括：
取得以超声波所扫描的多张训练***图像；
切割每一所述多个训练***图像为多个训练图像区块；
计算每一所述多个训练图像区块的所述多个矩形特征；以及
基于各所述训练***图像的所述多个训练图像区块，训练分类器以作为所述检测模型。
4.根据权利要求1所述的分析方法，其中获取所述异常区域的步骤，包括：
产生所述关注区域的三元图(Tri-map)；
计算所述三元图中的每一像素的透明度(alpha)；
基于各所述像素的所述透明度，产生阿尔法图(Alpha Map)；以及
将所述阿尔法图二值化以获取所述异常区域。
5.根据权利要求1所述的分析方法，还包括：
基于所述***图像中乳腺组织的面积，计算所述***图像的***密度，
其中对于以超声波由不同方位所扫描的多张所述多个***图像的所述多个***密度，进一步地进行加权平均以取得全乳***密度。
6.根据权利要求1所述的分析方法，其中所述异常区域的所述多个特征参数还输入至电脑辅助诊断(Computer Aided Diagnosis,CADx)模块进行所述性质分析。
7.一种电子装置，适于对***图像进行分析，所述电子装置包括：
存储单元，用以存储多个模块；
处理器，耦接所述存储单元，用以存取并执行所述存储单元所存储的所述多个模块，所述多个模块包括：
图像输入模块，取得以超声波所扫描的***图像；
检测模块，基于所述***图像的多个矩形特征，利用检测模型在所述乳检测房图像中取得包括异常区域的关注区域，其中所述检测模块切割所述***图像为多个图像区块，计算每一所述多个图像区块的所述多个矩形特征，并且基于所述多个矩形特征，由所述检测模型判断每一所述多个图像区块是否为关注区块，当多个所述多个关注区块相邻时，将所述多个关注区块合并作为所述关注区域；
获取模块，由所述关注区域获取所述异常区域；以及
萃取模块，萃取所述异常区域的多项特征参数以进行所述异常区域的性质分析。
8.根据权利要求7所述的电子装置，其中所述检测模块还识别所述***图像中的肌肉线，并且比对所述肌肉线以及所述关注区域在所述***图像的位置以决定是否进一步地由所述关注区域获取所述异常区域。
9.根据权利要求7所述的电子装置，其中所述图像输入模块还取得以超声波所扫描的多张训练***图像，并且所述多个模块还包括：
训练模块，切割每一所述多个训练***图像为多个训练图像区块，计算每一所述多个训练图像区块的所述多个矩形特征，并且基于各所述训练***图像的所述多个训练图像区块，训练分类器以作为所述检测模型。
10.根据权利要求7所述的电子装置，其中所述获取模块产生所述关注区域的三元图(Tri-map)，计算所述三元图中的每一像素的透明度(alpha)，基于各所述像素的所述透明度，产生阿尔法图(Alpha Map)，并且将所述阿尔法图二值化以获取所述异常区域。
11.根据权利要求7所述的电子装置，其中所述多个模块还包括：
密度分析模块，基于所述***图像中乳腺组织的面积，计算所述***图像的***密度，
其中所述图像输入模块还取得以超声波由不同方位所扫描的多张所述多个***图像，而所述密度分析模块对于所述多个***图像的所述多个***密度，进一步地进行加权平均以取得全乳***密度。
12.根据权利要求7所述的电子装置，其中所述异常区域的所述多个特征参数还输入至电脑辅助诊断(Computer Aided Diagnosis,CADx)模块进行所述性质分析。
CN201710281167.3A 2016-06-27 2017-04-26 ***图像的分析方法以及其电子装置 Pending CN107545561A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW105120124 2016-06-27
TW105120124A TWI574671B (zh) 2016-06-27 2016-06-27 ***影像的分析方法以及其電子裝置

Publications (1)

Publication Number Publication Date
CN107545561A true CN107545561A (zh) 2018-01-05

Family

ID=58766268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710281167.3A Pending CN107545561A (zh) 2016-06-27 2017-04-26 ***图像的分析方法以及其电子装置

Country Status (3)

Country Link
US (1) US20170367677A1 (zh)
CN (1) CN107545561A (zh)
TW (1) TWI574671B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108550150A (zh) * 2018-04-17 2018-09-18 上海联影医疗科技有限公司 乳腺密度的获取方法、设备及可读存储介质
CN109919254A (zh) * 2019-03-28 2019-06-21 上海联影智能医疗科技有限公司 乳腺密度分类方法、***、可读存储介质和计算机设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015173056A1 (en) * 2014-05-14 2015-11-19 Koninklijke Philips N.V. Acquisition-orientation-dependent features for model-based segmentation of ultrasound images
CN113344855A (zh) * 2021-05-10 2021-09-03 深圳瀚维智能医疗科技有限公司 降低乳腺超声病灶检测假阳率的方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101061513A (zh) * 2004-11-22 2007-10-24 伊斯曼柯达公司 超声图像中病变的检测和分类
CN101203170A (zh) * 2005-06-02 2008-06-18 美的派特恩公司 计算机辅助检测***和方法
CN101401730A (zh) * 2008-11-14 2009-04-08 南京大学 一种基于分层结构的乳腺肿块可疑区域快速检测方法
CN101727537A (zh) * 2009-11-16 2010-06-09 杭州电子科技大学 基于双视角信息融合的乳腺cr图像的计算机确定方法
US20100158332A1 (en) * 2008-12-22 2010-06-24 Dan Rico Method and system of automated detection of lesions in medical images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7103205B2 (en) * 2000-11-24 2006-09-05 U-Systems, Inc. Breast cancer screening with ultrasound image overlays
JP5008618B2 (ja) * 2008-07-22 2012-08-22 東京エレクトロン株式会社 基板の周辺端部に付着した異物検出方法、装置及び記憶媒体
TWI483711B (zh) * 2012-07-10 2015-05-11 Univ Nat Taiwan Tumor detection system and method of breast ultrasound image
US8781202B2 (en) * 2012-07-26 2014-07-15 International Business Machines Corporation Tumor classification based on an analysis of a related ultrasonic attenuation map
TWI482102B (zh) * 2012-11-21 2015-04-21 Univ Nat Cheng Kung 強化標的圖案之處理方法、標的圖案分類系統之產生方法以及分類檢測標的圖案之方法
WO2015024099A1 (en) * 2013-08-20 2015-02-26 Densitas Incorporated Methods and systems for determining breast density
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
KR20150108701A (ko) * 2014-03-18 2015-09-30 삼성전자주식회사 의료 영상 내 해부학적 요소 시각화 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101061513A (zh) * 2004-11-22 2007-10-24 伊斯曼柯达公司 超声图像中病变的检测和分类
CN101203170A (zh) * 2005-06-02 2008-06-18 美的派特恩公司 计算机辅助检测***和方法
CN101401730A (zh) * 2008-11-14 2009-04-08 南京大学 一种基于分层结构的乳腺肿块可疑区域快速检测方法
US20100158332A1 (en) * 2008-12-22 2010-06-24 Dan Rico Method and system of automated detection of lesions in medical images
CN101727537A (zh) * 2009-11-16 2010-06-09 杭州电子科技大学 基于双视角信息融合的乳腺cr图像的计算机确定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘家锋 等: "《模式识别》", 31 August 2014, 哈尔滨工业大学出版社 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108550150A (zh) * 2018-04-17 2018-09-18 上海联影医疗科技有限公司 乳腺密度的获取方法、设备及可读存储介质
CN108550150B (zh) * 2018-04-17 2020-11-13 上海联影医疗科技有限公司 乳腺密度的获取方法、设备及可读存储介质
CN109919254A (zh) * 2019-03-28 2019-06-21 上海联影智能医疗科技有限公司 乳腺密度分类方法、***、可读存储介质和计算机设备

Also Published As

Publication number Publication date
US20170367677A1 (en) 2017-12-28
TWI574671B (zh) 2017-03-21
TW201800059A (zh) 2018-01-01

Similar Documents

Publication Publication Date Title
Abdelrahman et al. Convolutional neural networks for breast cancer detection in mammography: A survey
Huang et al. Segmentation of breast ultrasound image with semantic classification of superpixels
CN107067402B (zh) 医疗图像处理装置及其***图像处理方法
Dundar et al. Computerized classification of intraductal breast lesions using histopathological images
Mi et al. Deep learning-based multi-class classification of breast digital pathology images
CN109727243A (zh) 乳腺超声图像识别分析方法及***
CN107440730A (zh) ***影像对位方法与影像处理装置
CN108364294A (zh) 基于超像素的腹部ct图像多器官分割方法
CN104751178A (zh) 基于形状模板匹配结合分类器的肺结节检测装置及方法
CN107545561A (zh) ***图像的分析方法以及其电子装置
CN107835654A (zh) 图像处理装置、图像处理方法和图像处理程序
CN101103924A (zh) 基于乳腺x线摄片的乳腺癌计算机辅助诊断方法及其***
CN110838114B (zh) 肺结节检测方法、装置及计算机存储介质
Kebede et al. Classifier based breast cancer segmentation
TW201726064A (zh) 醫療影像處理裝置及其***影像處理方法
Tiwari et al. Optimized Ensemble of Hybrid RNN-GAN Models for Accurate and Automated Lung Tumour Detection from CT Images
Sharma et al. Roi segmentation using local binary image
Mohan et al. Fuzzy c-means segmentation on enhanced mammograms using CLAHE and fourth order complex diffusion
Casti et al. Cooperative strategy for a dynamic ensemble of classification models in clinical applications: the case of MRI vertebral compression fractures
Rabidas et al. Characterization of mammographic masses based on local photometric attributes
Armya et al. Medical images segmentation based on unsupervised algorithms: a review
Wei et al. Multi-feature fusion for ultrasound breast image classification of benign and malignant
US11944486B2 (en) Analysis method for breast image and electronic apparatus using the same
Herwanto et al. Association technique based on classification for classifying microcalcification and mass in mammogram
TWM527991U (zh) 醫療影像處理裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180105

WD01 Invention patent application deemed withdrawn after publication