CN111751371A - 一种免疫组化数字玻片阅片***及方法 - Google Patents

一种免疫组化数字玻片阅片***及方法 Download PDF

Info

Publication number
CN111751371A
CN111751371A CN202010586036.8A CN202010586036A CN111751371A CN 111751371 A CN111751371 A CN 111751371A CN 202010586036 A CN202010586036 A CN 202010586036A CN 111751371 A CN111751371 A CN 111751371A
Authority
CN
China
Prior art keywords
image
matching
module
template
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010586036.8A
Other languages
English (en)
Other versions
CN111751371B (zh
Inventor
张珺
梅春明
狄媛媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhongji Biotechnology Co ltd
Original Assignee
Wuhan Zhongji Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhongji Biotechnology Co ltd filed Critical Wuhan Zhongji Biotechnology Co ltd
Priority to CN202010586036.8A priority Critical patent/CN111751371B/zh
Publication of CN111751371A publication Critical patent/CN111751371A/zh
Application granted granted Critical
Publication of CN111751371B publication Critical patent/CN111751371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Medical Informatics (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于病理免疫组化玻片阅片技术领域，更具体地，涉及一种免疫组化数字玻片阅片***及方法。其包括图像获取模块、图像金字塔创建模块、图像匹配模块和图像叠图显示模块，图像获取模块用于获取免疫组化数字玻片的数字图像；图像金字塔创建模块用于对每一张所述数字图像创建具有相同缩放层级数量的图像金字塔；图像匹配模块用于将所述图像金字塔中在同一缩放层级上的各图像的图像特征进行匹配，输出图像匹配结果；图像叠图显示模块用于根据图像匹配模块输出的位移偏移量和旋转角度偏差调整各图像的位移和旋转角度，并输出叠图显示结果。医师可在多张图像中快速找到图像中典型特征并在不同免疫指标图像中快速切换，提高阅片效率。

Description

一种免疫组化数字玻片阅片***及方法
技术领域
本发明属于病理免疫组化玻片阅片技术领域，更具体地，涉及一种免疫组化数字玻片阅片***及方法。
背景技术
免疫组化是免疫组织化学分析的简称,是应用免疫学基本原理——抗原抗体反应，即抗原与抗体特异性结合的原理，通过化学反应使标记抗体的显色剂(荧光素、酶、金属离子、同位素)显色来确定组织细胞内抗原(多肽和蛋白质)，对其进行定位、定性及相对定量的研究。
免疫组化的临床应用主要包括以下几方面：
⑴恶性肿瘤的诊断与鉴别诊断；
⑵确定转移性恶性肿瘤的原发部位；
⑶对某类肿瘤进行进一步的病理分型；
⑷软组织肿瘤的治疗一般需根据正确的组织学分类，因其种类多、组织形态相像，有时难以区分其组织来源，应用多种标志进行免疫组化研究对软组织肿瘤的诊断是不可缺少的；
⑸发现微小转移灶，有助于临床治疗方案的确定，包括手术范围的确定。
⑹为临床提供治疗方案的选择。
由于免疫组化具有特异性强、灵敏度高、定位准确等特点，且能将形态研究与功能研究有机地结合在一起，所以这门技术还被广泛用于生物学和医学研究的许多领域。以肿瘤研究为例，在免疫组化技术出现以前，对肿瘤的诊断和分类还局限于细胞水平，而引入免疫组化技术后，则使研究的深度提高到了生物化学水平、分子水平。
免疫组化技术的整体工作流程较为繁琐,大体分为染色制片与医师阅片诊断。
在染色制片环节,与普通病理切片不同，免疫组化的标记物种类数量很多，在使用时，常常会将一个组织样本制成多张玻片，少则几张，多则几十张，进行不同标记物的染色制片。目前已有国内外很多厂家已研发出了标准化的免疫组化制片染色仪器，并已在各医院广泛使用。
在阅片诊断环节,染色后的玻片交由病理医师在显微镜下依次观察，找出每张玻片上肿瘤的位置、给出并记住每张玻片的诊断结论，各指标间相互佐证比对。为保证阅片的准确性，不同指标的诊断需要针对的是同一肿瘤区域的诊断，即医师需要在高倍物镜下找到不同玻片的同一肿瘤位置。同时，为确保准确性，对同一张片子可能需要反复观察判断。但由于制片时，从同一组织上切下的相邻的组织薄片并不是粘在玻片的同一位置，会存在旋转、折叠、偏移等情况，所以找到不同玻片上的同一肿瘤位置是一项费时费力的困难工作。最后病理医师根据各指标情况，结合患者临床信息，给出最终诊断结果并出具诊断报告。
目前一个患者的一组免疫组化玻片，需要一位高年资医师阅片1小时左右。如果该患者在手术时取下多块组织，且均需要进行免疫组化检测时，会制成多组免疫组化玻片，则对该患者的免疫组化病理诊断所需的时间会成倍增长。
免疫组化玻片人工阅片已成为该检查项目的主要效率瓶颈。存在医师劳动强度大,结果不可量化,诊断依据难于回溯跟踪等问题。在免疫组化检查中，肿瘤患者通常需要等待一周才能取得诊断报告,而临床医师需要得到该病理诊断报告才可进行下一步的临床针对性治疗。在如今肿瘤患者不断增多的现况下，临床以及科研免疫组化诊断的需求也日益增加,此问题日益突显。
目前国内外没有涵盖所有免疫组化指标的辅助诊断产品。仅美国罗氏的Ki67(30-9)病理图像分析软件，针对的也只有KI67一个免疫组化指标，无法满足临床需求，而且价格较为昂贵,市场接受度低,目前仅用于科研。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种免疫组化数字玻片阅片***及方法，其通过对免疫组化数字玻片图像进行特征匹配并叠图显示，便于医师在多张图像中快速找到图像中典型特征并在不同免疫指标图像中快速切换，提高阅片效率和阅片准确度，相应的可有效解决现有技术医师对免疫组化数字玻片手动阅片耗时较长，阅片效率低下的技术问题，因而尤其适用于病理组织免疫组化数字玻片图像阅片的应用场合。
为实现上述目的，按照本发明的一个方面，提供了一种免疫组化数字玻片阅片***，包括图像获取模块、图像金字塔创建模块、图像匹配模块和图像叠图显示模块，所述图像获取模块的信号输出端连接图像金字塔创建模块的信号输入端，所述图像金字塔创建模块的信号输出端连接图像匹配模块的信号输入端，所述图像匹配模块的信号输出端连接图像叠图显示模块的信号输入端；其中：
所述图像获取模块用于获取免疫组化数字玻片的数字图像；所述数字图像包含同一组织块的多个免疫指标对应的多张数字图像；
所述图像金字塔创建模块用于对每一张所述数字图像创建具有相同缩放层级数量的图像金字塔；
所述图像匹配模块用于将所述图像金字塔中在同一缩放层级上的各图像的图像特征进行匹配，输出图像匹配结果；其以数字图像为输入，根据模板匹配算法输出各图像与模板图像之间的位移偏移量和旋转角度偏差；
所述图像叠图显示模块用于根据图像匹配模块输出的位移偏移量和旋转角度偏差调整各图像的位移和旋转角度，并将各图像进行叠图显示，输出叠图显示结果。
优选地，所述图像匹配模块包括高缩放层级图像匹配子模块和低缩放层级图像匹配子模块；其中：
所述高缩放层级图像匹配子模块用于对当前缩放层级下的各图像依次进行背景扣除、去噪、图像二值化、图像轮廓提取和高缩放层级模板匹配处理，输出各图像与模板图像之间的位移偏移量和旋转角度偏差，即输出高缩放层级图像匹配结果；
所述低缩放层级图像匹配子模块用于图像中典型特征的匹配；其以所述高缩放层级图像匹配结果为基础，对各图像中的亚组织结构典型特征采用模板匹配方法进行匹配，输出各图像与模板图像之间的位移偏移量和旋转角度偏差，即输出低缩放层级图像匹配结果。
优选地，所述高缩放层级模板匹配具体为：以包含当前缩放层级下、不同免疫指标对应的图像中一张图像的部分或全部轮廓信息的图像区域作为模板，将其他图像分别与该模板采用模板匹配方法进行匹配，获得其他图像分别与模板之间的位移偏移量和旋转角度偏差。
优选地，所述低缩放层级图像匹配具体为：以所述高缩放层级图像匹配结果为基础，采用图像平滑方法以及二值化处理方法找到所述高缩放层级图像匹配结果对应的图像中典型特征的轮廓信息，以包含该轮廓信息的图像区域作为模板，将其他图像分别与该模板采用模板匹配方法进行匹配；获得其他图像分别与模板之间的位移偏移量和旋转角度偏差。
优选地，将获得的其他图像分别与模板之间的位移偏移量和旋转角度偏差进行统计，去除其中离散点，选择占比较高的位移偏移量和旋转角度偏差作为输出。
优选地，所述典型特征为图像中的亚组织结构典型特征。
优选地，所述典型特征为椭圆型的肿瘤实体结构特征、具有管腔结构的血管特征或具有官腔结构的腺管特征。
优选地，对找到的典型特征按照如下方法进行筛选：以所述典型特征的面积或外接矩形的长、宽与各自的阈值进行比较，对高于阈值的典型特征进行典型特征匹配。
优选地，所述阅片***还包括人机交互模块，所述图像叠图显示模块的信号输出端连接所述人机交互模块的信号输入端；
所述人机交互模块用于将所述叠图显示模块生成的叠图显示结果呈现给医师，供医师进行病情诊断分析。
优选地，所述人机交互模块还用于为医师提供阅片标注功能。
按照本发明的另一个方面，提供了一种利用所述***的免疫组化数字图像辅助阅片方法，包括如下步骤：
(1)图像获取模块获取包含同一组织块的多个免疫指标对应的多张数字图像；
(2)图像获取模块将获取的多张数字图像输入图像金字塔创建模块，该模块对每一张所述数字图像创建具有相同缩放层级数量的图像金字塔；
(3)图像金字塔创建模块将不同免疫指标的不同缩放层级的图像发送给图像匹配模块，图像匹配模块根据模板匹配算法输出各图像与模板图像之间的位移偏移量和旋转角度差异；
(4)图像叠图显示模块根据所述图像匹配模块输出的位移偏移量和旋转角度偏差调整各图像的位移和旋转角度，并将调整后的图像进行叠图显示。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：
1.本发明提出的免疫组化数字玻片阅片***，以同一组免疫组化的多张玻片的数字图像为对象，通过算法提取图像各缩放层级特征,据此进行相互匹配(也支持后续由医师手动进行匹配修正)，将取自同一组织块的多张数字玻片进行重叠显示。医师在某一玻片数字图像上选取待诊断的肿瘤区域后，可便捷地切换到该肿瘤区域的其它各指标图像，还可重叠显示多个指标图像，各指标图像相互佐证，快速给出诊断结论。
2.本发明提出的免疫组化数字玻片阅片***，能够帮助医师标示出此次诊断的肿瘤区域，分别记录各指标的诊断结论，以便于后续的诊断复核、病例对比研究以及病理诊断教学。
3.本发明提出的阅片***能够简化免疫组化诊断流程，将医师从繁重的显微镜阅片中释放出来，使得对免疫组化的诊断彻底脱离显微镜。医师不再需要在显微镜下繁琐地切换玻片，多次记忆肿瘤区域位置、各区域对各指标反应的强弱,并在高倍物镜下查找肿瘤区域位置。医师只需要查看数字图像，快速定位肿瘤区域，在同一肿瘤区域的各指标图像间快速切换，同时显示同一肿瘤区域各指标反应强弱。充分发挥了数字化的优势阅片，攻克了免疫组化诊断的难点，大幅降低阅片劳动强度。
4.本发明提供的阅片***支持阅片标注，记录医师阅片诊断过程,使得阅片诊断更具有可验证性与可回溯性。阅片诊断过程可直接应用于免疫组化科研、教学、会诊，提高科室诊断水平。
附图说明
图1是本发明免疫组化数字玻片阅片***结构框图；
图2是本发明实施例1中免疫组化数字玻片图像匹配前后示意图；
图3是本发明实施例不同免疫指标CD10、CD5、MUM-1对应的数字图像原图以及图像匹配后叠图显示结果；
图4为本发明实施例中不同免疫指标CD10、CD5、MUM-1对应的数字图像原图局部放大图以及匹配后叠图显示结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供的一种免疫组化数字玻片阅片***，如图1所示，包括图像获取模块、图像金字塔创建模块和图像匹配模块，所述图像获取模块的信号输出端连接图像金字塔创建模块的信号输入端，所述图像金字塔创建模块的信号输出端连接图像匹配模块的信号输入端，所述图像匹配模块的信号输出端连接图像叠图显示模块的信号输入端；其中：
所述图像获取模块用于获取免疫组化数字玻片的数字图像；所述数字图像包含同一组织块的多个免疫指标对应的多张数字图像；所述多个免疫指标对应的多张数字图像包括常规染色切片(即HE切片)，也包括不同免疫指标比如CD10、CD5、MUM-1等对应的数字图像，实际检查中免疫指标可能会达到10个以上的指标。由于制片、染色的原因，各组织在玻片上的位置、角度、染色深浅各不相同，直接让医师阅片，难度较大，耗时较长。因此，需要采用本发明的阅片***和方法对这些数字图像进行匹配且重叠显示，方便医师阅片，缩短阅片时间，提高诊断准确度。
所述图像金字塔创建模块用于对每一张所述数字图像创建具有相同缩放层级数量的图像金字塔；
所述图像匹配模块用于将所述图像金字塔中在同一缩放层级上的各图像的图像特征进行匹配；其以各图像为输入，根据模板匹配算法输出各图像与模板图像之间的位移偏移量和旋转角度差异；
所述图像叠图显示模块用于根据图像匹配模块输出的位移偏移量和旋转角度偏差调整各图像的位移和旋转角度，并将各图像进行叠图显示，输出叠图显示结果。
一些实施例中，所述图像获取模块通过采用玻片扫描仪对取自同一组织块的不同薄片制成的玻片进行数字扫描获取数字图像，每一张图像对应一种免疫指标，多种免疫指标标记的组织玻片对应可获得多张玻片数字图像。优选实施例中这些数字图像扫描分辨率不低于0.24微米/像素，且为可缩放的完整大图。
一些实施例中，为了提高图像匹配效果，进而提高诊断准确度，本发明所述图像匹配模块包括高缩放层级图像匹配子模块和低缩放层级图像匹配子模块；其中：
所述高缩放层级图像匹配子模块用于对当前缩放层级下的各图像依次进行背景扣除、去噪、图像二值化、图像轮廓提取和高缩放层级模板匹配处理，输出各图像与模板图像之间的位移偏移量和旋转角度偏差，即输出高缩放层级图像匹配结果；
所述低缩放层级图像匹配子模块用于图像中典型特征的匹配；其以所述高缩放层级图像匹配结果为基础，对各图像中的亚组织结构典型特征根据模板匹配方法进行匹配，输出各图像与模板图像之间的位移偏移量和旋转角度偏差，即输出低缩放层级图像匹配结果。
本发明所述“高缩放层级”和“低缩放层级”为相对概念，是指在多个缩放层级下，先对相对较高的缩放层级图像进行图像特征(比如图像轮廓)匹配，然后对相对较低的缩放层级图像的进一步更为典型的图像特征(比如亚组织结构)进行匹配。这里的高缩放层级可以为最高缩放层级但不限于最高缩放层级，这些的低缩放层级可以为最低缩放层级但也不限于最低缩放层级。
一些实施例中，通过采用邻域滤波方法或其他常规的方法进行图像的背景扣除；去噪方法包括但不限于中值滤波方法或高斯滤波去噪；采用常规的图像二值化方法进行本发明图像的二值化处理；二值化处理后采用常规的轮廓提取方法进行图像的轮廓提取。模板匹配是一项在一幅图像中寻找与另一幅模板图像最匹配(相似)部分的技术，本发明可采用现有技术中常用的模板匹配方法，比如OpenCV通过函数matchTemplate实现的模板匹配算法，包括利用平方差进行匹配的算法、利用标准平方差进行匹配的算法、利用模板和图像间的乘法操作、利用模板对其均值的相对值与图像对其均值的相对值进行匹配的算法等等。本发明采用的模板匹配方法只要能够以图像为输入，输出各图像与模板图像之间的位移偏移量以及旋转角度偏差即可。
一些实施例中，所述高缩放层级模板匹配具体为：以包含当前缩放层级下、不同免疫指标对应的图像中一张图像的部分或全部轮廓信息的图像区域作为模板，将其他图像分别与该模板采用模板匹配方法进行匹配，获得其他图像分别与模板之间的位移偏移量和旋转角度偏差。
本发明高缩放层级图像匹配子模块将匹配结果输入给低缩放层级图像匹配子模块，一些实施例中，所述低缩放层级图像匹配具体为：以所述高缩放层级图像匹配结果为基础，即按照高缩放层级图像匹配子模块输出的位移偏移量和旋转角度偏差对图像进行修正，并将修正结果作为低缩放层级图像匹配子模块的图像输入，采用图像平滑方法以及二值化处理方法找到图像中典型特征的轮廓信息，以包含该轮廓信息的图像区域作为模板，将其他图像分别与该模板采用模板匹配方法进行匹配；获得其他图像分别与模板之间的位移偏移量和旋转角度差偏差。
一些实施例中，将获得的其他图像分别与模板之间的位移偏移量和旋转角度差异进行统计，去除其中离散点，选择占比较高的位移偏移量和旋转角度偏差作为输出，比如可以通过计算某些位移偏移量和旋转角度差异的数值结果占比，将占比较高的位移偏移量和选择角度差异结果作为各图像统一匹配调整的偏移量和偏差。一些实施例中选择在所有的位移偏移量中占80％以上的位移偏移量作为位移偏移量的输出结果，选择在所有的旋转角度偏差结果中占80％以上的旋转角度偏差结果作为图像旋转角度偏差的输出结果，以提高图像匹配速度。
一些实施例中，所述典型特征为图像中的亚组织结构典型特征，比如可以为椭圆型的肿瘤实体结构特征、具有管腔结构的血管特征或具有官腔结构的腺管特征等。
一些实施例中，为了确保典型特征的典型性，对找到的典型特征按照如下方法进行筛选：以所述典型特征的面积或外接矩形的长、宽与各自的阈值进行比较，对高于阈值的典型特征进行典型特征匹配。
一些实施例中，所述图像叠图显示模块根据图像匹配模块输出的位移偏移量和旋转角度偏差修正调整各图像的位移和旋转角度，并对修正后的图像进行叠图显示。
一些实施例中，本发明所述阅片***还包括人机交互模块，所述图像匹配模块的信号输出端连接所述人机交互模块的信号输入端；
所述人机交互模块用于将生成的图像匹配结果呈现给医师，供医师根据图像匹配结果进行病情诊断分析。
一些实施例中，所述人机交互模块还用于为医师提供阅片标注功能，医师能够对图像分别进行标注，记录医师阅片诊断过程,使得阅片诊断更具有可验证性与可回溯性。
一些实施例中，所述人机交互模块还用于供医师手动调整图像位移和/或旋转角度，以进一步确保叠图显示效果。
本发明还提供了采用上述***的免疫组化数字图像辅助阅片方法，包括如下步骤：
(1)图像获取模块获取包含同一组织块的多个免疫指标对应的多张数字图像；
(2)图像获取模块将获取的多张数字图像输入图像金字塔创建模块，该模块对每一张所述数字图像创建具有相同缩放层级数量的图像金字塔；
(3)图像金字塔创建模块将不同免疫指标的不同缩放层级的图像发送给图像匹配模块，图像匹配模块根据模板匹配算法输出各图像与模板图像之间的位移偏移量和旋转角度差异；
(4)图像叠图显示模块根据所述图像匹配模块输出的位移偏移量和旋转角度偏差调整各图像的位移和旋转角度，并将各图像进行叠图显示。
以下为具体实施例：
如图2所示，将同一病理组织样本制成一张常规染色切片(即HE切片)和多张免疫组化切片(分别是CD10、CD5、MUM-1三个指标)。由于制片、染色的原因，各组织在玻片上的位置、角度、染色深浅各不相同。
首先采用玻片扫描仪的图像获取模块对HE切片和上述三张免疫组化切片进行扫描得到免疫组化玻片数字化扫描后的数字图像，扫描过程使用40倍物镜扫描，扫描分辨率高于0.24微米/像素，且该数字图像均为可缩放的完整大图。
图像获取模块将扫描得到的四张免疫组化图像信息发送给图像金字塔创建模块，金字塔创建模块对每一张数字图像分别创建具有6个缩放层级的图像金字塔；分别命名为第一、第二、第三、第四、第五和第六缩放层级图像，其中第一缩放层级图像为最高缩放层级图像，第六缩放层级图像为最低缩放层级图像。
图像金字塔创建模块将不同免疫指标的不同缩放层级的图像发送给图像匹配模块，首先将不同免疫指标的第一缩放层级图像输入高缩放层级图像匹配子模块，该子模块对当前缩放层级下的各图像依次采用邻域滤波方法进行图像的背景扣除、采用中值滤波方法去噪、采用图像二值化方法进行图像的二值化处理；二值化处理后采用轮廓提取方法进行图像的轮廓提取。
以包含第一缩放层级下不同免疫指标对应的图像中一张图像的部分轮廓信息的图像区域作为模板，将其他图像分别与该模板采用模板匹配方法进行匹配，获得其他图像分别与模板之间的位移偏移量和旋转角度偏差。
第一缩放层级图像匹配子模块将位移偏移量和旋转角度偏差输出结果输入给第六缩放层级图像匹配子模块，第六缩放层级图像匹配子模块根据该结果对图像进行修正，并在此基础上对各图像中的亚组织结构典型特征(这里选用具有椭圆型的肿瘤结构)根据模板匹配方法进行匹配。其采用图像平滑以及二值化处理方法找到第一缩放层级图像匹配结果图像中肿瘤椭圆型结构的轮廓信息，以包含该轮廓信息的图像区域作为模板，将其他图像分别与该模板采用模板匹配方法进行匹配；获得其他图像分别与模板之间的位移偏移量和旋转角度偏差。根据第六缩放层级图像匹配子模块输出的位移偏移量和旋转角度偏差调整各图像使其与模板匹配，图像叠图显示模块根据匹配结果进行叠图显示，具体结果如图3和图4所示。
图3左上、右上、左下内容分别代表本实施例病理组织样本采用CD10、CD5、MUM-1三个指标标记对应的三张免疫组化切片数字扫描图像的原图，图3右下内容为以上述三张原始图像为输入，按照本发明的阅片***和方法进行图像匹配并叠图显示的效果图。可以看出，采用本发明的阅片***和方法能够对不同免疫指标的数字图像通过位移和选择角度调整进行很好的匹配并重叠显示，能够辅助医师诊断，帮助医师快速给出诊断结论。
图4上面三张图分别代表本实施例病理组织样本采用CD10、CD5、MUM-1三个指标标记对应的三张免疫组化切片数字扫描图像原图中的局部放大图，其左下角分别标示出各自在原图中的位置。图4左下和左中分别为两个缩放层级下按照本发明的阅片方法对三张原图分别在第一缩放层级下全局匹配、第六缩放层级下局部匹配(以肿瘤近圆形结构为典型特征)并进行叠图显示的结果，可以看出，本发明的阅片***和方法能够很好地实现免疫组化数字玻片中典型图像特征的匹配和重叠显示，而图4右下为仅仅在第一缩放层级下进行全局匹配并叠图显示的结果，说明低缩放层级的局部匹配是高缩放层级匹配的有效补充。
图像叠图显示模块将叠图显示给人机交互模块，如图2所示，医师在某一玻片数字图像上选取待诊断的肿瘤区域后，可便捷地切换到该肿瘤区域的其它各指标图像，还可重叠显示多个指标图像，各指标图像相互佐证，快速给出诊断结论。
本实施例通过采用上述阅片***和阅片方法，根据最终匹配叠图显示图像，医师给出的诊断结论为：CD10+++，表示强阳性,CD5+，表示弱阳性；NUM-1-，表示阴性。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种免疫组化数字玻片阅片***，其特征在于，包括图像获取模块、图像金字塔创建模块、图像匹配模块和图像叠图显示模块，所述图像获取模块的信号输出端连接图像金字塔创建模块的信号输入端，所述图像金字塔创建模块的信号输出端连接图像匹配模块的信号输入端，所述图像匹配模块的信号输出端连接图像叠图显示模块的信号输入端；其中：
所述图像获取模块用于获取免疫组化数字玻片的数字图像；所述数字图像包含同一组织块的多个免疫指标对应的多张数字图像；
所述图像金字塔创建模块用于对每一张所述数字图像创建具有相同缩放层级数量的图像金字塔；
所述图像匹配模块用于将所述图像金字塔中在同一缩放层级上的各图像的图像特征进行匹配，输出图像匹配结果；其以数字图像为输入，根据模板匹配算法输出各图像与模板图像之间的位移偏移量和旋转角度偏差；
所述图像叠图显示模块用于根据图像匹配模块输出的位移偏移量和旋转角度偏差调整各图像的位移和旋转角度，并将各图像进行叠图显示，输出叠图显示结果。
2.如权利要求1所述的阅片***，其特征在于，所述图像匹配模块包括高缩放层级图像匹配子模块和低缩放层级图像匹配子模块；其中：
所述高缩放层级图像匹配子模块用于对当前缩放层级下的各图像依次进行背景扣除、去噪、图像二值化、图像轮廓提取和高缩放层级模板匹配处理，输出各图像与模板图像之间的位移偏移量和旋转角度偏差，即输出高缩放层级图像匹配结果；
所述低缩放层级图像匹配子模块用于图像中典型特征的匹配；其以所述高缩放层级图像匹配结果为基础，对各图像中的亚组织结构典型特征采用模板匹配方法进行匹配，输出各图像与模板图像之间的位移偏移量和旋转角度偏差，即输出低缩放层级图像匹配结果。
3.如权利要求2所述的阅片***，其特征在于，所述高缩放层级模板匹配具体为：以包含当前缩放层级下、不同免疫指标对应的图像中一张图像的部分或全部轮廓信息的图像区域作为模板，将其他图像分别与该模板采用模板匹配方法进行匹配，获得其他图像分别与模板之间的位移偏移量和旋转角度偏差。
4.如权利要求2所述的阅片***，其特征在于，所述低缩放层级图像匹配具体为：以所述高缩放层级图像匹配结果为基础，采用图像平滑方法以及二值化处理方法找到所述高缩放层级图像匹配结果对应的图像中典型特征的轮廓信息，以包含该轮廓信息的图像区域作为模板，将其他图像分别与该模板采用模板匹配方法进行匹配；获得其他图像分别与模板之间的位移偏移量和旋转角度偏差。
5.如权利要求3或4所述的阅片***，其特征在于，将获得的其他图像分别与模板之间的位移偏移量和旋转角度偏差进行统计，去除其中离散点，选择占比较高的位移偏移量和旋转角度偏差作为输出。
6.如权利要求4所述的阅片***，其特征在于，所述典型特征为图像中的亚组织结构典型特征，优选为椭圆型的肿瘤实体结构特征、具有管腔结构的血管特征或具有官腔结构的腺管特征。
7.如权利要求4所述的阅片***，其特征在于，对找到的典型特征按照如下方法进行筛选：以所述典型特征的面积或外接矩形的长、宽与各自的阈值进行比较，对高于阈值的典型特征进行典型特征匹配。
8.如权利要求1所述的阅片***，其特征在于，所述阅片***还包括人机交互模块，所述图像叠图显示模块的信号输出端连接所述人机交互模块的信号输入端；
所述人机交互模块用于将所述叠图显示模块生成的叠图显示结果呈现给医师，供医师进行病情诊断分析。
9.如权利要求8所述的阅片***，其特征在于，所述人机交互模块还用于为医师提供阅片标注功能。
10.一种利用如权利要求1所述***的免疫组化数字图像辅助阅片方法，其特征在于，包括如下步骤：
(1)图像获取模块获取包含同一组织块的多个免疫指标对应的多张数字图像；
(2)图像获取模块将获取的多张数字图像输入图像金字塔创建模块，该模块对每一张所述数字图像创建具有相同缩放层级数量的图像金字塔；
(3)图像金字塔创建模块将不同免疫指标的不同缩放层级的图像发送给图像匹配模块，图像匹配模块根据模板匹配算法输出各图像与模板图像之间的位移偏移量和旋转角度差异；
(4)图像叠图显示模块根据所述图像匹配模块输出的位移偏移量和旋转角度偏差调整各图像的位移和旋转角度，并将调整后的图像进行叠图显示。
CN202010586036.8A 2020-06-24 2020-06-24 一种免疫组化数字玻片阅片***及方法 Active CN111751371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010586036.8A CN111751371B (zh) 2020-06-24 2020-06-24 一种免疫组化数字玻片阅片***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010586036.8A CN111751371B (zh) 2020-06-24 2020-06-24 一种免疫组化数字玻片阅片***及方法

Publications (2)

Publication Number Publication Date
CN111751371A true CN111751371A (zh) 2020-10-09
CN111751371B CN111751371B (zh) 2021-01-08

Family

ID=72678504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010586036.8A Active CN111751371B (zh) 2020-06-24 2020-06-24 一种免疫组化数字玻片阅片***及方法

Country Status (1)

Country Link
CN (1) CN111751371B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270684A (zh) * 2020-12-25 2021-01-26 宁波兰茜生物科技有限公司 一种显微图像免疫组化虚拟多重标记及分析方法及***
CN113052166A (zh) * 2021-02-05 2021-06-29 杭州依图医疗技术有限公司 病理图像的显示方法及装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100054560A1 (en) * 2007-03-01 2010-03-04 Nec Corporation Breast cancer pathological image diagnosis support system, breast cancer pathological image diagnosis support method, and recording medium recording breast cancer pathological image diagnosis support program
CN103325085A (zh) * 2012-03-02 2013-09-25 索尼公司 自动图像对齐
CN103440676A (zh) * 2013-08-13 2013-12-11 南方医科大学 一种基于运动估计的肺4d-ct图像的超分辨率冠矢状面图像重建方法
US20140126786A1 (en) * 2012-11-07 2014-05-08 Sony Corporation Method and apparatus for orienting tissue samples for comparison
WO2015052128A1 (en) * 2013-10-07 2015-04-16 Ventana Medical Systems, Inc. Systems and methods for comprehensive multi-assay tissue analysis
CN105659288A (zh) * 2013-10-30 2016-06-08 皇家飞利浦有限公司 组织切片图像的配准
US20160321809A1 (en) * 2013-10-01 2016-11-03 Ventana Medical Systems, Inc. Line-based image registration and cross-image annotation devices, systems and methods
CN106097347A (zh) * 2016-06-14 2016-11-09 福州大学 一种多模态医学图像配准与可视化方法
CN107545567A (zh) * 2017-07-31 2018-01-05 中国科学院自动化研究所 生物组织序列切片显微图像的配准方法及装置
CN109903284A (zh) * 2019-03-04 2019-06-18 武汉大学 一种her2免疫组化图像自动判别方法及***
CN110337644A (zh) * 2017-02-23 2019-10-15 谷歌有限责任公司 用于辅助病理学家标识放大的组织图像中的肿瘤细胞的方法和***
CN110555835A (zh) * 2019-09-04 2019-12-10 郑州大学 一种脑片图像区域划分方法及装置
CN110853005A (zh) * 2019-11-06 2020-02-28 杭州迪英加科技有限公司 一种免疫组化膜染色切片诊断方法及装置
CN111104961A (zh) * 2019-10-31 2020-05-05 太原理工大学 基于改进的MobileNet网络对乳腺癌进行分类的方法
CN111292315A (zh) * 2020-03-05 2020-06-16 四川大学华西医院 一种病理切片组织区域快速配准算法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100054560A1 (en) * 2007-03-01 2010-03-04 Nec Corporation Breast cancer pathological image diagnosis support system, breast cancer pathological image diagnosis support method, and recording medium recording breast cancer pathological image diagnosis support program
CN103325085A (zh) * 2012-03-02 2013-09-25 索尼公司 自动图像对齐
US20140126786A1 (en) * 2012-11-07 2014-05-08 Sony Corporation Method and apparatus for orienting tissue samples for comparison
CN103440676A (zh) * 2013-08-13 2013-12-11 南方医科大学 一种基于运动估计的肺4d-ct图像的超分辨率冠矢状面图像重建方法
US20160321809A1 (en) * 2013-10-01 2016-11-03 Ventana Medical Systems, Inc. Line-based image registration and cross-image annotation devices, systems and methods
WO2015052128A1 (en) * 2013-10-07 2015-04-16 Ventana Medical Systems, Inc. Systems and methods for comprehensive multi-assay tissue analysis
JP2019179030A (ja) * 2013-10-07 2019-10-17 ベンタナ メディカル システムズ， インコーポレイテッド 包括的なマルチアッセイ組織分析のためのシステムおよび方法
CN105659288A (zh) * 2013-10-30 2016-06-08 皇家飞利浦有限公司 组织切片图像的配准
CN106097347A (zh) * 2016-06-14 2016-11-09 福州大学 一种多模态医学图像配准与可视化方法
CN110337644A (zh) * 2017-02-23 2019-10-15 谷歌有限责任公司 用于辅助病理学家标识放大的组织图像中的肿瘤细胞的方法和***
CN107545567A (zh) * 2017-07-31 2018-01-05 中国科学院自动化研究所 生物组织序列切片显微图像的配准方法及装置
CN109903284A (zh) * 2019-03-04 2019-06-18 武汉大学 一种her2免疫组化图像自动判别方法及***
CN110555835A (zh) * 2019-09-04 2019-12-10 郑州大学 一种脑片图像区域划分方法及装置
CN111104961A (zh) * 2019-10-31 2020-05-05 太原理工大学 基于改进的MobileNet网络对乳腺癌进行分类的方法
CN110853005A (zh) * 2019-11-06 2020-02-28 杭州迪英加科技有限公司 一种免疫组化膜染色切片诊断方法及装置
CN111292315A (zh) * 2020-03-05 2020-06-16 四川大学华西医院 一种病理切片组织区域快速配准算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
田娟秀 等: "医学图像分析深度学习方法研究与挑战", 《自动化学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270684A (zh) * 2020-12-25 2021-01-26 宁波兰茜生物科技有限公司 一种显微图像免疫组化虚拟多重标记及分析方法及***
CN112270684B (zh) * 2020-12-25 2021-04-06 宁波兰茜生物科技有限公司 一种显微图像免疫组化虚拟多重标记及分析方法及***
CN113052166A (zh) * 2021-02-05 2021-06-29 杭州依图医疗技术有限公司 病理图像的显示方法及装置

Also Published As

Publication number Publication date
CN111751371B (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
US10755406B2 (en) Systems and methods for co-expression analysis in immunoscore computation
US8391575B2 (en) Automatic image analysis and quantification for fluorescence in situ hybridization
Ortega et al. Hyperspectral imaging and deep learning for the detection of breast cancer cells in digitized histological images
US20060127880A1 (en) Computerized image capture of structures of interest within a tissue sample
CN113366530A (zh) 计算机支持的组织学图像中的肿瘤审查和术后肿瘤切缘评估
JP5469070B2 (ja) 生物検体を処理するための複数の波長を用いる方法およびシステム
CN106462767B (zh) 用于处理和分析图像的检查设备
CN111751371B (zh) 一种免疫组化数字玻片阅片***及方法
WO2003105675A2 (en) Computerized image capture of structures of interest within a tissue sample
JP6053327B2 (ja) 顕微鏡システム、標本画像生成方法及びプログラム
US8542899B2 (en) Automatic image analysis and quantification for fluorescence in situ hybridization
KR102140385B1 (ko) 골수 판독을 위한 셀존 레이블링 장치 및 이를 포함하는 셀존 검출 시스템
He et al. Microscope images automatic focus algorithm based on eight-neighborhood operator and least square planar fitting
Ulaganathan et al. A clinicopathological study of various oral cancer diagnostic techniques
JP2005291759A (ja) 二次元画像による病症診断システム
CN115943305A (zh) 信息处理装置、信息处理方法、程序和信息处理***
CN116230214B (zh) Hcc及vetc辅助诊断装置及设备
KR102576041B1 (ko) 슬라이드 표본의 고배율 이미지 획득방법
Liu et al. Molecular imaging and validation of non-melanoma skin cancer margins
WO2022107435A1 (ja) 画像解析方法、画像解析システム及びプログラム
JP2019070571A (ja) 抗原発現の反応性の表記物およびｃ−ＭＹＣ遺伝子転座の判定方法
Shete et al. Breast cancer cell detection using digital image processing
Ortega Sarmiento et al. Hyperspectral imaging and deep learning for the detection of breast cancer cells in digitized histological images
CN116485693A (zh) 一种基于多源染色数据的宫颈病理图像融合方法
CN118135322A (zh) 一种消化内科的图像辅助整理方法及整理***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant