CN110443794B - 一种基于病理图像的图像状态确定方法、装置以及*** - Google Patents

一种基于病理图像的图像状态确定方法、装置以及*** Download PDF

Info

Publication number
CN110443794B
CN110443794B CN201910737633.3A CN201910737633A CN110443794B CN 110443794 B CN110443794 B CN 110443794B CN 201910737633 A CN201910737633 A CN 201910737633A CN 110443794 B CN110443794 B CN 110443794B
Authority
CN
China
Prior art keywords
image
state
evaluated
pathological
state information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910737633.3A
Other languages
English (en)
Other versions
CN110443794A (zh
Inventor
韩宝昌
韩骁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910737633.3A priority Critical patent/CN110443794B/zh
Publication of CN110443794A publication Critical patent/CN110443794A/zh
Application granted granted Critical
Publication of CN110443794B publication Critical patent/CN110443794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/006—Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Microscoopes, Condenser (AREA)
  • Eye Examination Apparatus (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本申请公开了一种基于病理图像的图像状态确定方法，该方法应用于人工智能领域，具体可应用于智能医疗领域，该方法包括：通过显微镜获取病理图像集合，病理图像集合至少包括待评估图像以及关联图像；根据病理图像集合确定待评估图像所对应的第一状态信息，第一状态信息用于表示待评估图像的移动变化情况；若第一状态信息为静止状态，则根据病理图像集合确定待评估图像所对应的第二状态信息，第二状态信息用于表示待评估图像的清晰度变化情况。本申请还公开了基于病理图像的处理方法及装置。本申请能够对采集到的图像进行移动状态评估以及清晰度状态评估，从而基于不同的图像状态对图像进行合理的操作，降低图像处理的难度，提升任务处理效率。

Description

一种基于病理图像的图像状态确定方法、装置以及***
本申请为2019年5月29日提交中国专利局、申请号为201910457380.4、发明名称为“一种基于病理图像的图像状态确定方法、装置以及***”的中国专利申请的分案申请。
技术领域
本申请涉及智能医疗领域，尤其涉及一种基于病理图像的图像状态确定方法、装置以及***。
背景技术
病理检查已经大量应用于临床工作及科学研究，医务人员进行病理诊断的主要方式是观察切片，将其放大40到400倍后，观察细胞形态和组织结构作出诊断。智能显微镜和数字病理扫描仪是医务人员最常用的工具。
目前，智能显微镜通常会自带相机，支持以每秒几帧到几十帧的速度对显微镜视野连续采集图像，采集的图像用于多种显微镜任务中。现已存在多种不同的显微镜图像的技术，比如显微镜图像拼接、高精度的暗影校正以及图像扩展和融合等。
然而，显微镜相机通常是高分辨率的高速工业相机，采图的帧率高(比如可以达到每秒几幅到几十幅图像)，而且图像体积大(单幅图像的总像素可达到400万以上)，短时间内会产生大量的图像数据，难以针对大量的图像进行合理操作，从而造成任务延迟。
发明内容
本申请实施例提供了一种基于病理图像的图像状态确定方法、装置以及***，能够对采集到的图像进行移动状态评估以及清晰度状态评估，从而可以基于不同的图像状态对图像进行合理的操作，降低了图像处理的难度，提升了任务处理效率。
有鉴于此，本申请第一方面提供一种基于病理图像的图像状态确定方法，包括：
通过显微镜获取病理图像集合，其中，所述病理图像集合至少包括待评估图像以及关联图像，所述关联图像为所述待评估图像相邻的前一帧图像；
根据所述病理图像集合确定所述待评估图像所对应的第一状态信息，其中，所述第一状态信息用于表示所述待评估图像的移动变化情况；
若所述第一状态信息为静止状态，则根据所述病理图像集合确定所述待评估图像所对应的第二状态信息，其中，所述第二状态信息用于表示所述待评估图像的清晰度变化情况。
本申请第二方面提供一种图像状态确定装置，包括：
获取模块，用于通过显微镜获取病理图像集合，其中，所述病理图像集合至少包括待评估图像以及关联图像，所述关联图像为所述待评估图像相邻的前一帧图像；
确定模块，用于根据所述获取模块获取的所述病理图像集合确定所述待评估图像所对应的第一状态信息，其中，所述第一状态信息用于表示所述待评估图像的移动变化情况；
所述确定模块，还用于若所述第一状态信息为静止状态，则根据所述病理图像集合确定所述待评估图像所对应的第二状态信息，其中，所述第二状态信息用于表示所述待评估图像的清晰度变化情况。
在一种可能的设计中，在本申请实施例的第二方面的第一种实现方式中，
所述确定模块，具体用于获取所述待评估图像与第一关联图像的相似度，其中，所述第一关联图像属于所述病理图像集合，且所述第一关联图像为所述待评估图像相邻的上一个图像；
若所述待评估图像与第一关联图像的相似度大于相似度阈值，则获取所述第一关联图像与第二关联图像的相似度，其中，所述第二关联图像属于所述病理图像集合，且所述第二关联图像为所述第一关联图像相邻的上一个图像；
若所述第一关联图像与第二关联图像的相似度大于所述相似度阈值，则确定所述第一状态信息为所述静止状态；
若所述第一关联图像与第二关联图像的相似度小于或等于所述相似度阈值，则确定所述第一状态信息为移动状态转换至静止状态。
在一种可能的设计中，在本申请实施例的第二方面的第二种实现方式中，
所述确定模块，具体用于获取所述待评估图像与第一关联图像的相似度，其中，所述第一关联图像属于所述病理图像集合，且所述第一关联图像为所述待评估图像相邻的上一个图像；
若所述待评估图像与第一关联图像的相似度小于或等于相似度阈值，则获取所述第一关联图像与第二关联图像的相似度，其中，所述第二关联图像属于所述病理图像集合，且所述第二关联图像为所述第一关联图像相邻的上一个图像；
若所述第一关联图像与第二关联图像的相似度大于所述相似度阈值，则确定所述第一状态信息为静止状态转换至移动状态；
若所述第一关联图像与第二关联图像的相似度小于或等于所述相似度阈值，则确定所述第一状态信息为移动状态。
在一种可能的设计中，在本申请实施例的第二方面的第三种实现方式中，
所述确定模块，具体用于根据所述待评估图像确定源区域病理图像集合，其中，所述源区域病理图像集合包括M个源区域图像，所述M为大于1的整数；
根据所述第一关联图像确定目标区域病理图像集合，其中，所述目标区域病理图像集合包括M个目标区域图像，所述目标区域图像的尺寸小于所述源区域图像的尺寸；
若第一源区域图像与第一目标区域图像均属于背景图像，则检测第二源区域图像以及第二目标区域图像是否属于所述背景图像，其中，所述第一源区域图像以及所述第二源区域图像属于所述源区域病理图像集合，所述第一目标区域图像以及所述第二目标区域图像属于所述目标区域病理图像集合；
若所述第一源区域图像与所述第一目标区域图像不都属于所述背景图像，则计算所述第一源区域图像与所述第一目标区域图像的相似度。
在一种可能的设计中，在本申请实施例的第二方面的第四种实现方式中，
所述确定模块，具体用于计算所述第二源区域图像的像素值标准差；
若所述第二源区域图像的像素值标准差小于或等于标准差阈值，则确定所述第二源区域图像属于所述背景图像；
计算所述第二目标区域图像的像素值标准差；
若所述第二目标区域图像的像素值标准差小于或等于所述标准差阈值，则确定所述第二目标区域图像属于所述背景图像。
在一种可能的设计中，在本申请实施例的第二方面的第五种实现方式中，
所述确定模块，具体用于根据所述第一源区域图像与所述第一目标区域图像，计算得到图像矩阵，其中，所述图像矩阵包括多个元素；
根据所述图像矩阵确定所述第一源区域图像与所述第一目标区域图像的相似度，其中，所述第一源区域图像与所述第一目标区域图像的相似度为所述图像矩阵中元素的最大值。
在一种可能的设计中，在本申请实施例的第二方面的第六种实现方式中，
所述确定模块，具体用于获取所述待评估图像的清晰度与第一关联图像的清晰度，其中，所述第一关联图像属于所述病理图像集合，且所述第一关联图像为所述待评估图像相邻的上一个图像；
若所述待评估图像的清晰度与所述第一关联图像的清晰度满足第一预设条件，则获取基准图像的清晰度；
若所述基准图像的清晰度与所述待评估图像的清晰度满足第二预设条件，则确定所述第二状态信息为调焦状态，其中，所述调焦状态为清晰状态转换至模糊状态，或模糊状态转换至清晰状态。
在一种可能的设计中，在本申请实施例的第二方面的第七种实现方式中，
所述确定模块，具体用于获取所述待评估图像的清晰度与第一关联图像的清晰度之后，若所述待评估图像的清晰度与所述第一关联图像的清晰度未满足所述第一预设条件，则将所述基准图像更新为所述待评估图像；
若所述基准图像的清晰度与所述待评估图像的清晰度未满足所述第二预设条件，则更新所述基准图像的清晰度；
确定所述第二状态信息为调焦状态之后，将所述基准图像更新为所述待评估图像。
在一种可能的设计中，在本申请实施例的第二方面的第八种实现方式中，
所述确定模块，具体用于获取所述待评估图像的清晰度与第一关联图像的清晰度之后，判断所述待评估图像的清晰度与所述第一关联图像的清晰度之差是否大于或等于第一清晰度阈值；
若所述待评估图像的清晰度与所述第一关联图像的清晰度之差大于或等于所述第一清晰度阈值，则确定所述待评估图像的清晰度与所述第一关联图像的清晰度满足所述第一预设条件；
若所述待评估图像的清晰度与所述第一关联图像的清晰度之差小于所述第一清晰度阈值，则判断所述基准图像的清晰度与所述待评估图像的清晰度之差是否大于或等于第二清晰度阈值，其中，所述第二清晰度阈值大于所述第一清晰度阈值；
若所述基准图像的清晰度与所述待评估图像的清晰度之差大于或等于所述第二清晰度阈值，则确定所述基准图像的清晰度与所述待评估图像的清晰度满足第二预设条件。
在一种可能的设计中，在本申请实施例的第二方面的第九种实现方式中，所述图像状态确定装置包括存储模块；
所述存储模块，用于在所述确定模块根据所述病理图像集合确定所述待评估图像所对应的第二状态信息之后，若所述第一状态信息为移动状态转换至静止状态，则存储所述待评估图像；
若所述第二状态信息为模糊状态转换至清晰状态，则存储所述待评估图像。
在一种可能的设计中，在本申请实施例的第二方面的第十种实现方式中，所述图像状态确定装置包括诊断模块；
所述诊断模块，用于在所述确定模块根据所述病理图像集合确定所述待评估图像所对应的第二状态信息之后，若所述第一状态信息为移动状态转换至静止状态，则对所述待评估图像进行病理分析；
若所述第二状态信息为模糊状态转换至清晰状态，则对所述待评估图像进行所述病理分析。
在一种可能的设计中，在本申请实施例的第二方面的第十一种实现方式中，所述图像状态确定装置包括传输模块；
所述传输模块，用于在所述确定模块根据所述病理图像集合确定所述待评估图像所对应的第二状态信息之后，若所述第一状态信息为移动状态转换至静止状态，或所述第一状态信息为静止状态转换至移动状态，或所述第一状态信息为移动状态，则传输所述待评估图像；
若所述第二状态信息为模糊状态转换至清晰状态，或所述第二状态信息为清晰状态转换至模糊状态，则传输所述待评估图像。
本申请第三方面提供一种智能显微镜***，所述智能显微镜***包括图像采集模块，图像处理分析模块、病理分析模块、存储模块以及传输模块；
其中，所述图像采集模块，用于获取病理图像集合，其中，所述病理图像集合至少包括待评估图像以及关联图像，所述关联图像为所述待评估图像相邻的前一帧图像；
所述图像处理分析模块，用于根据所述病理图像集合确定所述待评估图像所对应的第一状态信息，其中，所述第一状态信息用于表示所述待评估图像的移动变化情况；
若所述第一状态信息为静止状态，则根据所述病理图像集合确定所述待评估图像所对应的第二状态信息，其中，所述第二状态信息用于表示所述待评估图像的清晰度变化情况；
所述存储模块，用于若所述第一状态信息为移动状态转换至静止状态，则存储所述待评估图像；
若所述第二状态信息为模糊状态转换至清晰状态，则存储所述待评估图像；
所述病理分析模块，用于若所述第一状态信息为移动状态转换至静止状态，则对所述待评估图像进行病理分析；
若所述第二状态信息为模糊状态转换至清晰状态，则对所述待评估图像进行所述病理分析；
所述传输模块，用于若所述第一状态信息为移动状态转换至静止状态，或所述第一状态信息为静止状态转换至移动状态，或所述第一状态信息为移动状态，则传输所述待评估图像；
若所述第二状态信息为模糊状态转换至清晰状态，或所述第二状态信息为清晰状态转换至模糊状态，则传输所述待评估图像。
本申请第四方面提供一种终端设备，包括：存储器、收发器、处理器以及总线***；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括如下步骤：
获取病理图像集合，其中，所述病理图像集合至少包括待评估图像以及关联图像，所述关联图像为所述待评估图像相邻的前一帧图像；
根据所述病理图像集合确定所述待评估图像所对应的第一状态信息，其中，所述第一状态信息用于表示所述待评估图像的移动变化情况；
若所述第一状态信息为静止状态，则根据所述病理图像集合确定所述待评估图像所对应的第二状态信息，其中，所述第二状态信息用于表示所述待评估图像的清晰度变化情况；
所述总线***用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
本申请的第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，提供了一种基于病理图像的图像状态确定方法，首先获取病理图像集合，其中，病理图像集合至少包括待评估图像以及关联图像，关联图像为待评估图像相邻的前一帧图像，然后根据病理图像集合确定待评估图像所对应的第一状态信息，其中，第一状态信息用于表示待评估图像的移动变化情况，如果第一状态信息为静止状态，则根据病理图像集合确定待评估图像所对应的第二状态信息，其中，第二状态信息用于表示待评估图像的清晰度变化情况。通过上述方式，能够对采集到的图像进行移动状态评估以及清晰度状态评估，由此确定不同图像的图像状态，而图像状态往往反映了用户操作对图像视野的变化，在很多不同的任务中发挥非常重要的作用，从而可以基于不同的图像状态对图像进行合理的操作，降低了图像处理的难度，提升了任务处理效率。
附图说明
图1为本申请实施例中图像评估***的一个架构示意图；
图2为本申请实施例中图像评估***的一个流程示意图；
图3为本申请实施例中基于病理图像的图像状态确定方法一个实施例示意图；
图4为本申请实施例中图像移动评估的一个流程图示意图；
图5为本申请实施例中源区域图像的图像中心一个坐标示意图；
图6为本申请实施例中源区域图像与目标区域图像的一个对比示意图；
图7为本申请实施例中图像清晰评估的一个流程图示意图；
图8为本申请实施例中基于病理图像的处理方法一个实施例示意图；
图9为本申请实施例中自动保存图像任务的一个流程图示意图；
图10为本申请实施例中基于病理图像的处理方法另一个实施例示意图；
图11为本申请实施例中实时人工智能辅助诊断任务的一个流程图示意图；
图12为本申请实施例中基于病理图像的处理方法另一个实施例示意图；
图13为本申请实施例中显微镜视野远程分享任务的一个流程图示意图；
图14为本申请实施例中图像状态确定装置的一个实施例示意图；
图15为本申请实施例中图像状态确定装置的另一个实施例示意图；
图16为本申请实施例中图像状态确定装置的另一个实施例示意图；
图17为本申请实施例中图像状态确定装置的另一个实施例示意图；
图18为本申请实施例中终端设备的一个结构示意图。
具体实施方式
本申请实施例提供了一种基于病理图像的图像状态确定方法、装置以及***，能够对采集到的图像进行移动状态评估以及清晰度状态评估，从而可以基于不同的图像状态对图像进行合理的操作，降低了图像处理的难度，提升了任务处理效率。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解，本申请提供的一种基于病理图像的图像状态确定方法，以及基于病理图像的处理方法可应用于人工智能(Artificial Intelligence，AI)领域，具体可以应用于基于AI的医学领域以及视频监控领域等，例如基于AI的医学领域，通过显微镜自动调焦，固定当前视野保持不变，使用显微镜自带相机进行连续采图，根据图像清晰状态的变化来自动转动调焦按钮，实现显微镜自动调焦。又例如，基于视频监控领域，可以对道路交通视频进行监控，自动移除静止状态的图像，减轻后续视频分析的工作量。
其中，基于AI的医学领域包括计算机视觉技术(Computer Vision,CV)，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical CharacterRecognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
随着科技的快速发展，AI在医疗行业的应用也越来越广泛，在医学领域中最常见的医学影像包含但不仅限于血管摄影图像、心血管造影图像、电子计算机断层扫描(computerized tomography，CT)图像、B超图像以及病理图像，其中，病理图像通常是由智能显微镜采集到的，病理图像包括活检组织的外观以及细胞结构等，
医生病理诊断的主要方式是观察切片，将其放大40到400倍后，观察细胞形态和组织结构作出诊断，智能显微镜和数字病理扫描仪是医生最常用的工具。智能显微镜突破了传统显微镜的局限，从被动使用转为主动辅助医师，如通过计算机视觉去帮助医生，从简单但繁琐的细胞计量，到困难且复杂的癌症类型辨识及区域精准划分。同时利用语音识别让医生与智能显微镜进行流畅人机交互。最后通过自然语言处理技术协助最后的病理报告生成。读片时，医生只需给出语音指令，AI就能自动阅片、自动采集图像，并辅助医生诊断；医生阅片完成后，给出“生成报告”指令，智能显微镜就能将显微镜截图和诊断结果填入报告模板，自动生成报告，让医生复核结果和发布报告，使原本最费事的报告生成环节变得又快又省心。在丝***细胞检测、免疫组化定量分析、癌症区域监测以及辅助诊断流程中，智能显微镜都起着重要的作用。
为了便于理解，本申请提出了一种基于病理图像的图像状态确定方法以及基于病理图像的处理方法，上述方法均可以应用于图1所示的图像评估***，请参阅图1和图2，图1为本申请实施例中图像评估***的一个架构示意图，图2为本申请实施例中图像评估***的一个流程示意图，结合图1和图2，具体地：
在步骤S1中，首先由终端设备通过相机采集多张连续的图像；
在步骤S2中，终端设备判断当前采集的图像是否为第一张图像，或者终端设备将采集到的图像发送至服务器，由服务器判断当前采集的图像是否为第一张图像，若是第一张图像，则执行步骤S3，若不是第一张图像，则执行步骤S4；
在步骤S3中，如果当前图像为第一张图片，则当前图像属于是移动状态；
在步骤S4中，对当前图像的移动状态进行评估；
在步骤S5中，若检测到当前图像正在移动，则确定当前图像属于移动状态；
在步骤S6中，若检测到当前图像停止移动，则确定当前图像属于移动状态转为静止状态；
在步骤S7中，若检测到当前图像开始移动，则确定当前图像属于静止状态转为移动状态；
在步骤S8中，若检测到当前图像处于静止状态，则对当前图像的清晰度状态进行评估；
在步骤S9中，若检测到当前图像的清晰度没有变化，则确定当前图像属于静止状态；
在步骤S10中，若检测到当前图像变得更清晰，则确定当前图像属调焦状态，且是从模糊状态转为清晰状态；
在步骤S11中，若检测到当前图像变得更模糊，则确定当前图像属于调焦状态，且是从清晰状态转为模糊状态。
需要说明的是，终端设备包含但不仅限于智能显微镜、平板电脑、笔记本电脑、掌上电脑、手机、语音交互设备及个人电脑(personal computer，PC)，此处不做限定。智能显微镜融入了AI的视觉、语音以及自然语言处理技术，医生轻松输入语音指令，AI就能自动识别、检测、定量计算和生成报告，并将检测结果实时显示到医生所看目镜中，及时提醒又不打断医生阅片流程，能提高医生的诊断效率和准确度。
结合上述介绍，本申请实施例提供的方案涉及人工智能的计算机视觉技术，具体通过如下实施例进行说明。下面将对本申请中基于病理图像的图像状态确定方法进行介绍，请参阅图3，本申请实施例中基于病理图像的图像状态确定方法一个实施例包括：
101、获取病理图像集合，其中，病理图像集合至少包括待评估图像以及关联图像，关联图像为待评估图像相邻的前一帧图像；
本实施例中，由终端设备通过相机采集病理图像集合，图像状态确定装置获取病理图像集合，其中，病理图像集合包括多张连续的图像，即至少包括一张待评估图像以及多张关联图像，关联图像是指在待评估图像之前相邻的前几帧图像。
可以理解的是，图像状态确定装置可以部署于终端设备上，比如部署于智能显微镜，也可以部署于服务器上，此处不做限定。
102、根据病理图像集合确定待评估图像所对应的第一状态信息，其中，第一状态信息用于表示待评估图像的移动变化情况；
本实施例中，图像状态确定装置对待评估图像进行移动状态的评估，从而得到第一状态信息，该第一状态信息用于表示待评估图像的移动变化情况。可以理解的是，评估移动状态需要采用病理图像集合中至少三帧图像，即包括待评估图像、待评估图像的上一帧图像以及待评估图像的上上帧图像。
103、若第一状态信息为静止状态，则根据病理图像集合确定待评估图像所对应的第二状态信息，其中，第二状态信息用于表示待评估图像的清晰度变化情况。
本实施例中，如果图像状态确定装置确定第一状态信息为静止状态，那么继续对待评估图像进行清晰状态的评估，从而得到第二状态信息，该第二状态信息表示待评估图像的清晰度变化情况。可以理解的是，评估清晰度状态需要采用病理图像集合中至少两帧图像，即包括待评估图像以及待评估图像的上一帧图像。
为了便于理解，请参阅表1，表1为基于显微镜操作的图像状态的定义和描述示意。
表1
Figure GDA0002764965460000081
其中，第一状态信息包括四个类型的状态，分别为静止状态、移动状态、移动状态转换至静止状态以及静止状态转换至移动状态，第二状态信息包括两个类型的状态，分别为调焦(清晰状态转换至模糊状态)状态以及调焦(模糊状态转换至清晰状态)状态。基于上述定义六种状态可以真实反映医生正在对显微镜进行的操作和显微镜视野的变化，从而对图像进行实时评估。
本申请实施例中，提供了一种基于病理图像的图像状态确定方法，首先获取病理图像集合，其中，病理图像集合至少包括待评估图像以及关联图像，关联图像为待评估图像相邻的前一帧图像，然后根据病理图像集合确定待评估图像所对应的第一状态信息，其中，第一状态信息用于表示待评估图像的移动变化情况，如果第一状态信息为静止状态，则根据病理图像集合确定待评估图像所对应的第二状态信息，其中，第二状态信息用于表示待评估图像的清晰度变化情况。通过上述方式，能够对采集到的图像进行移动状态评估以及清晰度状态评估，由此确定不同图像的图像状态，而图像状态往往反映了用户操作对图像视野的变化，在很多不同的任务中发挥非常重要的作用，从而可以基于不同的图像状态对图像进行合理的操作，降低了图像处理的难度，提升了任务处理效率。
可选地，在上述图3对应的实施例的基础上，本申请实施例提供的基于病理图像的图像状态确定方法第一个可选实施例中，根据病理图像集合确定待评估图像所对应的第一状态信息，可以包括：
获取待评估图像与第一关联图像的相似度，其中，第一关联图像属于病理图像集合，且第一关联图像为待评估图像相邻的上一个图像；
若待评估图像与第一关联图像的相似度大于相似度阈值，则获取第一关联图像与第二关联图像的相似度，其中，第二关联图像属于病理图像集合，且第二关联图像为第一关联图像相邻的上一个图像；
若第一关联图像与第二关联图像的相似度大于相似度阈值，则确定第一状态信息为静止状态；
若第一关联图像与第二关联图像的相似度小于或等于相似度阈值，则确定第一状态信息为移动状态转换至静止状态。
本实施例中，介绍了一种基于相似度计算的第一状态信息确定方式。为了便于说明，请参阅图4，图4为本申请实施例中图像移动评估的一个流程图示意图，如图所示，在步骤A1中，通过显微镜相机采集多帧连续的图像。在步骤A2中，判断当前图像(即待评估图像)相对上一幅图像(第一关联图像)是否发生移动，判断的方式为，获取待评估图像与第一关联图像的相似度，如果待评估图像与第一关联图像的相似度大于相似度阈值，则确定待评估图像与第一关联图像未发生移动，此时执行步骤A3，在步骤A3中，判断上一幅图像(即第一关联图像)相对上上一幅图像(第二关联图像)是否发生移动，判断的方式为，获取第一关联图像与第二关联图像的相似度，如果第一关联图像与第二关联图像的相似度大于相似度阈值，则确定第一关联图像与第二关联图像未发生移动，此时执行步骤A4。如果第一关联图像与第二关联图像的相似度小于或等于相似度阈值，则确定第一关联图像与第二关联图像发生移动，此时执行步骤A5。
其中，在步骤A4中确定当前图像(即待评估图像)的第一状态信息为静止状态。在步骤A5中确定当前图像(即待评估图像)的第一状态信息为移动状态转为静止状态。
可以理解的是，相似度阈值可以设置为0.9，也可以设置为其他参数，此次不做限定。
其次，本申请实施例中，提供了一种确定第一状态信息的方法，通过上述方式，能够基于相似度来评价两个图像之间的关联性，从而为方案提供合理且可靠的实现方式。
可选地，在上述图3或图3对应的第一个实施例的基础上，本申请实施例提供的基于病理图像的图像状态确定方法第二个可选实施例中，根据病理图像集合确定待评估图像所对应的第一状态信息，包括：
获取待评估图像与第一关联图像的相似度，其中，第一关联图像属于病理图像集合，且第一关联图像为待评估图像相邻的上一个图像；
若待评估图像与第一关联图像的相似度小于或等于相似度阈值，则获取第一关联图像与第二关联图像的相似度，其中，第二关联图像属于病理图像集合，且第二关联图像为第一关联图像相邻的上一个图像；
若第一关联图像与第二关联图像的相似度大于相似度阈值，则确定第一状态信息为静止状态转换至移动状态；
若第一关联图像与第二关联图像的相似度小于或等于相似度阈值，则确定第一状态信息为移动状态。
本实施例中，介绍了一种基于相似度计算的第一状态信息确定方式。为了便于说明，请再次参阅图4，图4为本申请实施例中图像移动评估的一个流程图示意图，如图所示，在步骤A1中，通过显微镜相机采集多帧连续的图像。在步骤A2中，判断当前图像(即待评估图像)相对上一幅图像(第一关联图像)是否发生移动，判断的方式为，获取待评估图像与第一关联图像的相似度，如果待评估图像与第一关联图像的相似度小于或等于相似度阈值，则确定待评估图像与第一关联图像发生移动，此时执行步骤A6，在步骤A6中，判断上一幅图像(即第一关联图像)相对上上一幅图像(第二关联图像)是否发生移动，判断的方式为，获取第一关联图像与第二关联图像的相似度，如果第一关联图像与第二关联图像的相似度大于相似度阈值，则确定第一关联图像与第二关联图像未发生移动，此时执行步骤A7。如果第一关联图像与第二关联图像的相似度小于或等于相似度阈值，则确定第一关联图像与第二关联图像发生移动，此时执行步骤A8。
其中，在步骤A7中确定当前图像(即待评估图像)的第一状态信息为静止状态转为移动状态。在步骤A8中确定当前图像(即待评估图像)的第一状态信息为移动状态。
可以理解的是，相似度阈值可以设置为0.9，也可以设置为其他参数，此次不做限定。
其次，本申请实施例中，提供了一种确定第一状态信息的方法，通过上述方式，能够基于相似度来评价两个图像之间的关联性，从而为方案提供合理且可靠的实现方式。
可选地，在上述图3、图3对应的第一个或第二个实施例的基础上，本申请实施例提供的基于病理图像的图像状态确定方法第三个可选实施例中，获取待评估图像与第一关联图像的相似度，可以包括：
根据待评估图像确定源区域病理图像集合，其中，源区域病理图像集合包括M个源区域图像，M为大于1的整数；
根据第一关联图像确定目标区域病理图像集合，其中，目标区域病理图像集合包括M个目标区域图像，目标区域图像的尺寸小于源区域图像的尺寸；
若第一源区域图像与第一目标区域图像均属于背景图像，则检测第二源区域图像以及第二目标区域图像是否属于背景图像，其中，第一源区域图像以及第二源区域图像属于源区域病理图像集合，第一目标区域图像以及第二目标区域图像属于目标区域病理图像集合；
若第一源区域图像与第一目标区域图像不都属于背景图像，则计算第一源区域图像与第一目标区域图像的相似度。
本实施例中，介绍了一种获取图像之间相似度的方法。首先，从待评估图像中选定M个源区域图像，M个源区域图像组成源区域病理图像集合。为了便于介绍，请参阅图5，图5为本申请实施例中源区域图像的图像中心一个坐标示意图，如图所示，假设为待评估图像选定9个源区域图像，每个源区域图像相对于整个待评估图像的坐标依次为图像中心E(0.50,0.50)、图像左上A(0.25,0.25)、图像左下G(0.25,0.75)、图像右上C(0.75,0.25)、图像右下I(0.75,0.75)、图像上侧B(0.50,0.25)、图像右侧F(0.75,0.50)、图像下侧H(0.50,0.75)以及图像左侧(0.25,0.50)，其中，每个源区域图像的尺寸为W*H。
从第一关联图像中选定M个目标区域图像，M个目标区域图像组成目标区域病理图像集合，其中，假设为目标区域图像选定9个目标区域图像，每个源区域图像相对于整个待评估图像的坐标依次为图像中心E(0.50,0.50)、图像左上A(0.25,0.25)、图像左下G(0.25,0.75)、图像右上C(0.75,0.25)、图像右下I(0.75,0.75)、图像上侧B(0.50,0.25)、图像右侧F(0.75,0.50)、图像下侧H(0.50,0.75)以及图像左侧(0.25,0.50)，其中，每个目标区域图像的尺寸为w*h，且需要满足W>w，H>h，例如可以设置W＝H＝96，w＝h＝64，请参阅图6，图6为本申请实施例中源区域图像与目标区域图像的一个对比示意图，如图所示，以E为图像中心，大矩形对应的一个源区域图像，小矩形对应一个目标区域图像。
具体地，假设M为9，于是需要遍历9个区域图像的中心，若初始设定i＝0，第i次循环需要根据区域图像的尺寸以及第i个中心坐标，分别从待评估图像中抽取第一源区域图像，并且从第一关联图像中抽取第一目标区域图像进行检测，检测方式可以将第一目标区域图像作为滑动窗口的大小，在第一源区域图像上进行模板匹配，如果检测第一源区域图像与第一目标区域图像均属于背景图像，则设置i＝i+1，即开始下一轮遍历，检测第二源区域图像以及第二目标区域图像是否属于背景图像。反之，如果第一源区域图像不属于背景图像，或者第一目标区域图像不属于背景图像，或者两者均不属于背景图像，那么使用模板匹配方法计算这两个区域图像之间的相似度。如果计算得到的相似度大于相似度阈值，则认为前后两帧图像没有发生移动，如果计算得到的相似度小于或等于相似度阈值，则认为前后两帧图像发生移动，不论哪一种情况都终止遍历。
如果M个源区域图像以及目标区域图像都是背景图像，则认为这两帧图像都是背景图像，没有发生相对移动。
需要说明的是，在实际应用中，第一关联图像与第二关联图像的相似度计算方式与待评估图像与第一关联图像的相似度计算方式类似，此次不做赘述。
再次，本申请实施例中，提供了一种获取图像之间相似度的方式，将图像分为若干个区域，对区域进行相似度计算，而不直接对整个图像进行相似度计算，这样一方面可以尽量保证相似度判断的准确度，如果所有的区域都是背景图像，那么整个图像很大概率不包括有用信息，另一方面，区域的尺寸远远小于整个图像的尺寸，即使模版匹配方法的时间复杂度较高，但也可以在较短的时间内完成评估。
可选地，在上述图3以及图3对应的第一个至第三个实施例中任一项的基础上，本申请实施例提供的基于病理图像的图像状态确定方法第四个可选实施例中，检测第二源区域图像以及第二目标区域图像是否属于背景图像，可以包括：
计算第二源区域图像的像素值标准差；
若第二源区域图像的像素值标准差小于或等于标准差阈值，则确定第二源区域图像属于背景图像；
计算第二目标区域图像的像素值标准差；
若第二目标区域图像的像素值标准差小于或等于标准差阈值，则确定第二目标区域图像属于背景图像。
本实施例中，介绍一种背景图像的判断方式。如果源区域图像以及目标区域图像是红绿蓝(red green blue，RGB)图像，则需要先转换为灰度图像。基于灰度图像，分别计算目标区域图像的像素值标准差以及源区域图像的像素值标准差。如果像素值标准差小于或等于给定的标准差阈值，则该区域图像是背景图像。像素值标准差的计算方式如下：
Figure GDA0002764965460000121
其中，δ表示像素值标准差，Q×T表示区域图像的大小，P(i,j)表示区域图像中第i行第j列的像素值，μ表示均值。
进一步地，本申请实施例中，提供了一种检测背景图像的方式，利用像素值标准差可以更好地表示图像的变化情况，真实地反映图像内各个像素之间的离散程度，从而提升检测的准确性。
可选地，在上述图3以及图3对应的第一个至第四个实施例中任一项的基础上，本申请实施例提供的基于病理图像的图像状态确定方法第五个可选实施例中，计算第一源区域图像与第一目标区域图像的相似度，可以包括：
根据第一源区域图像与第一目标区域图像，计算得到图像矩阵，其中，图像矩阵包括多个元素；
根据图像矩阵确定第一源区域图像与第一目标区域图像的相似度，其中，第一源区域图像与第一目标区域图像的相似度为图像矩阵中元素的最大值。
本实施例中，介绍了一种计算区域图像之间相似度的方式，本申请以第一源区域图像与第一目标区域图像为例进行介绍，在实际应用中，对于每个源区域图像与每个目标区域图像均可以采用相同的处理方式。
具体地，对于源区域图像与目标区域图像而言，目标区域图像(w*h)的尺寸小于源区域图像(W*H)的尺寸，且目标区域图像需要滑动遍历整个源区域图像，于是，在水平方向需要滑动遍历(W–w+1)次，在垂直方向上需要滑动遍历(H–h+1)次，因此模板匹配得到的结果是一个尺寸为(W–w+1)*(H–h+1)的图像矩阵，记为R，可采用如下方式计算图像矩阵：
Figure GDA0002764965460000131
其中，
Figure GDA0002764965460000132
Figure GDA0002764965460000133
其中，R(x,y)表示矩阵R在(x,y)处的元素值，I1表示源区域图像，I1'表示归一化处理后的源区域图像，I2表示目标区域图像，I'2表示归一化处理后的目标区域图像，x的取值范围为大于或等于0，且小于或等于(W-w)的整数，y的取值范围为大于或等于0，且小于或等于(H-h)的整数，x'的取值范围为大于或等于0，且小于或等于w的整数，y'的取值范围为大于或等于0，且小于或等于h的整数，只对目标区域图像中起点为(x,y)，尺寸为w*h的区域进行操作，而对源区域图像的整个图像进行操作。
图像矩阵中的元素的取值范围为0至1，选取其中最大的值作为两幅图像的相似度，相似度越大表示两个图越相似。可以理解的是，本申请采用的模板匹配算法为归一化相关系数匹配法(TM_CCOEFF_NORMED)，在实际应用中，还可以采用平方差匹配法(CV_TM_SQDIFF)、归一化平方差匹配法(CV_TM_SQDIFF_NORMED)、相关匹配法(CV_TM_CCORR)、归一化相关匹配法(CV_TM_CCORR_NORMED)或者相关系数匹配法(CV_TM_CCOEFF)。
模板匹配算法可以有效地区分显微镜视野移动和抖动。地面或者桌面晃动会带来显微镜视野抖动，造成连续两幅图像有一个微小的偏移，而人为的移动带来的偏移通常很大。因此在使用模版匹配方法时，需要合理地设置W*H和w*h，可以近似地认为水平方向小于(W-w)/2且垂直方向小于(H-h)/2的偏移属于抖动，而水平方向大于等于(W-w)/2或垂直方向大于等于(H-h)/2的偏移属于移动。
进一步地，本申请实施例中，提供了一种区域图像之间相似度的计算方式，为方案的实现提供了具体的操作方式，从而提升方案的可行性和可操作性。
可选地，在上述图3以及图3对应的第一个至第五个实施例中任一项的基础上，本申请实施例提供的基于病理图像的图像状态确定方法第六个可选实施例中，根据病理图像集合确定待评估图像所对应的第二状态信息，可以包括：
获取待评估图像的清晰度与第一关联图像的清晰度，其中，第一关联图像属于病理图像集合，且第一关联图像为待评估图像相邻的上一个图像；
若待评估图像的清晰度与第一关联图像的清晰度满足第一预设条件，则获取基准图像的清晰度；
若基准图像的清晰度与待评估图像的清晰度满足第二预设条件，则确定第二状态信息为调焦状态，其中，调焦状态为清晰状态转换至模糊状态，或模糊状态转换至清晰状态。
本实施例中，介绍了一种图像清晰评估的方法，为了便于说明，请参阅图7，图7为本申请实施例中图像清晰评估的一个流程图示意图，如图所示，具体地，在步骤B1中，通过显微镜相机采集多帧连续的图像。在步骤B2中，判断当前图像(即待评估图像)相对上一幅图像(第一关联图像)的清晰度是否发生改变，判断的方式为，首先获取待评估图像的清晰度与第一关联图像的清晰度，然后判断待评估图像的清晰度与第一关联图像的清晰度是否满足第一预设条件，如果满足第一预设条件，则确定待评估图像的清晰度与第一关联图像的清晰度发生改变，此时执行步骤B3。反正，如果不满足第一预设条件，则确定待评估图像的清晰度与第一关联图像的清晰度没有改变，此时执行步骤B4。步骤B4中确定当前图像(即待评估图像)为静止状态。在步骤B3中，判断当前图像(即待评估图像)相对基准图像的清晰度是否发生改变，判断的方式为，首先获取基准图像的清晰度，然后判断基准图像的清晰度与待评估图像的清晰度是否满足第二预设条件，如果满足第二预设条件，则确定第二状态信息为调焦状态，此时，如果图像变模糊，则执行步骤B5，确定调焦状态为清晰状态转换至模糊状态。如果图像变清晰，则执行步骤B6，确定调焦状态为模糊状态转换至清晰状态。如果不满足第二预设条件，则指标步骤B7，即确定第二状态信息为静止状态。
基于步骤B4、步骤B5和步骤B6的情况，可以将基准图像更新为当前图像(即待评估图像)。
其次，本申请实施例中，提供了一种实时评估图像清晰度的方法，即通过基准图像和双阈值能够解决图像清晰度对外界环境变化敏感的问题，从而能够更加可靠地推断出是否正在对设备进行调焦。
可选地，在上述图3以及图3对应的第一个至第六个实施例中任一项的基础上，本申请实施例提供的基于病理图像的图像状态确定方法第七个可选实施例中，获取待评估图像的清晰度与第一关联图像的清晰度之后，还可以包括：
若待评估图像的清晰度与第一关联图像的清晰度未满足第一预设条件，则将基准图像更新为待评估图像；
若基准图像的清晰度与待评估图像的清晰度未满足第二预设条件，则更新基准图像的清晰度；
确定第二状态信息为调焦状态之后，还可以包括：
将基准图像更新为待评估图像。
本实施例中，图像清晰度对外界环境变化比较敏感，设备的抖动或者相机自我调节(比如自动曝光或者自动白平衡等)都会带来图像清晰度的较大改变。本申请可以通过以下手段来解决该问题。
具体地，使用图像的拉普拉斯(Laplacian)矩阵的标准差作为图像清晰度。Laplacian矩阵刻画了图像的轮廓信息，当显微镜视野保持不变时，Laplacian矩阵的标准差越大，图像轮廓越清晰，图像清晰度就越大。处理采用Laplacian矩阵的标准差作为图像清晰度，也可以采用其他的指标，例如Laplacian矩阵的平均值或者信息熵等。
在图像处理中，可以使用如下3*3的模板对图像进行卷积操作，生成图像的Laplacian矩阵，该模板为：
Figure GDA0002764965460000151
Laplacian矩阵抽取了图像的边缘信息。图像越清晰，图像的边缘就越清晰，Laplacian矩阵中元素的取值波动就越大(边界处元素的取值越大)，标准差就越大。
在获取到待评估图像的清晰度与第一关联图像的清晰度之后，如果待评估图像的清晰度与第一关联图像的清晰度未满足第一预设条件，则将基准(Benchmark)图像更新为待评估图像。使用Benchmark图像和连续两幅图像进行评估，当待评估图像和基准图像的清晰度差异小于给的清晰度阈值(即基准图像的清晰度与待评估图像的清晰度未满足第二预设条件)时，可能的情况包括医生没有调焦、医生调焦幅度太小、显微镜抖或者相机自我调节等。此时不需要更新基准图像，而是继续累计基准图像的清晰度，以便做出更准确的推断。累计的方式为清晰度+a或者清晰度－b，a和b为正数。
可以理解的是，第一预设条件可以是待评估图像的清晰度与第一关联图像的清晰度之差大于或等于清晰度阈值，第二预设条件可以是基准图像的清晰度与待评估图像的清晰度大于或等于清晰度阈值。
再次，本申请实施例中，提供了一种双阈值的检测方式，使用基准图像和连续两幅图像进行评估，当前图像和基准图像的清晰度差异小于给的阈值时，可能的情况包括医生没有调焦、医生调焦幅度太小、显微镜抖动或者相机自我调节等情况，这个时候不需要更新基准图像，而是继续累计基准图像的清晰度差异，从而有利于得到更准确的检测结果。
可选地，在上述图3以及图3对应的第一个至第七个实施例中任一项的基础上，本申请实施例提供的基于病理图像的图像状态确定方法第八个可选实施例中，获取待评估图像的清晰度与第一关联图像的清晰度之后，还可以包括：
判断待评估图像的清晰度与第一关联图像的清晰度之差是否大于或等于第一清晰度阈值；
若待评估图像的清晰度与第一关联图像的清晰度之差大于或等于第一清晰度阈值，则确定待评估图像的清晰度与第一关联图像的清晰度满足第一预设条件；
若待评估图像的清晰度与第一关联图像的清晰度之差小于第一清晰度阈值，则判断基准图像的清晰度与待评估图像的清晰度之差是否大于或等于第二清晰度阈值，其中，第二清晰度阈值大于第一清晰度阈值；
若基准图像的清晰度与待评估图像的清晰度之差大于或等于第二清晰度阈值，则确定基准图像的清晰度与待评估图像的清晰度满足第二预设条件。
本实施例中，图像清晰度对外界环境变化比较敏感，设备的抖动或者相机自我调节(比如自动曝光或者自动白平衡等)都会带来图像清晰度的较大改变。本申请可以通过以下手段来解决该问题。
具体地，在本申请中引入双阈值，即引入第一清晰度阈值和第二清晰度阈值，当对比当前图像和上一幅图像的清晰度时使用第一清晰度阈值，即判断待评估图像的清晰度与第一关联图像的清晰度之差是否大于或等于第一清晰度阈值，如果待评估图像的清晰度与第一关联图像的清晰度之差大于或等于第一清晰度阈值，则确定待评估图像的清晰度与第一关联图像的清晰度满足第一预设条件。反之，则不满足第一预设条件。
对比当前图像和基准图像的清晰度时使用高阈值，即判断待评估图像的清晰度与基准图像的清晰度之差大于或等于第二清晰度阈值，如果基准图像的清晰度与待评估图像的清晰度之差大于或等于第二清晰度阈值，则确定基准图像的清晰度与待评估图像的清晰度满足第二预设条件。反之，则不满足第二预设条件。
由于抖动对模糊改变很大，大于第一清晰度阈值时无法推断是医生正在调焦还是显微镜的抖动，只有清晰度的差异大于第二清晰度阈值时，才可以推断医生正在调焦。因此，使用低阈值推断医生没有对显微镜调焦，而使用高阈值推断医生正在对显微镜调焦是更加可靠的。
需要说明的是，第一清晰度阈值可以设置为0.02，第一清晰度阈值为低阈值，第二清晰度阈值可以设置为0.1，第二清晰度阈值为高阈值，在实际应用中，还可以设置为其他参数，此次不做限定。
再次，本申请实施例中，提供了一种双阈值的检测方式，当对比当前图像和上一幅图像的清晰度时使用低阈值，当对比当前图像和基准图像的清晰度时使用高阈值，使用低阈值可以推断医生没有对显微镜调焦，而使用高阈值推断医生正在对显微镜调焦，从而提升清晰度检测的可靠性。
结合上述介绍，下面将对本申请中基于病理图像的处理方法进行介绍，请参阅图8，本申请实施例中基于病理图像的处理方法一个实施例包括：
201、获取病理图像集合，其中，病理图像集合包括待评估图像、第一关联图像以及第二关联图像，第一关联图像为待评估图像相邻的上一个图像，第二关联图像为第一关联图像相邻的上一个图像；
本实施例中，由智能显微镜通过相机采集病理图像集合，从而获取到病理图像集合，其中，病理图像集合包括多张连续的病理图像，即至少包括一张待评估图像以及多张关联图像，关联图像是指在待评估图像之前相邻的前几帧图像，即第一关联图像为待评估图像相邻的上一个图像，第二关联图像为第一关联图像相邻的上一个图像。
可以理解的是，智能显微镜也可以将病理图像集合发送给服务器，由服务器判断待评估图像所对应的图像状态。
202、根据病理图像集合确定待评估图像所对应的第一状态信息，其中，第一状态信息用于表示待评估图像的移动变化情况；
本实施例中，智能显微镜或者服务器对待评估图像进行移动状态的评估，从而得到第一状态信息，该第一状态信息用于表示待评估图像的移动变化情况。可以理解的是，评估移动状态需要采用病理图像集合中至少三帧病理图像，即包括待评估图像、待评估图像的上一帧病理图像(即第一关联图像)以及待评估图像的上上帧病理图像(即第二关联图像)。
203、若第一状态信息为移动状态转换至静止状态，则存储待评估图像；
本实施例中，如果确定待评估图像的第一状态信息为移动状态转换至静止状态，则将存储该待评估图像。
204、若第一状态信息为静止状态，则根据病理图像集合确定待评估图像所对应的第二状态信息，其中，第二状态信息用于表示待评估图像的清晰度变化情况；
本实施例中，如果确定待评估图像的第一状态信息为静止状态，那么继续对待评估图像进行清晰状态的评估，从而得到第二状态信息，该第二状态信息表示待评估图像的清晰度变化情况。可以理解的是，评估清晰度状态需要采用病理图像集合中至少两帧病理图像，即包括待评估图像以及待评估图像的上一帧病理图像(即第一关联图像)。
205、若第二状态信息为模糊状态转换至清晰状态，则存储待评估图像。
本实施例中，如果确定待评估图像的第二状态信息为模糊状态转换至清晰状态，则将存储该待评估图像。
为了便于介绍，请参阅图9，图9为本申请实施例中自动保存图像任务的一个流程图示意图，如图所示，首先通过智能显微镜的相机采集到大量的病理图像，然后对这些病理图像进行图像状态的评估，即评估移动状态以及清晰度状态，基于评估结果，可以得到6种图像状态下的病理图像，包括静止状态、移动状态、移动状态转换至静止状态、静止状态转换至移动状态、调焦(清晰状态转换至模糊状态)状态以及调焦(模糊状态转换至清晰状态)状态。在实际应用中，仅存储移动状态转换至静止状态下的病理图像，以及调焦(模糊状态转换至清晰状态)状态下的病理图像即可，至此，完成病理图像的自动保存。
本申请实施例中，提供了一种基于病理图像的处理方法，可以自动保存智能显微镜采集到的病理图像，用于后续的病理报告、交流和备份等。基于自动保存图像的任务，对病理图像集合进行筛选，只需要保存移动状态转换至静止状态的图像，和模糊状态转换至清晰状态的图像，因为其它状态的图像是冗余的或者低质量的，通过上述方式，一方面不需要医务人员手动采图，提升了工作效率，另一方面减少了图像所占用的存储空间。
结合上述介绍，下面将对本申请中基于病理图像的处理方法进行介绍，请参阅图10，本申请实施例中基于病理图像的处理方法一个实施例包括：
301、获取病理图像集合，其中，病理图像集合包括待评估图像、第一关联图像以及第二关联图像，第一关联图像为待评估图像相邻的上一个图像，第二关联图像为第一关联图像相邻的上一个图像；
本实施例中，由智能显微镜通过相机采集病理图像集合，从而获取到病理图像集合，其中，病理图像集合包括多张连续的病理图像，即至少包括一张待评估图像以及多张关联图像，关联图像是指在待评估图像之前相邻的前几帧图像，即第一关联图像为待评估图像相邻的上一个图像，第二关联图像为第一关联图像相邻的上一个图像。
可以理解的是，智能显微镜也可以将病理图像集合发送给服务器，由服务器判断待评估图像所对应的图像状态。
302、根据病理图像集合确定待评估图像所对应的第一状态信息，其中，第一状态信息用于表示待评估图像的移动变化情况；
本实施例中，智能显微镜或者服务器对待评估图像进行移动状态的评估，从而得到第一状态信息，该第一状态信息用于表示待评估图像的移动变化情况。可以理解的是，评估移动状态需要采用病理图像集合中至少三帧病理图像，即包括待评估图像、待评估图像的上一帧病理图像(即第一关联图像)以及待评估图像的上上帧病理图像(即第二关联图像)。
303、若第一状态信息为移动状态转换至静止状态，则对待评估图像进行人工智能诊断；
本实施例中，如果确定待评估图像的第一状态信息为移动状态转换至静止状态，则对该待评估图像进行AI辅助诊断。
其中，诊断决策支持***(clinical decision support system)是用于辅助医生在诊断时进行决策的支持***，该***通过对病患的数据进行分析，为医生给出诊断建议，医生再结合自己的专业进行判断，从而使诊断更快且更精准。AI在诊断领域的应用主要针对放射科医师增长速率不及影像数据增长速度，医疗人才资源分配不均，误诊率较高。AI可用于对病例数据进行分析，为患者更可靠的提供诊断建议，为医师节省时间。
304、若第一状态信息为静止状态，则根据病理图像集合确定待评估图像所对应的第二状态信息，其中，第二状态信息用于表示待评估图像的清晰度变化情况；
本实施例中，如果确定待评估图像的第一状态信息为静止状态，那么继续对待评估图像进行清晰状态的评估，从而得到第二状态信息，该第二状态信息表示待评估图像的清晰度变化情况。可以理解的是，评估清晰度状态需要采用病理图像集合中至少两帧病理图像，即包括待评估图像以及待评估图像的上一帧病理图像(即第一关联图像)。
305、若第二状态信息为模糊状态转换至清晰状态，则对待评估图像进行人工智能诊断。
本实施例中，如果确定待评估图像的第二状态信息为模糊状态转换至清晰状态，则对该待评估图像进行AI辅助诊断。
为了便于介绍，请参阅图11，图11为本申请实施例中实时人工智能辅助诊断任务的一个流程图示意图，如图所示，首先通过智能显微镜的相机采集到大量的病理图像，然后对这些病理图像进行图像状态的评估，即评估移动状态以及清晰度状态，基于评估结果，可以得到6种图像状态下的病理图像，包括静止状态、移动状态、移动状态转换至静止状态、静止状态转换至移动状态、调焦(清晰状态转换至模糊状态)状态以及调焦(模糊状态转换至清晰状态)状态。在实际应用中，仅对移动状态转换至静止状态下的病理图像，以及调焦(模糊状态转换至清晰状态)状态下的病理图像进行AI辅助诊断。
本申请实施例中，提供了一种基于病理图像的处理方法，基于图像的实时AI辅助诊断是指在医生使用病理显微镜时，实时地将相机采集的图像送入AI辅助诊断模块，并将AI辅助诊断结果反馈给医生，提升医生的工作效率。本申请可以对送入AI辅助诊断模块的图像进行筛选，只选择移动状态转换至静止状态的图像，和模糊状态转换至清晰状态的图像，这是由于这两种状态的图像是医生需要认真观察和真正感兴趣的，从而极大降低了AI辅助诊断模块的吞吐压力。
结合上述介绍，下面将对本申请中基于病理图像的处理方法进行介绍，请参阅图12，本申请实施例中基于病理图像的处理方法一个实施例包括：
401、获取病理图像集合，其中，病理图像集合包括待评估图像、第一关联图像以及第二关联图像，第一关联图像为待评估图像相邻的上一个图像，第二关联图像为第一关联图像相邻的上一个图像；
本实施例中，由智能显微镜通过相机采集病理图像集合，从而获取到病理图像集合，其中，病理图像集合包括多张连续的病理图像，即至少包括一张待评估图像以及多张关联图像，关联图像是指在待评估图像之前相邻的前几帧图像，即第一关联图像为待评估图像相邻的上一个图像，第二关联图像为第一关联图像相邻的上一个图像。
可以理解的是，智能显微镜也可以将病理图像集合发送给服务器，由服务器判断待评估图像所对应的图像状态。
402、根据病理图像集合确定待评估图像所对应的第一状态信息，其中，第一状态信息用于表示待评估图像的移动变化情况；
本实施例中，智能显微镜或者服务器对待评估图像进行移动状态的评估，从而得到第一状态信息，该第一状态信息用于表示待评估图像的移动变化情况。可以理解的是，评估移动状态需要采用病理图像集合中至少三帧病理图像，即包括待评估图像、待评估图像的上一帧病理图像(即第一关联图像)以及待评估图像的上上帧病理图像(即第二关联图像)。
403、若第一状态信息为移动状态转换至静止状态，或第一状态信息为静止状态转换至移动状态，或第一状态信息为移动状态，则传输待评估图像；
本实施例中，如果确定待评估图像的第一状态信息为非静止状态(比如移动状态转换至静止状态、静止状态转换至移动状态或移动状态)，则传输该待评估图像。
404、若第一状态信息为静止状态，则根据病理图像集合确定待评估图像所对应的第二状态信息，其中，第二状态信息用于表示待评估图像的清晰度变化情况；
本实施例中，如果确定待评估图像的第一状态信息为静止状态，那么继续对待评估图像进行清晰状态的评估，从而得到第二状态信息，该第二状态信息表示待评估图像的清晰度变化情况。可以理解的是，评估清晰度状态需要采用病理图像集合中至少两帧病理图像，即包括待评估图像以及待评估图像的上一帧病理图像(即第一关联图像)。
405、若第二状态信息为模糊状态转换至清晰状态，或第二状态信息为清晰状态转换至模糊状态，则传输待评估图像。
本实施例中，如果确定待评估图像的第二状态信息为模糊状态转换至清晰状态，或者清晰状态转换至模糊状态，则传输待评估图像。
为了便于介绍，请参阅图13，图13为本申请实施例中显微镜视野远程分享任务的一个流程图示意图，如图所示，首先通过智能显微镜的相机采集到大量的病理图像，然后对这些病理图像进行图像状态的评估，即评估移动状态以及清晰度状态，基于评估结果，可以得到6种图像状态下的病理图像，包括静止状态、移动状态、移动状态转换至静止状态、静止状态转换至移动状态、调焦(清晰状态转换至模糊状态)状态以及调焦(模糊状态转换至清晰状态)状态。在实际应用中，只要是非静止状态的病理图像，均可以进行传输。
本申请实施例中，提供了一种基于病理图像的处理方法，医院会诊或交流时，操作显微镜的医生需要把显微镜视野远程分享给其他医生查看，此时需要实时地把显微镜自带相机连续采集的病理图像通过网络传输的方式发送给对方，通过上述方式，可以在网络传输前对病理图像进行筛选，排除静止状态的病理图像，因为这种状态的病理图像是冗余的，从而降低了需要网络传输的数据量。
下面对本申请中的图像状态确定装置进行详细描述，请参阅图14，图14为本申请实施例中图像状态确定装置一个实施例示意图，图像状态确定装置50包括：
获取模块501，用于获取病理图像集合，其中，所述病理图像集合至少包括待评估图像以及关联图像，所述关联图像为所述待评估图像相邻的前一帧图像；
确定模块502，用于根据所述获取模块501获取的所述病理图像集合确定所述待评估图像所对应的第一状态信息，其中，所述第一状态信息用于表示所述待评估图像的移动变化情况；
所述确定模块502，还用于若所述第一状态信息为静止状态，则根据所述病理图像集合确定所述待评估图像所对应的第二状态信息，其中，所述第二状态信息用于表示所述待评估图像的清晰度变化情况。
本实施例中，获取模块501获取病理图像集合，其中，所述病理图像集合至少包括待评估图像以及关联图像，所述关联图像为所述待评估图像相邻的前一帧图像，确定模块502根据所述获取模块501获取的所述病理图像集合确定所述待评估图像所对应的第一状态信息，其中，所述第一状态信息用于表示所述待评估图像的移动变化情况，若所述第一状态信息为静止状态，则所述确定模块502根据所述病理图像集合确定所述待评估图像所对应的第二状态信息，其中，所述第二状态信息用于表示所述待评估图像的清晰度变化情况。
本申请实施例中，提供了一种图像状态确定装置，首先获取病理图像集合，其中，病理图像集合至少包括待评估图像以及关联图像，关联图像为待评估图像相邻的前一帧图像，然后根据病理图像集合确定待评估图像所对应的第一状态信息，其中，第一状态信息用于表示待评估图像的移动变化情况，如果第一状态信息为静止状态，则根据病理图像集合确定待评估图像所对应的第二状态信息，其中，第二状态信息用于表示待评估图像的清晰度变化情况。通过上述方式，能够对采集到的图像进行移动状态评估以及清晰度状态评估，由此确定不同图像的图像状态，而图像状态往往反映了用户操作对图像视野的变化，在很多不同的任务中发挥非常重要的作用，从而可以基于不同的图像状态对图像进行合理的操作，降低了图像处理的难度，提升了任务处理效率。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像状态确定装置50的另一实施例中，
所述确定模块502，具体用于获取所述待评估图像与第一关联图像的相似度，其中，所述第一关联图像属于所述病理图像集合，且所述第一关联图像为所述待评估图像相邻的上一个图像；
若所述待评估图像与第一关联图像的相似度大于相似度阈值，则获取所述第一关联图像与第二关联图像的相似度，其中，所述第二关联图像属于所述病理图像集合，且所述第二关联图像为所述第一关联图像相邻的上一个图像；
若所述第一关联图像与第二关联图像的相似度大于所述相似度阈值，则确定所述第一状态信息为所述静止状态；
若所述第一关联图像与第二关联图像的相似度小于或等于所述相似度阈值，则确定所述第一状态信息为移动状态转换至静止状态。
其次，本申请实施例中，提供了一种确定第一状态信息的方法，通过上述方式，能够基于相似度来评价两个图像之间的关联性，从而为方案提供合理且可靠的实现方式。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像状态确定装置50的另一实施例中，
所述确定模块502，具体用于获取所述待评估图像与第一关联图像的相似度，其中，所述第一关联图像属于所述病理图像集合，且所述第一关联图像为所述待评估图像相邻的上一个图像；
若所述待评估图像与第一关联图像的相似度小于或等于相似度阈值，则获取所述第一关联图像与第二关联图像的相似度，其中，所述第二关联图像属于所述病理图像集合，且所述第二关联图像为所述第一关联图像相邻的上一个图像；
若所述第一关联图像与第二关联图像的相似度大于所述相似度阈值，则确定所述第一状态信息为静止状态转换至移动状态；
若所述第一关联图像与第二关联图像的相似度小于或等于所述相似度阈值，则确定所述第一状态信息为移动状态。
其次，本申请实施例中，提供了一种确定第一状态信息的方法，通过上述方式，能够基于相似度来评价两个图像之间的关联性，从而为方案提供合理且可靠的实现方式。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像状态确定装置50的另一实施例中，
所述确定模块502，具体用于根据所述待评估图像确定源区域病理图像集合，其中，所述源区域病理图像集合包括M个源区域图像，所述M为大于1的整数；
根据所述第一关联图像确定目标区域病理图像集合，其中，所述目标区域病理图像集合包括M个目标区域图像，所述目标区域图像的尺寸小于所述源区域图像的尺寸；
若第一源区域图像与第一目标区域图像均属于背景图像，则检测第二源区域图像以及第二目标区域图像是否属于所述背景图像，其中，所述第一源区域图像以及所述第二源区域图像属于所述源区域病理图像集合，所述第一目标区域图像以及所述第二目标区域图像属于所述目标区域病理图像集合；
若所述第一源区域图像与所述第一目标区域图像不都属于所述背景图像，则计算所述第一源区域图像与所述第一目标区域图像的相似度。
再次，本申请实施例中，提供了一种获取图像之间相似度的方式，将图像分为若干个区域，对区域进行相似度计算，而不直接对整个图像进行相似度计算，这样一方面可以尽量保证相似度判断的准确度，如果所有的区域都是背景图像，那么整个图像很大概率不包括有用信息，另一方面，区域的尺寸远远小于整个图像的尺寸，即使模版匹配方法的时间复杂度较高，但也可以在较短的时间内完成评估。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像状态确定装置50的另一实施例中，
所述确定模块502，具体用于计算所述第二源区域图像的像素值标准差；
若所述第二源区域图像的像素值标准差小于或等于标准差阈值，则确定所述第二源区域图像属于所述背景图像；
计算所述第二目标区域图像的像素值标准差；
若所述第二目标区域图像的像素值标准差小于或等于所述标准差阈值，则确定所述第二目标区域图像属于所述背景图像。
进一步地，本申请实施例中，提供了一种检测背景图像的方式，利用像素值标准差可以更好地表示图像的变化情况，真实地反映图像内各个像素之间的离散程度，从而提升检测的准确性。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像状态确定装置50的另一实施例中，
所述确定模块502，具体用于根据所述第一源区域图像与所述第一目标区域图像，计算得到图像矩阵，其中，所述图像矩阵包括多个元素；
根据所述图像矩阵确定所述第一源区域图像与所述第一目标区域图像的相似度，其中，所述第一源区域图像与所述第一目标区域图像的相似度为所述图像矩阵中元素的最大值。
进一步地，本申请实施例中，提供了一种区域图像之间相似度的计算方式，为方案的实现提供了具体的操作方式，从而提升方案的可行性和可操作性。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像状态确定装置50的另一实施例中，
所述确定模块502，具体用于获取所述待评估图像的清晰度与第一关联图像的清晰度，其中，所述第一关联图像属于所述病理图像集合，且所述第一关联图像为所述待评估图像相邻的上一个图像；
若所述待评估图像的清晰度与所述第一关联图像的清晰度满足第一预设条件，则获取基准图像的清晰度；
若所述基准图像的清晰度与所述待评估图像的清晰度满足第二预设条件，则确定所述第二状态信息为调焦状态，其中，所述调焦状态为清晰状态转换至模糊状态，或模糊状态转换至清晰状态。
其次，本申请实施例中，提供了一种实时评估图像清晰度的方法，即通过基准图像和双阈值能够解决图像清晰度对外界环境变化敏感的问题，从而能够更加可靠地推断出是否正在对设备进行调焦。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像状态确定装置50的另一实施例中，
所述确定模块502，具体用于获取所述待评估图像的清晰度与第一关联图像的清晰度之后，若所述待评估图像的清晰度与所述第一关联图像的清晰度未满足所述第一预设条件，则将所述基准图像更新为所述待评估图像；
若所述基准图像的清晰度与所述待评估图像的清晰度未满足所述第二预设条件，则更新所述基准图像的清晰度；
确定所述第二状态信息为调焦状态之后，将所述基准图像更新为所述待评估图像。
再次，本申请实施例中，提供了一种双阈值的检测方式，使用基准图像和连续两幅图像进行评估，当前图像和基准图像的清晰度差异小于给的阈值时，可能的情况包括医生没有调焦、医生调焦幅度太小、显微镜抖动或者相机自我调节等情况，这个时候不需要更新基准图像，而是继续累计基准图像的清晰度差异，从而有利于得到更准确的检测结果。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像状态确定装置50的另一实施例中，
所述确定模块502，具体用于获取所述待评估图像的清晰度与第一关联图像的清晰度之后，判断所述待评估图像的清晰度与所述第一关联图像的清晰度之差是否大于或等于第一清晰度阈值；
若所述待评估图像的清晰度与所述第一关联图像的清晰度之差大于或等于所述第一清晰度阈值，则确定所述待评估图像的清晰度与所述第一关联图像的清晰度满足所述第一预设条件；
若所述待评估图像的清晰度与所述第一关联图像的清晰度之差小于所述第一清晰度阈值，则判断所述基准图像的清晰度与所述待评估图像的清晰度之差是否大于或等于第二清晰度阈值，其中，所述第二清晰度阈值大于所述第一清晰度阈值；
若所述基准图像的清晰度与所述待评估图像的清晰度之差大于或等于所述第二清晰度阈值，则确定所述基准图像的清晰度与所述待评估图像的清晰度满足第二预设条件。
再次，本申请实施例中，提供了一种双阈值的检测方式，当对比当前图像和上一幅图像的清晰度时使用低阈值，当对比当前图像和基准图像的清晰度时使用高阈值，使用低阈值可以推断医生没有对显微镜调焦，而使用高阈值推断医生正在对显微镜调焦，从而提升清晰度检测的可靠性。
可选地，在上述图14所对应的实施例的基础上，请参阅图15，本申请实施例提供的图像状态确定装置50的另一实施例中，所述图像状态确定装置50包括存储模块503；
所述存储模块503，用于在所述确定模块502根据所述病理图像集合确定所述待评估图像所对应的第二状态信息之后，若所述第一状态信息为移动状态转换至静止状态，则存储所述待评估图像；
若所述第二状态信息为模糊状态转换至清晰状态，则存储所述待评估图像。
本申请实施例中，提供了一种基于病理图像的处理方法，可以自动保存智能显微镜采集到的病理图像，用于后续的病理报告、交流和备份等。基于自动保存图像的任务，对病理图像集合进行筛选，只需要保存移动状态转换至静止状态的图像，和模糊状态转换至清晰状态的图像，因为其它状态的图像是冗余的或者低质量的，通过上述方式，一方面不需要医务人员手动采图，提升了工作效率，另一方面减少了图像所占用的存储空间。
可选地，在上述图14所对应的实施例的基础上，请参阅图16，本申请实施例提供的图像状态确定装置50的另一实施例中，所述图像状态确定装置50包括诊断模块504；
所述诊断模块504，用于在所述确定模块502根据所述病理图像集合确定所述待评估图像所对应的第二状态信息之后，若所述第一状态信息为移动状态转换至静止状态，则对所述待评估图像进行病理分析；
若所述第二状态信息为模糊状态转换至清晰状态，则对所述待评估图像进行所述病理分析。
本申请实施例中，提供了一种基于病理图像的处理方法，基于图像的实时AI辅助诊断是指在医生使用病理显微镜时，实时地将相机采集的图像送入AI辅助诊断模块，并将AI辅助诊断结果反馈给医生，提升医生的工作效率。本申请可以对送入AI辅助诊断模块的图像进行筛选，只选择移动状态转换至静止状态的图像，和模糊状态转换至清晰状态的图像，这是由于这两种状态的图像是医生需要认真观察和真正感兴趣的，从而极大降低了AI辅助诊断模块的吞吐压力。
可选地，在上述图14所对应的实施例的基础上，请参阅图17，本申请实施例提供的图像状态确定装置50的另一实施例中，所述图像状态确定装置50包括传输模块505；
所述传输模块505，用于在所述确定模块502根据所述病理图像集合确定所述待评估图像所对应的第二状态信息之后，若所述第一状态信息为移动状态转换至静止状态，或所述第一状态信息为静止状态转换至移动状态，或所述第一状态信息为移动状态，则传输所述待评估图像；
若所述第二状态信息为模糊状态转换至清晰状态，或所述第二状态信息为清晰状态转换至模糊状态，则传输所述待评估图像。
本申请实施例中，提供了一种基于病理图像的处理方法，医院会诊或交流时，操作显微镜的医生需要把显微镜视野远程分享给其他医生查看，此时需要实时地把显微镜自带相机连续采集的病理图像通过网络传输的方式发送给对方，通过上述方式，可以在网络传输前对病理图像进行筛选，排除静止状态的病理图像，因为这种状态的病理图像是冗余的，从而降低了需要网络传输的数据量。
本申请实施例还提供了另一种图像状态确定装置，如图18所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、销售终端设备(Point of Sales，POS)、车载电脑等任意终端设备，以终端设备为手机为例：
图18示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图18，手机包括：射频(Radio Frequency，RF)电路910、存储器920、输入单元930、显示单元940、传感器950、音频电路960、无线保真(wireless fidelity，WiFi)模块970、处理器980、以及电源990等部件。本领域技术人员可以理解，图18中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图18对手机的各个构成部件进行具体的介绍：
RF电路910可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器980处理；另外，将设计上行的数据发送给基站。通常，RF电路910包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路910还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器920可用于存储软件程序以及模块，处理器980通过运行存储在存储器920的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器920可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元930可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元930可包括触控面板931以及其他输入设备932。触控面板931，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板931上或在触控面板931附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板931可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器980，并能接收处理器980发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板931。除了触控面板931，输入单元930还可以包括其他输入设备932。具体地，其他输入设备932可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元940可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元940可包括显示面板941，可选的，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板941。进一步的，触控面板931可覆盖显示面板941，当触控面板931检测到在其上或附近的触摸操作后，传送给处理器980以确定触摸事件的类型，随后处理器980根据触摸事件的类型在显示面板941上提供相应的视觉输出。虽然在图18中，触控面板931与显示面板941是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板931与显示面板941集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器950，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板941的亮度，接近传感器可在手机移动到耳边时，关闭显示面板941和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路960、扬声器961，传声器962可提供用户与手机之间的音频接口。音频电路960可将接收到的音频数据转换后的电信号，传输到扬声器961，由扬声器961转换为声音信号输出；另一方面，传声器962将收集的声音信号转换为电信号，由音频电路960接收后转换为音频数据，再将音频数据输出处理器980处理后，经RF电路910以发送给比如另一手机，或者将音频数据输出至存储器920以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块970可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图18示出了WiFi模块970，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器980是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器920内的软件程序和/或模块，以及调用存储在存储器920内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器980可包括一个或多个处理单元；可选的，处理器980可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器980中。
手机还包括给各个部件供电的电源990(比如电池)，可选的，电源可以通过电源管理***与处理器980逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该终端设备所包括的处理器980还具有以下功能：
获取病理图像集合，其中，所述病理图像集合至少包括待评估图像以及关联图像，所述关联图像为所述待评估图像相邻的前一帧图像；
根据所述病理图像集合确定所述待评估图像所对应的第一状态信息，其中，所述第一状态信息用于表示所述待评估图像的移动变化情况；
若所述第一状态信息为静止状态，则根据所述病理图像集合确定所述待评估图像所对应的第二状态信息，其中，所述第二状态信息用于表示所述待评估图像的清晰度变化情况。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (16)

1.一种基于病理图像的图像状态确定方法，其特征在于，包括：
通过显微镜获取病理图像集合，其中，所述病理图像集合至少包括待评估图像以及关联图像，所述关联图像为所述待评估图像相邻的前N帧图像，所述N为大于或等于1的正数；
根据所述病理图像集合确定所述待评估图像所对应的第一状态信息，其中，所述第一状态信息用于表示所述待评估图像基于相邻的前两帧病理图像所对应的移动变化情况；
若所述第一状态信息为静止状态，则根据所述病理图像集合确定所述待评估图像所对应的第二状态信息，其中，所述第二状态信息用于表示所述待评估图像的清晰度变化情况，所述第二状态信息包括调焦状态，所述调焦状态为清晰状态转换至模糊状态，或模糊状态转换至清晰状态。
2.根据权利要求1所述的方法，其特征在于，所述根据所述病理图像集合确定所述待评估图像所对应的第一状态信息，包括：
获取所述待评估图像与第一关联图像的相似度，其中，所述第一关联图像属于所述病理图像集合，且所述第一关联图像为所述待评估图像相邻的上一个图像；
若所述待评估图像与第一关联图像的相似度大于相似度阈值，则获取所述第一关联图像与第二关联图像的相似度，其中，所述第二关联图像属于所述病理图像集合，且所述第二关联图像为所述第一关联图像相邻的上一个图像；
若所述第一关联图像与第二关联图像的相似度大于所述相似度阈值，则确定所述第一状态信息为所述静止状态；
若所述第一关联图像与第二关联图像的相似度小于或等于所述相似度阈值，则确定所述第一状态信息为移动状态转换至静止状态。
3.根据权利要求1所述的方法，其特征在于，所述根据所述病理图像集合确定所述待评估图像所对应的第一状态信息，包括：
获取所述待评估图像与第一关联图像的相似度，其中，所述第一关联图像属于所述病理图像集合，且所述第一关联图像为所述待评估图像相邻的上一个图像；
若所述待评估图像与第一关联图像的相似度小于或等于相似度阈值，则获取所述第一关联图像与第二关联图像的相似度，其中，所述第二关联图像属于所述病理图像集合，且所述第二关联图像为所述第一关联图像相邻的上一个图像；
若所述第一关联图像与第二关联图像的相似度大于所述相似度阈值，则确定所述第一状态信息为静止状态转换至移动状态；
若所述第一关联图像与第二关联图像的相似度小于或等于所述相似度阈值，则确定所述第一状态信息为移动状态。
4.根据权利要求2或3所述的方法，其特征在于，所述获取所述待评估图像与第一关联图像的相似度，包括：
根据所述待评估图像确定源区域病理图像集合，其中，所述源区域病理图像集合包括M个源区域图像，所述M为大于1的整数；
根据所述第一关联图像确定目标区域病理图像集合，其中，所述目标区域病理图像集合包括M个目标区域图像，所述目标区域图像的尺寸小于所述源区域图像的尺寸；
若第一源区域图像与第一目标区域图像均属于背景图像，则检测第二源区域图像以及第二目标区域图像是否属于所述背景图像，其中，所述第一源区域图像以及所述第二源区域图像属于所述源区域病理图像集合，所述第一目标区域图像以及所述第二目标区域图像属于所述目标区域病理图像集合；
若所述第一源区域图像与所述第一目标区域图像不都属于所述背景图像，则计算所述第一源区域图像与所述第一目标区域图像的相似度。
5.根据权利要求4所述的方法，其特征在于，所述检测第二源区域图像以及第二目标区域图像是否属于所述背景图像，包括：
计算所述第二源区域图像的像素值标准差；
若所述第二源区域图像的像素值标准差小于或等于标准差阈值，则确定所述第二源区域图像属于所述背景图像；
计算所述第二目标区域图像的像素值标准差；
若所述第二目标区域图像的像素值标准差小于或等于所述标准差阈值，则确定所述第二目标区域图像属于所述背景图像；
其中，所述像素值标准差的计算方式如下：
Figure FDA0002764965450000021
其中，所述δ表示所述像素值标准差，所述Q×T表示区域图像的大小，所述P(i,j)表示所述区域图像中第i行第j列的像素值，所述μ表示均值。
6.根据权利要求4所述的方法，其特征在于，所述计算所述第一源区域图像与所述第一目标区域图像的相似度，包括：
根据所述第一源区域图像与所述第一目标区域图像，计算得到图像矩阵，其中，所述图像矩阵包括多个元素；
根据所述图像矩阵确定所述第一源区域图像与所述第一目标区域图像的相似度，其中，所述第一源区域图像与所述第一目标区域图像的相似度为所述图像矩阵中元素的最大值。
7.根据权利要求1所述的方法，其特征在于，所述根据所述病理图像集合确定所述待评估图像所对应的第二状态信息，包括：
获取所述待评估图像的清晰度与第一关联图像的清晰度，其中，所述第一关联图像属于所述病理图像集合，且所述第一关联图像为所述待评估图像相邻的上一个图像；
若所述待评估图像的清晰度与所述第一关联图像的清晰度满足第一预设条件，则获取基准图像的清晰度，其中，所述第一预设条件为所述待评估图像的清晰度与所述第一关联图像的清晰度之差大于或等于第一清晰度阈值；
若所述基准图像的清晰度与所述待评估图像的清晰度满足第二预设条件，则确定所述第二状态信息为调焦状态，其中，所述第二预设条件为所述基准图像的清晰度与所述待评估图像的清晰度之差大于或等于第二清晰度阈值，所述第二清晰度阈值大于所述第一清晰度阈值。
8.根据权利要求7所述的方法，其特征在于，所述获取所述待评估图像的清晰度与第一关联图像的清晰度之后，所述方法还包括：
若所述待评估图像的清晰度与所述第一关联图像的清晰度未满足所述第一预设条件，则将所述基准图像更新为所述待评估图像；
若所述基准图像的清晰度与所述待评估图像的清晰度未满足所述第二预设条件，则更新所述基准图像的清晰度；
所述确定所述第二状态信息为调焦状态之后，所述方法还包括：
将所述基准图像更新为所述待评估图像。
9.根据权利要求7所述的方法，其特征在于，所述获取所述待评估图像的清晰度与第一关联图像的清晰度之后，所述方法还包括：
判断所述待评估图像的清晰度与所述第一关联图像的清晰度之差是否大于或等于第一清晰度阈值；
若所述待评估图像的清晰度与所述第一关联图像的清晰度之差大于或等于所述第一清晰度阈值，则确定所述待评估图像的清晰度与所述第一关联图像的清晰度满足所述第一预设条件；
若所述待评估图像的清晰度与所述第一关联图像的清晰度之差小于所述第一清晰度阈值，则判断所述基准图像的清晰度与所述待评估图像的清晰度之差是否大于或等于第二清晰度阈值，其中，所述第二清晰度阈值大于所述第一清晰度阈值；
若所述基准图像的清晰度与所述待评估图像的清晰度之差大于或等于所述第二清晰度阈值，则确定所述基准图像的清晰度与所述待评估图像的清晰度满足第二预设条件。
10.一种基于病理图像的处理方法，其特征在于，包括：
获取病理图像集合，其中，所述病理图像集合包括待评估病理图像、第一关联图像以及第二关联图像，所述第一关联图像为所述待评估图像相邻的上一个图像，所述第二关联图像为所述第一关联图像相邻的上一个图像；
根据所述病理图像集合确定所述待评估病理图像所对应的第一状态信息，其中，所述第一状态信息用于表示所述待评估病理图像的移动变化情况；
若所述第一状态信息为移动状态转换至静止状态，则自动存储所述待评估病理图像；
若所述第一状态信息为静止状态，则根据所述病理图像集合确定所述待评估病理图像所对应的第二状态信息，其中，所述第二状态信息用于表示所述待评估病理图像的清晰度变化情况，所述第二状态信息包括调焦状态，所述调焦状态为清晰状态转换至模糊状态，或模糊状态转换至清晰状态；
若所述第二状态信息为模糊状态转换至清晰状态，则自动存储所述待评估病理图像。
11.一种基于病理图像的处理方法，其特征在于，包括：
获取病理图像集合，其中，所述病理图像集合包括待评估病理图像、第一关联图像以及第二关联图像，所述第一关联图像为所述待评估图像相邻的上一个图像，所述第二关联图像为所述第一关联图像相邻的上一个图像；
根据所述病理图像集合确定所述待评估病理图像所对应的第一状态信息，其中，所述第一状态信息用于表示所述待评估病理图像的移动变化情况；
若所述第一状态信息为移动状态转换至静止状态，则对所述待评估病理图像进行病理分析或识别；
若所述第一状态信息为静止状态，则根据所述病理图像集合确定所述待评估病理图像所对应的第二状态信息，其中，所述第二状态信息用于表示所述待评估病理图像的清晰度变化情况，所述第二状态信息包括调焦状态，所述调焦状态为清晰状态转换至模糊状态，或模糊状态转换至清晰状态；
若所述第二状态信息为模糊状态转换至清晰状态，则对所述待评估病理图像进行病理分析或识别。
12.一种基于病理图像的处理方法，其特征在于，包括：
获取病理图像集合，其中，所述病理图像集合包括待评估病理图像、第一关联图像以及第二关联图像，所述第一关联图像为所述待评估图像相邻的上一个图像，所述第二关联图像为所述第一关联图像相邻的上一个图像；
根据所述病理图像集合确定所述待评估病理图像所对应的第一状态信息，其中，所述第一状态信息用于表示所述待评估病理图像的移动变化情况；
若所述第一状态信息为移动状态转换至静止状态，或所述第一状态信息为静止状态转换至移动状态，或所述第一状态信息为移动状态，则传输所述待评估病理图像；
若所述第一状态信息为静止状态，则根据所述病理图像集合确定所述待评估病理图像所对应的第二状态信息，其中，所述第二状态信息用于表示所述待评估病理图像的清晰度变化情况，所述第二状态信息包括调焦状态，所述调焦状态为清晰状态转换至模糊状态，或模糊状态转换至清晰状态；
若所述第二状态信息为模糊状态转换至清晰状态，或所述第二状态信息为清晰状态转换至模糊状态，则传输所述待评估病理图像。
13.一种医疗***，其特征在于，所述医疗***包括图像采集模块，图像处理分析模块、病理分析模块、存储模块以及传输模块；
其中，所述图像采集模块，用于通过显微镜获取病理图像集合，其中，所述病理图像集合至少包括待评估图像以及关联图像，所述关联图像为所述待评估图像相邻的前一帧图像；
所述图像处理分析模块，用于根据所述病理图像集合确定所述待评估图像所对应的第一状态信息，其中，所述第一状态信息用于表示所述待评估图像基于相邻的前两帧病理图像所对应的移动变化情况；
若所述第一状态信息为静止状态，则根据所述病理图像集合确定所述待评估图像所对应的第二状态信息，其中，所述第二状态信息用于表示所述待评估图像的清晰度变化情况，所述第二状态信息包括调焦状态，所述调焦状态为清晰状态转换至模糊状态，或模糊状态转换至清晰状态；
所述存储模块，用于若所述第一状态信息为移动状态转换至静止状态，则存储所述待评估图像；
若所述第二状态信息为模糊状态转换至清晰状态，则存储所述待评估图像；
所述病理分析模块，用于若所述第一状态信息为移动状态转换至静止状态，则对所述待评估图像进行病理分析；
若所述第二状态信息为模糊状态转换至清晰状态，则对所述待评估图像进行所述病理分析；
所述传输模块，用于若所述第一状态信息为移动状态转换至静止状态，或所述第一状态信息为静止状态转换至移动状态，或所述第一状态信息为移动状态，则传输所述待评估图像；
若所述第二状态信息为模糊状态转换至清晰状态，或所述第二状态信息为清晰状态转换至模糊状态，则传输所述待评估图像。
14.一种图像状态确定装置，其特征在于，包括：
获取模块，用于获取病理图像集合，其中，所述病理图像集合至少包括待评估图像以及关联图像，所述关联图像为所述待评估图像相邻的前N帧图像，所述N为大于或等于1的正数；
确定模块，用于根据所述获取模块获取的所述病理图像集合确定所述待评估图像所对应的第一状态信息，其中，所述第一状态信息用于表示所述待评估图像基于相邻的前两帧病理图像所对应的移动变化情况；
所述确定模块，还用于若所述第一状态信息为静止状态，则根据所述病理图像集合确定所述待评估图像所对应的第二状态信息，其中，所述第二状态信息用于表示所述待评估图像的清晰度变化情况，所述第二状态信息包括调焦状态，所述调焦状态为清晰状态转换至模糊状态，或模糊状态转换至清晰状态。
15.一种终端设备，其特征在于，包括：存储器、收发器、处理器以及总线***；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括如下步骤：
获取病理图像集合，其中，所述病理图像集合至少包括待评估图像以及关联图像，所述关联图像为所述待评估图像相邻的前N帧图像，所述N为大于或等于1的正数；
根据所述病理图像集合确定所述待评估图像所对应的第一状态信息，其中，所述第一状态信息用于表示所述待评估图像基于相邻的前两帧病理图像所对应的移动变化情况；
若所述第一状态信息为静止状态，则根据所述病理图像集合确定所述待评估图像所对应的第二状态信息，其中，所述第二状态信息用于表示所述待评估图像的清晰度变化情况，所述第二状态信息包括调焦状态，所述调焦状态为清晰状态转换至模糊状态，或模糊状态转换至清晰状态；
所述总线***用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
16.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至9中任一项所述的方法，或，执行如权利要求10所述的方法，或，执行如权利要求11所述的方法，或，执行如权利要求12所述的方法。
CN201910737633.3A 2019-05-29 2019-05-29 一种基于病理图像的图像状态确定方法、装置以及*** Active CN110443794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910737633.3A CN110443794B (zh) 2019-05-29 2019-05-29 一种基于病理图像的图像状态确定方法、装置以及***

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910737633.3A CN110443794B (zh) 2019-05-29 2019-05-29 一种基于病理图像的图像状态确定方法、装置以及***
CN201910457380.4A CN110175995B (zh) 2019-05-29 2019-05-29 一种基于病理图像的图像状态确定方法、装置以及***

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910457380.4A Division CN110175995B (zh) 2019-05-29 2019-05-29 一种基于病理图像的图像状态确定方法、装置以及***

Publications (2)

Publication Number Publication Date
CN110443794A CN110443794A (zh) 2019-11-12
CN110443794B true CN110443794B (zh) 2020-12-18

Family

ID=67696079

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910737633.3A Active CN110443794B (zh) 2019-05-29 2019-05-29 一种基于病理图像的图像状态确定方法、装置以及***
CN201910457380.4A Active CN110175995B (zh) 2019-05-29 2019-05-29 一种基于病理图像的图像状态确定方法、装置以及***

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910457380.4A Active CN110175995B (zh) 2019-05-29 2019-05-29 一种基于病理图像的图像状态确定方法、装置以及***

Country Status (4)

Country Link
US (1) US11921278B2 (zh)
EP (1) EP3979194A4 (zh)
CN (2) CN110443794B (zh)
WO (1) WO2020238626A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443794B (zh) 2019-05-29 2020-12-18 腾讯科技（深圳）有限公司 一种基于病理图像的图像状态确定方法、装置以及***
CN111126460B (zh) * 2019-12-10 2024-04-02 福建省高速公路集团有限公司 基于人工智能的路面病害自动巡检方法、介质、设备及装置
CN111143601A (zh) * 2019-12-31 2020-05-12 深圳市芭田生态工程股份有限公司 一种图像处理方法
CN111951261A (zh) * 2020-08-24 2020-11-17 郑州中普医疗器械有限公司 离体生物样本检查过程的控制方法、计算机设备和控制***
CN112241953B (zh) * 2020-10-22 2023-07-21 江苏美克医学技术有限公司 基于多聚焦图像融合和hdr算法的样本图像融合方法及装置
CN112957062B (zh) * 2021-05-18 2021-07-16 雅安市人民医院 基于5g传输的车载ct成像***及成像方法
US20230214994A1 (en) * 2022-01-05 2023-07-06 Merative Us L.P. Medical image study difficulty estimation
CN116071657B (zh) * 2023-03-07 2023-07-25 青岛旭华建设集团有限公司 一种建筑施工视频监控大数据的智能预警***
CN116681702B (zh) * 2023-08-03 2023-10-17 山东华光新材料技术有限公司 一种光纤预制棒的一次拉伸评估方法及***

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003211104B2 (en) * 2002-02-13 2009-01-29 Reify Corporation Method and apparatus for acquisition, compression, and characterization of spatiotemporal signals
JP2008535528A (ja) * 2005-01-18 2008-09-04 トレストル コーポレーション スライドの可変品質画像を形成するためのシステムおよび方法
US7885443B2 (en) * 2005-11-14 2011-02-08 Hologic, Inc. Facilitating temporal comparison of medical images
JP5047764B2 (ja) * 2007-12-06 2012-10-10 オリンパス株式会社 顕微鏡用撮影装置
EP2239612A1 (de) * 2009-04-06 2010-10-13 Carl Zeiss Surgical GmbH Verfahren und Vorrichtung zum Extrahieren von Standbildern aus Bildaufnahmen eines Operationsmikroskops
CN101702053B (zh) * 2009-11-13 2012-01-25 长春迪瑞实业有限公司 一种尿沉渣检验设备中显微镜***的自动聚焦方法
CN101706609B (zh) * 2009-11-23 2012-05-02 常州超媒体与感知技术研究所有限公司 基于图像处理的显微镜快速自动聚焦方法
JP2012013804A (ja) * 2010-06-29 2012-01-19 Sony Corp 画像処理装置、画像処理システム、画像処理方法及びプログラム
CN102221550B (zh) * 2011-05-30 2013-05-29 成都西图科技有限公司 一种岩心岩屑图像采集装置及图像采集、处理方法
CN104144345B (zh) * 2013-09-18 2016-08-17 腾讯科技（深圳）有限公司 在移动终端进行实时图像识别的方法及该移动终端
WO2015055412A1 (en) * 2013-10-18 2015-04-23 Koninklijke Philips N.V. Image based roi tracking for mdx
CN104680483B (zh) * 2013-11-25 2016-03-02 浙江大华技术股份有限公司 图像的噪声估计方法、视频图像去噪方法及装置
US10346989B2 (en) * 2014-12-17 2019-07-09 Koninklijke Philips N.V. Method and system for calculating a displacement of an object of interest
EP3286695A1 (en) * 2015-04-24 2018-02-28 Canfield Scientific, Incorporated Dermatological feature tracking over multiple images
CN105118088A (zh) * 2015-08-06 2015-12-02 曲阜裕隆生物科技有限公司 一种基于病理切片扫描装置的3d成像及融合的方法
CN106251358B (zh) * 2016-08-08 2019-05-07 珠海赛纳打印科技股份有限公司 一种图像处理方法及装置
CN107767365A (zh) * 2017-09-21 2018-03-06 华中科技大学鄂州工业技术研究院 一种内窥镜图像处理方法及***
CN108933897B (zh) * 2018-07-27 2020-10-16 南昌黑鲨科技有限公司 基于图像序列的运动检测方法及装置
CN109674494B (zh) * 2019-01-29 2021-09-14 深圳瀚维智能医疗科技有限公司 超声扫查实时控制方法、装置、存储介质及计算机设备
CN109782414B (zh) * 2019-03-01 2021-05-18 广州医软智能科技有限公司 一种基于无参考结构清晰度的自动调焦方法
CN110443794B (zh) * 2019-05-29 2020-12-18 腾讯科技（深圳）有限公司 一种基于病理图像的图像状态确定方法、装置以及***

Also Published As

Publication number Publication date
US11921278B2 (en) 2024-03-05
CN110175995A (zh) 2019-08-27
EP3979194A4 (en) 2022-08-17
EP3979194A1 (en) 2022-04-06
CN110175995B (zh) 2021-04-30
US20210341725A1 (en) 2021-11-04
WO2020238626A1 (zh) 2020-12-03
CN110443794A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN110443794B (zh) 一种基于病理图像的图像状态确定方法、装置以及***
CN110210571B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN110738263B (zh) 一种图像识别模型训练的方法、图像识别的方法及装置
CN110504029B (zh) 一种医学图像处理方法、医学图像识别方法及装置
CN110866897B (zh) 一种图像检测方法及计算机可读存储介质
CN110377779B (zh) 图像标注的方法、基于病理图像的标注展示方法及装置
WO2021135601A1 (zh) 辅助拍照方法、装置、终端设备及存储介质
CN111598900B (zh) 一种图像区域分割模型训练方法、分割方法和装置
CN108230232B (zh) 一种图像处理的方法以及相关装置
JP5527423B2 (ja) 画像処理システム、画像処理方法、及び画像処理プログラムを記憶した記憶媒体
CN110070129B (zh) 一种图像检测方法、装置及存储介质
CN110610181A (zh) 医学影像识别方法及装置、电子设备及存储介质
CN111597922B (zh) 细胞图像的识别方法、***、装置、设备及介质
US11747900B2 (en) Eye-tracking image viewer for digital pathology
CN113706441A (zh) 一种基于人工智能的图像预测方法、相关装置及存储介质
CN110517771B (zh) 一种医学图像处理方法、医学图像识别方法及装置
CN114066875A (zh) 切片图像处理方法、装置、存储介质及终端设备
CN115984228A (zh) 胃镜图像处理方法、装置、电子设备及存储介质
CN113743186B (zh) 医学图像的处理方法、装置、设备及存储介质
CN113723168A (zh) 一种基于人工智能的主体识别方法、相关装置及存储介质
CN111080630A (zh) 眼底图像检测设备、方法、装置及存储介质
CN111738282A (zh) 一种基于人工智能的图像识别方法和相关设备
CN114143454B (zh) 拍摄方法、装置、电子设备及可读存储介质
CN113055599B (zh) 摄像头的切换方法、装置、电子设备和可读存储介质
CN114648543A (zh) 远程超声图像的标注方法、终端设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211130

Address after: 518052 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Patentee after: Tencent Medical Health (Shenzhen) Co.,Ltd.

Address before: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.