CN113421231A - 一种出血点检测方法、装置及*** - Google Patents

一种出血点检测方法、装置及*** Download PDF

Info

Publication number
CN113421231A
CN113421231A CN202110638425.5A CN202110638425A CN113421231A CN 113421231 A CN113421231 A CN 113421231A CN 202110638425 A CN202110638425 A CN 202110638425A CN 113421231 A CN113421231 A CN 113421231A
Authority
CN
China
Prior art keywords
detection
image
training
bleeding
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110638425.5A
Other languages
English (en)
Other versions
CN113421231B (zh
Inventor
徐雨亭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202110638425.5A priority Critical patent/CN113421231B/zh
Publication of CN113421231A publication Critical patent/CN113421231A/zh
Application granted granted Critical
Publication of CN113421231B publication Critical patent/CN113421231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种出血点检测方法、装置及***，该方法包括：确定原始检测图像与前一帧检测图像之间的光流检测信息，生成光流检测信息对应的光流检测图像；将原始检测图像和光流检测图像输入给目标网络模型，以通过目标网络模型从原始检测图像中提取上下文语义检测特征，从光流检测图像中提取运动检测特征，对上下文语义检测特征和运动检测特征进行融合，得到融合检测特征；将融合检测特征和上下文语义检测特征输入给目标网络模型，以通过目标网络模型输出二值掩膜检测图像，其包括出血区域和非出血区域；基于二值掩膜检测图像中的出血区域确定目标对象内部的出血点位置。通过本申请的技术方案，能够快速且准确地定位到出血点位置，提高检测准确性。

Description

一种出血点检测方法、装置及***
技术领域
本申请涉及图像处理领域，尤其涉及一种出血点检测方法、装置及***。
背景技术
内窥镜(Endoscopes)是一种常用的医疗器械，由导光束结构及一组镜头组成，在内窥镜进入到目标对象的内部后，可以使用内窥镜采集目标对象内部的原始图像，并基于目标对象内部的原始图像对目标对象进行检查及治疗。
如果目标对象内部存在出血状况，则需要及时找到出血点，从而对出血点进行处理。然而，快速且准确地找到出血点比较困难，需要较高的专业知识和大量实操经验，对于经验不够丰富的医生来说，可能无法找到出血点，即使有内窥镜采集的原始图像，也无法基于原始图像获知目标对象内部的出血点。
发明内容
本申请提供一种出血点检测方法，所述方法包括：
通过内窥镜采集目标对象内部的原始检测图像；
确定所述原始检测图像与所述原始检测图像的前一帧检测图像之间的光流检测信息，生成所述光流检测信息对应的光流检测图像；
将原始检测图像和光流检测图像输入给已训练的目标网络模型，以通过目标网络模型从所述原始检测图像中提取上下文语义检测特征，从所述光流检测图像中提取运动检测特征，对所述上下文语义检测特征和所述运动检测特征进行融合，得到融合检测特征；其中，所述上下文语义检测特征表示原始检测图像中出血点的上下文语义信息，所述运动检测特征表示光流检测图像中出血点的运动信息；将所述融合检测特征和所述上下文语义检测特征输入给所述目标网络模型，以通过所述目标网络模型输出二值掩膜检测图像；其中，所述二值掩膜检测图像包括出血区域和非出血区域，所述出血区域中各像素点的像素值均为第一取值，所述非出血区域中各像素点的像素值均为第二取值；基于所述二值掩膜检测图像中的出血区域确定所述目标对象内部的出血点位置。
本申请提供一种出血点检测装置，所述装置包括：采集模块，用于通过内窥镜采集目标对象内部的原始检测图像；生成模块，用于确定所述原始检测图像与所述原始检测图像的前一帧检测图像之间的光流检测信息，并生成所述光流检测信息对应的光流检测图像；获取模块，用于将原始检测图像和光流检测图像输入给已训练的目标网络模型，以通过目标网络模型从所述原始检测图像中提取上下文语义检测特征，从所述光流检测图像中提取运动检测特征，对所述上下文语义检测特征和所述运动检测特征进行融合，得到融合检测特征；其中，所述上下文语义检测特征表示原始检测图像中出血点的上下文语义信息，所述运动检测特征表示光流检测图像中出血点的运动信息；以及，将所述融合检测特征和所述上下文语义检测特征输入给所述目标网络模型，以通过所述目标网络模型输出二值掩膜检测图像；其中，所述二值掩膜检测图像包括出血区域和非出血区域，所述出血区域中各像素点的像素值均为第一取值，所述非出血区域中各像素点的像素值均为第二取值；确定模块，用于基于所述二值掩膜检测图像中的出血区域确定所述目标对象内部的出血点位置。
在一种可能的实施方式中，所述装置还包括训练模块，用于通过以下操作训练得到目标网络模型：通过内窥镜采集目标对象内部的原始训练图像；确定所述原始训练图像与所述原始训练图像的前一帧训练图像之间的光流训练信息，并生成所述光流训练信息对应的光流训练图像；将原始训练图像和光流训练图像输入给初始网络模型，以通过所述初始网络模型从所述原始训练图像中提取上下文语义训练特征，从所述光流训练图像中提取运动训练特征，对所述上下文语义训练特征和所述运动训练特征进行融合，得到融合训练特征；其中，所述上下文语义训练特征表示所述原始训练图像中出血点的上下文语义信息，所述运动训练特征表示所述光流训练图像中出血点的运动信息；将所述融合训练特征和所述上下文语义训练特征输入给所述初始网络模型，以通过所述初始网络模型输出二值掩膜训练图像；其中，所述二值掩膜训练图像包括出血区域和非出血区域，所述出血区域中各像素点的像素值均为第一取值，所述非出血区域中各像素点的像素值均为第二取值；基于所述二值掩膜训练图像和已配置的二值掩膜标定图像确定损失值；其中，所述二值掩膜标定图像是所述原始训练图像的标定图像，所述二值掩膜标定图像包括出血区域和非出血区域，出血区域中各像素点的像素值均为第一取值，非出血区域中各像素点的像素值均为第二取值；基于所述损失值对所述初始网络模型进行训练，得到目标网络模型。
本申请提供一种出血点检测***，所述出血点检测***包括：内窥镜、光源装置、摄像主机、显示装置和存储装置；其中：所述内窥镜，用于采集目标对象内部的原始检测图像，并将所述原始检测图像输入给所述摄像主机；
所述光源装置，用于为所述内窥镜提供光源；
所述摄像主机，用于确定所述原始检测图像与所述原始检测图像的前一帧检测图像之间的光流检测信息，生成所述光流检测信息对应的光流检测图像；将所述原始检测图像和所述光流检测图像输入给已训练的目标网络模型，以通过所述目标网络模型从所述原始检测图像中提取上下文语义检测特征，从所述光流检测图像中提取运动检测特征，对所述上下文语义检测特征和所述运动检测特征进行融合，得到融合检测特征；将所述融合检测特征和所述上下文语义检测特征输入给所述目标网络模型，以通过所述目标网络模型输出二值掩膜检测图像，所述二值掩膜检测图像包括出血区域和非出血区域；基于所述二值掩膜检测图像中的出血区域确定所述目标对象内部的出血点位置；
所述显示装置，用于显示所述目标对象内部的出血点位置；
所述存储装置，用于存储所述原始检测图像和所述二值掩膜检测图像。
由以上技术方案可见，本申请实施例中，将原始检测图像和光流检测图像输入给目标网络模型，通过目标网络模型输出二值掩膜检测图像，基于二值掩膜检测图像中的出血区域确定目标对象内部的出血点位置，也就是说，基于原始检测图像和光流检测图像确定目标对象内部的出血点位置，从而快速且准确地定位到出血点位置，实时准确地辅助定位到出血点，提醒医生尽快找到出血点，并对出血点进行处理。通过将光流检测图像输入给目标网络模型，可以将光流信息(即出血点的运动信息)输入给目标网络模型，从而使用运动信息来引导目标网络模型做出更加准确的判断，提高出血点位置检测的准确性。
附图说明
图1是本申请一种实施方式中的出血点检测***的结构示意图；
图2是本申请一种实施方式中的目标网络模型的训练过程的方法流程图；
图3是本申请一种实施方式中的HSV颜色空间的示意图；
图4A和图4B是本申请一种实施方式中的初始网络模型的结构示意图；
图5是本申请一种实施方式中的出血点检测方法的流程示意图；
图6是本申请一种实施方式中的摄像主机的结构示意图；
图7是本申请一种实施方式中的智能处理单元的结构示意图；
图8A和图8B是本申请一种实施方式中的检测图像和光流图的示例；
图8C是本申请一种实施方式中的目标网络模型的结构示意图；
图8D是本申请一种实施方式中的显示效果的示意图；
图9是本申请一种实施方式中的出血点检测装置的结构示意图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
参见图1所示，为出血点检测***(也可以称为内窥镜***)的结构示意图，该出血点检测***可以包括：内窥镜、光源装置、摄像主机(也可以称为摄像***主机)、显示装置和存储装置，显示装置和存储装置为外置设备。当然，图1只是出血点检测***的示例，对此出血点检测***的结构不做限制。
内窥镜可以采集目标对象(如患者等被检体)内部的原始图像，并将原始图像输入给摄像主机。光源装置可以为内窥镜提供光源，即，从内窥镜的前端射出照明光，使得内窥镜可以采集目标对象内部的比较清晰的原始图像。
摄像主机接收到原始图像后，可以将原始图像输入给存储装置，由存储装置存储原始图像，在后续过程中，使用者(如医生等)可以访问存储装置中的原始图像，或者，访问存储装置中的视频(由大量原始图像组成的视频)。
摄像主机接收到原始图像后，还可以将原始图像输入给显示装置，由显示装置显示原始图像，使用者可以实时观察由显示装置显示的原始图像。
摄像主机接收到原始图像后，还可以对原始图像进行相关处理，处理过程参见后续实施例，得到与该原始图像对应的二值掩膜图像，摄像主机可以基于该二值掩膜图像中的出血区域确定目标对象内部的出血点位置。
摄像主机得到与该原始图像对应的二值掩膜图像后，还可以将该二值掩膜图像输入给存储装置，由存储装置存储该二值掩膜图像，在后续过程中，使用者可以访问存储装置中的二值掩膜图像。摄像主机得到与该原始图像对应的二值掩膜图像后，还可以将该二值掩膜图像输入给显示装置，由显示装置显示该二值掩膜图像，使用者可以实时观察由显示装置显示的二值掩膜图像。
摄像主机确定目标对象内部的出血点位置后，还可以将目标对象内部的出血点位置输入给显示装置，由显示装置显示目标对象内部的出血点位置，使用者可以实时观察由显示装置显示的目标对象内部的出血点位置。
在上述应用场景下，本申请实施例中提出一种出血点检测方法，可以涉及训练过程和检测过程。在训练过程中，可以使用训练数据训练出一个目标网络模型，在检测过程中，可以基于已训练的目标网络模型检测目标对象内部的出血点位置，以下结合具体实施例，对训练过程和检测过程进行说明。
针对训练过程，参见图2所示，为目标网络模型的训练过程的方法流程图，该方法可以应用于摄像主机(摄像***主机)，该方法可以包括：
步骤201，通过内窥镜采集目标对象内部的原始训练图像。
示例性的，内窥镜可以采集目标对象内部的原始图像，并将该原始图像输入给摄像主机，为了区分方便，可以将训练过程中的原始图像记为原始训练图像，显然，摄像主机可以得到目标对象内部的原始训练图像。
步骤202，确定该原始训练图像与该原始训练图像的前一帧训练图像之间的光流训练信息，并生成该光流训练信息对应的光流训练图像。
示例性的，内窥镜可以采集目标对象内部的多帧原始训练图像，并将这些原始训练图像均输入给摄像主机，基于此，摄像主机可以接收到多帧原始训练图像。摄像主机在接收到每帧原始训练图像时，可以先查找该原始训练图像的前一帧训练图像(即位于该原始训练图像前面的第一帧原始训练图像)，然后，可以确定该原始训练图像与该原始训练图像的前一帧训练图像之间的光流信息，为了区分方便，可以将训练过程中的光流信息称为光流训练信息。
示例性的，可以采用光流法确定原始训练图像与该原始训练图像的前一帧训练图像之间的光流训练信息，光流法可以是金字塔LK光流法，也可以是其它类型的光流法。或者，也可以采用基于深度学习的FlowNet(光流神经网络)方法确定原始训练图像与该原始训练图像的前一帧训练图像之间的光流训练信息。当然，上述方式只是示例，对此光流训练信息的确定方式不做限制。
在采用光流法确定光流训练信息时，光流法是利用图像序列中像素在时间域上的变化，以及相邻帧之间的相关性，来找到上一帧与当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息，因此，可以采用光流法确定原始训练图像与该原始训练图像的前一帧训练图像之间的光流训练信息。
在采用FlowNet方法确定光流训练信息时，可以预先训练一个FlowNet，该FlowNet用于找到相邻帧之间物体的运动信息，因此，可以采用FlowNet方法确定原始训练图像与该原始训练图像的前一帧训练图像之间的光流训练信息。
示例性的，光流训练信息可以包括运动方向(即运动物体的运动方向)和运动速度(即运动物体的运动速度，基于距离与时长决定)。针对原始训练图像中每个像素点，从前一帧训练图像中找到与该像素点匹配的参考点，基于该像素点和该参考点的位置关系，确定该像素点对应的运动方向和运动速度。显然，光流训练信息包括原始训练图像中每个像素点对应的运动方向和运动速度。
基于此，生成光流训练信息对应的光流训练图像，可以包括但不限于：将运动方向映射到HSV颜色空间的色调分量，并将运动速度映射到HSV颜色空间的明度分量，基于该色调分量和该明度分量生成光流训练图像。
比如说，针对原始训练图像中第一个像素点，将该像素点对应的运动方向映射到HSV颜色空间的色调分量，将该像素点对应的运动速度映射到HSV颜色空间的明度分量，而该色调分量和该明度分量就组成光流训练图像的第一个像素点的像素值，以此类推，可以得到光流训练图像的所有像素点的像素值，而所有像素点的像素值就可以组成光流训练图像，即生成光流训练图像。
示例性的，HSV表达彩色图像的方式可以由三个部分组成：Hue(色调、色相)、Saturation(饱和度、色彩纯净度)、Value(明度)，参见图3所示，可以采用这个圆柱体来表示HSV颜色空间，圆柱体的横截面可以看做一个极坐标系，H用极坐标的极角表示，S用极坐标的极轴长度表示，V用圆柱中轴的高度表示。在此基础上，针对原始训练图像中每个像素点，可以将该像素点对应的运动方向映射到HSV颜色空间的色调分量，该色调分量与极坐标的极角对应，对此映射过程不做限制。可以将该像素点对应的运动速度映射到HSV颜色空间的明度分量，该明度分量与圆柱中轴的高度对应，对此映射过程不做限制。显然，在得到色调分量和明度分量后，就可以得到HSV颜色空间的像素值，继而能够将所有像素值组成光流训练图像，即HSV颜色空间的图像。
针对HSV颜色空间的光流训练图像来说，该光流训练图像可以是一个可视化的图像，该光流训练图像中的不同颜色表示光流训练信息中的不同运动方向，该光流训练图像中的不同亮度表示光流训练信息中的不同运动速度。综上所述，针对该光流训练图像中的每个像素点来说，该像素点的颜色表示光流训练信息中的运动方向，该像素点的亮度表示光流训练信息中的运动速度。
步骤203，将该原始训练图像和该光流训练图像输入给初始网络模型，以通过该初始网络模型从该原始训练图像中提取上下文语义训练特征，并从该光流训练图像中提取运动训练特征，并对该上下文语义训练特征和该运动训练特征进行融合，得到融合训练特征。上下文语义训练特征可以表示该原始训练图像中出血点的上下文语义信息，运动训练特征可以表示该光流训练图像中出血点的运动信息，该融合训练特征可以表示上下文语义信息和运动信息的融合信息。
步骤204，将该融合训练特征和该上下文语义训练特征输入给初始网络模型，以通过初始网络模型输出二值掩膜训练图像。示例性的，该二值掩膜训练图像可以包括出血区域和非出血区域，该出血区域中各像素点的像素值均为第一取值，该非出血区域中各像素点的像素值均为第二取值。
示例性的，可以预先构建一个初始网络模型(即待训练的网络模型)，该初始网络模型可以是深度学习网络模型，也可以是其它类型的网络模型，对此初始网络模型的结构不做限制，只要该初始网络模型的输入是原始训练图像和光流训练图像，该初始网络模型的输出是二值掩膜训练图像即可。
示例性的，初始网络模型可以包括第一子网络，第二子网络和第三子网络，第一子网络用于对原始训练图像和原始训练图像对应的特征进行处理，第二子网络用于对光流训练图像和光流训练图像对应的特征进行处理，第三子网络用于对原始训练图像对应的特征和光流训练图像对应的特征进行处理。
第一子网络可以为语义分割网络，如采用Deeplab(用于语义分割的深度学习模型结构)的语义分割网络，也可以为其它类型的网络。第二子网络可以为语义分割网络，如采用Deeplab的语义分割网络，也可以为其它类型的网络，对此不做限制。第一子网络和第二子网络的网络结构相似，第一子网络和第二子网络可以相同，也可以不同，比如说，第二子网络比第一子网络更加轻量级一些。第三子网络可以包括至少一个MGA(Motion GuidedAttention，运动引导注意)网络层，第一子网络和第二子网络之间使用所述至少一个MGA网络层连接。
针对步骤203和步骤204来说，可以将原始训练图像输入给第一子网络，通过第一子网络从原始训练图像中提取上下文语义训练特征，将上下文语义训练特征输入给第三子网络。比如说，第一子网络可以包括至少一个网络层，如卷积层、池化层、激励层等，可以将一个网络层输出的特征向量作为上下文语义训练特征，也可以将多个网络层输出的特征向量均作为上下文语义训练特征。
可以将光流训练图像输入给第二子网络，通过第二子网络从该光流训练图像中提取运动训练特征，并将该运动训练特征输入给第三子网络。比如说，第二子网络可以包括至少一个网络层，如卷积层、池化层、激励层等，可以将一个网络层输出的特征向量作为运动训练特征，也可以将多个网络层输出的特征向量均作为运动训练特征，即运动训练特征的数量可以为一个或多个。
在将上下文语义训练特征和运动训练特征输入给第三子网络后，通过第三子网络对上下文语义训练特征和运动训练特征进行融合，得到融合训练特征。在得到融合训练特征后，第三子网络将融合训练特征输入给第一子网络。例如，第三子网络包括至少一个网络层，针对每个网络层来说，该网络层的输入为上下文语义训练特征和运动训练特征，该网络层的输出为融合训练特征，该网络层用于对上下文语义训练特征和运动训练特征进行融合，得到融合训练特征。
在上述过程，已经将融合训练特征和上下文语义训练特征输入给第一子网络，第一子网络可以基于融合训练特征和上下文语义训练特征生成二值掩膜训练图像。比如说，将融合训练特征和上下文语义训练特征输入给第一子网络的某个网络层后，该网络层可以对融合训练特征和上下文语义训练特征进行运算，得到二值掩膜训练图像。
参见图4A所示，为初始网络模型的一个结构示意图，第一子网络包括网络层a1和网络层a2，第二子网络包括网络层b1，第三子网络包括网络层c1。可以将原始训练图像输入给网络层a1，网络层a1对原始训练图像进行处理，得到特征向量d1，该特征向量d1就是上下文语义训练特征，网络层a1将特征向量d1输入给网络层c1，并将特征向量d1输入给网络层a2。可以将光流训练图像输入给网络层b1，网络层b1对光流训练图像进行处理，得到特征向量d2，该特征向量d2就是运动训练特征，网络层b1将特征向量d2输入给网络层c1。网络层c1接收到特征向量d1和特征向量d2后，对特征向量d1和特征向量d2进行融合，得到特征向量d3，该特征向量d3就是融合训练特征，网络层c1将特征向量d3输入给网络层a2。网络层a2接收到特征向量d1和特征向量d3后，可以基于特征向量d1和特征向量d3生成特征向量d4，如特征向量d4为特征向量d1与特征向量d3的和，并生成与特征向量d4匹配的二值掩膜训练图像。
参见图4B所示，为初始网络模型的示意图，第一子网络包括网络层a1、网络层a2和网络层a3，第二子网络包括网络层b1和网络层b2，第三子网络包括网络层c1和网络层c2。网络层a1对原始训练图像进行处理，得到特征向量e1(上下文语义训练特征)，将特征向量e1输入给网络层c1和网络层a2。网络层b1对光流训练图像进行处理，得到特征向量e2(运动训练特征)，将特征向量e2输入给网络层c1和网络层b2。网络层c1对特征向量e1和特征向量e2进行融合，得到特征向量e3(融合训练特征)，将特征向量e3输入给网络层a2。网络层a2基于特征向量e1和特征向量e3生成特征向量e4，对特征向量e4进行处理，得到特征向量e5(上下文语义训练特征)，将特征向量e5输入给网络层c2和网络层a3。网络层b2对特征向量e2进行处理，得到特征向量e6(运动训练特征)，将特征向量e6输入给网络层c2。网络层c2对特征向量e5和特征向量e6进行融合，得到特征向量e7(融合训练特征)，将特征向量e7输入给网络层a3。网络层a3基于特征向量e5和特征向量e7生成特征向量e8(如特征向量e5和特征向量e7的和)，生成与特征向量e8匹配的二值掩膜训练图像。
当然，图4A和图4B只是示例，对此初始网络模型不做限制，只要初始网络模型能够从原始训练图像提取上下文语义训练特征，从光流训练图像提取运动训练特征，对上下文语义训练特征和运动训练特征进行融合，得到融合训练特征，基于融合训练特征和上下文语义训练特征输出二值掩膜训练图像即可。
在上述实施例中，针对上下文语义训练特征来说，由于目标对象内部的出血点和非出血点相比，出血点的上下文语义(即周围环境)与非出血点的上下文语义不同，且原始训练图像能够反映各像素点的上下文语义信息，因此，从原始训练图像中提取上下文语义训练特征后，上下文语义训练特征能够表示原始训练图像中出血点的上下文语义信息及非出血点的上下文语义信息，也就是说，该上下文语义训练特征能够体现出血点和非出血点的区别，即，通过原始训练图像中各像素点的上下文语义信息体现出血点和非出血点的区别。
针对运动训练特征来说，由于目标对象内部的出血点和非出血点相比，出血点在画面中存在运动，非出血点在画面中不存在运动，且光流训练图像能够反映各像素点的运动信息，因此，从光流训练图像中提取运动训练特征后，运动训练特征能够表示光流训练图像中出血点的运动信息及非出血点的运动信息，也就是说，该运动训练特征能够体现出血点和非出血点的区别，即，通过光流训练图像中各像素点的运动信息体现出血点和非出血点的区别。
针对融合训练特征来说，由于是对上下文语义训练特征和运动训练特征进行融合，且上下文语义训练特征能够表示出血点的上下文语义信息及非出血点的上下文语义信息，运动训练特征能够表示出血点的运动信息及非出血点的运动信息，因此，融合训练特征可以表示上下文语义信息和运动信息的融合信息，且融合信息能够体现出血点和非出血点的区别，即，通过上下文语义信息和运动信息体现出出血点和非出血点的区别。
针对二值掩膜训练图像来说，该二值掩膜训练图像是一个二值图像，可以理解为一个黑白图像，即像素点的像素值只为第一取值(如255)或者第二取值(如0)。在二值掩膜训练图像的生成过程中，可以基于上下文语义信息和运动信息将二值掩膜训练图像划分为出血区域和非出血区域，出血区域中各像素点的像素值均为第一取值，非出血区域中各像素点的像素值均为第二取值。针对出血区域来说，出血区域的上下文语义信息表示该出血周围环境，出血区域的运动信息表示该区域存在运动。针对非出血区域来说，非出血区域的上下文语义信息表示非出血周围环境，非出血区域的运动信息表示该区域不存在运动。
综上所述，在将原始训练图像和光流训练图像输入给初始网络模型后，初始网络模型输出二值掩膜训练图像，可以基于二值掩膜训练图像进行后续处理。
在一种可能的实施方式中，通过第三子网络对上下文语义训练特征和运动训练特征进行融合，得到融合训练特征，可以包括但不限于：对该运动训练特征进行卷积，得到卷积后的运动训练特征，并采用激活函数(如Sigmoid函数)对卷积后的运动训练特征进行映射，得到映射后的运动训练特征；然后，对上下文语义训练特征和映射后的运动训练特征进行乘法运算，得到融合训练特征。
比如说，可以通过如下公式表示上述融合操作：
Figure BDA0003106754740000121
在上述公式中，fm表示运动训练特征，fm是维度C'×H×W的特征向量，h(fm)表示对fm进行卷积，如采用1*1的卷积核对fm进行卷积。Sigmoid(h(fm))表示采用Sigmoid函数对卷积后的运动训练特征h(fm)进行映射，fa表示上下文语义训练特征，
Figure BDA0003106754740000122
表示对应位置的元素相乘，f'a表示融合训练特征。
步骤205，基于二值掩膜训练图像和已配置的二值掩膜标定图像确定损失值。示例性的，该二值掩膜标定图像可以是原始训练图像的标定图像，该二值掩膜标定图像可以包括出血区域和非出血区域，该出血区域中各像素点的像素值均为第一取值，该非出血区域中各像素点的像素值均为第二取值。
示例性的，步骤205之前，可以配置原始训练图像的标定图像，将该标定图像记为二值掩膜标定图像。比如说，由用户对原始训练图像进行标定时，用户可以获知原始训练图像中的出血区域和非出血区域，因此，可以标定原始训练图像中的出血区域和非出血区域，基于该标定信息可以生成二值掩膜标定图像。在生成二值掩膜标定图像时，与出血区域对应的各像素点的像素值均为第一取值(如255)，与非出血区域对应的各像素点的像素值均为第二取值(如0)，这样，可以生成二值掩膜标定图像，二值掩膜标定图像是一个二值图像，可以理解为一个黑白图像。显然，在得到二值掩膜标定图像后，所有第一取值的区域就是出血区域，所有第二取值的区域就是非出血区域。
在得到二值掩膜训练图像和二值掩膜标定图像后，可以基于二值掩膜训练图像和二值掩膜标定图像的差值，确定损失值。显然，在损失值越小时，说明二值掩膜训练图像和二值掩膜标定图像越接近，即初始网络模型输出的二值掩膜训练图像越准确，在损失值越大时，说明二值掩膜训练图像和二值掩膜标定图像越远离，即初始网络模型输出的二值掩膜训练图像越不准确。
步骤206，基于该损失值对初始网络模型进行训练，得到目标网络模型。
示例性的，可以基于损失值对初始网络模型的网络参数(即网络权重)进行更新，得到更新后的网络模型。比如说，通过反向传播算法更新初始网络模型的网络参数，得到更新后的网络模型，对此更新过程不做限制。反向传播算法的示例可以是梯度下降法，即通过梯度下降法更新初始网络模型的网络参数。
然后，确定更新后的网络模型是否已收敛。若否，则将更新后的网络模型确定为初始网络模型，返回执行将原始训练图像和光流训练图像输入给初始网络模型的操作。若是，则将更新后的网络模型确定为已训练的目标网络模型。
比如说，若初始网络模型的迭代次数已经达到预设次数阈值，则确定更新后的网络模型已收敛，否则，确定更新后的网络模型未收敛。
又例如，若初始网络模型的迭代时长已经达到预设时长阈值，则确定更新后的网络模型已收敛，否则，确定更新后的网络模型未收敛。
又例如，若该损失值小于预设损失值阈值，则确定更新后的网络模型已收敛，若该损失值不小于预设损失值阈值，则确定更新后的网络模型未收敛。
当然，上述只是几个示例，对此网络模型是否已收敛的确定方式不做限制。
在得到已训练的目标网络模型后，可以基于已训练的目标网络模型实现出血点检测，针对该检测过程，参见图5所示，为出血点检测方法的流程图，该方法可以应用于摄像主机(摄像***主机)，该方法可以包括：
步骤501，通过内窥镜采集目标对象内部的原始检测图像。
示例性的，内窥镜可以采集目标对象内部的原始图像，并将原始图像输入给摄像主机，为了区分方便，将检测过程中的原始图像记为原始检测图像。
步骤502，确定该原始检测图像与该原始检测图像的前一帧检测图像之间的光流检测信息，并生成该光流检测信息对应的光流检测图像。
示例性的，摄像主机在接收到每帧原始检测图像时，可以先查找该原始检测图像的前一帧检测图像(即位于该原始检测图像前面的第一帧原始检测图像)，然后，确定该原始检测图像与该原始检测图像的前一帧检测图像之间的光流信息，为了区分方便，可以将检测过程中的光流信息称为光流检测信息。
光流检测信息可以包括运动方向和运动速度，针对原始检测图像中每个像素点，从前一帧检测图像中找到与该像素点匹配的参考点，基于该像素点和该参考点的位置关系，确定该像素点对应的运动方向和运动速度。显然，光流检测信息包括原始检测图像中每个像素点对应的运动方向和运动速度。
基于此，生成光流检测信息对应的光流检测图像，可以包括但不限于：将该运动方向映射到HSV颜色空间的色调分量，并将该运动速度映射到HSV颜色空间的明度分量，基于该色调分量和该明度分量生成光流检测图像。
针对HSV颜色空间的光流检测图像来说，该光流检测图像可以是一个可视化的图像，该光流检测图像中的不同颜色表示光流检测信息中的不同运动方向，该光流检测图像中的不同亮度表示光流检测信息中的不同运动速度。
示例性的，步骤502与步骤202类似，在此不再重复赘述。
步骤503，将该原始检测图像和该光流检测图像输入给已训练的目标网络模型，以通过目标网络模型从该原始检测图像中提取上下文语义检测特征，从该光流检测图像中提取运动检测特征，对该上下文语义检测特征和该运动检测特征进行融合，得到融合检测特征。上下文语义检测特征表示原始检测图像中出血点的上下文语义信息，运动检测特征表示光流检测图像中出血点的运动信息。
步骤504，将该融合检测特征和该上下文语义检测特征输入给目标网络模型，以通过该目标网络模型输出二值掩膜检测图像。示例性的，该二值掩膜检测图像可以包括出血区域和非出血区域，该出血区域中各像素点的像素值均为第一取值，该非出血区域中各像素点的像素值均为第二取值。
示例性的，目标网络模型的网络结构与初始网络模型的网络结构类似，因此，目标网络模型可以包括第一子网络，第二子网络和第三子网络，第一子网络用于对原始检测图像和原始检测图像对应的特征进行处理，第二子网络用于对光流检测图像和光流检测图像对应的特征进行处理，第三子网络用于对原始检测图像对应的特征和光流检测图像对应的特征进行处理。
基于此，将原始检测图像输入给第一子网络，通过第一子网络从原始检测图像中提取上下文语义检测特征，将上下文语义检测特征输入给第三子网络。
可以将光流检测图像输入给第二子网络，通过第二子网络从该光流检测图像中提取运动检测特征，并将该运动检测特征输入给第三子网络。在将上下文语义检测特征和运动检测特征输入给第三子网络后，可以通过第三子网络对该上下文语义检测特征和该运动检测特征进行融合，得到融合检测特征。在得到融合检测特征后，第三子网络可以将融合检测特征输入给第一子网络。
在上述过程，已将融合检测特征和上下文语义检测特征输入给第一子网络，第一子网络基于融合检测特征和上下文语义检测特征生成二值掩膜检测图像。
在上述实施例中，上下文语义检测特征能够表示原始检测图像中出血点的上下文语义信息及非出血点的上下文语义信息，即该上下文语义检测特征能够体现出血点和非出血点的区别。运动检测特征能够表示光流检测图像中出血点的运动信息及非出血点的运动信息，即该运动检测特征能够体现出血点和非出血点的区别。融合检测特征可以表示上下文语义信息和运动信息的融合信息，且融合信息能够体现出血点和非出血点的区别，即，通过上下文语义信息和运动信息体现出出血点和非出血点的区别。
二值掩膜检测图像是二值图像，基于上下文语义信息和运动信息将二值掩膜检测图像划分为出血区域和非出血区域，出血区域的上下文语义信息表示出血周围环境，出血区域的运动信息表示该区域存在运动。非出血区域的上下文语义信息表示非出血周围环境，非出血区域的运动信息表示该区域不存在运动。
综上所述，在将原始检测图像和光流检测图像输入给目标网络模型后，目标网络模型输出二值掩膜检测图像，可以基于二值掩膜检测图像进行后续处理。
示例性的，通过第三子网络对上下文语义检测特征和运动检测特征进行融合，得到融合检测特征，可以包括但不限于：对该运动检测特征进行卷积，得到卷积后的运动检测特征，并采用激活函数(如Sigmoid函数)对卷积后的运动检测特征进行映射，得到映射后的运动检测特征；然后，对该上下文语义检测特征和映射后的运动检测特征进行乘法运算，得到融合检测特征。比如说，可以通过如下公式表示上述融合操作：
Figure BDA0003106754740000151
fm表示运动检测特征，h(fm)表示对fm进行卷积，Sigmoid表示采用Sigmoid函数进行映射，fa表示上下文语义检测特征，
Figure BDA0003106754740000161
表示对应位置的元素相乘，f'a表示融合检测特征。
示例性的，步骤503-504与步骤203-204类似，在此不再重复赘述。
步骤505，基于二值掩膜检测图像中的出血区域确定目标对象内部的出血点位置，即，将该出血区域确定为目标对象内部的出血点位置。
示例性的，二值掩膜检测图像包括出血区域和非出血区域，出血区域中各像素点的像素值均为第一取值，非出血区域中各像素点的像素值均为第二取值，因此，将所有第一取值的像素点组成的区域确定为目标对象内部的出血点位置(也称为出血点区域)，即出血点位置是所有第一取值的像素点组成的区域。
在一种可能的实施方式中，还可以确定与该出血点位置匹配的最小外接圆形，并基于该最小外接圆形确定目标对象内部的出血点面积。然后，可以统计出血点面积大于预设面积阈值的出血累积时间，比如说，在预设时间段内，以K为周期，在每个周期执行步骤501-步骤505，得到当前周期的出血点位置，若当前周期的出血点位置对应的出血点面积大于预设面积阈值，则可以更新出血累积时间(即在出血累积时间的基础上加K)，若当前周期的出血点位置对应的出血点面积不大于预设面积阈值，则可以保持出血累积时间不变。然后，可以在预览页面显示出血点位置(即当前周期的出血点位置)、出血点面积(即当前周期的出血点面积)和出血累积时间(即预设时间段内的出血累积时间)。
由以上技术方案可见，本申请实施例中，可以将原始检测图像和光流检测图像输入给目标网络模型，通过目标网络模型输出二值掩膜检测图像，基于二值掩膜检测图像中的出血区域确定目标对象内部的出血点位置，也就是说，基于原始检测图像和光流检测图像确定目标对象内部的出血点位置，从而快速且准确地定位到出血点位置，实时准确地辅助定位到出血点，提醒医生尽快找到出血点，并对出血点进行处理。通过将光流检测图像输入给目标网络模型，可以将光流信息(即出血点的运动信息)输入给目标网络模型，从而使用运动信息来引导目标网络模型做出更加准确的判断，提高出血点位置检测的准确性。
以下结合具体应用场景，对本申请实施例的上述技术方案进行说明。
参见图6所示，为摄像主机的结构示意图，可以包括图像输入单元、图像处理单元、智能处理单元、视频编码单元、控制单元和操作单元。
图像输入单元可以接收内窥镜发送的原始图像(如原始训练图像或者原始检测图像)，并将该原始图像传输给图像处理单元。
图像处理单元对原始图像进行ISP操作，将ISP操作后的原始图像传输给智能处理单元、视频编码单元和显示装置，显示装置显示该原始图像。该ISP操作可以包括但不限于以下至少一种：亮度变换、锐化、去摩尔纹、缩放。
智能处理单元对原始图像进行智能分析处理，并将处理后的原始图像传输给图像处理单元和视频编码单元。该智能分析处理可以包括但不限于以下至少一种：基于深度学习的场景分类、器械检测、器械头检测、纱布检测、摩尔纹分类和浓雾分类等。图像处理单元在接收到智能处理单元处理后的原始图像后，还可以对原始图像进行亮度变换、去摩尔纹、叠框和缩放等处理。
视频编码单元对接收到的原始图像进行编码压缩，并传输给存储装置。
控制单元控制出血点检测***的各个功能，该功能可以包括但不限于以下至少一种：光源的照明方式、图像处理方式、智能处理方式和视频编码方式。
操作单元可以包括但不限于开关、按钮和触摸面板等，操作单元可以接受外部指示信号，将外部指示信号输出到控制单元，由控制单元基于外部指示信号确定光源的照明方式、图像处理方式、智能处理方式和视频编码方式等。
智能处理单元的结构示意图，可以参见图7所示，智能处理单元可以包括预处理模块、光流估计模块、语义分割模块、预训练模块和后处理模块。
针对内窥镜采集的原始检测图像，可以将原始检测图像输入给预处理模块，由预处理模块对原始检测图像进行预处理，对此预处理方式不做限制，如对原始检测图像降采样等，并将预处理后的原始检测图像输入给光流估计模块。
光流估计模块确定原始检测图像对应的光流检测信息，生成光流检测信息对应的光流检测图像，将原始检测图像和光流检测图像输入给语义分割模块。
预训练模块训练目标网络模型，将目标网络模型输入给语义分割模块。
语义分割模块基于目标网络模型提取原始检测图像中的上下文语义检测特征，提取光流检测图像中的运动检测特征，并对上下文语义检测特征和该运动检测特征进行融合，得到融合检测特征，并基于上下文语义检测特征和该融合检测特征得到二值掩膜检测图像，并将该二值掩膜检测图像输入给后处理模块。
后处理模块基于二值掩膜检测图像确定目标对象内部的出血点位置，并确定目标对象内部的出血点面积和出血累积时间，并将出血点位置、出血点面积和出血累积时间等内容编码进码流发送给显示装置，由显示装置将该出血点位置、该出血点面积和该出血累积时间等内容叠加显示在预览页面上。
针对光流估计模块来说，光流估计模块用于找到运动区域(即出血点所在区域)，以该运动区域的信息为指导，为后续的语义分割模块提供先验帮助。光流估计模块的输入是原始检测图像与原始检测图像的前一帧检测图像，光流估计模块的输出是光流检测图像。例如，光流估计模块确定这两帧图像之间的光流检测信息，该光流检测信息包括运动方向和运动速度，并将光流检测信息转换为可视化的光流图(即光流检测图像)，参见图8A所示，示出了检测图像的一个示例，而该检测图像对应的可视化的光流图，可以参见图8B所示。在将光流检测信息转换为可视化的光流图时，可以将运动方向映射到HSV颜色空间的色调分量，将运动速度映射到HSV颜色空间的明度分量，从而得到光流检测图像。该光流检测图像中的不同颜色表示光流检测信息中的不同运动方向，该光流检测图像中的不同亮度表示光流检测信息中的不同运动速度。
针对语义分割模块来说，语义分割模块可以使用目标网络模型生成二值掩膜检测图像，语义分割模块的输入是原始检测图像(即RGB彩色图像)和光流检测图像(即运动光流图)，语义分割模块的输出是二值掩膜检测图像。
参见图8C所示，为目标网络模型的结构示意图，目标网络模型可以采用双路网络结构，上下两个分支的网络结构相似，均采用Deeplab的网络结构。上面分支称为第一子网络，下面分支称为第二子网络，上下两个分支之间使用第三子网络连接，且第三子网络可以包括多个MGA网络层。第一子网络用于从原始检测图像中提取上下文语义检测特征(用于分割目标区域)，第二子网络用于从光流检测图像中提取运动检测特征(即运动注意力信息)，第三子网络用于将上下文语义检测特征和运动检测特征进行融合，将第二子网络提取的运动检测特征融合到第一子网络，从而通过注意力机制引导第一子网络的分割结果。
参见图8C所示，第一子网络可以包括多个网络层，图8C中以Encoder网络层(编码器)、head-conv网络层(头卷积层)、residual-1网络层(残差层)、residual-2网络层、residual-3网络层、residual-4网络层、ASPP(Atrous Spatial Pyramid Pooling，空洞卷积和金字塔池化)网络层、Decoder网络层(解码器)、conv1网络层(卷积层)、concat网络层(连接层)、conv2网络层、conv3网络层、conv4网络层、conv5网络层、Sigmoid网络层(激励层)为例。当然，上述只是第一子网络的示例，对此第一子网络的结构不做限制。以及，第二子网络可以包括多个网络层，图8C以Encoder网络层、head-conv网络层、residual-1网络层、residual-2网络层、residual-3网络层、residual-4网络层、ASPP网络层、Decoder网络层为例。当然，上述只是第二子网络的示例，对此第二子网络的结构不做限制。以及，第三子网络可以包括多个网络层，图8C以MGA-0网络层、MGA-1网络层、MGA-2网络层、MGA-3网络层、MGA-4网络层、MGA-5网络层为例，当然，上述只是第三子网络的示例，对第三子网络的结构不做限制。
针对第一子网络来说，第一个网络层的输入是原始检测图像，第一个网络层对原始检测图像进行处理，对此处理方式不做限制。第二个网络层至最后一个网络层的输入是一个特征向量(即第一子网络本身的特征向量)或者两个特征向量(即第一子网络本身的特征向量和第三子网络的特征向量)，若是一个特征向量，则网络层直接对该特征向量进行处理，若是两个特征向量，则网络层先确定这两个特征向量的和，在对两个特征向量的和进行处理。
第一个网络层至倒数第二个网络层的输出是特征向量，该特征向量可能只输出给下一个网络层，也可能同时输出给下一个网络层和第三子网络(即第三子网络的MGA网络层)。最后一个网络层的输出是二值掩膜检测图像。
针对第二子网络来说，第一个网络层的输入是光流检测图像，第一个网络层对光流检测图像进行处理。第二个网络层至最后一个网络层的输入是一个特征向量(即第二子网络本身的特征向量)，网络层对该特征向量进行处理。
第一个网络层至倒数第二个网络层的输出是特征向量，该特征向量同时输出给下一个网络层和第三子网络(即第三子网络的MGA网络层)。最后一个网络层的输出是特征向量，该特征向量输出给第三子网络的MGA网络层。
针对第三子网络来说，每个MGA网络层的输入均是两个特征向量(第一子网络输入的特征向量和第二子网络输入的特征向量)，将这两个特征向量记为上下文语义检测特征和运动检测特征，MGA网络层对上下文语义检测特征和运动检测特征进行融合，得到融合检测特征，将融合检测特征输入给第一网络层。
MGA网络层对上下文语义检测特征和运动检测特征进行融合，得到融合检测特征时，采用如下公式：
Figure BDA0003106754740000201
fm表示运动检测特征，h(fm)为对fm进行卷积，Sigmoid(h(fm))表示采用Sigmoid函数对h(fm)进行映射，fa表示上下文语义检测特征，
Figure BDA0003106754740000202
表示对应位置的元素相乘，f'a表示融合检测特征。
针对后处理模块来说，语义分割模块得到二值掩膜检测图像后，可以将二值掩膜检测图像输出给后处理模块，后处理模块基于二值掩膜检测图像中的出血区域确定目标对象内部的出血点位置。以及，后处理模块还可以确定与该出血点位置匹配的最小外接圆形，并基于该最小外接圆形确定目标对象内部的出血点面积，并统计出血点面积大于预设面积阈值的出血累积时间。
例如，后处理模块得到目标对象内部的出血点位置(出血点区域)后，可以确定出血点区域的圆心位置和直径大小，并基于圆心位置和直径大小确定出血点区域的最小外接圆形，基于该最小外接圆形就可以确定目标对象内部的出血点面积，并记录出血点面积、出血点位置、圆心位置和直径大小等内容。后处理模块还可以统计出血点面积大于预设面积阈值的出血累积时间，单位为秒。
后处理模块还可以根据出血点面积和出血累积时间决定是否生成出血异常事件，比如说，若出血点面积大于预设面积阈值，且出血累积时间大于预设时长，则可以生成出血异常事件，否则，可以不生成出血异常事件。
后处理模块可以将出血点位置(如通过圆心位置和直径大小表示出血点位置)、出血点面积和出血累积时间等发送给显示装置，由显示装置在预览页面上显示出血点位置、出血点面积和出血累积时间，参见图8D所示，为显示效果的示意图，示出了出血点面积和出血累积时间等内容。或者，后处理模块可以将出血点位置、出血点面积、出血累积时间和出血异常事件等发送给显示装置，由显示装置在预览页面上显示出血点位置、出血点面积、出血累积时间和出血异常事件。显然，上述方式可以在预览页面上叠加显示出血点位置、出血点面积和出血累积时间，并显示出血异常事件，能够起到提醒医生尽快找到出血点，缝合止血的作用，实时准确地辅助定位出血点位置，对医生进行提醒和显示。
针对预训练模块来说，可以基于原始训练图像和二值掩膜标定图像对初始网络模型进行训练，得到目标网络模型，初始网络模型的结构可以参见图8C所示。比如说，基于原始训练图像得到光流训练图像，将原始训练图像和光流训练图像输入给初始网络模型，得到二值掩膜训练图像。基于二值掩膜训练图像和二值掩膜标定图像确定损失值，基于该损失值对初始网络模型进行训练。比如说，初始网络模型的参数集为Θ，需要对初始网络模型的参数集Θ进行调整，得到调整后的参数集，可以基于调整后的参数集得到目标网络模型。
与网络结构相关的参数可以包括但不限于：卷积层数、卷积层的连接方式、每一卷积层的卷积滤波器数量、卷积核大小、卷积滤波器的权重参数WCN和卷积滤波器的偏移参数BCN等，参数集Θ可以包括上述参数的部分，也可以包括上述参数的全部，如参数集Θ包括权重参数WCN和偏移参数BCN，对此不做限制。
针对预训练模块来说，可以采用如下步骤训练目标网络模型：
步骤S1、采集大量原始训练图像，对原始训练图像进行标定，得到二值掩膜标定图像，原始训练图像和二值掩膜标定图像组成一组训练数据，即训练集Ω可以包括多组训练数据，每组训练数据包括原始训练图像和二值掩膜标定图像。
步骤S2、为初始网络模型配置网络参数为Θ0，即参数集为Θ0，并对训练相关的高层参数(如学习率、梯度下降算法的相关参数等)进行设置。
步骤S3、基于网络参数为Θ0的初始网络模型，对训练集Ω进行前向计算，得到训练集Ω中的原始训练图像对应的二值掩膜训练图像。基于二值掩膜训练图像和训练集Ω中的二值掩膜标定图像，确定损失值。
步骤S4、基于损失值利用反向传播算法对Θ进行调整，获得Θi。
步骤S5、重复步骤步骤S3至步骤S4，直至网络模型收敛，输出参数Θfinal，而基于参数Θfinal组成的网络模型，就是已训练的目标网络模型。
基于与上述方法同样的申请构思，本申请实施例中提出一种出血点检测装置，参见图9所示，为所述装置的结构示意图，所述装置可以包括：采集模块91，用于通过内窥镜采集目标对象内部的原始检测图像；生成模块92，用于确定所述原始检测图像与所述原始检测图像的前一帧检测图像之间的光流检测信息，并生成所述光流检测信息对应的光流检测图像；获取模块93，用于将原始检测图像和光流检测图像输入给已训练的目标网络模型，以通过目标网络模型从所述原始检测图像中提取上下文语义检测特征，从所述光流检测图像中提取运动检测特征，对所述上下文语义检测特征和所述运动检测特征进行融合，得到融合检测特征；所述上下文语义检测特征表示原始检测图像中出血点的上下文语义信息，所述运动检测特征表示光流检测图像中出血点的运动信息；以及，将所述融合检测特征和所述上下文语义检测特征输入给所述目标网络模型，以通过所述目标网络模型输出二值掩膜检测图像；其中，所述二值掩膜检测图像包括出血区域和非出血区域，所述出血区域中各像素点的像素值均为第一取值，所述非出血区域中各像素点的像素值均为第二取值；确定模块94，用于基于所述二值掩膜检测图像中的出血区域确定所述目标对象内部的出血点位置。
示例性的，所述生成模块92生成所述光流检测信息对应的光流检测图像时具体用于：若所述光流检测信息包括运动方向和运动速度，则将所述运动方向映射到HSV颜色空间的色调分量，将所述运动速度映射到HSV颜色空间的明度分量；基于所述色调分量和所述明度分量生成所述光流检测图像。
示例性的，所述目标网络模型包括第一子网络，第二子网络和第三子网络，所述获取模块93具体用于：通过第一子网络从所述原始检测图像中提取上下文语义检测特征，将所述上下文语义检测特征输入给所述第三子网络；通过第二子网络从所述光流检测图像中提取运动检测特征，将所述运动检测特征输入给第三子网络；通过第三子网络对所述上下文语义检测特征和所述运动检测特征进行融合，得到融合检测特征，将所述融合检测特征输入给所述第一子网络。
示例性的，所述获取模块93通过所述第三子网络对所述上下文语义检测特征和所述运动检测特征进行融合，得到融合检测特征时具体用于：对所述运动检测特征进行卷积，得到卷积后的运动检测特征，并采用激活函数对卷积后的运动检测特征进行映射，得到映射后的运动检测特征；对所述上下文语义检测特征和映射后的运动检测特征进行乘法运算，得到融合检测特征。
示例性的，所述装置还包括训练模块，用于通过以下操作训练得到目标网络模型：通过内窥镜采集目标对象内部的原始训练图像；确定原始训练图像与所述原始训练图像的前一帧训练图像之间的光流训练信息，生成所述光流训练信息对应的光流训练图像；将原始训练图像和光流训练图像输入给初始网络模型，以通过初始网络模型从所述原始训练图像中提取上下文语义训练特征，从光流训练图像中提取运动训练特征，对所述上下文语义训练特征和所述运动训练特征进行融合，得到融合训练特征；所述上下文语义训练特征表示所述原始训练图像中出血点的上下文语义信息，所述运动训练特征表示所述光流训练图像中出血点的运动信息；将所述融合训练特征和所述上下文语义训练特征输入给所述初始网络模型，以通过所述初始网络模型输出二值掩膜训练图像；所述二值掩膜训练图像包括出血区域和非出血区域，所述出血区域中各像素点的像素值均为第一取值，所述非出血区域中各像素点的像素值均为第二取值；基于所述二值掩膜训练图像和已配置的二值掩膜标定图像确定损失值；所述二值掩膜标定图像是所述原始训练图像的标定图像，所述二值掩膜标定图像包括出血区域和非出血区域，该出血区域中各像素点的像素值均为第一取值，该非出血区域中各像素点的像素值均为第二取值；基于所述损失值对所述初始网络模型进行训练，得到目标网络模型。
基于与上述方法同样的申请构思，本申请实施例中提出一种出血点检测***，包括：内窥镜、光源装置、摄像主机、显示装置和存储装置；其中：所述内窥镜，用于采集目标对象内部的原始检测图像，并将所述原始检测图像输入给所述摄像主机；所述光源装置，用于为所述内窥镜提供光源；所述摄像主机，用于确定所述原始检测图像与所述原始检测图像的前一帧检测图像之间的光流检测信息，生成所述光流检测信息对应的光流检测图像；将所述原始检测图像和所述光流检测图像输入给已训练的目标网络模型，以通过所述目标网络模型从所述原始检测图像中提取上下文语义检测特征，从所述光流检测图像中提取运动检测特征，对所述上下文语义检测特征和所述运动检测特征进行融合，得到融合检测特征；将所述融合检测特征和所述上下文语义检测特征输入给所述目标网络模型，以通过所述目标网络模型输出二值掩膜检测图像，所述二值掩膜检测图像包括出血区域和非出血区域；基于所述二值掩膜检测图像中的出血区域确定所述目标对象内部的出血点位置；所述显示装置，用于显示所述目标对象内部的出血点位置；所述存储装置，用于存储所述原始检测图像和所述二值掩膜检测图像。
上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种出血点检测方法，其特征在于，所述方法包括：
通过内窥镜采集目标对象内部的原始检测图像；
确定所述原始检测图像与所述原始检测图像的前一帧检测图像之间的光流检测信息，生成所述光流检测信息对应的光流检测图像；
将所述原始检测图像和所述光流检测图像输入给已训练的目标网络模型，以通过所述目标网络模型从所述原始检测图像中提取上下文语义检测特征，从所述光流检测图像中提取运动检测特征，对所述上下文语义检测特征和所述运动检测特征进行融合，得到融合检测特征；其中，所述上下文语义检测特征表示所述原始检测图像中出血点的上下文语义信息，所述运动检测特征表示所述光流检测图像中出血点的运动信息；
将所述融合检测特征和所述上下文语义检测特征输入给所述目标网络模型，以通过所述目标网络模型输出二值掩膜检测图像；其中，所述二值掩膜检测图像包括出血区域和非出血区域，所述出血区域中各像素点的像素值均为第一取值，所述非出血区域中各像素点的像素值均为第二取值；
基于二值掩膜检测图像中的出血区域确定所述目标对象内部的出血点位置。
2.根据权利要求1所述的方法，其特征在于，
所述生成所述光流检测信息对应的光流检测图像，包括：
若所述光流检测信息包括运动方向和运动速度，则将所述运动方向映射到HSV颜色空间的色调分量，将所述运动速度映射到HSV颜色空间的明度分量；
基于所述色调分量和所述明度分量生成所述光流检测图像。
3.根据权利要求1所述的方法，其特征在于，
所述目标网络模型包括第一子网络，第二子网络和第三子网络；
所述通过目标网络模型从所述原始检测图像中提取上下文语义检测特征，从所述光流检测图像中提取运动检测特征，对所述上下文语义检测特征和所述运动检测特征进行融合，得到融合检测特征，包括：
通过所述目标网络模型的第一子网络从所述原始检测图像中提取上下文语义检测特征，并将所述上下文语义检测特征输入给所述第三子网络；
通过所述目标网络模型的第二子网络从所述光流检测图像中提取运动检测特征，并将所述运动检测特征输入给所述第三子网络；
通过所述第三子网络对所述上下文语义检测特征和所述运动检测特征进行融合，得到融合检测特征，并将所述融合检测特征输入给所述第一子网络。
4.根据权利要求3所述的方法，其特征在于，通过所述第三子网络对所述上下文语义检测特征和所述运动检测特征进行融合，得到融合检测特征，包括：
对所述运动检测特征进行卷积，得到卷积后的运动检测特征，并用激活函数对卷积后的运动检测特征进行映射，得到映射后的运动检测特征；对所述上下文语义检测特征和映射后的运动检测特征进行乘法运算，得到融合检测特征。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述基于所述二值掩膜检测图像中的出血区域确定所述目标对象内部的出血点位置之后，还包括：
确定与所述出血点位置匹配的最小外接圆形；
基于所述最小外接圆形确定所述目标对象内部的出血点面积；
统计出血点面积大于预设面积阈值的出血累积时间；
在预览页面显示所述出血点位置、所述出血点面积和所述出血累积时间。
6.根据权利要求1-4任一项所述的方法，其特征在于，
所述目标网络模型的训练过程，包括：
通过内窥镜采集目标对象内部的原始训练图像；
确定所述原始训练图像与所述原始训练图像的前一帧训练图像之间的光流训练信息，并生成所述光流训练信息对应的光流训练图像；
将所述原始训练图像和所述光流训练图像输入给初始网络模型，以通过所述初始网络模型从所述原始训练图像中提取上下文语义训练特征，从所述光流训练图像中提取运动训练特征，对所述上下文语义训练特征和所述运动训练特征进行融合，得到融合训练特征；其中，所述上下文语义训练特征表示所述原始训练图像中出血点的上下文语义信息，所述运动训练特征表示所述光流训练图像中出血点的运动信息；
将所述融合训练特征和所述上下文语义训练特征输入给所述初始网络模型，以通过所述初始网络模型输出二值掩膜训练图像；其中，所述二值掩膜训练图像包括出血区域和非出血区域，所述出血区域中各像素点的像素值均为第一取值，所述非出血区域中各像素点的像素值均为第二取值；
基于所述二值掩膜训练图像和已配置的二值掩膜标定图像确定损失值；其中，所述二值掩膜标定图像是所述原始训练图像的标定图像，所述二值掩膜标定图像包括出血区域和非出血区域，该出血区域中各像素点的像素值均为第一取值，该非出血区域中各像素点的像素值均为第二取值；
基于所述损失值对所述初始网络模型进行训练，得到目标网络模型。
7.根据权利要求6所述的方法，其特征在于，所述基于所述损失值对所述初始网络模型进行训练，得到目标网络模型，包括：
基于所述损失值对所述初始网络模型的网络参数进行更新，得到更新后的网络模型，并确定所述更新后的网络模型是否已收敛；
若否，则将所述更新后的网络模型确定为初始网络模型，并返回执行将原始训练图像和光流训练图像输入给初始网络模型的操作；
若是，则将所述更新后的网络模型确定为目标网络模型。
8.一种出血点检测装置，其特征在于，所述装置包括：
采集模块，用于通过内窥镜采集目标对象内部的原始检测图像；
生成模块，用于确定所述原始检测图像与所述原始检测图像的前一帧检测图像之间的光流检测信息，并生成所述光流检测信息对应的光流检测图像；
获取模块，用于将所述原始检测图像和所述光流检测图像输入给已训练的目标网络模型，以通过所述目标网络模型从所述原始检测图像中提取上下文语义检测特征，从所述光流检测图像中提取运动检测特征，对所述上下文语义检测特征和所述运动检测特征进行融合，得到融合检测特征；其中，所述上下文语义检测特征表示所述原始检测图像中出血点的上下文语义信息，所述运动检测特征表示所述光流检测图像中出血点的运动信息；以及，将所述融合检测特征和所述上下文语义检测特征输入给所述目标网络模型，以通过所述目标网络模型输出二值掩膜检测图像；其中，所述二值掩膜检测图像包括出血区域和非出血区域，所述出血区域中各像素点的像素值均为第一取值，所述非出血区域中各像素点的像素值均为第二取值；
确定模块，用于基于所述二值掩膜检测图像中的出血区域确定所述目标对象内部的出血点位置。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
训练模块，用于通过以下操作训练得到所述目标网络模型：
通过内窥镜采集目标对象内部的原始训练图像；
确定所述原始训练图像与所述原始训练图像的前一帧训练图像之间的光流训练信息，并生成所述光流训练信息对应的光流训练图像；
将所述原始训练图像和所述光流训练图像输入给初始网络模型，以通过所述初始网络模型从所述原始训练图像中提取上下文语义训练特征，从所述光流训练图像中提取运动训练特征，对所述上下文语义训练特征和所述运动训练特征进行融合，得到融合训练特征；其中，所述上下文语义训练特征表示所述原始训练图像中出血点的上下文语义信息，所述运动训练特征表示所述光流训练图像中出血点的运动信息；
将所述融合训练特征和所述上下文语义训练特征输入给所述初始网络模型，以通过所述初始网络模型输出二值掩膜训练图像；其中，所述二值掩膜训练图像包括出血区域和非出血区域，所述出血区域中各像素点的像素值均为第一取值，所述非出血区域中各像素点的像素值均为第二取值；
基于所述二值掩膜训练图像和已配置的二值掩膜标定图像确定损失值；其中，所述二值掩膜标定图像是所述原始训练图像的标定图像，所述二值掩膜标定图像包括出血区域和非出血区域，该出血区域中各像素点的像素值均为第一取值，该非出血区域中各像素点的像素值均为第二取值；
基于所述损失值对所述初始网络模型进行训练，得到目标网络模型。
10.一种出血点检测***，其特征在于，所述出血点检测***包括：内窥镜、光源装置、摄像主机、显示装置和存储装置；其中：
所述内窥镜，用于采集目标对象内部的原始检测图像，并将所述原始检测图像输入给所述摄像主机；
所述光源装置，用于为所述内窥镜提供光源；
所述摄像主机，用于确定所述原始检测图像与所述原始检测图像的前一帧检测图像之间的光流检测信息，生成所述光流检测信息对应的光流检测图像；将所述原始检测图像和所述光流检测图像输入给已训练的目标网络模型，以通过所述目标网络模型从所述原始检测图像中提取上下文语义检测特征，从所述光流检测图像中提取运动检测特征，对所述上下文语义检测特征和所述运动检测特征进行融合，得到融合检测特征；将所述融合检测特征和所述上下文语义检测特征输入给所述目标网络模型，以通过所述目标网络模型输出二值掩膜检测图像，所述二值掩膜检测图像包括出血区域和非出血区域；基于所述二值掩膜检测图像中的出血区域确定所述目标对象内部的出血点位置；
所述显示装置，用于显示所述目标对象内部的出血点位置；
所述存储装置，用于存储所述原始检测图像和所述二值掩膜检测图像。
CN202110638425.5A 2021-06-08 2021-06-08 一种出血点检测方法、装置及*** Active CN113421231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110638425.5A CN113421231B (zh) 2021-06-08 2021-06-08 一种出血点检测方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110638425.5A CN113421231B (zh) 2021-06-08 2021-06-08 一种出血点检测方法、装置及***

Publications (2)

Publication Number Publication Date
CN113421231A true CN113421231A (zh) 2021-09-21
CN113421231B CN113421231B (zh) 2023-02-28

Family

ID=77787975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110638425.5A Active CN113421231B (zh) 2021-06-08 2021-06-08 一种出血点检测方法、装置及***

Country Status (1)

Country Link
CN (1) CN113421231B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023124069A1 (zh) * 2021-12-31 2023-07-06 深圳市中科微光医疗器械技术有限公司 一种校准图像的方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373137A (zh) * 2016-08-24 2017-02-01 安翰光电技术（武汉）有限公司 用于胶囊内窥镜的消化道出血图像检测方法
CN108898583A (zh) * 2018-06-12 2018-11-27 沈阳东软医疗***有限公司 微出血点的检测方法及装置
CN109063609A (zh) * 2018-07-18 2018-12-21 电子科技大学 一种基于光流特征与全卷积语义分割特征结合的异常行为检测方法
CN109711338A (zh) * 2018-12-26 2019-05-03 上海交通大学 利用光流指导特征融合的物体实例分割方法
CN110246142A (zh) * 2019-06-14 2019-09-17 深圳前海达闼云端智能科技有限公司 一种检测障碍物的方法、终端和可读存储介质
CN110378348A (zh) * 2019-07-11 2019-10-25 北京悉见科技有限公司 视频实例分割方法、设备及计算机可读存储介质
CN110490881A (zh) * 2019-08-19 2019-11-22 腾讯科技（深圳）有限公司 医学影像分割方法、装置、计算机设备及可读存储介质
CN111383214A (zh) * 2020-03-10 2020-07-07 苏州慧维智能医疗科技有限公司 实时内窥镜肠镜息肉检测***
WO2021056705A1 (zh) * 2019-09-23 2021-04-01 平安科技（深圳）有限公司 基于语义分割网络的人体外表损伤检测方法及相关设备
CN112907621A (zh) * 2021-02-24 2021-06-04 华南理工大学 一种基于差分和语义信息融合的运动目标提取方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373137A (zh) * 2016-08-24 2017-02-01 安翰光电技术（武汉）有限公司 用于胶囊内窥镜的消化道出血图像检测方法
CN108898583A (zh) * 2018-06-12 2018-11-27 沈阳东软医疗***有限公司 微出血点的检测方法及装置
CN109063609A (zh) * 2018-07-18 2018-12-21 电子科技大学 一种基于光流特征与全卷积语义分割特征结合的异常行为检测方法
CN109711338A (zh) * 2018-12-26 2019-05-03 上海交通大学 利用光流指导特征融合的物体实例分割方法
CN110246142A (zh) * 2019-06-14 2019-09-17 深圳前海达闼云端智能科技有限公司 一种检测障碍物的方法、终端和可读存储介质
CN110378348A (zh) * 2019-07-11 2019-10-25 北京悉见科技有限公司 视频实例分割方法、设备及计算机可读存储介质
CN110490881A (zh) * 2019-08-19 2019-11-22 腾讯科技（深圳）有限公司 医学影像分割方法、装置、计算机设备及可读存储介质
WO2021056705A1 (zh) * 2019-09-23 2021-04-01 平安科技（深圳）有限公司 基于语义分割网络的人体外表损伤检测方法及相关设备
CN111383214A (zh) * 2020-03-10 2020-07-07 苏州慧维智能医疗科技有限公司 实时内窥镜肠镜息肉检测***
CN112907621A (zh) * 2021-02-24 2021-06-04 华南理工大学 一种基于差分和语义信息融合的运动目标提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李洪均等: "基于特征融合时序分割网络的行为识别研究", 《计算机研究与发展》 *
祝世平等: "基于变化检测和帧差累积的视频对象分割方法", 《光电子.激光》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023124069A1 (zh) * 2021-12-31 2023-07-06 深圳市中科微光医疗器械技术有限公司 一种校准图像的方法及装置

Also Published As

Publication number Publication date
CN113421231B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
JP6348078B2 (ja) 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
CN108135453B (zh) 内窥镜***和图像处理方法
CN112330730B (zh) 图像处理方法、装置、设备及存储介质
CN105072968A (zh) 图像处理装置、内窥镜装置、程序和图像处理方法
US20130100140A1 (en) Human body and facial animation systems with 3d camera and method thereof
CN107004275A (zh) 用于确定实物的至少一部分的处于绝对空间比例的3d重构件的空间坐标的方法和***
CN109035307B (zh) 基于自然光双目视觉的设定区域目标追踪方法及***
CN105180802B (zh) 一种物体尺寸信息识别方法和装置
CN109453517A (zh) 虚拟角色控制方法和装置、存储介质、移动终端
CN109841272A (zh) 实时图像识别显示设备
CN107065920A (zh) 避障控制方法、装置及无人机
CN108629799A (zh) 一种实现增强现实的方法及设备
CN113421231B (zh) 一种出血点检测方法、装置及***
CN112400148A (zh) 使用离轴相机执行眼睛跟踪的方法和***
CN105488780A (zh) 一种用于工业生产线的单目视觉测距追踪装置及其追踪方法
JPWO2014171438A1 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
US20230110263A1 (en) Computer-implemented systems and methods for analyzing examination quality for an endoscopic procedure
JP7057086B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN115700759A (zh) 医学图像显示方法、医学图像处理方法和图像显示***
CN115345927A (zh) 展品导览方法及相关装置、移动终端和存储介质
CN115037869A (zh) 自动对焦方法、装置、电子设备及计算机可读存储介质
CN111353354B (zh) 一种人体应激性信息识别方法、装置及电子设备
CN113544701A (zh) 关联对象的检测方法及装置
CN112416124A (zh) 舞蹈姿势反馈方法及装置
CN112183271A (zh) 一种图像处理的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant