CN114429458A - 内窥镜图像的处理方法、装置、可读介质和电子设备 - Google Patents

内窥镜图像的处理方法、装置、可读介质和电子设备 Download PDF

Info

Publication number
CN114429458A
CN114429458A CN202210074391.6A CN202210074391A CN114429458A CN 114429458 A CN114429458 A CN 114429458A CN 202210074391 A CN202210074391 A CN 202210074391A CN 114429458 A CN114429458 A CN 114429458A
Authority
CN
China
Prior art keywords
tissue
image
tissue image
determining
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210074391.6A
Other languages
English (en)
Inventor
边成
李永会
杨延展
杨志雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaohe Medical Instrument Hainan Co ltd
Original Assignee
Xiaohe Medical Instrument Hainan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaohe Medical Instrument Hainan Co ltd filed Critical Xiaohe Medical Instrument Hainan Co ltd
Priority to CN202210074391.6A priority Critical patent/CN114429458A/zh
Publication of CN114429458A publication Critical patent/CN114429458A/zh
Priority to PCT/CN2023/072905 priority patent/WO2023138619A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种内窥镜图像的处理方法、装置、可读介质和电子设备，涉及图像处理技术领域，该方法包括：获取内窥镜在待测组织内采集的组织图像集。根据组织图像集，确定每个组织图像对应的深度图像和姿态参数。根据每个组织图像对应的姿态参数，确定内窥镜的运动轨迹。根据每个组织图像对应的深度图像，确定待测组织的轮廓。根据运动轨迹和待测组织的轮廓，确定内窥镜检查过程中的盲区比例。本公开根据组织图像对应的深度图像以及姿态参数，确定内窥镜的运动轨迹和待测组织的轮廓，并以此确定检查过程中的盲区比例，能够实现对检查范围的监控，有效避免漏检，从而保证内窥镜检查的有效性。

Description

内窥镜图像的处理方法、装置、可读介质和电子设备
技术领域
本公开涉及图像处理技术领域，具体地，涉及一种内窥镜图像的处理方法、装置、可读介质和电子设备。
背景技术
内窥镜检查作为一种常用、有效的检查手段，由于能够直观地观察到人体内部组织的情况，在医疗领域得到了广泛应用。在内窥镜进入人体内部组织进行检查时，视野中可能存在盲区，如果盲区过大，可能导致漏检，进一步导致检查无效。一种可选的解决方案是根据内窥镜采集的图像进行三维建模，以确定盲区的比例，三维建模是否准确，直接影响盲区比例的准确度。由于人体组织(例如：肠道、胃等)是软组织，内窥镜在进入软组织的过程中，不可避免会触碰到软组织的组织壁，使得软组织产生较大的位移，导致三维建模的结果出现误差。同时，检查过程中如果碰到息肉，检查人员会有冲水、切除息肉等行为，也会降低三维建模的准确度。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
第一方面，本公开提供一种内窥镜图像的处理方法，所述方法包括：
获取内窥镜在待测组织内采集的组织图像集，所述组织图像集中包括按照采集时刻排列的多个组织图像；
根据所述组织图像集，确定每个所述组织图像对应的深度图像和姿态参数；
根据每个所述组织图像对应的姿态参数，确定所述内窥镜的运动轨迹；
根据每个所述组织图像对应的深度图像，确定所述待测组织的轮廓；
根据所述运动轨迹和所述待测组织的轮廓，确定所述内窥镜检查过程中的盲区比例。
第二方面，本公开提供一种内窥镜图像的处理装置，所述装置包括：
获取模块，用于获取内窥镜在待测组织内采集的组织图像集，所述组织图像集中包括按照采集时刻排列的多个组织图像；
定位模块，用于根据所述组织图像集，确定每个所述组织图像对应的深度图像和姿态参数；
轨迹确定模块，用于根据每个所述组织图像对应的姿态参数，确定所述内窥镜的运动轨迹；
轮廓确定模块，用于根据每个所述组织图像对应的深度图像，确定所述待测组织的轮廓；
处理模块，用于根据所述运动轨迹和所述待测组织的轮廓，确定所述内窥镜检查过程中的盲区比例。
第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面所述方法的步骤。
第四方面，本公开提供一种电子设备，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面所述方法的步骤。
通过上述技术方案，本公开首先获取内窥镜在待测组织内按照多个采集时刻采集的组织图像。再根据组织图像集，确定每个组织图像对应的深度图像以及姿态参数。之后根据每个组织图像对应的姿态参数，确定内窥镜的运动轨迹，并根据每个组织图像对应的深度图像，确定待测组织的轮廓。最后根据运动轨迹和待测组织的轮廓，确定内窥镜检查过程中的盲区比例。本公开根据组织图像对应的深度图像以及姿态参数，确定内窥镜的运动轨迹和待测组织的轮廓，并以此确定检查过程中的盲区比例，能够实现对检查范围的监控，有效避免漏检，从而保证内窥镜检查的有效性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
图1是根据一示例性实施例示出的一种内窥镜图像的处理方法的流程图；
图2是根据一示例性实施例示出的另一种内窥镜图像的处理方法的流程图；
图3是根据一示例性实施例示出的另一种内窥镜图像的处理方法的流程图；
图4是根据一示例性实施例示出的待测组织的轮廓的示意图；
图5是根据一示例性实施例示出的一种定位模型的示意图；
图6是根据一示例性实施例示出的另一种内窥镜图像的处理方法的流程图；
图7是根据一示例性实施例示出的一种深度子模型和姿态子模型的示意图；
图8是根据一示例性实施例示出的一种训练定位模型的流程图；
图9是根据一示例性实施例示出的另一种姿态子模型的示意图；
图10是根据一示例性实施例示出的另一种训练定位模型的流程图；
图11是根据一示例性实施例示出的另一种内窥镜图像的处理方法的流程图；
图12是根据一示例性实施例示出的一种内窥镜图像的处理装置的框图；
图13是根据一示例性实施例示出的另一种内窥镜图像的处理装置的框图；
图14是根据一示例性实施例示出的另一种内窥镜图像的处理装置的框图；
图15是根据一示例性实施例示出的另一种内窥镜图像的处理装置的框图；
图16是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
图1是根据一示例性实施例示出的一种内窥镜图像的处理方法的流程图，如图1所示，该方法包括可以下步骤：
步骤101，获取内窥镜在待测组织内采集的组织图像集，组织图像集中包括按照采集时刻排列的多个组织图像。
举例来说，在进行内窥镜检查时，内窥镜会按照预设的采集周期，在待测组织内不断地采集组织图像，以得到组织图像集。组织图像集中可以包括按照采集时刻排列的多个组织图像，任意相邻的两个组织图像对应的采集时刻之间的间隔为采集周期。具体的，可以将预设时长(例如：30s)内采集的多个组织图像作为一个组织图像集，也可以将连续采集的预设数量个(例如：100个)组织图像作为一个组织图像集，本公开对此不作具体限定。需要说明的是，本公开实施例中所述的内窥镜，例如可以是肠镜、胃镜等，若内窥镜为肠镜，那么待测组织即为肠道，组织图像即为肠道图像。若内窥镜为胃镜，那么待测组织可以为食道、胃部、十二指肠，上述组织图像可以为食道图像、胃部图像或者十二指肠图像。内窥镜还可以用于采集其他组织的图像，本公开对此不作具体限定。
内窥镜检查过程中，可能由于进镜手法不稳定，或者内窥镜的位置不合适等原因，会采集到很多无效的图像，例如障碍物遮挡、曝光度过大、清晰度过低等图像。这些无效的图像会对内窥镜的检查结果产生干扰。因此，在得到组织图像集之后，可以先判断其中包括的多个组织图像是否有效，以过滤掉无效的组织图像。若某个组织图像为无效的图像，可以直接丢弃该组织图像。若该组织图像为有效图像，可以保留该组织图像，以得到过滤后的组织图像集，这样能够减少不必要的数据处理，提高处理速度。例如，可以利用预先训练的识别模型对组织图像集中的每个组织图像进行识别，以确定该组织图像是否有效，识别模型例如可以是CNN(英文：Convolutional Neural Networks，中文：卷积神经网络)或者LSTM(英文：Long Short-Term Memory，中文：长短期记忆网络)，也可以是Transformer(例如Vision Transformer)中的Encoder等，本公开对此不作具体限定。进一步的，还可以对组织图像集中的每个组织图像进行预处理，可以理解为对每个组织图像中包括的数据进行增强处理。为了保证组织图像的质量，预处理不会对组织图像的模糊度或者色彩进行修改，因此预处理可以包括：multi-crop处理、翻转处理(包括：左右翻转、上下翻转、旋转等)、随机仿射变换、尺寸变换(英文：Resize)等处理，最后得到的预处理后的组织图像可以是指定尺寸(例如可以是384*384)的图像。
步骤102，根据组织图像集，确定每个组织图像对应的深度图像和姿态参数。
示例的，针对组织图像集中的每个组织图像，可以依次确定每个组织图像对应的深度图像和姿态参数。每个组织图像对应的深度图像，包括了该组织图像中每个像素点的深度(也可以理解为距离)，因此对应的深度图像能够反映该组织图像中可见表面的几何形状，而不受该组织图像中纹理、颜色等的影响，也就是说，通过对应的深度图像可以表征该组织图像对应的待测组织的结构信息。每个组织图像对应的姿态参数，可以理解为内窥镜在采集该组织图像时的姿态参数，连续多个组织图像对应的姿态参数，能够表征内窥镜在待测组织内的运动过程，姿态参数例如可以包括旋转矩阵和平移向量。
步骤103，根据每个组织图像对应的姿态参数，确定内窥镜的运动轨迹。
步骤104，根据每个组织图像对应的深度图像，确定待测组织的轮廓。
示例的，组织图像集中每个组织图像对应的姿态参数，能够表征内窥镜在待测组织内的运动过程，因此可以根据每个组织图像对应的姿态参数，得到内窥镜在待测组织内的运动轨迹，运动轨迹可以包括内窥镜在采集每个组织图像时的位置，还可以包括内窥镜在采集每个组织图像时的角度。
同时，对应的深度图像可以表征该组织图像对应的组织的结构信息，因此可以根据每个组织图像对应的深度图像，得到待测组织的轮廓，待测组织的轮廓能够反映待测组织整体的形状，也可以理解为待测组织的模板。以内窥镜为肠镜为例，那么待测组织即为肠道，待测组织的轮廓可以为一个扭曲的圆柱体。具体的，可以根据组织图像集对应的多个深度图像，确定待测组织的中心线，然后按照预设的半径得到待测组织的轮廓。还可以根据组织图像集对应的多个深度图像进行建模，以得到待测组织的轮廓，本公开对此不作具体限定。需要说明的是，图1所示的步骤103和步骤104的执行顺序是一种示例性的实现方式，也可以先执行步骤104，再执行步骤103，还可以是同时执行步骤103和步骤104，本公开对此不作具体限定。
步骤105，根据运动轨迹和待测组织的轮廓，确定内窥镜检查过程中的盲区比例。
示例的，在得到运动轨迹和待测组织的轮廓之后，可以根据内窥镜在采集每个组织图像时的位置和角度，确定内窥镜在采集每个组织图像时的视野区域，视野区域可以理解为内窥镜在采集该组织图像时能够观察到的待测组织的区域。然后可以将每个组织图像对应的视野区域进行拼接，以得到内窥镜检查过程中能够观察到的区域，从而得到内窥镜检查过程中的盲区比例，具体的，可以先根据内窥镜检查过程中能够观察到的区域与待测组织的轮廓的比值，确定观察区域比例，然后再确定盲区比例，即盲区比例＝1-观察区域比例。盲区比例可以理解为内窥镜检查过程中盲区(即内窥镜的视野中无法观测到的部分)占待测组织的轮廓的比例。在深度图像和运动轨迹的基础上确定盲区比例，能够及时反应检查过程中的检查范围，从而避免漏检，保证内窥镜检查的有效性。
综上所述，本公开首先获取内窥镜在待测组织内按照多个采集时刻采集的组织图像。再根据组织图像集，确定每个组织图像对应的深度图像以及姿态参数。之后根据每个组织图像对应的姿态参数，确定内窥镜的运动轨迹，并根据每个组织图像对应的深度图像，确定待测组织的轮廓。最后根据运动轨迹和待测组织的轮廓，确定内窥镜检查过程中的盲区比例。本公开根据组织图像对应的深度图像以及姿态参数，确定内窥镜的运动轨迹和待测组织的轮廓，并以此确定检查过程中的盲区比例，能够实现对检查范围的监控，有效避免漏检，从而保证内窥镜检查的有效性。
在一种实现方式种，步骤102的实现方式可以为：
依次根据每个组织图像和该组织图像对应的历史组织图像，通过预先训练的定位模型确定该组织图像对应的深度图像以及姿态参数，历史组织图像的采集时刻在该组织图像的采集时刻之前。
示例的，可以依次将每个组织图像和该组织图像对应的历史组织图像，输入预先训练的定位模型，以使定位模型根据该组织图像和对应的历史组织图像，确定该组织图像对应的深度图像以及姿态参数。其中，对应的历史组织图像的采集时刻，在该组织图像的采集时刻之前，即组织图像集中，对应的历史组织图像位于该组织图像之前，可以是组织图像集中，该组织图像之前的上一个组织图像。例如，内窥镜在t时刻采集的组织图像可以表示为It，那么该组织图像对应的历史组织图像可以表示为It-1，即内窥镜在t-1时刻采集的图像。
可以将定位模型理解为SLAM(英文：Simultaneous Localization and Mapping，中文：同步定位与地图构建)模型，能够根据每个组织图像和该组织图像对应的历史组织图像，同步确定对应的深度图像以及姿态参数。定位模型能够确定每个组织图像对应的深度图像，无需在内窥镜进行检查时增加深度传感器，便于操作，也节省了成本。同时，定位模型能够确定姿态参数，以准确获得内窥镜的运动轨迹。
在另一种实现方式中，姿态参数可以包括旋转矩阵和平移向量，运动轨迹可以包括内窥镜在采集每个组织图像时的位置和角度。相应的，步骤103的实现方式为：
根据每个组织图像对应的旋转矩阵和平移向量，以及内窥镜在采集该组织图像对应的历史组织图像时的位置和角度，确定内窥镜在采集该组织图像时的位置和角度。
示例的，可以根据每个组织图像对应的姿态参数，确定内窥镜在采集该组织图像时的位置和角度，然后按照采集时刻指示的顺序，将内窥镜在采集全部组织图像时的位置和角度进行排列，即可得到内窥镜的运动轨迹。具体的，可以依次根据内窥镜采集该组织图像对应的历史组织图像时的位置，和该组织图像对应的平移向量，确定内窥镜在采集该组织图像时的位置，并根据内窥镜采集该组织图像对应的历史组织图像时的角度，和该组织图像对应的旋转矩阵，确定内窥镜在采集该组织图像时的角度。
例如，组织图像集中的第一个组织图像的位置和角度可以设置为预设的初始位置和初始角度，然后可以根据第一个组织图像的位置和角度，以及第二个组织图像对应的旋转矩阵和平移向量，确定第二个组织图像的位置和角度。然后再根据定第二个组织图像的位置和角度，以及第三个组织图像对应的旋转矩阵和平移向量，确定第三个组织图像的位置和角度，以此类推，以得到内窥镜在待测组织内的运动轨迹。
图2是根据一示例性实施例示出的另一种内窥镜图像的处理方法的流程图，如图2所示，步骤104可以包括：
步骤1041，根据每个组织图像对应的深度图像，确定待测组织的中心线。
步骤1042，根据待测组织的中心线，确定待测组织的轮廓。
示例的，可以根据每个组织图像对应的深度图像，确定该组织图像中待测组织的中点，然后将每个组织图像中待测组织的中点连接起来，以得到待测组织的中心线。然后按照预设的半径以及中心线，确定待测组织的轮廓。以组织图像为肠道图像，待测组织为肠道来举例，那么肠道的轮廓即为按照预设的半径以及中心线建立的一个圆柱体。具体的，确定每个组织图像中待测组织的中点的方式，可以先确定该组织图中的边界(例如可以包括：左边界、右边界、上边界、下边界等)的距离，然后确定距离深度图像中各边界的距离均相等的点，作为该组织图像中待测组织的中点。
图3是根据一示例性实施例示出的另一种内窥镜图像的处理方法的流程图，如图3所示，步骤105的实现方式可以包括：
步骤1051，根据内窥镜在采集每个组织图像时的位置和角度，以及内窥镜的视角，确定该组织图像对应的视野区域。
步骤1052，根据每个组织图像对应的视野区域，确定总视野区域。
步骤1053，根据总视野区域和待测组织的轮廓，确定盲区比例。
举例来说，在得到运动轨迹和待测组织的轮廓之后，可以根据内窥镜在采集每个组织图像时的位置和角度，以及内窥镜本身的视角，确定内窥镜在采集每个组织图像时的视野区域。内窥镜的视角由内窥镜的光学镜头确定，视角例如可以是100度或者120度等。视野区域可以理解为该组织图像所覆盖的待测组织的面积。以图4所示待测组织的轮廓为例，其中粗实线表示待测组织的轮廓(为了便于展示，此处用二维截面来表示待测组织的轮廓，实际情况中，待测组织的轮廓为三维的，例如可以是圆柱体)，其中k(0)表示内窥镜在t0时刻所在的位置，相应的，内窥镜在t0时刻的角度可以表示为α(0)(需要说明的是，α(0)并未展示在图4中)，内窥镜的视角为
Figure BDA0003483394950000081
那么可以得到t0时刻采集的组织图像对应的视野区域即为轮廓上的A点至B点。具体的，可以采用蒙特卡洛方法(英文：Monte Carlo method)，在待测组织的轮廓上均匀分布X个测试点(X≥100)，然后根据视野区域内包括的测试点的数量，确定视野区域的面积。
之后，可以将每个组织图像对应的视野区域进行拼接，以得到总视野区域。具体的，可以将每个组织图像对应的视野区域求和，将求和结果作为总视野区域，也可以将每个组织图像对应的视野区域中覆盖的测试点求并集，以得到总视野区域内包括的测试点的总数量，作为总视野区域。最后，可以将总视野区域与待测组织的轮廓的总面积的比值，作为观察区域比例，然后将(1-观察区域比例)作为盲区比例。例如，总视野区域内包括的测试点的总数量为Y，即内窥镜检查过程中能够观察到的区域内覆盖了Y个测试点，待测组织的轮廓上总共分布有X个测试点，那么可以先确定观察区域比例为Y/X，再进一步确定盲区比例为1-Y/X。
在一种实现方式中，步骤1051可以通过以下步骤来实现：
步骤1)根据每个组织图像对应的姿态参数，将内窥镜在采集该组织图像时的位置，转换为对应在待测组织的中心线上的中心位置。
步骤2)根据该组织图像对应的姿态参数、内窥镜的视角，以及内窥镜在采集该组织图像时的角度，确定中心位置对应的中心视角。
步骤3)确定中心位置对应的最大视野区域。
步骤4)根据中心视角和最大视野区域，确定该组织图像对应的视野区域。
示例的，为了能够快速确定每个组织图像对应的视野区域，提高图像处理的效率，可以先将内窥镜的位置和视角，转换到待测组织的中心线上的中心位置和中心视角。可以理解为，内窥镜在采集该组织图像时的位置处，按照采集该组织图像时的角度以内窥镜的视角所能观察到的视野，与内窥镜在中心位置上按照采集该组织图像时的角度以中心视角观察到的视野相同。同样以图4所示，其中，d(0)表示内窥镜在t0时刻所在的位置转换到中心线上的中心位置，内窥镜的视角为
Figure BDA0003483394950000091
对应的中心视角可以为δ，使得内窥镜在d(0)上按照采集该组织图像时的角度以中心视角观察到的视野也为A点至B点。具体的，可以通过以下方式来确定中心位置和对应的中心视角：
可以先从内窥镜在采集该组织图像时的位置处，向待测组织的轮廓做垂线，垂线与中心线相交的位置即为中心位置，即d(0)。然后可以根据内窥镜的视角
Figure BDA0003483394950000092
以及内窥镜在采集该组织图像时的角度，进行几何变换，以得到中心视角δ。
之后，可以根据中心位置，确定中心位置对应的最大视野区域。中心位置对应的最大视野区域，可以理解为内窥镜在中心位置可能观察到的最大范围，即将内窥镜的光学镜头旋转360度所能够观察到的最大范围。然后可以根据中心视角和最大视野区域，确定该组织图像对应的视野区域。具体的，可以根据中心视角和360度的比值，与最大视野区域的乘积，确定该组织图像对应的视野区域。例如，中心视角为120度，最大视野区域内包括的测试点的数量为210个，那么该组织图像对应的视野区域内包括的测试点的数量为210*(120/360)＝70个。
在一种实现方式种，定位模型的结构可以如图5所示，其中包括：深度子模型和姿态子模型。其中，深度子模型的输入与姿态子模型的输入，作为定位模型的输入，深度子模型的输出与姿态子模型的输出，作为定位模型的输出。
图6是根据一示例性实施例示出的另一种内窥镜图像的处理方法的流程图，如图6所示，定位模型包括：深度子模型和姿态子模型。步骤102可以包括：
步骤1021，将该组织图像输入深度子模型，以得到深度子模型输出的该组织图像对应的深度图像。
示例的，可以将该组织图像作为深度子模型的输入，深度子模型能够输出该组织图像对应的深度图像。深度子模型的结构可以如图7中的(a)所示，可以是一个UNet结构，其中包括多个步幅卷积层(英文：stride conv)对该组织图像进行下采样，例如可以下采样到该组织图像分辨率的1/8，再利用多个转置卷积层(英文：transpose conv)进行上采样到该组织图像的分辨率，得到该组织图像对应的深度图像。
步骤1022，将该组织图像和对应的历史组织图像输入姿态子模型，以得到姿态子模型输出的该组织图像对应的姿态参数。
示例的，可以将该组织图像和对应的历史组织图像作为姿态子模型的输入，姿态子模型能够输出该组织图像对应的旋转矩阵和平移向量。具体的，可以将该组织图像和对应历史组织图像进行拼接(英文：Concat)，以将拼接后的结果输入姿态子模型。姿态子模型的结构可以如图7中的(b)所示，可以是一个ResNet结构(例如可以是ResNet34)，该组织图像和对应的历史组织图像的拼接结果输入最开始的卷积池化层，通过中间的多个残差块(英文：Residual block)，最后由全连接层输出该组织图像对应的旋转矩阵和平移向量。
图8是根据一示例性实施例示出的一种训练定位模型的流程图，如图8所示，定位模型是通过以下步骤训练得到的：
步骤A，将样本组织图像输入深度子模型，以得到样本组织图像对应的样本深度图像，并将历史样本组织图像输入深度子模型，以得到历史样本组织图像对应的历史样本深度图像，历史样本组织图像为在样本组织图像之前采集的图像。
举例来说，将样本组织图像(表示为Ia)作为深度子模型的输入，深度子模型能够输出样本组织图像对应的样本深度图像(表示为Da)。同样的，将历史样本组织图像(表示为Ib)作为深度子模型的输入，深度子模型能够输出历史样本组织图像对应的历史样本深度图像(表示为Db)。其中，样本组织图像可以是从内窥镜视频中抽帧得来的，内窥镜视频可以是此前进行内窥镜检查时录制的视频，可以选用不同的内窥镜检查不同的用户得到。进一步的，在对内窥镜视频进行抽帧时，可以过滤掉无效的图像(例如障碍物遮挡、曝光度过大、清晰度过低等图像)。相应的，历史样本组织图像，即为样本组织图像前一帧的组织图像。
步骤B，将样本组织图像和历史样本组织图像输入姿态子模型，以得到姿态子模型输出的，样本组织图像对应的样本姿态参数以及采集样本组织图像的内窥镜内参数，内窥镜内参数包括焦距和平移尺寸。
示例的，可以将样本组织图像和历史样本组织图像作为姿态子模型的输入，姿态子模型能够输出样本组织图像对应的样本姿态参数以及采集样本组织图像的内窥镜内参数(表示为K)。其中，内窥镜内参数可以包括焦距和平移尺寸，样本姿态参数包括样本旋转矩阵(表示为R)和样本平移向量(表示为t)。具体的，可以将样本组织图像和历史样本组织图像进行拼接，以将拼接后的结果输入姿态子模型。
在训练阶段，姿态子模型在卷积池化层、多个残差块以及全连接层的基础上，还可以增加一个线性层(表示为intrisic layer)，如图9所示。全连接层(表示为pose layer)输出样本姿态参数，线性层能够输出内窥镜内参数。内窥镜内参数K的形式可以为：
Figure BDA0003483394950000111
其中，fx和fy分别表示内窥镜在X、Y方向上的焦距(单位为像素)，cx和cy分别表示原点在X、Y方向上的平移尺寸(单位为像素)。姿态子模型能够在得到样本姿态参数的同时，得到内窥镜内参数，无需事先对内窥镜进行标定，便于操作，同时能够适应于各种不同的内窥镜，提高了深度子模型的适用范围。
步骤C，根据内窥镜内参数、样本深度图像、历史样本深度图像和样本姿态参数，确定目标损失。
步骤D，以降低目标损失为目标，利用反向传播算法训练定位模型。
示例的，可以根据内窥镜内参数、样本深度图像、历史样本深度图像和样本姿态参数，并以降低目标损失为目标，利用反向传播算法训练定位模型。在对定位模型进行训练时，不需要预先进行标注，就能快速获取到用于训练定位模型的样本组织图像以及历史样本组织图像，也就是说，定位模型采用的是无监督学习的训练方式。
进一步的，训练定位模型的初始学习率可以设置为：1e-2，Batch size可以设置为：16*4，优化器可以选择：SGD，Epoch可以设置为：500，样本组织图像的大小可以为：384×384。
图10是根据一示例性实施例示出的另一种训练定位模型的流程图，如图10所示，步骤C的实现方式可以包括：
步骤C1，根据样本深度图像、样本姿态参数和内窥镜内参数，对历史样本组织图像进行插值，以得到插值组织图像。
步骤C2，根据样本组织图像和插值组织图像确定光度损失。
示例的，可以利用样本深度图像、样本姿态参数和内窥镜内参数，对历史样本组织图像进行可微双线性插值处理，得到插值组织图像。从而根据样本组织图像和插值组织图像确定光度损失。插值组织图像可以理解为以采集历史样本组织图像的视角观测样本组织图像中的内容得到的图像。按照光束平差法的原则，同一个空间点的像素灰度，在各个图像中应当是固定不变的，因此，将不同视角采集的图像转换到另一视角，相同视角下两个图像中相同位置的像素应该相同。因此，光度损失可以理解为样本组织图像和插值组织图像之间的差异。例如可以通过公式1来确定光度损失：
Figure BDA0003483394950000112
其中，Lp表示光度损失，p表示像素点，N表示样本组织图像中有效的像素点，|N|表示有效的像素点的个数。Ia(p)表示样本组织图像中p的像素值，I'a(p)表示插值组织图像中p的像素值。|| ||1表示L1范数，L1范数对于离散点更加鲁棒。
步骤C3，根据样本深度图像的梯度和样本组织图像的梯度，确定平滑损失。
示例的，在样本组织图像(或者插值组织图像)的低纹理区域，由于图像特征信息较少，光度损失的表现较弱，因此可以加入平滑损失作为正则项，来约束生成的样本深度图像。可以根据样本深度图像的梯度和样本组织图像的梯度，确定平滑损失，平滑损失能够保证样本深度图像是由样本组织图像引导生成，这样生成的样本深度图在边缘处能够保留更多的梯度信息，即边缘处更加明显，细节信息更加丰富。例如可以通过公式2来确定平滑损失：
Figure BDA0003483394950000121
其中，Ls表示平滑损失，
Figure BDA0003483394950000122
表示样本组织图像中p的梯度，
Figure BDA0003483394950000123
表示样本深度图像中p的梯度。
步骤C4，根据样本姿态参数和内窥镜内参数，将样本深度图像变换为第一深度图像。
步骤C5，根据样本姿态参数和内窥镜内参数，将历史样本深度图像变换为第二深度图像。
步骤C6，根据第一深度图像和第二深度图像确定一致性损失。
示例的，由于样本组织图像和历史样本组织图像面对的是同一个三维空间，因此样本深度图像和历史样本深度图像之间具有空间一致性。可以利用样本姿态参数和内窥镜内参数，将样本深度图像变换为第一深度图像(表示为
Figure BDA0003483394950000126
)，并利用样本姿态参数和内窥镜内参数，将历史样本深度图像变换为第二深度图像(表示为Db')。其中，第一深度图像可以理解为通过姿态变换将样本深度图像转换为，以采集历史样本组织图像的视角观测样本组织图像中的内容得到的深度图像。第二深度图像可以理解为通过对历史样本深度图像进行插值，以得到以采集历史样本组织图像的视角观测样本组织图像中的内容得到的深度图像。
然后再根据第一深度图像和第二深度图像确定一致性损失。也就是说，一致性损失能够反映第一深度图像与第二深度图像之间的差异。通过训练，一致性可以传播到多个样本深度图像中，这样也保证了多个样本深度图像的尺度一致性，相当于对多个样本深度图像进行平滑处理，保证了空间一致性。例如可以通过公式3来确定一致性损失：
Figure BDA0003483394950000124
其中，LG表示一致性损失，
Figure BDA0003483394950000125
表示第一深度图像中p的深度，Db'(p)表示第二深度图像中p的深度。
步骤C7，根据光度损失、平滑损失和一致性损失，确定目标损失。
示例的，可以根据光度损失、平滑损失和一致性损失，确定目标损失。例如可以通过公式4对光度损失、平滑损失和一致性损失进行加权求和，得到目标损失：
L＝αLp+βLs+γLG 公式4
其中，α、β和γ分别为光度损失、平滑损失和一致性损失对应的权重，其中，α可以是0.7，β可以是0.7，γ可以是0.3。
在又一种实现方式中，步骤C2可以包括：
根据样本组织图像、插值组织图像，以及样本组织图像和插值组织图像的结构相似度，确定光度损失。
示例的，内窥镜在采集样本组织图像和历史样本组织图像时，光照条件可能会发生变化，因此，可以引入SSIM(英文：Structural Similarity，中文：结构相似度)来确定光度损失，以避免光照条件变化对光度损失的干扰。SSIM能够反映局部结构的相似度。改进后的光度损失可以通过公式5来确定：
Figure BDA0003483394950000131
其中，λ1和λ2分别表示预设的权重，SSIM(p)表示样本组织图像与插值组织图像之间逐像素的SSIM。其中，λ1可以为0.7，λ2可以为0.3。
进一步的，可以通过公式6来确定样本组织图像与插值组织图像之间逐像素的SSIM：
Figure BDA0003483394950000132
其中，x表示样本组织图像中以p为中心的图像块(大小可以为3*3)，y表示插值组织图像中以p为中心同等大小的图像块，τx表示x中像素值的平均值，τy表示的y中像素值的平均值，σx表示x中像素值的标准差，σy表示y中像素值的标准差。ε1和ε2表示预设的常量，ε1例如可以是0.0001，ε2例如可以是0.0009。
图11是根据一示例性实施例示出的另一种内窥镜图像的处理方法的流程图，如图11所示，在步骤105之后，该方法还可以包括：
步骤106，输出盲区比例，并在盲区比例大于或等于预设的比例阈值的情况下，发出提示信息，提示信息用于指示存在漏检风险。
举例来说，在确定盲区比例之后，可以输出盲区比例，例如可以在用于展示组织图像的显示界面中实时显示盲区比例，从而实时展示内窥镜检查过程中的检查范围。进一步的，还可以在盲区比例大于或等于预设的比例阈值(例如可以时20％)的情况下，发出提示信息，以提示医生内窥镜当前的视野存在较大的盲区，存在漏检风险。提示信息的呈现形式可以包括：文字形式、图像形式、声音形式中的至少一种。例如，提示信息可以是“当前漏检风险高”、“请重新检查”、“请执行退镜”等文字提示或者图像提示，提示信息也可以是语音、指定频率的蜂鸣声或者报警声等声音提示。这样，医生可以根据提示信息，调整内窥镜的方向，或者执行退镜，再或者重新进行检查。由此，可以在医生进行内窥镜检查过程中对盲区比例进行实时监控，并在盲区比例较大时进行提示，从而有效避免漏检，保证内窥镜检查的有效性。
综上所述，本公开首先获取内窥镜在待测组织内按照多个采集时刻采集的组织图像。再根据组织图像集，确定每个组织图像对应的深度图像以及姿态参数。之后根据每个组织图像对应的姿态参数，确定内窥镜的运动轨迹，并根据每个组织图像对应的深度图像，确定待测组织的轮廓。最后根据运动轨迹和待测组织的轮廓，确定内窥镜检查过程中的盲区比例。本公开根据组织图像对应的深度图像以及姿态参数，确定内窥镜的运动轨迹和待测组织的轮廓，并以此确定检查过程中的盲区比例，能够实现对检查范围的监控，有效避免漏检，从而保证内窥镜检查的有效性。
图12是根据一示例性实施例示出的一种内窥镜图像的处理装置的框图，如图12所示，该装置200可以包括：
获取模块201，用于获取内窥镜在待测组织内采集的组织图像集，组织图像集中包括按照采集时刻排列的多个组织图像。
定位模块202，用于根据组织图像集，确定每个组织图像对应的深度图像和姿态参数。
轨迹确定模块203，用于根据每个组织图像对应的姿态参数，确定内窥镜的运动轨迹，运动轨迹包括内窥镜在采集每个组织图像时的位置和角度。
轮廓确定模块204，用于根据每个组织图像对应的深度图像，确定待测组织的轮廓。
处理模块205，用于根据运动轨迹和待测组织的轮廓，确定内窥镜检查过程中的盲区比例。
在一种应用场景中，定位模块202可以用于：
依次根据每个组织图像和该组织图像对应的历史组织图像，通过预先训练的定位模型确定该组织图像对应的深度图像以及姿态参数，历史组织图像的采集时刻在该组织图像的采集时刻之前。
在另一种应用场景中，姿态参数可以包括旋转矩阵和平移向量，运动轨迹可以包括内窥镜在采集每个组织图像时的位置和角度。相应的，轨迹确定模块203可以用于：
根据每个组织图像对应的旋转矩阵和平移向量，以及内窥镜在采集该组织图像对应的历史组织图像时的位置和角度，确定内窥镜在采集该组织图像时的位置和角度。
图13是根据一示例性实施例示出的另一种内窥镜图像的处理装置的框图，如图13所示，轮廓确定模块204可以包括：
中心线确定子模块2041，用于根据每个组织图像对应的深度图像，确定待测组织的中心线。
轮廓确定子模块2042，用于根据待测组织的中心线，确定待测组织的轮廓。
图14是根据一示例性实施例示出的另一种内窥镜图像的处理装置的框图，如图14所示，处理模块205可以包括：
视野确定子模块2051，用于根据内窥镜在采集每个组织图像时的位置和角度，以及内窥镜的视角，确定该组织图像对应的视野区域。
总视野确定子模块2052，用于根据每个组织图像对应的视野区域，确定总视野区域。
盲区确定子模块2053，用于根据总视野区域和待测组织的轮廓，确定盲区比例。
在一种实现方式中，视野确定子模块2051可以用于实现以下步骤：
步骤1)根据每个组织图像对应的姿态参数，将内窥镜在采集该组织图像时的位置，转换为对应在待测组织的中心线上的中心位置。
步骤2)根据该组织图像对应的姿态参数、内窥镜的视角，以及内窥镜在采集该组织图像时的角度，确定中心位置对应的中心视角。
步骤3)确定中心位置对应的最大视野区域。
步骤4)根据中心视角和最大视野区域，确定该组织图像对应的视野区域。
在一种实现方式中，定位模型包括：深度子模型和姿态子模型。定位模块202可以用于：
将该组织图像输入深度子模型，以得到深度子模型输出的该组织图像对应的深度图像。将该组织图像和对应的历史组织图像输入姿态子模型，以得到姿态子模型输出的该组织图像对应的姿态参数。
在另一种实现方式中，定位模型是通过以下步骤训练得到的：
步骤A，将样本组织图像输入深度子模型，以得到样本组织图像对应的样本深度图像，并将历史样本组织图像输入深度子模型，以得到历史样本组织图像对应的历史样本深度图像，历史样本组织图像为在样本组织图像之前采集的图像。
步骤B，将样本组织图像和历史样本组织图像输入姿态子模型，以得到姿态子模型输出的，样本组织图像对应的样本姿态参数以及采集样本组织图像的内窥镜内参数，内窥镜内参数包括焦距和平移尺寸。
步骤C，根据内窥镜内参数、样本深度图像、历史样本深度图像和样本姿态参数，确定目标损失。
步骤D，以降低目标损失为目标，利用反向传播算法训练定位模型。
在又一种实现方式中，步骤C的实现方式可以包括：
步骤C1，根据样本深度图像、样本姿态参数和内窥镜内参数，对历史样本组织图像进行插值，以得到插值组织图像。
步骤C2，根据样本组织图像和插值组织图像确定光度损失。
步骤C3，根据样本深度图像的梯度和样本组织图像的梯度，确定平滑损失。
步骤C4，根据样本姿态参数和内窥镜内参数，将样本深度图像变换为第一深度图像。
步骤C5，根据样本姿态参数和内窥镜内参数，将历史样本深度图像变换为第二深度图像。
步骤C6，根据第一深度图像和第二深度图像确定一致性损失。
步骤C7，根据光度损失、平滑损失和一致性损失，确定目标损失。
在又一种实现方式中，步骤C2可以包括：
根据样本组织图像、插值组织图像，以及样本组织图像和插值组织图像的结构相似度，确定光度损失。
图15是根据一示例性实施例示出的另一种内窥镜图像的处理装置的框图，如图15所示，该装置200还可以包括：
提示模块206，用于在根据运动轨迹和待测组织的轮廓，确定内窥镜检查过程中的盲区比例之后，输出盲区比例，并在盲区比例大于或等于预设的比例阈值的情况下，发出提示信息，提示信息用于指示存在漏检风险。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
综上所述，本公开首先获取内窥镜在待测组织内按照多个采集时刻采集的组织图像。再根据组织图像集，确定每个组织图像对应的深度图像以及姿态参数。之后根据每个组织图像对应的姿态参数，确定内窥镜的运动轨迹，并根据每个组织图像对应的深度图像，确定待测组织的轮廓。最后根据运动轨迹和待测组织的轮廓，确定内窥镜检查过程中的盲区比例。本公开根据组织图像对应的深度图像以及姿态参数，确定内窥镜的运动轨迹和待测组织的轮廓，并以此确定检查过程中的盲区比例，能够实现对检查范围的监控，有效避免漏检，从而保证内窥镜检查的有效性。
下面参考图16，其示出了适于用来实现本公开实施例的电子设备(例如本公开实施例的执行主体，可以为终端设备或服务器)300的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图16示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图16所示，电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
通常，以下装置可以连接至I/O接口305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图16示出了具有各种装置的电子设备300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从ROM 302被安装。在该计算机程序被处理装置301执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，终端设备、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取内窥镜在待测组织内采集的组织图像集，所述组织图像集中包括按照采集时刻排列的多个组织图像；根据所述组织图像集，确定每个所述组织图像对应的深度图像和姿态参数；根据每个所述组织图像对应的姿态参数，确定所述内窥镜的运动轨迹；根据每个所述组织图像对应的深度图像，确定所述待测组织的轮廓；根据所述运动轨迹和所述待测组织的轮廓，确定所述内窥镜检查过程中的盲区比例。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“获取组织图像集的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例1提供了一种内窥镜图像的处理方法，包括：获取内窥镜在待测组织内采集的组织图像集，所述组织图像集中包括按照采集时刻排列的多个组织图像；根据所述组织图像集，确定每个所述组织图像对应的深度图像和姿态参数；根据每个所述组织图像对应的姿态参数，确定所述内窥镜的运动轨迹；根据每个所述组织图像对应的深度图像，确定所述待测组织的轮廓；根据所述运动轨迹和所述待测组织的轮廓，确定所述内窥镜检查过程中的盲区比例。
根据本公开的一个或多个实施例，示例2提供了示例1的方法，所述根据所述组织图像集，确定每个所述组织图像对应的深度图像和姿态参数，包括：依次根据每个组织图像和该组织图像对应的历史组织图像，通过预先训练的定位模型确定该组织图像对应的深度图像以及姿态参数，所述历史组织图像的采集时刻在该组织图像的采集时刻之前。
根据本公开的一个或多个实施例，示例3提供了示例1的方法，所述姿态参数包括旋转矩阵和平移向量，所述运动轨迹包括所述内窥镜在采集每个所述组织图像时的位置和角度；所述根据每个所述组织图像对应的姿态参数，确定所述内窥镜的运动轨迹，包括：根据每个所述组织图像对应的旋转矩阵和平移向量，以及所述内窥镜在采集该组织图像对应的历史组织图像时的位置和角度，确定所述内窥镜在采集该组织图像时的位置和角度。
根据本公开的一个或多个实施例，示例4提供了示例1的方法，所述根据每个所述组织图像对应的深度图像，确定所述待测组织的轮廓，包括：根据每个所述组织图像对应的深度图像，确定所述待测组织的中心线；根据所述待测组织的中心线，确定所述待测组织的轮廓。
根据本公开的一个或多个实施例，示例5提供了示例1的方法，所述根据所述运动轨迹和所述待测组织的轮廓，确定所述内窥镜检查过程中的盲区比例，包括：根据所述内窥镜在采集每个所述组织图像时的位置和角度，以及所述内窥镜的视角，确定该组织图像对应的视野区域；根据每个所述组织图像对应的视野区域，确定总视野区域；根据所述总视野区域和所述待测组织的轮廓，确定所述盲区比例。
根据本公开的一个或多个实施例，示例6提供了示例5的方法，所述根据所述内窥镜在采集每个所述组织图像时的位置和角度，以及所述内窥镜的视角，确定该组织图像对应的视野区域，包括：根据每个所述组织图像对应的姿态参数，将所述内窥镜在采集该组织图像时的位置，转换为对应在所述待测组织的中心线上的中心位置；根据该组织图像对应的姿态参数、所述内窥镜的视角，以及所述内窥镜在采集该组织图像时的角度，确定所述中心位置对应的中心视角；确定所述中心位置对应的最大视野区域；根据所述中心视角和所述最大视野区域，确定该组织图像对应的视野区域。
根据本公开的一个或多个实施例，示例7提供了示例2的方法，所述定位模型包括：深度子模型和姿态子模型；所述依次根据每个组织图像和该组织图像对应的历史组织图像，通过预先训练的定位模型确定该组织图像对应的深度图像以及姿态参数，包括：将该组织图像输入所述深度子模型，以得到所述深度子模型输出的该组织图像对应的深度图像；将该组织图像和对应的历史组织图像输入所述姿态子模型，以得到所述姿态子模型输出的该组织图像对应的姿态参数。
根据本公开的一个或多个实施例，示例8提供了示例7的方法，所述定位模型是通过以下步骤训练得到的：将样本组织图像输入所述深度子模型，以得到所述样本组织图像对应的样本深度图像，并将历史样本组织图像输入所述深度子模型，以得到所述历史样本组织图像对应的历史样本深度图像，所述历史样本组织图像为在所述样本组织图像之前采集的图像；将所述样本组织图像和所述历史样本组织图像输入所述姿态子模型，以得到所述姿态子模型输出的，所述样本组织图像对应的样本姿态参数以及采集所述样本组织图像的内窥镜内参数，所述内窥镜内参数包括焦距和平移尺寸；根据所述内窥镜内参数、所述样本深度图像、所述历史样本深度图像和所述样本姿态参数，确定目标损失；以降低所述目标损失为目标，利用反向传播算法训练所述定位模型。
根据本公开的一个或多个实施例，示例9提供了示例8的方法，所述根据所述内窥镜内参数、所述样本深度图像、所述历史样本深度图像和所述样本姿态参数，确定目标损失，包括：根据所述样本深度图像、所述样本姿态参数和所述内窥镜内参数，对所述历史样本组织图像进行插值，以得到插值组织图像；根据所述样本组织图像和所述插值组织图像确定光度损失；根据所述样本深度图像的梯度和所述样本组织图像的梯度，确定平滑损失；根据所述样本姿态参数和所述内窥镜内参数，将所述样本深度图像变换为第一深度图像；根据所述样本姿态参数和所述内窥镜内参数，将所述历史样本深度图像变换为第二深度图像；根据所述第一深度图像和所述第二深度图像确定一致性损失；根据所述光度损失、所述平滑损失和所述一致性损失，确定所述目标损失。
根据本公开的一个或多个实施例，示例10提供了示例9的方法，所述根据所述样本组织图像和所述插值组织图像确定光度损失，包括：根据所述样本组织图像、所述插值组织图像，以及所述样本组织图像和所述插值组织图像的结构相似度，确定所述光度损失。
根据本公开的一个或多个实施例，示例11提供了示例1至示例10的方法，在所述根据所述运动轨迹和所述待测组织的轮廓，确定所述内窥镜检查过程中的盲区比例之后，所述方法还包括：输出所述盲区比例，并在所述盲区比例大于或等于预设的比例阈值的情况下，发出提示信息，所述提示信息用于指示存在漏检风险。
根据本公开的一个或多个实施例，示例12提供了一种内窥镜图像的处理装置，包括：获取模块，用于获取内窥镜在待测组织内采集的组织图像集，所述组织图像集中包括按照采集时刻排列的多个组织图像；定位模块，用于根据所述组织图像集，确定每个所述组织图像对应的深度图像和姿态参数；轨迹确定模块，用于根据每个所述组织图像对应的姿态参数，确定所述内窥镜的运动轨迹；轮廓确定模块，用于根据每个所述组织图像对应的深度图像，确定所述待测组织的轮廓；处理模块，用于根据所述运动轨迹和所述待测组织的轮廓，确定所述内窥镜检查过程中的盲区比例。
根据本公开的一个或多个实施例，示例13提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现示例1至示例11中所述方法的步骤。
根据本公开的一个或多个实施例，示例14提供了一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现示例1至示例11中所述方法的步骤。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (14)

1.一种内窥镜图像的处理方法，其特征在于，所述方法包括：
获取内窥镜在待测组织内采集的组织图像集，所述组织图像集中包括按照采集时刻排列的多个组织图像；
根据所述组织图像集，确定每个所述组织图像对应的深度图像和姿态参数；
根据每个所述组织图像对应的姿态参数，确定所述内窥镜的运动轨迹；
根据每个所述组织图像对应的深度图像，确定所述待测组织的轮廓；
根据所述运动轨迹和所述待测组织的轮廓，确定所述内窥镜检查过程中的盲区比例。
2.根据权利要求1所述的方法，其特征在于，所述根据所述组织图像集，确定每个所述组织图像对应的深度图像和姿态参数，包括：
依次根据每个组织图像和该组织图像对应的历史组织图像，通过预先训练的定位模型确定该组织图像对应的深度图像以及姿态参数，所述历史组织图像的采集时刻在该组织图像的采集时刻之前。
3.根据权利要求1所述的方法，其特征在于，所述姿态参数包括旋转矩阵和平移向量，所述运动轨迹包括所述内窥镜在采集每个所述组织图像时的位置和角度；所述根据每个所述组织图像对应的姿态参数，确定所述内窥镜的运动轨迹，包括：
根据每个所述组织图像对应的旋转矩阵和平移向量，以及所述内窥镜在采集该组织图像对应的历史组织图像时的位置和角度，确定所述内窥镜在采集该组织图像时的位置和角度。
4.根据权利要求1所述的方法，其特征在于，所述根据每个所述组织图像对应的深度图像，确定所述待测组织的轮廓，包括：
根据每个所述组织图像对应的深度图像，确定所述待测组织的中心线；
根据所述待测组织的中心线，确定所述待测组织的轮廓。
5.根据权利要求1所述的方法，其特征在于，所述根据所述运动轨迹和所述待测组织的轮廓，确定所述内窥镜检查过程中的盲区比例，包括：
根据所述内窥镜在采集每个所述组织图像时的位置和角度，以及所述内窥镜的视角，确定该组织图像对应的视野区域；
根据每个所述组织图像对应的视野区域，确定总视野区域；
根据所述总视野区域和所述待测组织的轮廓，确定所述盲区比例。
6.根据权利要求5所述的方法，其特征在于，所述根据所述内窥镜在采集每个所述组织图像时的位置和角度，以及所述内窥镜的视角，确定该组织图像对应的视野区域，包括：
根据每个所述组织图像对应的姿态参数，将所述内窥镜在采集该组织图像时的位置，转换为对应在所述待测组织的中心线上的中心位置；
根据该组织图像对应的姿态参数、所述内窥镜的视角，以及所述内窥镜在采集该组织图像时的角度，确定所述中心位置对应的中心视角；
确定所述中心位置对应的最大视野区域；
根据所述中心视角和所述最大视野区域，确定该组织图像对应的视野区域。
7.根据权利要求2所述的方法，其特征在于，所述定位模型包括：深度子模型和姿态子模型；
所述依次根据每个组织图像和该组织图像对应的历史组织图像，通过预先训练的定位模型确定该组织图像对应的深度图像以及姿态参数，包括：
将该组织图像输入所述深度子模型，以得到所述深度子模型输出的该组织图像对应的深度图像；
将该组织图像和对应的历史组织图像输入所述姿态子模型，以得到所述姿态子模型输出的该组织图像对应的姿态参数。
8.根据权利要求7所述的方法，其特征在于，所述定位模型是通过以下步骤训练得到的：
将样本组织图像输入所述深度子模型，以得到所述样本组织图像对应的样本深度图像，并将历史样本组织图像输入所述深度子模型，以得到所述历史样本组织图像对应的历史样本深度图像，所述历史样本组织图像为在所述样本组织图像之前采集的图像；
将所述样本组织图像和所述历史样本组织图像输入所述姿态子模型，以得到所述姿态子模型输出的，所述样本组织图像对应的样本姿态参数以及采集所述样本组织图像的内窥镜内参数，所述内窥镜内参数包括焦距和平移尺寸；
根据所述内窥镜内参数、所述样本深度图像、所述历史样本深度图像和所述样本姿态参数，确定目标损失；
以降低所述目标损失为目标，利用反向传播算法训练所述定位模型。
9.根据权利要求8所述的方法，其特征在于，所述根据所述内窥镜内参数、所述样本深度图像、所述历史样本深度图像和所述样本姿态参数，确定目标损失，包括：
根据所述样本深度图像、所述样本姿态参数和所述内窥镜内参数，对所述历史样本组织图像进行插值，以得到插值组织图像；
根据所述样本组织图像和所述插值组织图像确定光度损失；
根据所述样本深度图像的梯度和所述样本组织图像的梯度，确定平滑损失；
根据所述样本姿态参数和所述内窥镜内参数，将所述样本深度图像变换为第一深度图像；
根据所述样本姿态参数和所述内窥镜内参数，将所述历史样本深度图像变换为第二深度图像；
根据所述第一深度图像和所述第二深度图像确定一致性损失；
根据所述光度损失、所述平滑损失和所述一致性损失，确定所述目标损失。
10.根据权利要求9所述的方法，其特征在于，所述根据所述样本组织图像和所述插值组织图像确定光度损失，包括：
根据所述样本组织图像、所述插值组织图像，以及所述样本组织图像和所述插值组织图像的结构相似度，确定所述光度损失。
11.根据权利要求1-10中任一项所述的方法，其特征在于，在所述根据所述运动轨迹和所述待测组织的轮廓，确定所述内窥镜检查过程中的盲区比例之后，所述方法还包括：
输出所述盲区比例，并在所述盲区比例大于或等于预设的比例阈值的情况下，发出提示信息，所述提示信息用于指示存在漏检风险。
12.一种内窥镜图像的处理装置，其特征在于，所述装置包括：
获取模块，用于获取内窥镜在待测组织内采集的组织图像集，所述组织图像集中包括按照采集时刻排列的多个组织图像；
定位模块，用于根据所述组织图像集，确定每个所述组织图像对应的深度图像和姿态参数；
轨迹确定模块，用于根据每个所述组织图像对应的姿态参数，确定所述内窥镜的运动轨迹；
轮廓确定模块，用于根据每个所述组织图像对应的深度图像，确定所述待测组织的轮廓；
处理模块，用于根据所述运动轨迹和所述待测组织的轮廓，确定所述内窥镜检查过程中的盲区比例。
13.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-11中任一项所述方法的步骤。
14.一种电子设备，其特征在于，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-11中任一项所述方法的步骤。
CN202210074391.6A 2022-01-21 2022-01-21 内窥镜图像的处理方法、装置、可读介质和电子设备 Pending CN114429458A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210074391.6A CN114429458A (zh) 2022-01-21 2022-01-21 内窥镜图像的处理方法、装置、可读介质和电子设备
PCT/CN2023/072905 WO2023138619A1 (zh) 2022-01-21 2023-01-18 内窥镜图像的处理方法、装置、可读介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210074391.6A CN114429458A (zh) 2022-01-21 2022-01-21 内窥镜图像的处理方法、装置、可读介质和电子设备

Publications (1)

Publication Number Publication Date
CN114429458A true CN114429458A (zh) 2022-05-03

Family

ID=81313534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210074391.6A Pending CN114429458A (zh) 2022-01-21 2022-01-21 内窥镜图像的处理方法、装置、可读介质和电子设备

Country Status (2)

Country Link
CN (1) CN114429458A (zh)
WO (1) WO2023138619A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972144A (zh) * 2022-05-23 2022-08-30 江苏势通生物科技有限公司 胶囊内镜肠道图像的拼接方法、装置、存储介质和设备
WO2023138619A1 (zh) * 2022-01-21 2023-07-27 小荷医疗器械(海南)有限公司 内窥镜图像的处理方法、装置、可读介质和电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8514218B2 (en) * 2007-08-14 2013-08-20 Siemens Aktiengesellschaft Image-based path planning for automated virtual colonoscopy navigation
CN113331769A (zh) * 2020-03-02 2021-09-03 卡普索影像公司 用于在内窥镜检查期间检测漏检区域的方法和装置
CN112330729B (zh) * 2020-11-27 2024-01-12 中国科学院深圳先进技术研究院 图像深度预测方法、装置、终端设备及可读存储介质
CN113052956B (zh) * 2021-03-19 2023-03-10 安翰科技(武汉)股份有限公司 基于胶囊内窥镜构建阅片模型的方法、设备及介质
CN113240726B (zh) * 2021-05-20 2022-10-14 南开大学 一种内窥镜下光学目标尺寸实时测量方法
CN113487605B (zh) * 2021-09-03 2021-11-19 北京字节跳动网络技术有限公司 用于内窥镜的组织腔体定位方法、装置、介质及设备
CN114429458A (zh) * 2022-01-21 2022-05-03 小荷医疗器械(海南)有限公司 内窥镜图像的处理方法、装置、可读介质和电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023138619A1 (zh) * 2022-01-21 2023-07-27 小荷医疗器械(海南)有限公司 内窥镜图像的处理方法、装置、可读介质和电子设备
CN114972144A (zh) * 2022-05-23 2022-08-30 江苏势通生物科技有限公司 胶囊内镜肠道图像的拼接方法、装置、存储介质和设备
CN114972144B (zh) * 2022-05-23 2024-02-02 江苏势通生物科技有限公司 胶囊内镜肠道图像的拼接方法、装置、存储介质和设备

Also Published As

Publication number Publication date
WO2023138619A1 (zh) 2023-07-27

Similar Documents

Publication Publication Date Title
US20210406591A1 (en) Medical image processing method and apparatus, and medical image recognition method and apparatus
WO2023124877A1 (zh) 内窥镜图像的处理方法、装置、可读介质和电子设备
US10929669B2 (en) Systems and methods for processing colon images and videos
WO2023138619A1 (zh) 内窥镜图像的处理方法、装置、可读介质和电子设备
WO2019037676A1 (zh) 图像处理方法及装置
CN113470029B (zh) 训练方法及装置、图像处理方法、电子设备和存储介质
CN111091166B (zh) 图像处理模型训练方法、图像处理方法、设备及存储介质
WO2023207564A1 (zh) 基于图像识别的内窥镜进退镜时间确定方法及装置
CN113487608B (zh) 内窥镜图像检测方法、装置、存储介质及电子设备
CN114332019B (zh) 内窥镜图像检测辅助***、方法、介质和电子设备
EP3998579B1 (en) Medical image processing method, apparatus and device, medium and endoscope
WO2023029741A1 (zh) 用于内窥镜的组织腔体定位方法、装置、介质及设备
CN113487609B (zh) 组织腔体的定位方法、装置、可读介质和电子设备
CN111062981A (zh) 图像处理方法、装置及存储介质
CN106027952A (zh) 摄像机***相对于车辆的自动方向估算
CN113470030B (zh) 组织腔清洁度的确定方法、装置、可读介质和电子设备
JP7023196B2 (ja) 検査支援装置、方法およびプログラム
CN114332033A (zh) 基于人工智能的内窥镜图像处理方法、装置、介质及设备
CN111598896A (zh) 图像检测方法、装置、设备及存储介质
WO2023165332A1 (zh) 组织腔体的定位方法、装置、可读介质和电子设备
CN114937178B (zh) 基于多模态的图像分类方法、装置、可读介质和电子设备
Gong et al. Intensity-mosaic: automatic panorama mosaicking of disordered images with insufficient features
CN113724191A (zh) 图像识别方法、装置、设备及存储介质
JP7023195B2 (ja) 検査支援装置、方法およびプログラム
CN109472855A (zh) 一种体绘制方法、装置及智能设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination