CN113487609A - 组织腔体的定位方法、装置、可读介质和电子设备 - Google Patents

组织腔体的定位方法、装置、可读介质和电子设备 Download PDF

Info

Publication number
CN113487609A
CN113487609A CN202111040354.5A CN202111040354A CN113487609A CN 113487609 A CN113487609 A CN 113487609A CN 202111040354 A CN202111040354 A CN 202111040354A CN 113487609 A CN113487609 A CN 113487609A
Authority
CN
China
Prior art keywords
image
tissue
sample
tissue image
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111040354.5A
Other languages
English (en)
Other versions
CN113487609B (zh
Inventor
边成
李永会
赵家英
石小周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202111040354.5A priority Critical patent/CN113487609B/zh
Publication of CN113487609A publication Critical patent/CN113487609A/zh
Application granted granted Critical
Publication of CN113487609B publication Critical patent/CN113487609B/zh
Priority to PCT/CN2022/116108 priority patent/WO2023030373A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种组织腔体的定位方法、装置、可读介质和电子设备，涉及图像处理技术领域，该方法包括：获取当前时刻内窥镜采集的组织图像，利用预先训练的分类模型对组织图像进行分类，以确定组织图像的目标类型，若目标类型指示组织图像中存在组织腔体，根据预先训练的第一定位模型和组织图像，确定组织图像中组织腔体的位置，若目标类型指示组织图像中不存在组织腔体，根据预先训练的第二定位模型、组织图像和历史组织图像，确定组织图像中组织腔体的位置，历史组织图像为当前时刻之前内窥镜采集的图像。本公开首先对组织图像进行分类，并根据不同的分类结果，选择不同的定位方式来定位组织图像中组织腔体的位置，提高了定位的成功率和准确度。

Description

组织腔体的定位方法、装置、可读介质和电子设备
技术领域
本公开涉及图像处理技术领域，具体地，涉及一种组织腔体的定位方法、装置、可读介质和电子设备。
背景技术
内窥镜上设置有光学镜头、图像传感器、光源等组件，能够进入人体内部进行检查，使得医生能够直观地观察到人体内部的情况，在医疗领域得到了广泛应用。由于内窥镜检查是一种侵入式的检查手段，在内窥镜进镜的过程中，可能由于操作人员的经验不足、视角不好等原因，导致进镜过慢甚至进镜失败，还可能出现损伤组织粘膜，造成用户疼痛等问题。因此，需要在内窥镜采集的组织图像中，准确识别出组织腔体的位置，才能够保证内窥镜安全、有效地进镜。内窥镜例如可以为肠镜、胃镜等。针对肠镜来说，需要在肠镜采集的肠道图像中，识别出肠腔的位置，针对胃镜来说，需要在胃镜采集的食道图像或者胃部图像中，识别出食管腔体或者胃内腔体的位置。
通常情况下，可以通过对组织图像进行图像分割、位置估计等处理，来确定组织腔体的位置。然而，由于组织内的环境复杂多变、内窥镜与组织壁过近等原因，可能出现组织图像中不存在组织腔体的情况，导致识别的准确度低，甚至无法识别的问题。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
第一方面，本公开提供一种组织腔体的定位方法，所述方法包括：
获取当前时刻内窥镜采集的组织图像；
利用预先训练的分类模型对所述组织图像进行分类，以确定所述组织图像的目标类型；
若所述目标类型指示所述组织图像中存在组织腔体，根据预先训练的第一定位模型和所述组织图像，确定所述组织图像中组织腔体的位置；
若所述目标类型指示所述组织图像中不存在组织腔体，根据预先训练的第二定位模型、所述组织图像和历史组织图像，确定所述组织图像中组织腔体的位置，所述历史组织图像为当前时刻之前所述内窥镜采集的图像。
第二方面，本公开提供一种组织腔体的定位装置，所述装置包括：
获取模块，用于获取当前时刻内窥镜采集的组织图像；
分类模块，用于利用预先训练的分类模型对所述组织图像进行分类，以确定所述组织图像的目标类型；
第一定位模块，用于若所述目标类型指示所述组织图像中存在组织腔体，根据预先训练的第一定位模型和所述组织图像，确定所述组织图像中组织腔体的位置；
第二定位模块，用于若所述目标类型指示所述组织图像中不存在组织腔体，根据预先训练的第二定位模型、所述组织图像和历史组织图像，确定所述组织图像中组织腔体的位置，所述历史组织图像为当前时刻之前所述内窥镜采集的图像。
第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面所述方法的步骤。
第四方面，本公开提供一种电子设备，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面所述方法的步骤。
通过上述技术方案，本公开首先获取当前时刻内窥镜采集的组织图像，之后利用分类模型对组织图像进行分类，以确定组织图像的目标类型。在目标类型指示组织图像中存在组织腔体的情况下，根据第一定位模型和组织图像，确定组织图像中组织腔体的位置，在目标类型指示组织图像中不存在组织腔体的情况下，根据第二定位模型、组织图像和当前时刻之前内窥镜采集的历史组织图像，确定组织图像中组织腔体的位置。本公开首先对组织图像进行分类，并根据不同的分类结果，选择不同的定位方式来定位组织图像中组织腔体的位置，能够提高定位的成功率和准确度。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
图1是根据一示例性实施例示出的一种组织腔体的定位方法的流程图；
图2是根据一示例性实施例示出的另一种组织腔体的定位方法的流程图；
图3是根据一示例性实施例示出的另一种组织腔体的定位方法的流程图；
图4是根据一示例性实施例示出的一种分类模型的示意图；
图5是根据一示例性实施例示出的另一种组织腔体的定位方法的流程图；
图6是根据一示例性实施例示出的一种第一定位模型的示意图；
图7是根据一示例性实施例示出的另一种组织腔体的定位方法的流程图；
图8是根据一示例性实施例示出的一种第二定位模型的示意图；
图9是根据一示例性实施例示出的一种训练分类模型的流程图；
图10是根据一示例性实施例示出的一种训练第一定位模型的流程图；
图11是根据一示例性实施例示出的一种训练第二定位模型的流程图；
图12是根据一示例性实施例示出的一种组织腔体的定位装置的框图；
图13是根据一示例性实施例示出的另一种组织腔体的定位装置的框图；
图14是根据一示例性实施例示出的另一种组织腔体的定位装置的框图；
图15是根据一示例性实施例示出的另一种组织腔体的定位装置的框图；
图16是根据一示例性实施例示出的另一种组织腔体的定位装置的框图；
图17是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
图1是根据一示例性实施例示出的一种组织腔体的定位方法的流程图，如图1所示，该方法包括以下步骤：
步骤101，获取当前时刻内窥镜采集的组织图像。
步骤102，利用预先训练的分类模型对组织图像进行分类，以确定组织图像的目标类型。
举例来说，在进行内窥镜检查时，内窥镜会伸入组织内，并按照预设的采集周期不断地采集组织内的图像。在当前时刻，可以将内窥镜采集的组织图像，输入预先训练的分类模型，以使分类模型对组织图像进行分类，分类模型输出的即为组织图像的目标类型。目标类型可以包括：第一类型和第二类型，第一类型用于指示组织图像中存在组织腔体，第二类型用于指示组织图像中不存在组织腔体，目标类型还可以包括第三类型，用于指示组织图像的质量过低。其中，分类模型用于识别输入的图像的类型，可以根据预先采集的大量训练图像，和每个训练图像对应的类型标签，对分类模型进行训练，分类标签用于指示该训练图像的真实类型。分类模型例如可以是CNN（英文：Convolutional Neural Networks，中文：卷积神经网络）或者LSTM（英文：Long Short-Term Memory，中文：长短期记忆网络），也可以是Transformer（例如Vision Transformer）中的Encoder等，本公开对此不作具体限定。
步骤103，若目标类型指示组织图像中存在组织腔体，根据预先训练的第一定位模型和组织图像，确定组织图像中组织腔体的位置。
步骤104，若目标类型指示组织图像中不存在组织腔体，根据预先训练的第二定位模型、组织图像和历史组织图像，确定组织图像中组织腔体的位置，历史组织图像为当前时刻之前内窥镜采集的图像。
示例的，在目标类型指示组织图像中存在组织腔体的情况下，即目标类型为第一类型，那么可以将组织图像输入预先训练的第一定位模型，由第一定位模型对组织图像中的组织腔体进行定位，第一定位模型输出的即为组织图像中组织腔体的位置，可以理解为组织图像中组织腔体的坐标。其中，第一定位类模型用于定位输入的图像中组织腔体的位置，可以根据预先采集的大量训练图像，和每个训练图像中组织腔体的真实位置，对第一定位模型进行训练。第一定位模型例如可以是CNN或者LSTM，也可以是Transformer（例如Vision Transformer）中的Encoder等，本公开对此不作具体限定。
在目标类型指示组织图像中不存在组织腔体的情况下，即目标类型为第二类型，那么可以将组织图像和在当前时刻之前内窥镜采集的历史组织图像，一起输入预先训练的第二定位模型，由第二定位模型对组织图像中的组织腔体进行定位，第二定位模型输出的即为组织图像中组织腔体的位置，可以理解为组织图像中组织腔体的坐标。其中，第二定位类模型用于定位输入的一组图像中组织腔体的位置，可以预先采集的大量训练图像，并将训练图像按照采集时刻分为多个训练图像组，可以根据每个训练图像组和每个训练图像组中组织腔体的真实位置，对第二定位模型进行训练。第二定位模型例如可以是CNN或者LSTM，也可以是Transformer（例如Vision Transformer）中的Encoder等，本公开对此不作具体限定。需要说明的是，历史组织图像可以是一帧图像，也可以是多帧图像，可以按照预设的帧数来确定历史组织图像，也可以按照预设的时间窗口来确定历史组织图像。例如，可以将内窥镜在当前时刻之前连续采集的4帧图像作为历史组织图像，也可以将内窥镜在当前时刻之前5s内连续采集的图像作为历史组织图像（若采集周期为1s，那么历史组织图像包括5帧图像）。这样，在对组织图像进行定位之前，首先对组织图像进行分类，以区分组织图像中是否存在组织腔体，若存在，直接利用组织图像来定位组织腔体的位置，若不存在，可以将组织图像和之前采集的历史组织图像结合起来，一同用于定位组织腔体的位置，能够避免由于组织图像中不存在组织腔体，导致的定位不准，甚至无法定位的问题，能够提高定位的成功率和准确度。
需要说明的是，本公开实施例中所述的内窥镜，例如可以是肠镜、胃镜，若内窥镜为肠镜，那么上述组织图像即为肠道图像，组织腔体即为肠腔。若内窥镜为胃镜，那么上述组织图像可以为食道图像、胃部图像或者十二指肠图像，相应的，组织腔体可以为食管腔体、胃内腔体、十二指肠腔。本公开中，内窥镜还可以用于采集其他具有腔体的组织的图像，以定位腔体在组织中的位置，本公开对此不作具体限定。
综上所述，本公开首先获取当前时刻内窥镜采集的组织图像，之后利用分类模型对组织图像进行分类，以确定组织图像的目标类型。在目标类型指示组织图像中存在组织腔体的情况下，根据第一定位模型和组织图像，确定组织图像中组织腔体的位置，在目标类型指示组织图像中不存在组织腔体的情况下，根据第二定位模型、组织图像和当前时刻之前内窥镜采集的历史组织图像，确定组织图像中组织腔体的位置。本公开首先对组织图像进行分类，并根据不同的分类结果，选择不同的定位方式来定位组织图像中组织腔体的位置，能够提高定位的成功率和准确度。
图2是根据一示例性实施例示出的另一种组织腔体的定位方法的流程图，如图2所示，该方法还可以包括：
步骤105，若目标类型指示组织图像的质量不满足预设条件，根据历史组织图像，确定内窥镜的进镜方向，以控制内窥镜按照进镜方向进镜。
步骤106，在获得组织图像中组织腔体的位置的情况下，根据组织图像中组织腔体的位置，确定进镜方向，以控制内窥镜按照进镜方向进镜。
示例的，在目标类型指示组织图像的质量不满足预设条件的情况下，即目标类型为第三类型，表示组织图像的质量较差，其中包含的有效信息过少，无法根据组织图像定位组织腔体的位置。因此，可以放弃该组织图像，并根据历史组织图像，确定内窥镜的进镜方向，从而控制内窥镜按照进镜方向进镜。具体的，可以根据历史组织图像中组织腔体的位置，确定内窥镜的进镜方向，例如，将进镜方向确定为朝向历史组织图像中组织腔体的位置，然后按照进镜方向进镜。当内窥镜为肠镜，组织图像为肠道图像时，预设条件可以包括以下至少一种：采集肠道图像时肠镜未被遮挡、采集肠道图像时肠镜与肠壁的距离大于预设的阈值、肠道图像的曝光度小于预设的曝光度阈值、肠道图像的模糊度小于预设的模糊度阈值、肠道图像中的肠道未发生粘连等。例如，若肠道中有污水遮挡，或者肠镜离肠壁过近、肠道图像过曝、肠道图像过于模糊、肠道出现粘连等，那么肠道图像的质量不满足预设条件。
在通过步骤103或者步骤104获取到组织图像中组织腔体的位置的情况下，可以根据组织图像中组织腔体的位置，确定进镜方向，以控制内窥镜按照进镜方向进镜。具体的，可以将进镜方向确定为朝向组织图像中组织腔体的位置，然后按照进镜方向进镜。进一步的，还可以根据是否获得组织图像中组织腔体的位置，来控制内窥镜的进镜距离。例如，可以将进镜距离按照由短到长分为三个等级，第一等级的进镜距离最短，第三等级的进镜距离最长。若目标类型指示组织图像的质量不满足预设条件，进镜距离可以为第一等级，若根据步骤104获取到组织图像中组织腔体的位置，那么进镜距离可以为第二等级，若根据步骤103获取到组织图像中组织腔体的位置，那么进镜距离可以为第三等级。
图3是根据一示例性实施例示出的另一种组织腔体的定位方法的流程图，如图3所示，分类模型的结构可以如图4中的（a）所示，其中以组织图像为肠道图像来举例，分类模型可以包括：编码器和分类层，还可以包括线性投射层。其中，编码器可以为VisionTransformer中的Encoder，分类层可以为MLP（英文：Multilayer Perceptron Head），线性投射层（英文：Linear Projection）可以理解为一个全连接层。
步骤102的实现方式可以包括：
步骤1021，对组织图像进行预处理，并将预处理后的组织图像划分为大小相等的多个子图像。
举例来说，首先对组织图像进行预处理，以对组织图像中包括的数据进行增强处理，预处理可以包括：随机仿射变换，随机亮度、对比度、饱和度、色度调整，尺寸变换（英文：Resize）等处理，最后得到的预处理后的组织图像可以是指定尺寸（例如可以是224*224）的图像。之后，可以将预处理后的组织图像按照指定大小划分为大小相等的多个子图像（可以表示为patch），例如，预处理后的组织图像为224*224，指定大小为16*16，那么可以将预处理后的组织图像划分为196个子图像。
步骤1022，根据每个子图像对应的图像向量，和该子图像对应的位置向量，确定该子图像对应的令牌，位置向量用于指示该子图像在预处理后的组织图像中的位置。
示例的，可以利用线性投射层先将每个子图像进行展平处理，即将该子图像展平成一维向量，之后再将该子图像对应的一维向量做线性变换（可以理解为经过全连接层），以对每个子图像进行降维处理，得到该子图像对应的图像向量（可以表示为patchembedding），图像向量能够表征该子图像。图4中的（a）中，以9个子图像为例，LinearProjection输出的9个块即为图像向量。进一步的，还可以生成用于指示该子图像在预处理后的组织图像中的位置的位置向量（可以表示为position embedding），其中，positionembedding的大小与patch embedding的大小相同。图4中的（a）中，以9个子图像为例，数字1-9标识的9个块即为各个子图像对应的position embedding。需要说明的是，positionembedding可以是随机生成的，编码器能够学习到对应的子图像在组织图像的位置的表征。之后，可以根据每个子图像的图像向量和位置向量，生成该子图像对应的令牌（可以表示为token）。具体的，每个子图像对应的令牌，可以是将该子图像的图像向量和位置向量进行拼接（可以理解为concat）得到的。
进一步的，在得到每个子图像对应的令牌之后，还可以随机生成一个分类令牌。例如，可以随机生成一个图像向量（即符号“#”标识的块）和一个位置向量（即数字0标识的块），并进行拼接，以作为分类令牌。
步骤1023，将每个子图像对应的令牌，和随机生成的分类令牌输入编码器，以得到每个子图像对应的局部编码向量，和组织图像对应的全局编码向量。
步骤1024，将全局编码向量和多个局部编码向量输入分类层，以得到分类层输出的目标类型。
示例的，可以将每个子图像对应的令牌，和分类令牌输入编码器，编码器能够根据每个子图像对应的令牌，生成每个子图像对应的局部编码向量，同时，还能够根据全部的子图像对应的令牌，生成组织图像对应的全局编码向量。其中，局部编码向量可以理解为编码器学习到的，能够表征对应的子图像的向量，全局编码向量可以理解为编码器学习到的，能够表征整个组织图像的向量。需要说明的是，分类模型中可以包括多个编码器，可以将每个子图像对应的令牌，和分类令牌输入每个编码器，该编码器输出每个子图像对应的局部编码向量和组织图像对应的全局编码向量。具体的，每个编码器的结构可以如图4中的（b）所示，将patch embedding和position embedding进行拼接，输入编码器，编码器中包括：Multi-Head Attention（多头注意力）、Norm & Add和Position-wise FFN结构，其中，Multi-Head Attention能够将patch embedding+position embedding（即token）拆分成h个组的token，然后分别输入到h个attention结构，对得到的结果进行concat，并使用Norm& Add进行归一化。由于编码器中还加入了残差结构，所以Norm & Add处理后的结果与处理前的结果相加，之后进入Position-wise FFN，得到输出结果再进行Norm & Add，并与残差数据相加，得到编码器的输出，即全局编码向量和多个局部编码向量。
最后，将全局编码向量和多个局部编码向量输入分类层，分类层的输出即为目标类型。在有多个编码器的场景中，可以将每个编码器输出的全局编码向量和多个局部编码向量，都输入分类层，由分类层输出目标类型。具体的，可以将全局编码向量和多个局部编码向量进行拼接，得到一个综合编码向量，然后将综合编码向量输入分类层，分类层能够根据综合编码向量，确定组织图像分别与多种类型的匹配概率，最后将匹配概率最大的类型作为目标类型。由于分类层的输入既包括全局编码向量，又包括各个局部编码向量，整合了整个组织图像和各个子图像的特征，即考虑了全局的信息和局部的信息，能够有效提高分类模型的分类准确度。
图5是根据一示例性实施例示出的另一种组织腔体的定位方法的流程图，如图5所示，第一定位模型的结构可以如图6中的（a）所示，其中以组织图像为肠道图像来举例，第一定位模型包括：多个第一编码器、点回归子模型和热力图子模型，还可以包括线性投射层。其中，第一编码器可以为Vision Transformer中的Encoder，线性投射层可以理解为一个全连接层。步骤103的实现方式可以包括：
步骤1031，对组织图像进行预处理，并将预处理后的组织图像划分为大小相等的多个子图像。
步骤1032，根据每个子图像对应的图像向量，和该子图像对应的位置向量，确定该子图像对应的令牌，位置向量用于指示该子图像在预处理后的组织图像中的位置。
步骤1033，将每个子图像对应的令牌，和随机生成的第一定位令牌输入每个第一编码器，以得到该第一编码器输出的，每个子图像对应的局部编码向量，和组织图像对应的全局编码向量。
示例的，步骤1031中对组织图像进行预处理、划分的方式与步骤1021中的方式相同，同样的，步骤1032中确定每个子图像对应的令牌的方式，与步骤1022中的方式相同，此处不再赘述。同样的，在得到每个子图像对应的令牌之后，还可以随机生成一个第一定位令牌。例如，可以随机生成一个图像向量和一个位置向量，并进行拼接，以作为第一定位令牌。
在得到每个子图像对应的令牌，和第一定位令牌之后，可以将每个子图像对应的令牌，和第一定位令牌输入每个第一编码器，每个第一编码器能够根据每个子图像对应的令牌，生成每个子图像对应的局部编码向量，同时，还能够根据全部子图像对应的令牌，生成组织图像对应的全局编码向量。其中，局部编码向量可以理解为第一编码器学习到的，能够表征对应的子图像的向量，全局编码向量可以理解为第一编码器学习到的，能够表征整个组织图像的向量。其中，第一编码器的结构与图4中的（b）所示出的编码器的结构相同，此处不再赘述。
步骤1034，将每个第一编码器输出的全局编码向量输入点回归子模型，以得到点回归子模型输出的回归坐标。
示例的，可以将每个第一编码器输出的全局编码向量输入点回归子模型，从而得到点回归子模型输出的回归坐标。具体的，点回归子模型的结构可以如图6中的（a）所示，其中，全局编码向量表示为regression token，多个regression token分别通过MLP Head得到一组x坐标（即x list）和一组y坐标（y list），然后再分别将x list输入一个MLP，得到一个x坐标，将y list输入一个MLP，得到一个y坐标，最后将一个x坐标和一个y坐标组合为回归坐标（即regression），回归坐标可以理解为点回归子模型确定的，组织腔体在组织图像中的位置坐标。
步骤1035，将每个第一编码器输出的，输入热力图子模型，以得到热力图子模型输出的热力图。
示例的，可以将每个第一编码器输出的，每个子图像对应的局部编码向量输入热力图子模型，从而得到热力图子模型输出的热力图（英文：Heatmap）。具体的，热力图子模型的结构可以如图6中的（a）所示，其中，局部编码向量表示为image token。首先，通过reshape操作将每个第一编码器输出的每个子图像对应的，二维的image token变换到三维空间。例如，组织图像的大小为224*224，子图像的大小为16*16，组织图像被划分为14*14个子图像，reshape操作将每个子图像对应的image token变换到三维空间后的向量的尺寸为16*16*3。再通过Linear projection操作将16*16*3的向量编码到512维，得到196个512维的向量。之后使用reshape操作将196个512维的向量变成三维向量，即（14，14，512），进一步使用1*1的卷积变换特征的channel，将（14，14，512）维的向量变换为（14，14，1）维的向量。然后经过双线性上采样（即Upsample）得到每个第一编码器输出的每个子图像对应的局部编码向量对应的feature map，每个feature map的维度为（224，224，1）。最后，将每个第一编码器对应的feature map拼接到一起，得到（224，224，N）维的向量，其中，N为第一编码器的个数，最终使用两层卷积，将（224，224，N）维的向量通过卷积变换得到（224，224，1）维的向量，即为热力图子模型输出的热力图。热力图中亮度最大的点的坐标，即为热力图子模型确定的，组织腔体在组织图像中的位置坐标，即后文提及的热力坐标。
步骤1036，根据回归坐标和热力坐标，确定组织图像中组织腔体的位置，热力坐标为热力图中亮度最大的点的坐标。
示例的，在得到回归坐标和热力坐标之后，可以根据两种坐标互相验证，以确定组织图像中组织腔体的位置。具体的，可以在组织图像中标出组织腔体的位置，以作为本公开所提供的组织腔体的定位方法的输出，如图6中的（b）所示。
具体的，步骤1036的实现方式可以为：
若回归坐标与热力坐标之间的距离小于预设的距离阈值，根据回归坐标和热力坐标，确定组织图像中组织腔体的坐标。
相应的，该方法还可以包括：
若回归坐标与热力坐标之间的距离大于或等于距离阈值，根据历史组织图像，确定内窥镜的进镜方向，以控制内窥镜按照进镜方向进镜。
举例来说，可以先确定回归坐标与热力坐标之间的距离，可以理解为两种坐标之间的差，然后将回归坐标与热力坐标之间的距离与预设的距离阈值进行比较。在回归坐标与热力坐标之间的距离小于预设的距离阈值的情况下，表明回归坐标与热力坐标的置信度较高，那么可以根据回归坐标和热力坐标，确定组织图像中组织腔体的坐标。具体的，可以将回归坐标或者热力坐标，作为组织图像中组织腔体的坐标，也可以将回归坐标与热力坐标的连线的中点作为组织图像中组织腔体的坐标，还可以同时将回归坐标与热力坐标作为组织图像中组织腔体的坐标，即同时输出回归坐标和热力坐标。其中，距离阈值可以根据组织图像的尺寸来确定，例如，组织图像的尺寸为224*224，那么距离阈值可以为224*0.2=45。
在回归坐标与热力坐标之间的距离大于或等于距离阈值的情况下，表明回归坐标与热力坐标的置信度较低，那么可以放弃该组织图像，并根据历史组织图像，确定内窥镜的进镜方向，以控制内窥镜按照进镜方向进镜。具体的，可以根据历史组织图像中组织腔体的位置，确定内窥镜的进镜方向，例如，将进镜方向确定为朝向历史组织图像中组织腔体的位置，然后按照进镜方向进镜。
图7是根据一示例性实施例示出的另一种组织腔体的定位方法的流程图，如图7所示，第二定位模型的结构可以如图8所示，其中以组织图像为肠道图像来举例，第二定位模型包括：多个第二编码器、点回归子模型和热力图子模型，还可以包括线性投射层。其中，第二编码器可以为Vision Transformer中的Encoder，线性投射层可以理解为一个全连接层。
步骤104的实现方式可以包括：
步骤1041，对组织图像、历史组织图像进行预处理，并将预处理后的组织图像划分为大小相等的多个子图像，将预处理后的历史组织图像划分为与每个子图像大小相等、位置对应的多个历史子图像。
步骤1042，将位置对应的子图像和历史子图像作为一个图像组。
示例的，步骤1041中对组织图像进行预处理、划分的方式，对历史组织图像进行预处理、划分的方式，均与步骤1021中的方式相同，此处不再赘述。需要说明的是，对预处理后的历史组织图像进行划分时，得到的是与每个子图像大小相等，且位置对应的多个历史子图像。例如，预处理后的组织图像和历史组织图像的尺寸均为224*224，按照16*16进行划分，得到196个子图像，和196个历史子图像，每个历史子图像都对应一个子图像，该历史子图像在历史组织图像上的位置，与对应的子图像在组织图像上的位置相同。进一步的，可以有多个历史组织图像，每个历史组织图像都可以被划分为多个历史子图像，那么每个子图像，对应多个历史组织图像中，每个历史组织图像中的一个历史子图像，即每个子图像，对应多个历史子图像（每个历史子图像是从不同的历史组织图像中划分出来的）。
之后，可以将位置对应的子图像和历史子图像（一个或多个）作为一个图像组。例如，历史组织图像有5个，预处理后的组织图像的尺寸为224*224，5个预处理后的历史组织图像的尺寸均为224*224，按照16*16进行划分，得到196个子图像，和每个预处理后的历史组织图像划分出的196个历史子图像（共5*196个历史子图像）。那么，每个子图像对应5个历史子图像，可以将该子图像与对应的5个历史子图像作为一个图像组。
步骤1043，根据每个图像组对应的图像向量，和该图像组对应的位置向量，确定该图像组对应的令牌，位置向量用于指示该图像组对应的位置。
示例的，可以先将每个图像组按照通道进行拼接，得到拼接图像。之后再利用线性投射层将拼接图像进行展平处理，即将拼接图像展平成一维向量，之后再将拼接图像对应的一维向量做线性变换（可以理解为经过全连接层），以对拼接图像进行降维处理，得到该图像组对应的图像向量（可以表示为patch embedding），图像向量能够表征该图像组。进一步的，还可以生成用于指示该图像组对应在预处理后的组织图像中的位置的位置向量（可以表示为position embedding），其中，position embedding的大小与patch embedding的大小相同。需要说明的是，position embedding可以是随机生成，第二编码器能够学习到对应的该图像组在组织图像的位置的表征。之后，可以根据每个该图像组的图像向量和位置向量，生成该图像组对应的令牌（可以表示为token）。具体的，每个图像组对应的令牌，可以是将该图像组的图像向量和位置向量进行拼接得到的。
进一步的，在得到每个图像组对应的令牌之后，还可以随机生成一个的第二定位令牌。例如，可以随机生成一个图像向量和一个位置向量，并进行拼接，以作为第二定位令牌。
步骤1044，将每个图像组对应的令牌，和随机生成的第二定位令牌输入每个第二编码器，以得到该第二编码器输出的，每个图像组对应的局部编码向量，和总图像组对应的全局编码向量，总图像组包括组织图像和历史组织图像。
示例的，在得到每个图像组对应的令牌，和第二定位令牌之后，可以将每个图像组对应的令牌，和第二定位令牌输入每个第二编码器，每个第二编码器能够根据每个图像组对应的令牌，生成每个图像组对应的局部编码向量，同时，还能够根据全部的图像组对应的令牌，生成总图像组对应的全局编码向量。其中，局部编码向量可以理解为第二编码器学习到的，能够表征对应的子图像的向量，全局编码向量可以理解为第二编码器学习到的，能够表征整个总图像组的向量，总图像组可以理解为组织图像和多个历史组织图像的集合，即总图像组为输入第二定位模型的全部图像。其中，第二编码器的结构与图4中的（b）所示出的编码器的结构相同，此处不再赘述。
步骤1045，将每个第二编码器输出的全局编码向量输入点回归子模型，以得到点回归子模型输出的回归坐标。
步骤1046，将每个第二编码器输出的，每个图像组对应的局部编码向量输入热力图子模型，以得到热力图子模型输出的热力图。
步骤1047，根据回归坐标和热力坐标，确定组织图像中组织腔体的位置，热力坐标为热力图中亮度最大的点的坐标。
示例的，第二定位模型中的点回归子模型和热力图子模型的结构，与第一定位模型中的点回归子模型和热力图子模型的结构相同，得到回归坐标和热力坐标的方式也相同，且根据回归坐标和热力坐标，确定组织图像中组织腔体的位置的方式也相同，此处不再赘述。
在另一种实现方式中，步骤1047的实现方式可以为：
若回归坐标与热力坐标之间的距离小于预设的距离阈值，根据回归坐标和热力坐标，确定组织图像中组织腔体的坐标。
相应的，该方法还可以包括：
若回归坐标与热力坐标之间的距离大于或等于距离阈值，根据历史组织图像，确定内窥镜的进镜方向，以控制内窥镜按照进镜方向进镜。
图9是根据一示例性实施例示出的一种训练分类模型的流程图，如图9所示，分类模型是通过以下方式训练得到的：
步骤A，获取第一样本输入集和第一样本输出集，第一样本输入集包括：多个第一样本输入，每个第一样本输入包括样本组织图像，第一样本输出集中包括与每个第一样本输入对应的第一样本输出，每个第一样本输出包括对应的样本组织图像的真实类型。
步骤B，将第一样本输入集作为分类模型的输入，将第一样本输出集作为分类模型的输出，以训练分类模型。
举例来说，在对分类模型进行训练时，需要先获取用于训练分类模型的第一样本输入集和第一样本输出集。第一样本输入集中包括了多个第一样本输入，每个第一样本输入可以为一个样本组织图像，样本组织图像例如可以是之前执行内窥镜检查时采集到的组织图像。第一样本输出集中包括了与每个第一样本输入对应的第一样本输出，每个第一样本输出包括对应的样本组织图像的真实类型，真实类型可以包括：第一类型和第二类型，第一类型用于指示样本组织图像中存在组织腔体，第二类型用于指示样本组织图像中不存在组织腔体，真实类型还可以包括第三类型，用于指示样本组织图像的质量过低。
在对分类模型训练时，可以将第一样本输入集作为分类模型的输入，然后再将第一样本输出集作为分类模型的输出，来训练分类模型，使得在输入第一样本输入集时，分类模型的输出，能够和第一样本输出集匹配。例如，可以根据分类模型的输出，与第一样本输出集确定交叉熵损失，以作为分类模型的损失函数，以降低损失函数为目标，利用反向传播算法来修正分类模型中的神经元的参数，神经元的参数例如可以是神经元的权重（英文：Weight）和偏置量（英文：Bias）。重复上述步骤，直至损失函数满足预设条件，例如损失函数小于预设的损失阈值，以达到训练分类模型的目的。
具体的，训练分类模型的初始学习率可以设置为：2e-4，Batch size可以设置为：64，优化器可以选择：Adam，Epoch可以设置为：100，样本组织图像的可以大小为：224*224。分类模型的损失函数可以如公式一（即交叉熵损失函数）所示：
Figure 687629DEST_PATH_IMAGE001
公式一
其中，L class 表示分类模型的损失函数，
Figure 775671DEST_PATH_IMAGE002
表示分类模型的输出（可以理解为样本组织图像与第i种类型的匹配概率），y i 表示样本组织图像的真实类型与第i种类型的匹配概率，c表示真实类型的种数。
图10是根据一示例性实施例示出的一种训练第一定位模型的流程图，如图10所示，第一定位模型是通过以下方式训练得到的：
步骤C，获取第二样本输入集和第二样本输出集，第二样本输入集包括：多个第二样本输入，每个第二样本输入包括样本组织图像，第二样本输出集中包括与每个第二样本输入对应的第二样本输出，每个第二样本输出包括对应的样本组织图像中组织腔体的真实位置。
步骤D，将第二样本输入集作为第一定位模型的输入，将第二样本输出集作为第一定位模型的输出，以训练第一定位模型。
其中，第一定位模型的损失，根据回归损失和热力图损失确定，回归损失根据点回归子模型的输出与第二样本输出集确定，热力图损失根据热力图子模型的输出与第二样本输出集确定。
举例来说，在对第一定位模型进行训练时，需要先获取用于训练第一定位模型的第二样本输入集和第二样本输出集。第二样本输入集中包括了多个第二样本输入，每个第二样本输入可以为一个样本组织图像，样本组织图像例如可以是之前执行内窥镜检查时采集到的组织图像。第二样本输出集中包括了与每个第二样本输入对应的第二样本输出，每个第二样本输出包括对应的样本组织图像中组织腔体的真实位置。
在对第一定位模型训练时，可以将第二样本输入集作为第一定位模型的输入，然后再将第二样本输出集作为第一定位模型的输出，来训练第一定位模型，使得在输入第二样本输入集时，第一定位模型的输出，能够和第二样本输出集匹配。例如，可以根据第一定位模型的输出，与第二样本输出集确定第一定位模型的损失函数，以降低损失函数为目标，利用反向传播算法来修正第一定位模型中的神经元的参数，神经元的参数例如可以是神经元的权重和偏置量。重复上述步骤，直至损失函数满足预设条件，例如损失函数小于预设的损失阈值，以达到训练第一定位模型的目的。
具体的，在输入第二样本输入集时，第一定位模型的输出包括点回归子模型输出的回归坐标，和热力图子模型输出的热力图，可以分别将回归坐标与第二样本输出集进行比较，以确定回归损失，将热力图中包括的热力坐标与第二样本输出集进行比较，以确定热力图损失，最后根据回归损失和热力图损失，共同确定第一定位模型的损失。其中，热力坐标为热力图中亮度最大的点的坐标。
例如，训练第一定位模型的初始学习率可以设置为：2e-4，Batch size可以设置为：64，优化器可以选择：Adam，Epoch可以设置为：100，样本组织图像的大小可以为：224×224，相应的，热力图子模型输出的热力图的大小为：224×224。回归损失可以通过公式二来确定：
Figure 308283DEST_PATH_IMAGE003
公式二
其中，L r 表示回归损失，
Figure 772763DEST_PATH_IMAGE004
表示回归坐标中X轴的坐标值，x表示样本组织图像中组织腔体的真实位置在X轴上的坐标值，
Figure 485984DEST_PATH_IMAGE005
表示回归坐标中Y轴的坐标值，y表示样本组织图像中组织腔体的真实位置在Y轴上的坐标值。
进一步的，由于第二样本输出为对应的样本组织图像中组织腔体的真实位置，往往是一个点的坐标，即该点的label为1，样本组织图像其他的点的label为0，那么在对第一定位模型进行训练时，第二样本输出包括的信息量过小，容易导致热力图子模型输出一个全0的热力图，进一步导致热力图损失很小，无法对第一定位模型进行训练。为了避免这样的问题出现，可以将第二样本输出集中的每个第二样本输出，转换为高斯图，并可以利用高斯图来确定热力图损失，高斯图的大小与样本组织图像的大小相同，其中每个像素点对应一个label。例如，第二样本输出中包括的样本组织图像中组织腔体的位置坐标为（x l ,y l ），那么高斯图中坐标为（x l ,y l ）的点对应的label为1，高斯图中其他点对应的label为（0,1）之间的值，可以通过公式三来确定：
Figure 744927DEST_PATH_IMAGE006
公式三
其中，label x,y 表示高斯图中坐标为（x,y）的点对应的label，σ表示超参数，x l 表示样本组织图像中组织腔体的位置在X轴上的坐标，y l 表示样本组织图像中组织腔体的位置在Y轴上的坐标。
根据公式三可以看出，距离第二样本输出越近的点的label越大（可以理解为该点属于组织腔体的概率越大），距离第二样本输出越远的点的label越小（可以理解为该点属于组织腔体的概率越小）。这样，将第二样本输出转化为高斯图，高斯图中每个点都有非零的label，能够有效提高其中包含的信息量，所以根据高斯图来确定热力图损失，能够避免热力图损失很小，无法对第一定位模型进行训练的问题。相应的，热力图损失可以通过公式四来确定：
Figure 764835DEST_PATH_IMAGE007
公式四
其中，L h 表示热力图损失，H表示热力图的高，W表示热力图的宽，p h,w 表示第一定位模型的输出（可以理解为热力图中坐标为（h,w）的点的亮度），q h,w 表示高斯图中坐标为（h, w）的点对应的label。
相应的，第一定位模型的损失可以通过公式五来确定：
L loc = L h +λL r 公式五
其中，L loc 表示第一定位模型的损失，λ表示回归损失对应的权重参数，例如可以设置为1。
图11是根据一示例性实施例示出的一种训练第二定位模型的流程图，如图11所示，第二定位模型是通过以下方式训练得到的：
步骤E，获取第三样本输入集和第三样本输出集，第三样本输入集包括：多个第三样本输入，每个第三样本输入包括样本组织图像和样本历史组织图像，第三样本输出集中包括与每个第三样本输入对应的第三样本输出，每个第三样本输出包括对应的样本组织图像中组织腔体的真实位置，样本历史组织图像为内窥镜在采集样本组织图像之前采集的图像。
步骤F，将第三样本输入集作为第二定位模型的输入，将第三样本输出集作为第二定位模型的输出，以训练第二定位模型。
其中，第二定位模型的损失，根据回归损失和热力图损失确定，回归损失根据点回归子模型的输出与第三样本输出集确定，热力图损失根据热力图子模型的输出与第三样本输出集确定。
举例来说，在对第二定位模型进行训练时，需要先获取用于训练第二定位模型的第三样本输入集和第三样本输出集。第三样本输入集中包括了多个第三样本输入，每个第三样本输入可以为一个样本组织图像和该样本组织图像对应的样本历史组织图像。其中，样本组织图像例如可以是之前执行内窥镜检查时采集到的组织图像，样本历史组织图像为内窥镜在采集样本组织图像之前采集的图像，样本历史组织图像可以是一个也可以是多个。第三样本输出集中包括了与每个第三样本输入对应的第三样本输出，每个第三样本输出包括对应的样本组织图像中组织腔体的真实位置。
在对第二定位模型训练时，可以将第三样本输入集作为第二定位模型的输入，然后再将第三样本输出集作为第二定位模型的输出，来训练第二定位模型，使得在输入第三样本输入集时，第二定位模型的输出，能够和第三样本输出集匹配。例如，可以根据第二定位模型的输出，与第三样本输出集确定第二定位模型的损失函数，以降低损失函数为目标，利用反向传播算法来修正第二定位模型中的神经元的参数，神经元的参数例如可以是神经元的权重和偏置量。重复上述步骤，直至损失函数满足预设条件，例如损失函数小于预设的损失阈值，以达到训练第二定位模型的目的。
具体的，在输入第三样本输入集时，第二定位模型的输出包括点回归子模型输出的回归坐标，和热力图子模型输出的热力图，可以分别将回归坐标与第三样本输出集进行比较，以确定回归损失，将热力图中包括的热力坐标与第三样本输出集进行比较，以确定热力图损失，最后根据回归损失和热力图损失，共同确定第二定位模型的损失。其中，热力坐标为热力图中亮度最大的点的坐标。
例如，训练第二定位模型的初始学习率可以设置为：2e-4，Batch size可以设置为：64，优化器可以选择：Adam，Epoch可以设置为：100，样本组织图像的大小可以为：224×224，相应的，热力图子模型输出的热力图的大小为：224×224。进一步的，确定回归损失、热力图损失和第二定位模型的损失的方式，与第一定位模型中的确定方式相同，此处不再赘述。
综上所述，本公开首先获取当前时刻内窥镜采集的组织图像，之后利用分类模型对组织图像进行分类，以确定组织图像的目标类型。在目标类型指示组织图像中存在组织腔体的情况下，根据第一定位模型和组织图像，确定组织图像中组织腔体的位置，在目标类型指示组织图像中不存在组织腔体的情况下，根据第二定位模型、组织图像和当前时刻之前内窥镜采集的历史组织图像，确定组织图像中组织腔体的位置。本公开首先对组织图像进行分类，并根据不同的分类结果，选择不同的定位方式来定位组织图像中组织腔体的位置，能够提高定位的成功率和准确度。
图12是根据一示例性实施例示出的一种组织腔体的定位装置的框图，如图12所示，该装置200可以包括：
获取模块201，用于获取当前时刻内窥镜采集的组织图像。
分类模块202，用于利用预先训练的分类模型对组织图像进行分类，以确定组织图像的目标类型。
第一定位模块203，用于若目标类型指示组织图像中存在组织腔体，根据预先训练的第一定位模型和组织图像，确定组织图像中组织腔体的位置。
第二定位模块204，用于若目标类型指示组织图像中不存在组织腔体，根据预先训练的第二定位模型、组织图像和历史组织图像，确定组织图像中组织腔体的位置，历史组织图像为当前时刻之前内窥镜采集的图像。
图13是根据一示例性实施例示出的另一种组织腔体的定位装置的框图，如图13所示，该装置还可以包括：
确定模块205，用于若目标类型指示组织图像的质量不满足预设条件，根据历史组织图像，确定内窥镜的进镜方向，以控制内窥镜按照进镜方向进镜。
确定模块205，还用于在获得组织图像中组织腔体的位置的情况下，根据组织图像中组织腔体的位置，确定进镜方向，以控制内窥镜按照进镜方向进镜。
图14是根据一示例性实施例示出的另一种组织腔体的定位装置的框图，如图14所示，分类模型包括：编码器和分类层，分类模块202的可以包括：
第一预处理子模块2021，用于对组织图像进行预处理，并将预处理后的组织图像划分为大小相等的多个子图像。
第一确定子模块2022，用于根据每个子图像对应的图像向量，和该子图像对应的位置向量，确定该子图像对应的令牌，位置向量用于指示该子图像在预处理后的组织图像中的位置。
第一编码子模块2023，用于将每个子图像对应的令牌，和随机生成的分类令牌输入编码器，以得到每个子图像对应的局部编码向量，和组织图像对应的全局编码向量。
分类子模块2024，用于将全局编码向量和多个局部编码向量输入分类层，以得到分类层输出的目标类型。
图15是根据一示例性实施例示出的另一种组织腔体的定位装置的框图，如图15所示，第一定位模型包括：多个第一编码器、点回归子模型和热力图子模型，第一定位模块203可以包括：
第二预处理模块2031，用于对组织图像进行预处理，并将预处理后的组织图像划分为大小相等的多个子图像。
第二确定子模块2032，用于根据每个子图像对应的图像向量，和该子图像对应的位置向量，确定该子图像对应的令牌，位置向量用于指示该子图像在预处理后的组织图像中的位置。
第二编码子模块2033，用于将每个子图像对应的令牌，和随机生成的第一定位令牌输入每个第一编码器，以得到该第一编码器输出的，每个子图像对应的局部编码向量，和组织图像对应的全局编码向量。
第一回归子模块2034，用于将每个第一编码器输出的全局编码向量输入点回归子模型，以得到点回归子模型输出的回归坐标。
第一热力图子模块2035，用于将每个第一编码器输出的，每个子图像对应的局部编码向量输入热力图子模型，以得到热力图子模型输出的热力图。
第一输出子模块2036，用于根据回归坐标和热力坐标，确定组织图像中组织腔体的位置，热力坐标为热力图中亮度最大的点的坐标。
在一种实现方式中，第一输出子模块2036可以用于：
若回归坐标与热力坐标之间的距离小于预设的距离阈值，根据回归坐标和热力坐标，确定组织图像中组织腔体的坐标。
相应的，确定模块205，还用于若回归坐标与热力坐标之间的距离大于或等于距离阈值，根据历史组织图像，确定内窥镜的进镜方向，以控制内窥镜按照进镜方向进镜。
图16是根据一示例性实施例示出的另一种组织腔体的定位装置的框图，如图16所示，第二定位模型包括：多个第二编码器、点回归子模型和热力图子模型，第二定位模块204可以包括：
第三预处理模块2041，用于对组织图像、历史组织图像进行预处理，并将预处理后的组织图像划分为大小相等的多个子图像，将预处理后的历史组织图像划分为与每个子图像大小相等、位置对应的多个历史子图像。将位置对应的子图像和历史子图像作为一个图像组。
第三确定子模块2042，用于根据每个图像组对应的图像向量，和该图像组对应的位置向量，确定该图像组对应的令牌，位置向量用于指示该图像组对应的位置。
第三编码子模块2043，用于将每个图像组对应的令牌，和随机生成的第二定位令牌输入每个第二编码器，以得到该第二编码器输出的，每个图像组对应的局部编码向量，和总图像组对应的全局编码向量，总图像组包括组织图像和历史组织图像。
第二回归子模块2044，用于将每个第二编码器输出的全局编码向量输入点回归子模型，以得到点回归子模型输出的回归坐标。
第二热力图子模块2045，用于将每个第二编码器输出的，每个图像组对应的局部编码向量输入热力图子模型，以得到热力图子模型输出的热力图。
第二输出子模块2046，用于根据回归坐标和热力坐标，确定组织图像中组织腔体的位置，热力坐标为热力图中亮度最大的点的坐标。
在另一种实现方式中，第二输出子模块2046可以用于：
若回归坐标与热力坐标之间的距离小于预设的距离阈值，根据回归坐标和热力坐标，确定组织图像中组织腔体的坐标。
相应的，确定模块205，还用于若回归坐标与热力坐标之间的距离大于或等于距离阈值，根据历史组织图像，确定内窥镜的进镜方向，以控制内窥镜按照进镜方向进镜。
在一种应用场景中，分类模型是通过以下方式训练得到的：
步骤A，获取第一样本输入集和第一样本输出集，第一样本输入集包括：多个第一样本输入，每个第一样本输入包括样本组织图像，第一样本输出集中包括与每个第一样本输入对应的第一样本输出，每个第一样本输出包括对应的样本组织图像的真实类型。
步骤B，将第一样本输入集作为分类模型的输入，将第一样本输出集作为分类模型的输出，以训练分类模型。
在另一种应用场景中，第一定位模型是通过以下方式训练得到的：
步骤C，获取第二样本输入集和第二样本输出集，第二样本输入集包括：多个第二样本输入，每个第二样本输入包括样本组织图像，第二样本输出集中包括与每个第二样本输入对应的第二样本输出，每个第二样本输出包括对应的样本组织图像中组织腔体的真实位置。
步骤D，将第二样本输入集作为第一定位模型的输入，将第二样本输出集作为第一定位模型的输出，以训练第一定位模型。
其中，第一定位模型的损失，根据回归损失和热力图损失确定，回归损失根据点回归子模型的输出与第二样本输出集确定，热力图损失根据热力图子模型的输出与第二样本输出集确定。
在又一种应用场景中，第二定位模型是通过以下方式训练得到的：
步骤E，获取第三样本输入集和第三样本输出集，第三样本输入集包括：多个第三样本输入，每个第三样本输入包括样本组织图像和样本历史组织图像，第三样本输出集中包括与每个第三样本输入对应的第三样本输出，每个第三样本输出包括对应的样本组织图像中组织腔体的真实位置，样本历史组织图像为内窥镜在采集样本组织图像之前采集的图像。
步骤F，将第三样本输入集作为第二定位模型的输入，将第三样本输出集作为第二定位模型的输出，以训练第二定位模型。
其中，第二定位模型的损失，根据回归损失和热力图损失确定，回归损失根据点回归子模型的输出与第三样本输出集确定，热力图损失根据热力图子模型的输出与第三样本输出集确定。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
综上所述，本公开首先获取当前时刻内窥镜采集的组织图像，之后利用分类模型对组织图像进行分类，以确定组织图像的目标类型。在目标类型指示组织图像中存在组织腔体的情况下，根据第一定位模型和组织图像，确定组织图像中组织腔体的位置，在目标类型指示组织图像中不存在组织腔体的情况下，根据第二定位模型、组织图像和当前时刻之前内窥镜采集的历史组织图像，确定组织图像中组织腔体的位置。本公开首先对组织图像进行分类，并根据不同的分类结果，选择不同的定位方式来定位组织图像中组织腔体的位置，能够提高定位的成功率和准确度。
下面参考图17，其示出了适于用来实现本公开实施例的电子设备（例如可以上述实施例中的执行主体，可以是终端设备或服务器）300的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图17示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图17所示，电子设备300可以包括处理装置（例如中央处理器、图形处理器等）301，其可以根据存储在只读存储器（ROM）302中的程序或者从存储装置308加载到随机访问存储器（RAM）303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出（I/O）接口305也连接至总线304。
通常，以下装置可以连接至I/O接口305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图17示出了具有各种装置的电子设备300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从ROM 302被安装。在该计算机程序被处理装置301执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
在一些实施方式中，终端设备、服务器可以利用诸如HTTP（HyperText TransferProtocol，超文本传输协议）之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信（例如，通信网络）互连。通信网络的示例包括局域网（“LAN”），广域网（“WAN”），网际网（例如，互联网）以及端对端网络（例如，ad hoc端对端网络），以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取当前时刻内窥镜采集的组织图像；利用预先训练的分类模型对所述组织图像进行分类，以确定所述组织图像的目标类型；若所述目标类型指示所述组织图像中存在组织腔体，根据预先训练的第一定位模型和所述组织图像，确定所述组织图像中组织腔体的位置；若所述目标类型指示所述组织图像中不存在组织腔体，根据预先训练的第二定位模型、所述组织图像和历史组织图像，确定所述组织图像中组织腔体的位置，所述历史组织图像为当前时刻之前所述内窥镜采集的图像。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网（LAN）或广域网（WAN）——连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“获取组织图像的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、片上***（SOC）、复杂可编程逻辑设备（CPLD）等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例1提供了一种组织腔体的定位方法，包括：获取当前时刻内窥镜采集的组织图像；利用预先训练的分类模型对所述组织图像进行分类，以确定所述组织图像的目标类型；若所述目标类型指示所述组织图像中存在组织腔体，根据预先训练的第一定位模型和所述组织图像，确定所述组织图像中组织腔体的位置；若所述目标类型指示所述组织图像中不存在组织腔体，根据预先训练的第二定位模型、所述组织图像和历史组织图像，确定所述组织图像中组织腔体的位置，所述历史组织图像为当前时刻之前所述内窥镜采集的图像。
根据本公开的一个或多个实施例，示例2提供了示例1的方法，所述方法还包括：若所述目标类型指示所述组织图像的质量不满足预设条件，根据所述历史组织图像，确定所述内窥镜的进镜方向，以控制所述内窥镜按照所述进镜方向进镜；在获得所述组织图像中组织腔体的位置的情况下，根据所述组织图像中组织腔体的位置，确定所述进镜方向，以控制所述内窥镜按照所述进镜方向进镜。
根据本公开的一个或多个实施例，示例3提供了示例1或示例2的方法，所述分类模型包括：编码器和分类层，所述利用预先训练的分类模型对所述组织图像进行分类，以确定所述组织图像的目标类型，包括：对所述组织图像进行预处理，并将预处理后的所述组织图像划分为大小相等的多个子图像；根据每个所述子图像对应的图像向量，和该子图像对应的位置向量，确定该子图像对应的令牌，所述位置向量用于指示该子图像在预处理后的所述组织图像中的位置；将每个所述子图像对应的令牌，和所述随机生成的分类令牌输入编码器，以得到每个子图像对应的局部编码向量，和所述组织图像对应的全局编码向量；将所述全局编码向量和多个所述局部编码向量输入分类层，以得到所述分类层输出的所述目标类型。
根据本公开的一个或多个实施例，示例4提供了示例1或示例2的方法，所述第一定位模型包括：多个第一编码器、点回归子模型和热力图子模型，所述根据预先训练的第一定位模型和所述组织图像，确定所述组织图像中组织腔体的位置，包括：对所述组织图像进行预处理，并将预处理后的所述组织图像划分为大小相等的多个子图像；根据每个所述子图像对应的图像向量，和该子图像对应的位置向量，确定该子图像对应的令牌，所述位置向量用于指示该子图像在预处理后的所述组织图像中的位置；将每个所述子图像对应的令牌，和所述随机生成的第一定位令牌输入每个所述第一编码器，以得到该第一编码器输出的，每个所述子图像对应的局部编码向量，和所述组织图像对应的全局编码向量；将每个所述第一编码器输出的所述全局编码向量输入所述点回归子模型，以得到所述点回归子模型输出的回归坐标；将每个所述第一编码器输出的，每个所述子图像对应的局部编码向量输入所述热力图子模型，以得到所述热力图子模型输出的热力图；根据所述回归坐标和热力坐标，确定所述组织图像中组织腔体的位置，所述热力坐标为所述热力图中亮度最大的点的坐标。
根据本公开的一个或多个实施例，示例5提供了示例4的方法，所述根据所述回归坐标和热力坐标，确定所述组织图像中组织腔体的位置，包括：若所述回归坐标与所述热力坐标之间的距离小于预设的距离阈值，根据所述回归坐标和热力坐标，确定所述组织图像中组织腔体的坐标；所述方法还包括：若所述回归坐标与所述热力坐标之间的距离大于或等于所述距离阈值，根据所述历史组织图像，确定所述内窥镜的进镜方向，以控制所述内窥镜按照所述进镜方向进镜。
根据本公开的一个或多个实施例，示例6提供了示例1或示例2的方法，所述第二定位模型包括：多个第二编码器、点回归子模型和热力图子模型，所述根据预先训练的第二定位模型、所述组织图像和历史组织图像，确定所述组织图像中组织腔体的位置，包括：对所述组织图像、所述历史组织图像进行预处理，并将预处理后的所述组织图像划分为大小相等的多个子图像，将预处理后的所述历史组织图像划分为与每个所述子图像大小相等、位置对应的多个历史子图像；将位置对应的所述子图像和所述历史子图像作为一个图像组；根据每个所述图像组对应的图像向量，和该图像组对应的位置向量，确定该图像组对应的令牌，所述位置向量用于指示该图像组对应的位置；将每个所述图像组对应的令牌，和随机生成的第二定位令牌输入每个所述第二编码器，以得到该第二编码器输出的，每个所述图像组对应的局部编码向量，和总图像组对应的全局编码向量，所述总图像组包括所述组织图像和所述历史组织图像；将每个所述第二编码器输出的所述全局编码向量输入所述点回归子模型，以得到所述点回归子模型输出的回归坐标；将每个所述第二编码器输出的，每个所述图像组对应的局部编码向量输入所述热力图子模型，以得到所述热力图子模型输出的热力图；根据所述回归坐标和热力坐标，确定所述组织图像中组织腔体的位置，所述热力坐标为所述热力图中亮度最大的点的坐标。
根据本公开的一个或多个实施例，示例7提供了示例1的方法，所述分类模型是通过以下方式训练得到的：获取第一样本输入集和第一样本输出集，所述第一样本输入集包括：多个第一样本输入，每个所述第一样本输入包括样本组织图像，所述第一样本输出集中包括与每个所述第一样本输入对应的第一样本输出，每个所述第一样本输出包括对应的所述样本组织图像的真实类型；将所述第一样本输入集作为所述分类模型的输入，将所述第一样本输出集作为所述分类模型的输出，以训练所述分类模型。
根据本公开的一个或多个实施例，示例8提供了示例4的方法，所述第一定位模型是通过以下方式训练得到的：获取第二样本输入集和第二样本输出集，所述第二样本输入集包括：多个第二样本输入，每个所述第二样本输入包括样本组织图像，所述第二样本输出集中包括与每个所述第二样本输入对应的第二样本输出，每个所述第二样本输出包括对应的所述样本组织图像中组织腔体的真实位置；将所述第二样本输入集作为所述第一定位模型的输入，将所述第二样本输出集作为所述第一定位模型的输出，以训练所述第一定位模型；所述第一定位模型的损失，根据回归损失和热力图损失确定，所述回归损失根据所述点回归子模型的输出与所述第二样本输出集确定，所述热力图损失根据所述热力图子模型的输出与所述第二样本输出集确定。
根据本公开的一个或多个实施例，示例9提供了示例6的方法，所述第二定位模型是通过以下方式训练得到的：获取第三样本输入集和第三样本输出集，所述第三样本输入集包括：多个第三样本输入，每个所述第三样本输入包括样本组织图像和样本历史组织图像，所述第三样本输出集中包括与每个所述第三样本输入对应的第三样本输出，每个所述第三样本输出包括对应的所述样本组织图像中组织腔体的真实位置，所述样本历史组织图像为所述内窥镜在采集所述样本组织图像之前采集的图像；将所述第三样本输入集作为所述第二定位模型的输入，将所述第三样本输出集作为所述第二定位模型的输出，以训练所述第二定位模型；所述第二定位模型的损失，根据回归损失和热力图损失确定，所述回归损失根据所述点回归子模型的输出与所述第三样本输出集确定，所述热力图损失根据所述热力图子模型的输出与所述第三样本输出集确定。
根据本公开的一个或多个实施例，示例10提供了一种组织腔体的定位装置，包括：获取模块，用于获取当前时刻内窥镜采集的组织图像；分类模块，用于利用预先训练的分类模型对所述组织图像进行分类，以确定所述组织图像的目标类型；第一定位模块，用于若所述目标类型指示所述组织图像中存在组织腔体，根据预先训练的第一定位模型和所述组织图像，确定所述组织图像中组织腔体的位置；第二定位模块，用于若所述目标类型指示所述组织图像中不存在组织腔体，根据预先训练的第二定位模型、所述组织图像和历史组织图像，确定所述组织图像中组织腔体的位置，所述历史组织图像为当前时刻之前所述内窥镜采集的图像。
根据本公开的一个或多个实施例，示例11提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现示例1至示例9中所述方法的步骤。
根据本公开的一个或多个实施例，示例12提供了一种电子设备，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现示例1至示例9中所述方法的步骤。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (12)

1.一种组织腔体的定位方法，其特征在于，所述方法包括：
获取当前时刻内窥镜采集的组织图像；
利用预先训练的分类模型对所述组织图像进行分类，以确定所述组织图像的目标类型；
若所述目标类型指示所述组织图像中存在组织腔体，根据预先训练的第一定位模型和所述组织图像，确定所述组织图像中组织腔体的位置；
若所述目标类型指示所述组织图像中不存在组织腔体，根据预先训练的第二定位模型、所述组织图像和历史组织图像，确定所述组织图像中组织腔体的位置，所述历史组织图像为当前时刻之前所述内窥镜采集的图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述目标类型指示所述组织图像的质量不满足预设条件，根据所述历史组织图像，确定所述内窥镜的进镜方向，以控制所述内窥镜按照所述进镜方向进镜；
在获得所述组织图像中组织腔体的位置的情况下，根据所述组织图像中组织腔体的位置，确定所述进镜方向，以控制所述内窥镜按照所述进镜方向进镜。
3.根据权利要求1或2所述的方法，其特征在于，所述分类模型包括：编码器和分类层，所述利用预先训练的分类模型对所述组织图像进行分类，以确定所述组织图像的目标类型，包括：
对所述组织图像进行预处理，并将预处理后的所述组织图像划分为大小相等的多个子图像；
根据每个所述子图像对应的图像向量，和该子图像对应的位置向量，确定该子图像对应的令牌，所述位置向量用于指示该子图像在预处理后的所述组织图像中的位置；
将每个所述子图像对应的令牌，和随机生成的分类令牌输入编码器，以得到每个子图像对应的局部编码向量，和所述组织图像对应的全局编码向量；
将所述全局编码向量和多个所述局部编码向量输入分类层，以得到所述分类层输出的所述目标类型。
4.根据权利要求1或2所述的方法，其特征在于，所述第一定位模型包括：多个第一编码器、点回归子模型和热力图子模型，所述根据预先训练的第一定位模型和所述组织图像，确定所述组织图像中组织腔体的位置，包括：
对所述组织图像进行预处理，并将预处理后的所述组织图像划分为大小相等的多个子图像；
根据每个所述子图像对应的图像向量，和该子图像对应的位置向量，确定该子图像对应的令牌，所述位置向量用于指示该子图像在预处理后的所述组织图像中的位置；
将每个所述子图像对应的令牌，和随机生成的第一定位令牌输入每个所述第一编码器，以得到该第一编码器输出的，每个所述子图像对应的局部编码向量，和所述组织图像对应的全局编码向量；
将每个所述第一编码器输出的所述全局编码向量输入所述点回归子模型，以得到所述点回归子模型输出的回归坐标；
将每个所述第一编码器输出的，每个所述子图像对应的局部编码向量输入所述热力图子模型，以得到所述热力图子模型输出的热力图；
根据所述回归坐标和热力坐标，确定所述组织图像中组织腔体的位置，所述热力坐标为所述热力图中亮度最大的点的坐标。
5.根据权利要求4所述的方法，其特征在于，所述根据所述回归坐标和热力坐标，确定所述组织图像中组织腔体的位置，包括：
若所述回归坐标与所述热力坐标之间的距离小于预设的距离阈值，根据所述回归坐标和热力坐标，确定所述组织图像中组织腔体的坐标；
所述方法还包括：
若所述回归坐标与所述热力坐标之间的距离大于或等于所述距离阈值，根据所述历史组织图像，确定所述内窥镜的进镜方向，以控制所述内窥镜按照所述进镜方向进镜。
6.根据权利要求1或2所述的方法，其特征在于，所述第二定位模型包括：多个第二编码器、点回归子模型和热力图子模型，所述根据预先训练的第二定位模型、所述组织图像和历史组织图像，确定所述组织图像中组织腔体的位置，包括：
对所述组织图像、所述历史组织图像进行预处理，并将预处理后的所述组织图像划分为大小相等的多个子图像，将预处理后的所述历史组织图像划分为与每个所述子图像大小相等、位置对应的多个历史子图像；
将位置对应的所述子图像和所述历史子图像作为一个图像组；
根据每个所述图像组对应的图像向量，和该图像组对应的位置向量，确定该图像组对应的令牌，所述位置向量用于指示该图像组对应的位置；
将每个所述图像组对应的令牌，和随机生成的第二定位令牌输入每个所述第二编码器，以得到该第二编码器输出的，每个所述图像组对应的局部编码向量，和总图像组对应的全局编码向量，所述总图像组包括所述组织图像和所述历史组织图像；
将每个所述第二编码器输出的所述全局编码向量输入所述点回归子模型，以得到所述点回归子模型输出的回归坐标；
将每个所述第二编码器输出的，每个所述图像组对应的局部编码向量输入所述热力图子模型，以得到所述热力图子模型输出的热力图；
根据所述回归坐标和热力坐标，确定所述组织图像中组织腔体的位置，所述热力坐标为所述热力图中亮度最大的点的坐标。
7.根据权利要求1所述的方法，其特征在于，所述分类模型是通过以下方式训练得到的：
获取第一样本输入集和第一样本输出集，所述第一样本输入集包括：多个第一样本输入，每个所述第一样本输入包括样本组织图像，所述第一样本输出集中包括与每个所述第一样本输入对应的第一样本输出，每个所述第一样本输出包括对应的所述样本组织图像的真实类型；
将所述第一样本输入集作为所述分类模型的输入，将所述第一样本输出集作为所述分类模型的输出，以训练所述分类模型。
8.根据权利要求4所述的方法，其特征在于，所述第一定位模型是通过以下方式训练得到的：
获取第二样本输入集和第二样本输出集，所述第二样本输入集包括：多个第二样本输入，每个所述第二样本输入包括样本组织图像，所述第二样本输出集中包括与每个所述第二样本输入对应的第二样本输出，每个所述第二样本输出包括对应的所述样本组织图像中组织腔体的真实位置；
将所述第二样本输入集作为所述第一定位模型的输入，将所述第二样本输出集作为所述第一定位模型的输出，以训练所述第一定位模型；
所述第一定位模型的损失，根据回归损失和热力图损失确定，所述回归损失根据所述点回归子模型的输出与所述第二样本输出集确定，所述热力图损失根据所述热力图子模型的输出与所述第二样本输出集确定。
9.根据权利要求6所述的方法，其特征在于，所述第二定位模型是通过以下方式训练得到的：
获取第三样本输入集和第三样本输出集，所述第三样本输入集包括：多个第三样本输入，每个所述第三样本输入包括样本组织图像和样本历史组织图像，所述第三样本输出集中包括与每个所述第三样本输入对应的第三样本输出，每个所述第三样本输出包括对应的所述样本组织图像中组织腔体的真实位置，所述样本历史组织图像为所述内窥镜在采集所述样本组织图像之前采集的图像；
将所述第三样本输入集作为所述第二定位模型的输入，将所述第三样本输出集作为所述第二定位模型的输出，以训练所述第二定位模型；
所述第二定位模型的损失，根据回归损失和热力图损失确定，所述回归损失根据所述点回归子模型的输出与所述第三样本输出集确定，所述热力图损失根据所述热力图子模型的输出与所述第三样本输出集确定。
10.一种组织腔体的定位装置，其特征在于，所述装置包括：
获取模块，用于获取当前时刻内窥镜采集的组织图像；
分类模块，用于利用预先训练的分类模型对所述组织图像进行分类，以确定所述组织图像的目标类型；
第一定位模块，用于若所述目标类型指示所述组织图像中存在组织腔体，根据预先训练的第一定位模型和所述组织图像，确定所述组织图像中组织腔体的位置；
第二定位模块，用于若所述目标类型指示所述组织图像中不存在组织腔体，根据预先训练的第二定位模型、所述组织图像和历史组织图像，确定所述组织图像中组织腔体的位置，所述历史组织图像为当前时刻之前所述内窥镜采集的图像。
11.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-9中任一项所述方法的步骤。
12.一种电子设备，其特征在于，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-9中任一项所述方法的步骤。
CN202111040354.5A 2021-09-06 2021-09-06 组织腔体的定位方法、装置、可读介质和电子设备 Active CN113487609B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111040354.5A CN113487609B (zh) 2021-09-06 2021-09-06 组织腔体的定位方法、装置、可读介质和电子设备
PCT/CN2022/116108 WO2023030373A1 (zh) 2021-09-06 2022-08-31 组织腔体的定位方法、装置、可读介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111040354.5A CN113487609B (zh) 2021-09-06 2021-09-06 组织腔体的定位方法、装置、可读介质和电子设备

Publications (2)

Publication Number Publication Date
CN113487609A true CN113487609A (zh) 2021-10-08
CN113487609B CN113487609B (zh) 2021-12-07

Family

ID=77947360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111040354.5A Active CN113487609B (zh) 2021-09-06 2021-09-06 组织腔体的定位方法、装置、可读介质和电子设备

Country Status (2)

Country Link
CN (1) CN113487609B (zh)
WO (1) WO2023030373A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658178A (zh) * 2021-10-14 2021-11-16 北京字节跳动网络技术有限公司 组织图像的识别方法、装置、可读介质和电子设备
CN113743544A (zh) * 2021-11-05 2021-12-03 中科智为科技(天津)有限公司 一种跨模态神经网络构建方法、行人检索方法及***
CN114332080A (zh) * 2022-03-04 2022-04-12 北京字节跳动网络技术有限公司 组织腔体的定位方法、装置、可读介质和电子设备
WO2023030373A1 (zh) * 2021-09-06 2023-03-09 北京字节跳动网络技术有限公司 组织腔体的定位方法、装置、可读介质和电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118261909A (zh) * 2024-05-29 2024-06-28 首都医科大学宣武医院 一种椎旁肌肉的分割方法、***及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110051434A (zh) * 2019-04-25 2019-07-26 厦门强本科技有限公司 Ar与内窥镜结合手术导航方法及终端
WO2019187049A1 (ja) * 2018-03-30 2019-10-03 オリンパス株式会社 診断支援装置、診断支援方法及び診断支援プログラム
CN110490856A (zh) * 2019-05-06 2019-11-22 腾讯医疗健康(深圳)有限公司 医疗内窥镜图像的处理方法、***、机器设备和介质
CN110742690A (zh) * 2019-09-12 2020-02-04 东南大学苏州医疗器械研究院 一种用于配置内窥镜的方法及终端设备
CN111666998A (zh) * 2020-06-03 2020-09-15 电子科技大学 一种基于目标点检测的内窥镜智能插管决策方法
CN111862090A (zh) * 2020-08-05 2020-10-30 武汉楚精灵医疗科技有限公司 一种基于人工智能的食管癌术前管理的方法和***
CN111986196A (zh) * 2020-09-08 2020-11-24 贵州工程应用技术学院 一种消化道胶囊内镜滞留自动监测方法及***
CN112466466A (zh) * 2021-01-27 2021-03-09 萱闱(北京)生物科技有限公司 基于深度学习的消化道辅助检测方法、装置和计算设备
CN112785549A (zh) * 2020-12-29 2021-05-11 成都微识医疗设备有限公司 基于图像识别的肠镜检查质量评估方法、装置及存储介质
CN113143168A (zh) * 2020-01-07 2021-07-23 日本电气株式会社 医疗辅助操作方法、装置、设备和计算机存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6348078B2 (ja) * 2015-03-06 2018-06-27 富士フイルム株式会社 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
CN110335313B (zh) * 2019-06-17 2022-12-09 腾讯科技（深圳）有限公司 音频采集设备定位方法及装置、说话人识别方法及***
CN113470030B (zh) * 2021-09-03 2021-11-23 北京字节跳动网络技术有限公司 组织腔清洁度的确定方法、装置、可读介质和电子设备
CN113487609B (zh) * 2021-09-06 2021-12-07 北京字节跳动网络技术有限公司 组织腔体的定位方法、装置、可读介质和电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019187049A1 (ja) * 2018-03-30 2019-10-03 オリンパス株式会社 診断支援装置、診断支援方法及び診断支援プログラム
CN110051434A (zh) * 2019-04-25 2019-07-26 厦门强本科技有限公司 Ar与内窥镜结合手术导航方法及终端
CN110490856A (zh) * 2019-05-06 2019-11-22 腾讯医疗健康(深圳)有限公司 医疗内窥镜图像的处理方法、***、机器设备和介质
CN110742690A (zh) * 2019-09-12 2020-02-04 东南大学苏州医疗器械研究院 一种用于配置内窥镜的方法及终端设备
CN113143168A (zh) * 2020-01-07 2021-07-23 日本电气株式会社 医疗辅助操作方法、装置、设备和计算机存储介质
CN111666998A (zh) * 2020-06-03 2020-09-15 电子科技大学 一种基于目标点检测的内窥镜智能插管决策方法
CN111862090A (zh) * 2020-08-05 2020-10-30 武汉楚精灵医疗科技有限公司 一种基于人工智能的食管癌术前管理的方法和***
CN111986196A (zh) * 2020-09-08 2020-11-24 贵州工程应用技术学院 一种消化道胶囊内镜滞留自动监测方法及***
CN112785549A (zh) * 2020-12-29 2021-05-11 成都微识医疗设备有限公司 基于图像识别的肠镜检查质量评估方法、装置及存储介质
CN112466466A (zh) * 2021-01-27 2021-03-09 萱闱(北京)生物科技有限公司 基于深度学习的消化道辅助检测方法、装置和计算设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023030373A1 (zh) * 2021-09-06 2023-03-09 北京字节跳动网络技术有限公司 组织腔体的定位方法、装置、可读介质和电子设备
CN113658178A (zh) * 2021-10-14 2021-11-16 北京字节跳动网络技术有限公司 组织图像的识别方法、装置、可读介质和电子设备
CN113658178B (zh) * 2021-10-14 2022-01-25 北京字节跳动网络技术有限公司 组织图像的识别方法、装置、可读介质和电子设备
CN113743544A (zh) * 2021-11-05 2021-12-03 中科智为科技(天津)有限公司 一种跨模态神经网络构建方法、行人检索方法及***
CN114332080A (zh) * 2022-03-04 2022-04-12 北京字节跳动网络技术有限公司 组织腔体的定位方法、装置、可读介质和电子设备
WO2023165332A1 (zh) * 2022-03-04 2023-09-07 北京字节跳动网络技术有限公司 组织腔体的定位方法、装置、可读介质和电子设备

Also Published As

Publication number Publication date
WO2023030373A1 (zh) 2023-03-09
CN113487609B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN113487609B (zh) 组织腔体的定位方法、装置、可读介质和电子设备
US10410315B2 (en) Method and apparatus for generating image information
EP3605394A1 (en) Method and apparatus for recognizing body movement
CN113487608B (zh) 内窥镜图像检测方法、装置、存储介质及电子设备
CN113496512B (zh) 用于内窥镜的组织腔体定位方法、装置、介质及设备
CN113470030B (zh) 组织腔清洁度的确定方法、装置、可读介质和电子设备
CN113658178B (zh) 组织图像的识别方法、装置、可读介质和电子设备
CN113470031B (zh) 息肉分型方法、模型训练方法及相关装置
WO2023029741A1 (zh) 用于内窥镜的组织腔体定位方法、装置、介质及设备
US11417014B2 (en) Method and apparatus for constructing map
CN111369427A (zh) 图像处理方法、装置、可读介质和电子设备
CN113470029B (zh) 训练方法及装置、图像处理方法、电子设备和存储介质
CN113469295B (zh) 生成模型的训练方法、息肉识别方法、装置、介质及设备
US11967134B2 (en) Method and device for identifying video
CN111402122A (zh) 图像的贴图处理方法、装置、可读介质和电子设备
CN111325709A (zh) 无线胶囊内窥镜图像检测***及检测方法
CN114332033A (zh) 基于人工智能的内窥镜图像处理方法、装置、介质及设备
CN114332080B (zh) 组织腔体的定位方法、装置、可读介质和电子设备
CN114495176B (zh) 组织图像的识别方法、装置、可读介质和电子设备
CN113470026B (zh) 息肉识别方法、装置、介质及设备
CN114937178A (zh) 基于多模态的图像分类方法、装置、可读介质和电子设备
CN114511887B (zh) 组织图像的识别方法、装置、可读介质和电子设备
CN114565586B (zh) 息肉分割模型的训练方法、息肉分割方法及相关装置
CN117372705A (zh) 模型训练方法、装置及电子设备
CN118297995A (zh) 图像对齐方法、装置、电子设备、芯片及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211008

Assignee: Xiaohe medical instrument (Hainan) Co.,Ltd.

Assignor: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.

Contract record no.: X2021990000694

Denomination of invention: Positioning method, device, readable medium and electronic equipment of tissue cavity

License type: Common License

Record date: 20211117

EE01 Entry into force of recordation of patent licensing contract
GR01 Patent grant
GR01 Patent grant