CN111598900A - 一种图像区域分割模型训练方法、分割方法和装置 - Google Patents

一种图像区域分割模型训练方法、分割方法和装置 Download PDF

Info

Publication number
CN111598900A
CN111598900A CN202010419791.7A CN202010419791A CN111598900A CN 111598900 A CN111598900 A CN 111598900A CN 202010419791 A CN202010419791 A CN 202010419791A CN 111598900 A CN111598900 A CN 111598900A
Authority
CN
China
Prior art keywords
image
structure data
labeling information
graph structure
vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010419791.7A
Other languages
English (en)
Other versions
CN111598900B (zh
Inventor
张军
田宽
颜克洲
姚建华
韩骁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010419791.7A priority Critical patent/CN111598900B/zh
Publication of CN111598900A publication Critical patent/CN111598900A/zh
Priority to PCT/CN2021/087128 priority patent/WO2021233021A1/zh
Priority to US17/707,045 priority patent/US20220222932A1/en
Application granted granted Critical
Publication of CN111598900B publication Critical patent/CN111598900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种基于人工智能的图像区域分割模型训练方法、分割方法及装置。在模型训练过程中，获取包括至少一个样本图像的样本图像集合，样本图像具有第一标注信息，该第一标注信息为可以是图像级等粒度较大的标注信息。针对样本图像集合中每个样本图像，分别生成样本图像对应的图结构数据，图结构数据中每个顶点包括样本图像中至少一个像素点。通过图卷积网络模型，根据图结构数据和第一标注信息确定顶点的第二标注信息，第二标注信息的粒度小于第一标注信息的粒度。由于顶点实际上是超像素点，第二标注信息是超像素级的标注，在训练过程中，由于像素级标注的干预可以实现较强监督，提高模型的精确性，进而提高图像分割的精确性。

Description

一种图像区域分割模型训练方法、分割方法和装置
技术领域
本申请涉及人工智能领域，特别是涉及一种基于人工智能的图像区域分割模型训练方法、分割方法和装置。
背景技术
随着计算机技术的发展，图像分割技术应用越来越广泛，例如，医学图像分割以及自然图像分割等。其中，图像分割技术是指把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术。例如，医学图像分割场景中，可以对医学图像癌症区域进行分割，以用于进一步分析。
深度学习在图像区域分割领域得到了广泛的应用，为了减少产生大量标注图像所耗费的时间和人工成本，相关技术中采用图像级标注的方式，利用弱监督的模式完成图像区域分割。
然而，由于采用图像级标签的弱监督，监督信号过弱，很难精确分割出来感兴趣的目标区域。
发明内容
为了解决上述技术问题，本申请提供了一种基于人工智能的图像区域分割模型训练方法、分割方法和装置，在实现大规模快速标注的前提下，提高了模型的精确性，进而在使用训练得到的模型进行图像区域分割时，提高图像分割的精确性。
本申请实施例公开了如下技术方案：
第一方面，本申请实施例提供一种基于人工智能的图像区域分割模型训练方法，所述方法包括：
获取样本图像集合，所述样本图像集合包括至少一个样本图像，所述样本图像具有第一标注信息；
针对所述样本图像集合中每个样本图像，分别生成所述样本图像对应的图结构数据；所述图结构数据中包括多个顶点，每个所述顶点包括所述样本图像中至少一个像素点；
通过图卷积网络模型，根据所述图结构数据和所述第一标注信息确定所述顶点的第二标注信息；所述第二标注信息的粒度小于所述第一标注信息的粒度；
根据所述第二标注信息对所述图像区域分割模型进行训练，所述图像区域分割模型包括所述图卷积网络模型。
第二方面，本申请实施例提供一种基于人工智能的图像区域分割模型训练装置，所述装置包括获取单元、生成单元、确定单元和训练单元：
所述获取单元，用于获取样本图像集合，所述样本图像集合包括至少一个样本图像，所述样本图像具有第一标注信息；
所述生成单元，用于所述针对所述样本图像集合中每个样本图像，分别生成所述样本图像对应的图结构数据；所述图结构数据中包括多个顶点，每个所述顶点包括所述样本图像中至少一个像素点；
所述确定单元，用于通过图卷积网络模型，根据所述图结构数据和所述第一标注信息确定所述顶点的第二标注信息；所述第二标注信息的粒度小于所述第一标注信息的粒度；
所述训练单元，用于根据所述第二标注信息对所述图像区域分割模型进行训练，所述图像区域分割模型包括所述图卷积网络模型。
第三方面，本申请实施例提供一种基于人工智能的图像区域分割方法，所述方法包括：
获取待分割图像；
通过图像区域分割模型生成所述待分割图像对应的图结构数据；所述图结构数据中包括多个顶点，每个所述顶点包括所述待分割图像中至少一个像素点；所述图像区域分割模型是根据第二标注信息训练得到，所述第二标注信息是根据样本图像对应的图结构数据和所述样本图样对应的第一标注信息确定的；所述第二标注信息的粒度小于所述第一标注信息的粒度；
通过所述图像区域分割模型，根据所述图结构数据分割得到目标区域。
第四方面，本申请实施例提供一种基于人工智能的图像区域分割装置，所述装置包括获取单元、生成单元和分割单元：
所述获取单元，用于获取待分割图像；
所述生成单元，用于通过图像区域分割模型生成所述待分割图像对应的图结构数据；所述图结构数据中包括多个顶点，每个所述顶点包括所述待分割图像中至少一个像素点；所述图像区域分割模型是根据第二标注信息训练得到，所述第二标注信息是根据样本图像对应的图结构数据和所述样本图样对应的第一标注信息确定的；所述第二标注信息的粒度小于所述第一标注信息的粒度；
所述分割单元，用于通过所述图像区域分割模型，根据所述图结构数据分割得到目标区域。
第五方面，本申请实施例提供一种医疗器械，所述医疗器械包括图像采集模组、图像处理模组和图像显示模组：
所述图像采集模组，用于获取待分割图像；所述待分割图像为包括生物组织的病理图像；
所述图像处理模组，用于通过图像区域分割模型生成所述待分割图像对应的图结构数据；所述图结构数据中包括多个顶点，每个所述顶点包括所述待分割图像中至少一个像素点；所述图像区域分割模型是根据第二标注信息训练得到，所述第二标注信息是根据样本图像对应的图结构数据和所述样本图样对应的第一标注信息确定的；所述第二标注信息的粒度小于所述第一标注信息的粒度；通过所述图像区域分割模型，根据所述图结构数据分割得到癌症区域；
所述图像显示模组，用于显示所述癌症区域。
第六方面，本申请实施例提供一种设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面或第三方面所述的方法。
第七方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面或第三方面所述的方法。
由上述技术方案可以看出，本申请在模型训练过程中，获取样本图像集合，样本图像集合包括至少一个样本图像，样本图像具有第一标注信息，该第一标注信息为可以是图像级等粒度较大的标注信息，从而易于实现大规模快速标注。针对样本图像集合中每个样本图像，分别生成样本图像对应的图结构数据，图结构数据中包括多个顶点，每个顶点包括样本图像中至少一个像素点。通过图卷积网络模型，根据图结构数据和第一标注信息确定顶点的第二标注信息，第二标注信息的粒度小于第一标注信息的粒度。由于顶点实际上是超像素点，其包括至少一个像素点，也就是说，第二标注信息是超像素级的标注，这样，根据第二标注信息对包括图卷积网络模型的图像区域分割模型进行训练，由于像素级标注的干预可以实现较强监督，提高模型的精确性。可见，本申请在实现大规模快速标注的前提下，基于图卷积网络模型将图像级标注信息转化为超像素级标注信息，从而实现较强监督的模型训练，提高了模型的精确性，进而在使用训练得到的模型进行图像区域分割时，提高图像分割的精确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于人工智能的图像区域分割模型训练方法的应用场景示意图；
图2为本申请实施例提供的一种基于人工智能的图像区域分割模型训练方法的流程图；
图3为本申请实施例提供的图像区域分割模型训练方法的***流程图；
图4为本申请实施例提供的一种基于人工智能的图像区域分割方法的流程图；
图5为本申请实施例提供的一种图像区域分割方法的***流程图；
图6为本申请实施例提供的图像区域分割方法进行分割与有监督算法进行分割的分割效果对比图；
图7为本申请实施例提供的一种基于人工智能的图像区域分割方法的流程图；
图8为本申请实施例提供的一种基于人工智能的图像区域分割模型训练装置的结构图；
图9为本申请实施例提供的一种基于人工智能的图像区域分割装置的结构图；
图10为本申请实施例提供的一种终端设备的结构图；
图11为本申请实施例提供的一种服务器的结构图。
具体实施方式
下面结合附图，对本申请的实施例进行描述。
深度学习在分割领域得到了广泛的应用，但是为了训练好的图像区域分割模型，往往需要精确的像素级别标注(pixel-level mask)，但是像素级人工标注极其耗时耗力。比如人工标注一张2048*2048的病例图片中的癌症区域，往往需要5-30分钟。因此，产生大量带有标注的样本图像变得非常昂贵和耗时。鉴于此，基于弱监督分割(Weaklysupervised segmentation)方法应用而生。弱监督算法例如可以是类激活映射(ClassActivation Mapping，CAM)算法。
而相关技术中的弱监督方法，通常是通过与分割任务相关的图像级标签(往往为图像类别)，训练分类模型，利用训练得到的分类模型确定需要分割的目标区域例如在医疗领域的癌症区域。由于图像级标签相对于像素级标签的标注较为粗略，并没有对图像进行准确的标注，没有直接的进行像素级干预，导致图像区域分割结果往往不够精确。
为此，本申请实施例提供一种基于人工智能的图像区域分割模型训练方法，该方法仍然对样本图像采用图像级标注，但是在模型训练过程中，基于图卷积网络模型将图像级标注信息(第一标注信息)转化为超像素级标注信息(第二标注信息)，利用第二标注信息对图像区域分割模型进行训练，从而实现较强监督的模型训练，提高了模型的精确性，进而在使用训练得到的模型进行图像区域分割时，提高图像分割的精确性。
需要强调的是，本申请实施例所提供的图像区域分割模型训练方法是基于人工智能实现的，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
在本申请实施例中，可以涉及的人工智能技术包括计算机视觉(图像)和机器学习等方向。计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
例如，本申请实施例可以通过计算机视觉技术中的图像处理(Image Processing)技术对获取到的待分割图像或样本图像进行处理，通过图像语义理解(Image SemanticUnderstanding，ISU)中的图像分割(Image segmention)技术对待分割图像进行目标区域分割；在区域分割或模型训练过程中，通过图像语义理解中的图像特征提取(Imagefeature extraction)技术可以进行特征提取。
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习通常包括深度学习(Deep Learning)等技术，深度学习包括人工神经网络(artificial neuralnetwork)，例如卷积神经网络(Convolutional Neural Network，CNN)、循环神经网络(Recurrent Neural Network，RNN)、深度神经网络(Deep neural network，DNN)等。
在本实施例中，可以利用机器学习训练图像区域分割模型，例如图像区域分割模型中的图卷积网络模型和全卷积网络，以利用图像区域分割模型对待分割图像进行目标区域分割。
本申请实施例提供的基于人工智能的图像区域分割模型训练方法和图像区域分割方法可以应用于具有图形处理器(Graphics Processing Unit，GPU)的数据处理设备上，该数据处理设备可以是终端设备，该终端设备例如可以是计算机、个人数字助理(PersonalDigital Assistant，简称PDA)、平板电脑、智能手机等。
该数据处理设备还可以是服务器，在实际部署时，服务器可以是独立服务器，也可以是集群服务器或是云服务器。在这种情况下，可以通过服务器完成图像区域分割模型的训练，然后，利用服务器与终端设备进行交互，对从终端设备获取到的待分割图像进行目标区域分割，并将分割结果返回至终端设备。
为了便于理解本申请的技术方案，下面结合实际应用场景对本申请实施例提供的基于人工智能的图像区域分割模型训练方法进行介绍。
参见图1，图1为本申请实施例提供的图像区域分割模型训练方法的应用场景示意图。以数据处理设备是终端设备为例，该应用场景中包括终端设备101。
终端设备101获取样本图像集合，样本图像集合包括多个具有第一标注信息的样本图像。样本图像中包括用户感兴趣的目标区域，样本图像可以是各种类型的图像，例如病理图像、交通监控图像等等。为了避免标注耗费大量人力和时间成本，便于实现大规模快速标注，第一标注信息是粒度较大的标注信息，例如图像级标注信息。
针对样本图像集合中每个样本图像，分别生成每个样本图像对应的图结构数据，其中包括多个顶点，每个顶点包括样本图像中至少一个像素点。
由于图结构数据是由至少一个像素点构成，这些像素点构成的图结构数据是非标准几何的数据，一般需要通过图卷积网络模型对图结构数据进行处理。因此，在本实施例中，可以通过图像区域分割模型中的图卷积网络模型根据图结构数据和第一标注信息确定顶点的第二标注信息。
顶点实际上是超像素点，其包括至少一个像素点，也就是说，第二标注信息是超像素级的标注，第二标注信息的粒度明显小于第一标注信息的粒度。这样，根据第二标注信息对包括图卷积网络模型的图像区域分割模型进行训练，由于像素级标注的干预可以实现较强监督，提高模型的精确性。
需要说明的是，本申请实施例提供的方法可以应用于多种应用场景，例如在医疗领域对医学图像进行分割以区分人体各个组织、对病理图片中的目标区域(例如癌症区域)进行分割、交通领域的车辆识别等等。
接下来，将结合附图对本申请实施例提供的基于人工智能的图像区域分割模型训练方法进行介绍。
参见图2，图2示出了一种基于人工智能的图像区域分割模型训练方法的流程图，所述方法包括：
S201、获取样本图像集合。
样本图像集合包括多个样本图像，每个样本图像具有对应的第一标注信息。在本实施例中，第一标注信息是粒度较大的标注信息，例如图像级标注信息。图像级标注信息仅需要对图像样本整体进行标注，一个样本图像对应一个标签，无需针对图像样本中每个像素点进行标注，避免标注耗费大量人力和时间成本，便于实现大规模快速标注。图像级标注信息可以包括多种，在本实施例中，图像级标注信息例如可以是目标区域在样本图像中的面积占比，即第一标注信息包括目标区域在样本图像中的面积占比。
其中，目标区域在样本图像中的面积占比可以是人工根据样本图像估计得到，为了避免估计误差，在标注面积占比的同时，还可以标注估计误差值，从而在后续模型训练过程中考虑估计误差值，提高模型训练的精确性。
S202、针对所述样本图像集合中每个样本图像，分别生成所述样本图像对应的图结构数据。
在得到样本图像集合后，生成每个样本图像对应的图结构数据。图结构数据的顶点包括样本图像中至少一个像素点，每个顶点包括哪些像素点可以是通过对像素点进行聚类确定的，而聚类的依据可以是像素点的特征，从而将特征相似的像素点聚类在一起作为顶点。因此，在一些实施例中，图像区域分割模型中包括全卷积网络(Fully convolutionalnetworks，FCN)，生成图结构数据的方式可以是通过全卷积网络对样本图像进行特征提取，得到每个像素点对应的特征。然后，根据像素点的特征对样本图像中的像素点进行聚类，得到超像素划分结果，根据超像素划分结果构建图结构数据，超像素划分结果中每个超像素点作为图结构数据中的一个顶点。
生成图结构数据的方式可以参见图3所示，图3示出了图像区域分割模型训练方法的***流程，主要包括特征提取模块301和分类模块302，其中，特征提取模块301用于将样本图像集合输入到全卷积网络得到样本图像中每个像素点的特征。每个像素对应的特征可以用N维的特征向量表示，N为全卷积网络的通道数。
其中，本申请实施例中可以选取常规的全卷积网络，比如U-Net，U-Net是全卷积网络的一种网络结构，当然还可以选取其他网络结构，本实施例对全卷积网络的网络结构不做限定。
由于每个像素点都得到一个特征，故可以根据像素点的特征对样本图像中的像素点进行聚类，将特征相似的像素点聚类在一起构成一个超像素点(superpixel)，得到超像素划分结果。例如，属于同一个细胞的像素点的特征一般比较相似，可以聚类在一起形成一个超像素点；属于同一部位(例如都属于嘴部)的像素点的特征一般比较相似，可以聚类在一起形成一个超像素点，等等。
其中，超像素点划分需要指定超像素点的个数，本申请实施例采用随机数的方式赋值。聚类方法可以包括多种，例如简单的线性迭代聚类(simple linear iterativeclustering，SLIC)、归一分割算法、基于梯度上升的算法等等，本申请实施例对此不做限定。
需要说明的是，由于本实施例中采用全卷积网络提取像素点的特征，超像素划分是利用全卷积网络输出的特征作为划分依据，因此只要特征变化，超像素点的划分也会相应的改变。而在图像区域分割模型训练过程中，会对图像区域分割模型中的全卷积网络进行参数调整，从而导致输出的特征变化，进一步带动超像素划分结果发生变化，也就是说，在本实施例中得到的是动态超像素点，从而有助于提高模型训练的精确性。
在得到超像素划分结果后，可以根据超像素划分结果构建图结构数据，将超像素划分结果中每个超像素点作为图结构数据中的一个顶点，进入后续分类模块302。
图结构数据中除了包括多个顶点(Node)，一些顶点之间可能还存在边(edge)以及边的权重(weight)。边表示两个顶点之间在空间位置上相邻，具有一定的关联关系；边的权重表示两个顶点之间所具有关联关系的关联程度，权重越大，关联程度越大。
因此，在一些实施例中，根据超像素划分结果构建图结构数据的方式可以是根据任意两个顶点所包括的像素点的位置信息确定顶点之间的边。通常情况下，如果两个超像素点(顶点)为空间相连，那么这两个超像素点之间建立起边的连接。判断两个超像素点(顶点)为空间相连的方式可以是这两个超像素点包括的像素点中存在相邻像素点。
针对任一条边，若该条边连接第一顶点和第二顶点，则根据第一顶点和第二顶点对应的特征的欧氏距离确定边的权重。欧式距离越大，关联程度越小，权重越小。通过该方式设置的权重，更能够准确的体现出超像素点之间的关联程度，从而有利于提高后续处理的准确性。
当然，还可以简化边的权重的确定方式，在一些情况下，可以将所有边的权重设置为统一的数值，例如可以将各个边的权重统一设置为1。
可以理解的是，针对图结构数据中每个顶点，顶点对应的特征为顶点所包括像素点的特征的平均值。若像素点的特征为N维特征向量，则顶点的特征也为N维特征向量。
S203、通过图卷积网络模型，根据所述图结构数据和所述第一标注信息确定所述顶点的第二标注信息。
在得到图结构数据后，即得到图卷积网络模型所需的数据，可以将图结构数据输入至图卷积网络模型，以便对包括图卷积网络模型在内的图像区域分割模型进行训练。其中，图卷积网络模型可以由五个线性图卷积层构成，每个线性层的神经元数量分别为64，128，256，64，1。除了最后一层，为每个层加入非线性激活层(ReLu)。
参见图3中302所示，图卷积网络模型可以根据图结构数据和第一标注信息确定顶点的第二标注信息，由于图结构数据中包括多个顶点，顶点中包括至少一个像素点，因此，第二标注信息是像素级标注信息，第二标注信息的粒度小于第一标注信息的粒度。
S204、根据所述第二标注信息对所述图像区域分割模型进行训练，所述图像区域分割模型包括所述图卷积网络模型。
在本实施例中，第一标注信息是预先标注的真实标签，而第二标注信息是伪标签，是图像区域分割模型中包括的图卷积网络模型对图结构数据进行预测，根据第一标注信息转换而来的像素级别的标注信息，与第一标注信息相比，第二标注信息能够提供较强的监督信号，因此，可以根据第二标注信息对图像区域分割模型进行训练。
在本实施例中，全卷积网络采用U-Net，特征的维度N可以设为24，超像素点个数不固定，每个迭代采用200-8000之间的随机数。可以采用适应性矩估计(Adaptive momentestimation，Adam)优化方法，学习率设为0.001。
若获取到305个样本图像，样本图像是病理图像，例如HER2图像，HER2又称为原癌基因人类表皮生长因子受体2，用于检查乳腺癌。这些样本图像来自50个全片扫描玻片，用于进行图像区域分割模型的训练。其中，采用226个样本数据用于模型训练，另外79个样本图像作为测试数据。利用本申请实施例提供的方法训练得到图像区域分割模型，利用测试数据对图像区域分割模型进行测试，得到分割结果的DICE系数(DICE系数是一种相似度度量函数，通常用于计算两个样本的相似度)为0.84。而采用有监督的算法(基于U-Net的全监督)训练图像区域分割模型，得到的DICE系数为0.86。可见，本申请实施例提供的图像区域分割模型的训练方法已经逼近有监督算法，证明了算法的有效性和可行性。
由上述技术方案可以看出，本申请在模型训练过程中，获取样本图像集合，样本图像集合包括至少一个样本图像，样本图像具有第一标注信息，该第一标注信息为可以是图像级等粒度较大的标注信息，从而易于实现大规模快速标注。针对样本图像集合中每个样本图像，分别生成样本图像对应的图结构数据，图结构数据中包括多个顶点，每个顶点包括样本图像中至少一个像素点。通过图卷积网络模型，根据图结构数据和第一标注信息确定顶点的第二标注信息，第二标注信息的粒度小于第一标注信息的粒度。由于顶点实际上是超像素点，其包括至少一个像素点，也就是说，第二标注信息是超像素级的标注，这样，根据第二标注信息对包括图卷积网络模型的图像区域分割模型进行训练，由于像素级标注的干预可以实现较强监督，提高模型的精确性。可见，本申请在实现大规模快速标注的前提下，基于图卷积网络模型将图像级标注信息转化为超像素级标注信息，从而实现较强监督的模型训练，提高了模型的精确性，进而在使用训练得到的模型进行图像区域分割时，提高图像分割的精确性。
在一种可能的实现方式中，第一标注信息包括目标区域在样本图像中的面积占比，若样本图像和图结构数据中像素点分布均匀，则面积占比也可以反映出属于目标区域的顶点数量在所有顶点数据中的占比，若确定出属于目标区域的顶点数量则可以确定出哪些顶点属于目标区域，哪些顶点属于背景区域，从而确定顶点的第二标注信息。
因此，确定第二标注信息的一种可能的实现方式可以是通过图卷积网络模型，根据图结构数据得到每个顶点的预测结果。根据面积占比和图结构数据中顶点的总数量确定目标区域对应的第一顶点数量(即属于目标区域的顶点数据)以及背景区域对应的第二顶点数量(即属于背景区域的顶点数量)，背景区域为图像样本中除目标区域外的区域，目标区域也可以称为前景区域。接着，根据第一顶点数量、第二顶点数量和预测结果确定顶点的第二标注信息。
通常情况下，预测结果为图卷积网络模型根据图结构数据预测得到的每个顶点属于目标区域的概率值，概率值越高，顶点越有可能属于目标区域。在得到预测结果后，可以按照概率值的大小进行排序，例如按照概率值从大到小的顺序进行排序，或从小到大的顺序进行排序。由于属于目标区域的顶点数据为第一顶点数量，那么，仅有第一顶点数量个顶点的第二标注信息表示其属于目标区域(例如第二标注信息设为1)，仅有第二顶点数量个顶点的第二标注信息表示其属于背景区域(例如第二标注信息设为0)。由于概率值越高，顶点越有可能属于目标区域，那么，若预测结果按照概率值从大到小的顺序进行排序，可以在所有顶点中，选择前第一顶点数量个顶点的第二标注信息表示其属于目标区域(例如第二标注信息设为1)，后第二顶点数量个顶点的第二标注信息表示其属于背景区域(例如第二标注信息设为0)。
例如面积占比为p，顶点的总数量为M，那么目标区域对应的顶点数量(第一顶点数量)为p×M，背景区域对应的顶点数量(第二顶点数量)为(1-p)×M。鉴于此，若预测结果按照概率值从大到小的顺序进行排序，可以对预测结果中的前p×M个顶点的第二标注信息设为1，后(1-p)×M个顶点的第二标注信息设为0。
在一些实施例中，为了避免估计误差，在标注面积占比的同时，还可以标注估计误差值，即第一标注信息还包括估计误差值，此时，确定第一顶点数量和第二顶点数量的方式也有所改变，确定第一顶点数量和第二顶点数量时不仅要考虑面积占比，也要考虑估计误差值。因此，可以根据面积占比、估计误差值和图结构数据中顶点的总数量确定第一顶点数量以及第二顶点数量。
例如面积占比为p，顶点的总数量为M，那么，估计出的第一顶点数量为p×M，第二顶点数量为(1-p)×M。若估计误差值为q，考虑到估计误差值，确信的第一顶点数量为(p-q)×M，确信的第二顶点数量为(1-p-q)×M。鉴于此，若预测结果按照概率值从大到小的顺序进行排序，可以对预测结果中的前(p-q)×M个顶点的第二标注信息设为1，后(1-p-q)×M个顶点的第二标注信息设为0。而对于余下的不确信的顶点可以忽略，不进行标注，从而避免估计误差导致模型训练的不精确。
在根据第二标注信息对图像区域分割模型进行训练的过程中，可以将第二标注信息作为监督信号，例如可以根据每个顶点的预测结果和第二标注信息构建损失函数，从而根据损失函数对图像区域分割模型进行训练。该训练过程可以包括对图像区域分割模型中的图卷积网络模型、全卷积网络进行训练，直到损失函数的值最小，停止训练。
其中，构建损失函数可以包括多种方式，例如可以通过互信息熵、均方误差(MeanSquared Error，MSE)等方式构建损失函数，施加强的监督信号。
基于前述实施例提供的图像区域分割模型的训练方法，本申请实施例还提供一种基于人工智能的图像区域分割方法，参见图4，所述方法包括：
S401、获取待分割图像。
待分割图像可以是各种类型的图像，例如病理图像、交通监控图像等等。以待分割图像是病理图像为例，则分割所要获取的目标区域为癌症区域，从而用于后续诊断。其中，待分割图像可以参见图5中501所示。
S402、通过图像区域分割模型生成所述待分割图像对应的图结构数据。
将图结构数据输入至图像区域分割模型(如图5所示)，得到待分割图像对应的图结构数据。其中，图结构数据中包括多个顶点，每个所述顶点包括待分割图像中至少一个像素点。
本申请实施例中所采用的图像区域分割模型是根据图2对应实施例所提供的方法训练得到的，此处不再赘述。
S403、通过所述图像区域分割模型，根据所述图结构数据分割得到目标区域。
通过图像区域分割模型对图结构数据进行预测得到预测结果，从而确定哪些顶点属于目标区域，哪些顶点属于背景区域，进而确定待分割图像中哪些像素点属于目标区域，哪些像素点属于背景区域，从而分割得到目标区域。分割效果图可以参见图5中502所示，其中，白色表示目标区域，黑色表示背景区域。
通过本申请实施例提供的图像区域分割方法进行分割与有监督算法进行分割的分割效果对比图可以参见图6所示，其中图6中左侧图片为通过本申请实施例提供的图像区域分割方法进行分割得到的分割效果图，图6中右侧图片为通过有监督算法进行分割得到的分割效果图，通过两张效果图的比对可以看出，二者的分割结果相似，通过本申请实施例提供的图像区域分割方法可以实现较强监督，提高模型的精确性。
接下来，将结合实际应用场景对本申请实施例提供的人工智能的图像区域分割方法进行介绍。以医疗场景为例，在该应用场景中医疗器械中嵌入预先训练好的图像区域分割模型，可以采集病人的病理图像，并对病理图像进行癌症区域分割。参见图7，所述方法包括：
S701、医疗器械采集病人的病理图像。
S702、医疗器械通过图像区域分割模型生成病理图像对应的图结构数据。
S703、医疗器械通过图像区域分割模型，根据图结构数据分割得到癌症区域。
S704、医疗器械通过显示屏显示癌症区域。
S705、医生根据显示的癌症区域进行观察、分析，以诊断疾病。
本申请实施例提供的图像区域分割模型训练方法和图像区域分割方法可以应用于可以应用到多种场景，以医疗领域为例，图像区域分割模型训练方法和图像区域分割方法可以应用于医疗器械上，医疗器械可以利用该图像区域分割模型训练方法训练图像区域分割模型，进而利用训练得到的图像区域分割模型对病理图像进行区域分割，得到目标区域例如癌症区域，以便用于后续分析、处理。
为此，本申请实施例还提供一种医疗器械，该医疗器械可以为医学影像设备，包括X光机、电子计算机断层扫描(Computed Tomography，简称CT)设备、磁共振成像(MagneticResonance Imaging，简称MRI)设备等，所述医疗器械包括图像采集模组、图像处理模组和图像显示模组：
所述图像采集模组，用于获取待分割图像；所述待分割图像为包括生物组织的病理图像；
所述图像处理模组，用于通过图像区域分割模型生成所述待分割图像对应的图结构数据；所述图结构数据中包括多个顶点，每个所述顶点包括所述待分割图像中至少一个像素点；所述图像区域分割模型是根据第二标注信息训练得到，所述第二标注信息是根据样本图像对应的图结构数据和所述样本图样对应的第一标注信息确定的；所述第二标注信息的粒度小于所述第一标注信息的粒度；通过所述图像区域分割模型，根据所述图结构数据分割得到癌症区域；
所述图像显示模组，用于显示所述癌症区域，以便医生可以通过医疗器械显示的癌症区域进行观察、分析等。
在一种可能的是实现方式中，所述图像采集模组，用于获取样本图像集合，所述样本图像集合包括多个样本图像，所述样本图像具有第一标注信息；
所述图像处理模组，用于：
针对所述样本图像集合中每个样本图像，分别生成所述样本图像对应的图结构数据；所述图结构数据中包括多个顶点，每个所述顶点包括所述样本图像中至少一个像素点；
通过图卷积网络模型，根据所述图结构数据和所述第一标注信息确定所述顶点的第二标注信息；所述第二标注信息的粒度小于所述第一标注信息的粒度；
根据所述第二标注信息对所述图像区域分割模型进行训练，所述图像区域分割模型包括所述图卷积网络模型。
在一种可能的是实现方式中，所述第一标注信息包括目标区域在样本图像中的面积占比，所述图像处理模组，用于：
通过图卷积网络模型，根据所述图结构数据得到每个顶点的预测结果；
根据所述面积占比和所述图结构数据中顶点的总数量确定所述目标区域对应的第一顶点数量以及背景区域对应的第二顶点数量，所述背景区域为所述图像样本中除所述目标区域外的区域；
根据所述第一顶点数量、所述第二顶点数量和所述预测结果确定所述顶点的第二标注信息。
在一种可能的是实现方式中，所述第一标注信息还包括估计误差值，所述图像处理模组，用于：
根据所述面积占比、所述估计误差值和所述图结构数据中顶点的总数量确定所述目标区域对应的第一顶点数量以及背景区域对应的第二顶点数量。
在一种可能的是实现方式中，所述图像处理模组，用于：
根据每个顶点的所述预测结果和第二标注信息构建损失函数；
根据所述损失函数对所述图像区域分割模型进行训练。
在一种可能的是实现方式中，所述图像区域分割模型中包括全卷积网络，所述图像处理模组，用于：
通过全卷积网络对所述样本图像进行特征提取，得到每个像素点对应的特征；
根据所述像素点的特征对所述样本图像中的像素点进行聚类，得到超像素划分结果；
根据所述超像素划分结果构建所述图结构数据，所述超像素划分结果中每个超像素点作为所述图结构数据中的一个顶点。
在一种可能的是实现方式中，所述图像处理模组，用于：
根据任意两个顶点所包括的像素点的位置信息确定顶点之间的边；
根据第一顶点和第二顶点对应的特征的欧氏距离确定边的权重，所述第一顶点和所述第二顶点分别为所述边所连接的顶点。
在一种可能的是实现方式中，针对所述图结构数据中每个顶点，顶点对应的特征为所述顶点所包括像素点的特征的平均值。
基于前述图2所对应的实施例，本申请实施例还提供一种基于人工智能的图像区域分割模型训练装置，参见图8，所述装置包括获取单元801、生成单元802、确定单元803和训练单元804：
所述获取单元801，用于获取样本图像集合，所述样本图像集合包括至少一个样本图像，所述样本图像具有第一标注信息；
所述生成单元802，用于所述针对所述样本图像集合中每个样本图像，分别生成所述样本图像对应的图结构数据；所述图结构数据中包括多个顶点，每个所述顶点包括所述样本图像中至少一个像素点；
所述确定单元803，用于通过图卷积网络模型，根据所述图结构数据和所述第一标注信息确定所述顶点的第二标注信息；所述第二标注信息的粒度小于所述第一标注信息的粒度；
所述训练单元804，用于根据所述第二标注信息对所述图像区域分割模型进行训练，所述图像区域分割模型包括所述图卷积网络模型。
在一种可能的实现方式中，所述第一标注信息包括目标区域在样本图像中的面积占比，所述确定单元803，用于：
通过图卷积网络模型，根据所述图结构数据得到每个顶点的预测结果；
根据所述面积占比和所述图结构数据中顶点的总数量确定所述目标区域对应的第一顶点数量以及背景区域对应的第二顶点数量，所述背景区域为所述图像样本中出所述目标区域外的区域；
根据所述第一顶点数量、所述第二顶点数量和所述预测结果确定所述顶点的第二标注信息。
在一种可能的实现方式中，所述第一标注信息还包括估计误差值，所述确定单元803，用于：
根据所述面积占比、所述估计误差值和所述图结构数据中顶点的总数量确定所述目标区域对应的第一顶点数量以及背景区域对应的第二顶点数量。
在一种可能的实现方式中，所述训练单元804，用于：
根据每个顶点的所述预测结果和第二标注信息构建损失函数；
根据所述损失函数对所述图像区域分割模型进行训练。
在一种可能的实现方式中，所述图像区域分割模型中包括全卷积网络，所述生成单元802，用于：
通过全卷积网络对所述样本图像进行特征提取，得到每个像素点对应的特征；
根据所述像素点的特征对所述样本图像中的像素点进行聚类，得到超像素划分结果；
根据所述超像素划分结果构建所述图结构数据，所述超像素划分结果中每个超像素点作为所述图结构数据中的一个顶点。
在一种可能的实现方式中，所述生成单元802，用于：
根据任意两个顶点所包括的像素点的位置信息确定顶点之间的边；
根据第一顶点和第二顶点对应的特征的欧氏距离确定边的权重，所述第一顶点和所述第二顶点分别为所述边所连接的顶点。
在一种可能的实现方式中，针对所述图结构数据中每个顶点，顶点对应的特征为所述顶点所包括像素点的特征的平均值。
基于前述图4所对应的实施例，本申请实施例还一种基于人工智能的图像区域分割装置，参见图9，所述装置包括获取单元901、生成单元902和分割单元903：
所述获取单元901，用于获取待分割图像；
所述生成单元902，用于通过图像区域分割模型生成所述待分割图像对应的图结构数据；所述图结构数据中包括多个顶点，每个所述顶点包括所述待分割图像中至少一个像素点；所述图像区域分割模型是根据第二标注信息训练得到，所述第二标注信息是根据样本图像对应的图结构数据和所述样本图样对应的第一标注信息确定的；所述第二标注信息的粒度小于所述第一标注信息的粒度；
所述分割单元903，用于通过所述图像区域分割模型，根据所述图结构数据分割得到目标区域。
在一种可能的实现方式中，所述待分割图像为病理图像，所述目标区域为癌症区域。
本申请实施例还提供了一种设备，该设备可以基于人工智能实现图像区域分割模型训练方法或图像区域分割方法。下面结合附图对该设备进行介绍。请参见图10所示，本申请实施例提供了一种的设备1000，该设备1000还可以是终端设备，该终端设备可以为包括计算机、平板电脑、手机、个人数字助理(Personal Digital Assistant，简称PDA)、销售终端(Point of Sales，简称POS)、车载电脑等，以终端设备为手机为例：
图10示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图10，手机包括：射频(Radio Frequency，简称RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(wireless fidelity，简称WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图10中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图10对手机的各个构成部件进行具体的介绍：
RF电路1010可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1080处理；另外，将设计上行的数据发送给基站。通常，RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，简称LNA)、双工器等。此外，RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***(Global System of Mobile communication，简称GSM)、通用分组无线服务(GeneralPacket Radio Service，简称GPRS)、码分多址(Code Division Multiple Access，简称CDMA)、宽带码分多址(Wideband Code Division Multiple Access，简称WCDMA)、长期演进(Long Term Evolution，简称LTE)、电子邮件、短消息服务(Short Messaging Service，简称SMS)等。
存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1030可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1080，并能接收处理器1080发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031，输入单元1030还可以包括其他输入设备1032。具体地，其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041，可选的，可以采用液晶显示器(LiquidCrystal Display，简称LCD)、有机发光二极管(Organic Light-Emitting Diode，简称OLED)等形式来配置显示面板1041。进一步的，触控面板1031可覆盖显示面板1041，当触控面板1031检测到在其上或附近的触摸操作后，传送给处理器1080以确定触摸事件的类型，随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图10中，触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1050，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1060、扬声器1061，传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号，传输到扬声器1061，由扬声器1061转换为声音信号输出；另一方面，传声器1062将收集的声音信号转换为电信号，由音频电路1060接收后转换为音频数据，再将音频数据输出处理器1080处理后，经RF电路1010以发送给比如另一手机，或者将音频数据输出至存储器1020以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图10示出了WiFi模块1070，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1080是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1080可包括一个或多个处理单元；优选的，处理器1080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1080中。
手机还包括给各个部件供电的电源1090(比如电池)，优选的，电源可以通过电源管理***与处理器1080逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本实施例中，该终端设备所包括的处理器1080还具有以下功能：
获取样本图像集合，所述样本图像集合包括多个样本图像，所述样本图像具有第一标注信息；
针对所述样本图像集合中每个样本图像，分别生成所述样本图像对应的图结构数据；所述图结构数据中包括多个顶点，每个所述顶点包括所述样本图像中至少一个像素点；
通过图卷积网络模型，根据所述图结构数据和所述第一标注信息确定所述顶点的第二标注信息；所述第二标注信息的粒度小于所述第一标注信息的粒度；
根据所述第二标注信息对所述图像区域分割模型进行训练，所述图像区域分割模型包括所述图卷积网络模型。
或，
获取待分割图像；
通过图像区域分割模型生成所述待分割图像对应的图结构数据；所述图结构数据中包括多个顶点，每个所述顶点包括所述待分割图像中至少一个像素点；所述图像区域分割模型是根据第二标注信息训练得到，所述第二标注信息是根据样本图像对应的图结构数据和所述样本图样对应的第一标注信息确定的；所述第二标注信息的粒度小于所述第一标注信息的粒度；
通过所述图像区域分割模型，根据所述图结构数据分割得到目标区域。
本申请实施例还提供服务器，请参见图11所示，图11为本申请实施例提供的服务器1100的结构图，服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(Central Processing Units，简称CPU)1122(例如，一个或一个以上处理器)和存储器1132，一个或一个以上存储应用程序1142或数据1144的存储介质1130(例如一个或一个以上海量存储设备)。其中，存储器1132和存储介质1130可以是短暂存储或持久存储。存储在存储介质1130的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1122可以设置为与存储介质1130通信，在服务器1100上执行存储介质1130中的一系列指令操作。
服务器1100还可以包括一个或一个以上电源1126，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1158，和/或，一个或一个以上操作***1141，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图11所示的服务器结构执行。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行前述各个实施例所述的方法。
本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种基于人工智能的图像区域分割模型训练方法，其特征在于，所述方法包括：
获取样本图像集合，所述样本图像集合包括多个样本图像，所述样本图像具有第一标注信息；
针对所述样本图像集合中每个样本图像，分别生成所述样本图像对应的图结构数据；所述图结构数据中包括多个顶点，每个所述顶点包括所述样本图像中至少一个像素点；
通过图卷积网络模型，根据所述图结构数据和所述第一标注信息确定所述顶点的第二标注信息；所述第二标注信息的粒度小于所述第一标注信息的粒度；
根据所述第二标注信息对所述图像区域分割模型进行训练，所述图像区域分割模型包括所述图卷积网络模型。
2.根据权利要求1所述的方法，其特征在于，所述第一标注信息包括目标区域在样本图像中的面积占比，通过图卷积网络模型，根据所述图结构数据和所述第一标注信息确定每个所述顶点的第二标注信息，包括：
通过图卷积网络模型，根据所述图结构数据得到每个顶点的预测结果；
根据所述面积占比和所述图结构数据中顶点的总数量确定所述目标区域对应的第一顶点数量以及背景区域对应的第二顶点数量，所述背景区域为所述图像样本中除所述目标区域外的区域；
根据所述第一顶点数量、所述第二顶点数量和所述预测结果确定所述顶点的第二标注信息。
3.根据权利要求2所述的方法，其特征在于，所述第一标注信息还包括估计误差值，根据所述面积占比和所述图结构数据中顶点的总数量确定所述目标区域对应的第一顶点数量以及背景区域对应的第二顶点数量，包括：
根据所述面积占比、所述估计误差值和所述图结构数据中顶点的总数量确定所述目标区域对应的第一顶点数量以及背景区域对应的第二顶点数量。
4.根据权利要求2所述的方法，其特征在于，根据所述第二标注信息对所述图像区域分割模型进行训练，包括：
根据每个顶点的所述预测结果和第二标注信息构建损失函数；
根据所述损失函数对所述图像区域分割模型进行训练。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述图像区域分割模型中包括全卷积网络，针对所述样本图像集合中每个样本图像，分别生成所述样本图像对应的图结构数据，包括：
通过全卷积网络对所述样本图像进行特征提取，得到每个像素点对应的特征；
根据所述像素点的特征对所述样本图像中的像素点进行聚类，得到超像素划分结果；
根据所述超像素划分结果构建所述图结构数据，所述超像素划分结果中每个超像素点作为所述图结构数据中的一个顶点。
6.根据权利要求5所述的方法，其特征在于，根据所述超像素划分结果构建所述图结构数据，包括：
根据任意两个顶点所包括的像素点的位置信息确定顶点之间的边；
根据第一顶点和第二顶点对应的特征的欧氏距离确定边的权重，所述第一顶点和所述第二顶点分别为所述边所连接的顶点。
7.根据权利要6所述的方法，其特征在于，针对所述图结构数据中每个顶点，顶点对应的特征为所述顶点所包括像素点的特征的平均值。
8.一种基于人工智能的图像区域分割模型训练装置，其特征在于，所述装置包括获取单元、生成单元、确定单元和训练单元：
所述获取单元，用于获取样本图像集合，所述样本图像集合包括至少一个样本图像，所述样本图像具有第一标注信息；
所述生成单元，用于所述针对所述样本图像集合中每个样本图像，分别生成所述样本图像对应的图结构数据；所述图结构数据中包括多个顶点，每个所述顶点包括所述样本图像中至少一个像素点；
所述确定单元，用于通过图卷积网络模型，根据所述图结构数据和所述第一标注信息确定所述顶点的第二标注信息；所述第二标注信息的粒度小于所述第一标注信息的粒度；
所述训练单元，用于根据所述第二标注信息对所述图像区域分割模型进行训练，所述图像区域分割模型包括所述图卷积网络模型。
9.根据权利要求8所述的装置，其特征在于，所述第一标注信息包括目标区域在样本图像中的面积占比，所述确定单元，用于：
通过图卷积网络模型，根据所述图结构数据得到每个顶点的预测结果；
根据所述面积占比和所述图结构数据中顶点的总数量确定所述目标区域对应的第一顶点数量以及背景区域对应的第二顶点数量，所述背景区域为所述图像样本中出所述目标区域外的区域；
根据所述第一顶点数量、所述第二顶点数量和所述预测结果确定所述顶点的第二标注信息。
10.一种基于人工智能的图像区域分割方法，其特征在于，所述方法包括：
获取待分割图像；
通过图像区域分割模型生成所述待分割图像对应的图结构数据；所述图结构数据中包括多个顶点，每个所述顶点包括所述待分割图像中至少一个像素点；所述图像区域分割模型是根据第二标注信息训练得到，所述第二标注信息是根据样本图像对应的图结构数据和所述样本图样对应的第一标注信息确定的；所述第二标注信息的粒度小于所述第一标注信息的粒度；
通过所述图像区域分割模型，根据所述图结构数据分割得到目标区域。
11.根据权利要求10所述的方法，其特征在于，所述待分割图像为病理图像，所述目标区域为癌症区域。
12.一种基于人工智能的图像区域分割装置，其特征在于，所述装置包括获取单元、生成单元和分割单元：
所述获取单元，用于获取待分割图像；
所述生成单元，用于通过图像区域分割模型生成所述待分割图像对应的图结构数据；所述图结构数据中包括多个顶点，每个所述顶点包括所述待分割图像中至少一个像素点；所述图像区域分割模型是根据第二标注信息训练得到，所述第二标注信息是根据样本图像对应的图结构数据和所述样本图样对应的第一标注信息确定的；所述第二标注信息的粒度小于所述第一标注信息的粒度；
所述分割单元，用于通过所述图像区域分割模型，根据所述图结构数据分割得到目标区域。
13.一种医疗器械，其特征在于，所述医疗器械包括图像采集模组、图像处理模组和图像显示模组：
所述图像采集模组，用于获取待分割图像；所述待分割图像为包括生物组织的病理图像；
所述图像处理模组，用于通过图像区域分割模型生成所述待分割图像对应的图结构数据；所述图结构数据中包括多个顶点，每个所述顶点包括所述待分割图像中至少一个像素点；所述图像区域分割模型是根据第二标注信息训练得到，所述第二标注信息是根据样本图像对应的图结构数据和所述样本图样对应的第一标注信息确定的；所述第二标注信息的粒度小于所述第一标注信息的粒度；通过所述图像区域分割模型，根据所述图结构数据分割得到癌症区域；
所述图像显示模组，用于显示所述癌症区域。
14.一种设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-7或10-11任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-7或10-11任一项所述的方法。
CN202010419791.7A 2020-05-18 2020-05-18 一种图像区域分割模型训练方法、分割方法和装置 Active CN111598900B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010419791.7A CN111598900B (zh) 2020-05-18 2020-05-18 一种图像区域分割模型训练方法、分割方法和装置
PCT/CN2021/087128 WO2021233021A1 (zh) 2020-05-18 2021-04-14 一种图像区域分割模型训练方法、分割方法和装置
US17/707,045 US20220222932A1 (en) 2020-05-18 2022-03-29 Training method and apparatus for image region segmentation model, and image region segmentation method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010419791.7A CN111598900B (zh) 2020-05-18 2020-05-18 一种图像区域分割模型训练方法、分割方法和装置

Publications (2)

Publication Number Publication Date
CN111598900A true CN111598900A (zh) 2020-08-28
CN111598900B CN111598900B (zh) 2022-08-09

Family

ID=72187287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010419791.7A Active CN111598900B (zh) 2020-05-18 2020-05-18 一种图像区域分割模型训练方法、分割方法和装置

Country Status (3)

Country Link
US (1) US20220222932A1 (zh)
CN (1) CN111598900B (zh)
WO (1) WO2021233021A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102929A (zh) * 2020-09-11 2020-12-18 沈阳东软智能医疗科技研究院有限公司 医学图像标注方法、装置、存储介质及电子设备
CN112365513A (zh) * 2020-11-23 2021-02-12 北京三快在线科技有限公司 一种模型训练的方法及装置
CN112381811A (zh) * 2020-11-20 2021-02-19 沈阳东软智能医疗科技研究院有限公司 一种实现医学影像数据标注的方法、装置及设备
WO2021189913A1 (zh) * 2020-09-24 2021-09-30 平安科技（深圳）有限公司 图像中目标物的分割方法、装置、电子设备及存储介质
WO2021233021A1 (zh) * 2020-05-18 2021-11-25 腾讯科技（深圳）有限公司 一种图像区域分割模型训练方法、分割方法和装置
WO2022127071A1 (zh) * 2020-12-18 2022-06-23 上海商汤智能科技有限公司 网络训练方法、图像分割方法、装置、设备、介质及产品
CN115439846A (zh) * 2022-08-09 2022-12-06 北京邮电大学 图像的分割方法、装置、电子设备及介质
CN115477211A (zh) * 2021-06-15 2022-12-16 中移(成都)信息通信科技有限公司 一种电梯停靠方法、装置、设备及存储介质
CN115937516A (zh) * 2022-11-21 2023-04-07 北京邮电大学 一种图像语义分割方法、装置、存储介质及终端

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511443A (zh) * 2020-10-29 2022-05-17 北京中祥英科技有限公司 图像处理、图像识别网络训练和图像识别的方法及装置
CN114464316B (zh) * 2022-04-11 2022-07-19 武汉大学 胃部异常风险等级预测方法、装置、终端及可读存储介质
CN116205928B (zh) * 2023-05-06 2023-07-18 南方医科大学珠江医院 腹腔镜手术视频的图像分割处理方法、装置和设备、介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180276815A1 (en) * 2017-03-27 2018-09-27 Siemens Healthcare Gmbh Highly Integrated Annotation and Segmentation System for Medical Imaging
CN109903314A (zh) * 2019-03-13 2019-06-18 腾讯科技（深圳）有限公司 一种图像区域定位的方法、模型训练的方法及相关装置
CN110210487A (zh) * 2019-05-30 2019-09-06 上海商汤智能科技有限公司 一种图像分割方法及装置、电子设备和存储介质
CN110232696A (zh) * 2019-06-20 2019-09-13 腾讯科技（深圳）有限公司 一种图像区域分割的方法、模型训练的方法及装置
CN110503654A (zh) * 2019-08-01 2019-11-26 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150016668A1 (en) * 2013-07-12 2015-01-15 Ut-Battelle, Llc Settlement mapping systems
US9886758B2 (en) * 2016-03-31 2018-02-06 International Business Machines Corporation Annotation of skin image using learned feature representation
CN106651886A (zh) * 2017-01-03 2017-05-10 北京工业大学 一种基于超像素聚类优化cnn的云图分割方法
CN107424159B (zh) * 2017-07-28 2020-02-07 西安电子科技大学 基于超像素边缘和全卷积网络的图像语义分割方法
CN110807754B (zh) * 2018-08-01 2022-05-31 华中科技大学 基于深度语义分割的真菌显微图像分割检测方法及***
CN110796661B (zh) * 2018-08-01 2022-05-31 华中科技大学 基于卷积神经网络的真菌显微图像分割检测方法及***
CN109447998B (zh) * 2018-09-29 2020-12-18 华中科技大学 基于PCANet深度学习模型下的自动分割方法
CN109671068B (zh) * 2018-12-14 2022-09-13 复旦大学附属中山医院 一种基于深度学习的腹部肌肉标注方法及装置
US11282208B2 (en) * 2018-12-24 2022-03-22 Adobe Inc. Identifying target objects using scale-diverse segmentation neural networks
CA3122540A1 (en) * 2019-01-07 2020-07-16 Exini Diagnostics Ab Systems and methods for platform agnostic whole body image segmentation
CN109961444B (zh) * 2019-03-01 2022-12-20 腾讯科技（深圳）有限公司 图像处理方法、装置及电子设备
CN110070531B (zh) * 2019-04-19 2021-05-07 京东方科技集团股份有限公司 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置
CN110659692B (zh) * 2019-09-26 2023-04-18 重庆大学 基于强化学习和深度神经网络的病理图像自动标注方法
CN110853009B (zh) * 2019-11-11 2023-04-28 北京端点医药研究开发有限公司 基于机器学习的视网膜病理图像分析***
WO2021104410A1 (zh) * 2019-11-28 2021-06-03 北京小蝇科技有限责任公司 血涂片全视野智能分析方法血细胞分割模型及识别模型的构造方法
JP7237870B2 (ja) * 2020-02-06 2023-03-13 株式会社日立ソリューションズ 画像処理装置、画像処理方法及び画像処理システム
CN111640120B (zh) * 2020-04-09 2023-08-29 之江实验室 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN111598900B (zh) * 2020-05-18 2022-08-09 腾讯医疗健康(深圳)有限公司 一种图像区域分割模型训练方法、分割方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180276815A1 (en) * 2017-03-27 2018-09-27 Siemens Healthcare Gmbh Highly Integrated Annotation and Segmentation System for Medical Imaging
CN109903314A (zh) * 2019-03-13 2019-06-18 腾讯科技（深圳）有限公司 一种图像区域定位的方法、模型训练的方法及相关装置
CN110210487A (zh) * 2019-05-30 2019-09-06 上海商汤智能科技有限公司 一种图像分割方法及装置、电子设备和存储介质
CN110232696A (zh) * 2019-06-20 2019-09-13 腾讯科技（深圳）有限公司 一种图像区域分割的方法、模型训练的方法及装置
CN110503654A (zh) * 2019-08-01 2019-11-26 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021233021A1 (zh) * 2020-05-18 2021-11-25 腾讯科技（深圳）有限公司 一种图像区域分割模型训练方法、分割方法和装置
CN112102929A (zh) * 2020-09-11 2020-12-18 沈阳东软智能医疗科技研究院有限公司 医学图像标注方法、装置、存储介质及电子设备
WO2021189913A1 (zh) * 2020-09-24 2021-09-30 平安科技（深圳）有限公司 图像中目标物的分割方法、装置、电子设备及存储介质
CN112381811A (zh) * 2020-11-20 2021-02-19 沈阳东软智能医疗科技研究院有限公司 一种实现医学影像数据标注的方法、装置及设备
CN112381811B (zh) * 2020-11-20 2024-05-28 沈阳东软智能医疗科技研究院有限公司 一种实现医学影像数据标注的方法、装置及设备
CN112365513A (zh) * 2020-11-23 2021-02-12 北京三快在线科技有限公司 一种模型训练的方法及装置
WO2022127071A1 (zh) * 2020-12-18 2022-06-23 上海商汤智能科技有限公司 网络训练方法、图像分割方法、装置、设备、介质及产品
CN115477211B (zh) * 2021-06-15 2023-10-27 中移(成都)信息通信科技有限公司 一种电梯停靠方法、装置、设备及存储介质
CN115477211A (zh) * 2021-06-15 2022-12-16 中移(成都)信息通信科技有限公司 一种电梯停靠方法、装置、设备及存储介质
CN115439846A (zh) * 2022-08-09 2022-12-06 北京邮电大学 图像的分割方法、装置、电子设备及介质
CN115439846B (zh) * 2022-08-09 2023-04-25 北京邮电大学 图像的分割方法、装置、电子设备及介质
CN115937516B (zh) * 2022-11-21 2023-10-03 北京邮电大学 一种图像语义分割方法、装置、存储介质及终端
CN115937516A (zh) * 2022-11-21 2023-04-07 北京邮电大学 一种图像语义分割方法、装置、存储介质及终端

Also Published As

Publication number Publication date
US20220222932A1 (en) 2022-07-14
CN111598900B (zh) 2022-08-09
WO2021233021A1 (zh) 2021-11-25

Similar Documents

Publication Publication Date Title
CN111598900B (zh) 一种图像区域分割模型训练方法、分割方法和装置
CN110738263B (zh) 一种图像识别模型训练的方法、图像识别的方法及装置
CN109784424B (zh) 一种图像分类模型训练的方法、图像处理的方法及装置
TWI786313B (zh) 目標跟蹤方法、裝置、介質以及設備
CN110414631B (zh) 基于医学图像的病灶检测方法、模型训练的方法及装置
US20220036135A1 (en) Method and apparatus for determining image to be labeled and model training method and apparatus
CN110348543B (zh) 眼底图像识别方法、装置、计算机设备及存储介质
CN107895369B (zh) 图像分类方法、装置、存储介质及设备
CN110473186B (zh) 一种基于医学图像的检测方法、模型训练的方法及装置
CN111325726A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
CN110555839A (zh) 缺陷检测识别方法、装置、计算机设备及存储介质
CN111091127A (zh) 一种图像检测方法、网络模型训练方法以及相关装置
CN110276344A (zh) 一种图像分割的方法、图像识别的方法以及相关装置
JP2022518745A (ja) 目標の位置取得方法、装置、コンピュータ機器及びコンピュータプログラム
CN109934220B (zh) 一种影像兴趣点的展示方法、装置及终端
CN110852942B (zh) 一种模型训练的方法、媒体信息合成的方法及装置
CN108875594B (zh) 一种人脸图像的处理方法、装置以及存储介质
CN110610181A (zh) 医学影像识别方法及装置、电子设备及存储介质
CN114418069A (zh) 一种编码器的训练方法、装置及存储介质
CN113723378B (zh) 一种模型训练的方法、装置、计算机设备和存储介质
CN114092920B (zh) 一种模型训练的方法、图像分类的方法、装置及存储介质
CN110766081A (zh) 一种界面图像检测的方法、模型训练的方法以及相关装置
CN113723159A (zh) 场景识别模型训练方法、场景识别方法及模型训练装置
CN113724189A (zh) 图像处理方法、装置、设备及存储介质
CN110414539A (zh) 一种提取特征描述信息的方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40028864

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211126

Address after: 518052 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Applicant after: Tencent Medical Health (Shenzhen) Co.,Ltd.

Address before: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Applicant before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant