CN110276408A - 3d图像的分类方法、装置、设备及存储介质 - Google Patents

3d图像的分类方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110276408A
CN110276408A CN201910568666.XA CN201910568666A CN110276408A CN 110276408 A CN110276408 A CN 110276408A CN 201910568666 A CN201910568666 A CN 201910568666A CN 110276408 A CN110276408 A CN 110276408A
Authority
CN
China
Prior art keywords
image
rendering
dimension
image information
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910568666.XA
Other languages
English (en)
Other versions
CN110276408B (zh
Inventor
胡一凡
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910568666.XA priority Critical patent/CN110276408B/zh
Publication of CN110276408A publication Critical patent/CN110276408A/zh
Priority to PCT/CN2020/097530 priority patent/WO2020259453A1/zh
Priority to US17/383,724 priority patent/US11961609B2/en
Application granted granted Critical
Publication of CN110276408B publication Critical patent/CN110276408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种3D图像的分类方法、装置、设备和存储介质。该方法包括：获取3D图像，3D图像包括第一维度图像信息、第二维度图像信息和第三维度图像信息；从3D图像中提取第一维度图像信息和第二维度图像信息组成的平面图像信息对应的第一图像特征；从3D图像中提取第三维度图像信息对应的第二图像特征；对第一图像特征和第二图像特征进行融合处理，得到3D图像对应的融合图像特征；根据3D图像对应的融合图像特征，确定3D图像对应的分类结果。本申请实施例提供的技术方案，能够提高对3D图像进行分类的效率以及准确率。

Description

3D图像的分类方法、装置、设备及存储介质
技术领域
本申请实施例涉及深度学习技术领域，特别涉及一种三维(Three Dimensions，3D)图像的分类方法、装置、设备及存储介质。
背景技术
医学图像是指为了医疗或医学图像，对人体或人体某部分，以非侵入方式获取的内部组织影像的技术与处理过程中由医学仪器生成的图像。由于人体和人体病灶为三维结构，因此很多有效的医学图像为三维图像。
目前，医生通常借助于医学图像进行病因诊断。在借助医学图像进行病因诊断的过程中，需要确定医学图像的分类结果。相关技术中，通常由医生结合自身的学识、经验等来确定医学图像的分类结果。
相关技术中，通过人工方式来确定医学图像的分类结果，存在效率低下以及准确率低的问题。
发明内容
本申请实施例提供了一种3D图像的分类方法、装置、设备及存储介质，可用于解决相关技术中分类效率低下且准确率低的问题。
一方面，本申请实施例提供了一种三维3D图像的分类方法，所述方法包括：
获取3D图像，所述3D图像包括第一维度图像信息、第二维度图像信息和第三维度图像信息；
从所述3D图像中提取所述第一维度图像信息和所述第二维度图像信息组成的平面图像信息对应的第一图像特征；
从所述3D图像中提取所述第三维度图像信息对应的第二图像特征；
对所述第一图像特征和所述第二图像特征进行融合处理，得到所述3D图像对应的融合图像特征；
根据所述3D图像对应的融合图像特征，确定所述3D图像对应的分类结果。
另一方面，本申请实施例提供一种3D图像的分类装置，所述装置包括：
图像获取模块，用于获取3D图像，所述3D图像包括第一维度图像信息、第二维度图像信息和第三维度图像信息；
第一提取模块，用于从所述3D图像中提取所述第一维度图像信息和所述第二维度图像信息组成的平面图像信息对应的第一图像特征；
第二提取模块，用于从所述3D图像中提取所述第三维度图像信息对应的第二图像特征；
特征融合模块，用于对所述第一图像特征和所述第二图像特征进行融合处理，得到所述3D图像对应的融合图像特征；
图像分类模块，用于根据所述3D图像对应的融合图像特征，确定所述3D图像对应的分类结果。
又一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述一方面所述的3D图像的分类方法。
又一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述一方面所述的3D图像的分类方法。
又一方面，提供了一种计算机程序产品，当该计算机程序产品被执行时，其用于执行上述一方面所述的3D图像的分类方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
对于三维图像，通过图像分类模型分别提取第一维度图像信息和第二维度图像信息组成的平面图像信息(例如xy平面图像信息)对应的图像特征，以及第三维度图像信息(例如z方向图像信息)对应的图像特征，之后将上述提取到的两个特征进行融合，得到融合图像特征，利用该融合图像特征确定三维图像对应的分类结果，相比于相关技术中采用人工方式确定三维图像的分类结果，可以提高分类效率及准确率。
附图说明
图1是本申请一个实施例提供的图像分类模型的结构示意图；
图2是本申请另一个实施例提供的图像分类模型的结构示意图；
图3是本申请一个实施例提供的Block_S的结构示意图；
图4是本申请一个实施例提供的Block_F的结构示意图；
图5是本申请一个实施例提供的Slow Block的结构示意图；
图6是本申请一个实施例提供的Fast Block的结构示意图；
图7是本申请一个实施例提供的3D图像的分类方法的流程图；
图8是本申请一个实施例提供的3D图像的分类方法的流程图；
图9是本申请一个实施例提供的图像分类模型的训练过程的流程图；
图10是本申请一个实施例提供的3D图像的分类装置的框图；
图11是本申请一个实施例提供的计算机设备的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1，其示出了本申请一个实施例提供的图像分类模型的示意图。该图像分类模型10包括第一子网络11、第二子网络12、特征融合网络13和分类器14。
第一子网络11用于从3D图像中提取第一维度图像信息和第二维度图像信息组成的平面图像信息对应的第一图像特征。具体地，第一子网络11通过如下步骤提取第一图像特征：对3D图像中的第三维度图像信息进行压缩处理，得到第一处理结果；对第一处理结果进行通道扩充，得到第二处理结果；为第二处理结果中的至少一个区域的图像信息设置权重，得到第三处理结果，至少一个区域是第一维度和第二维度组成的平面中的区域；对第三处理结果进行特征提取，得到第一图像特征。该第一子网络11也可以称之为慢分支。
结合参考图2，第一子网络11包括卷积(Convolution)层1、批归一化(BatchNormalize，BN)层1，由上述两层网络结构实现上述对3D图像中的第三维度图像信息进行压缩处理，得到第一处理结果的步骤。第一子网络11还包括卷积层2、批归一化层2、激活(Rectified Linear Units，Relu)层1和池化(Pooling)层1，由上述四层网络结构实现对第一处理结果进行通道扩充，得到第二处理结果的步骤。其中，激活层用于进行非线性激活处理；池化层用于进行最大值池化处理。第一子网络11还包括Block_S层(包括Block_s1、Block_s2、Block_s3、Block_s4和Block_s5)，由该Block_S层实现上述为第二处理结果中的至少一个区域的图像信息设置权重，得到第三处理结果；对第三处理结果进行特征提取，得到第一图像特征的步骤。第一子网络还包括池化层2，该池化层2用于进行平均池化处理。
结合参考图3，其示出了本申请一个实施例提供的Block_S层的结构示意图。在一个示例中，Block_S层包括卷积层4、批归一化层4、激活层3、卷积层5、批归一化层5、卷积层6、批归一化层6、Slow Block1、卷积层7、批归一化层7、激活层4、卷积层8、批归一化层8和Slow Block2。其中，批归一化层5的输出数据经过下采样后输入卷积层6，最后由批归一化层6输入Slow Block1；此外，批归一化层5的输出数据不经过下采样直接输入Slow Block1。另外，Slow Block1和Slow Block2用于实现上述为第二处理结果中的至少一个区域的图像信息设置权重，得到第三处理结果的步骤。
结合参考图5，其示出了本申请一个实施例提供的Slow Block(Slow Block1或Slow Block2)的结构示意图。在一个示例中，Slow Block包括残差(Residual)神经网络1、池化层3、全连接层(fully connected，FC)2、激活层5、全连接层3、归一化层1以及缩放(Scale)层1。上述各个层的连接顺序参考图5。其中，残差神经网络1的输出数据输入至池化层3，经过一系列处理后输入至缩放层1，此外，残差神经网络1的输出数据还直接输入缩放层1。另外，从池化层3开始，将第一维度和第二维度组成的平面划分为k*k个区域，之后为上述k*k个区域分别设置权重。图5中的D表示第三维度、W表示第一维度、H表示第二维度、C表示通道。
第二子网络12用于从3D图像中提取第三维度图像信息对应的第二图像特征。具体地，第二子网络12通过如下步骤提取第二图像特征：对3D图像进行通道扩充，得到第四处理结果；为第四处理结果中的至少一个通道设置权重，得到第五处理结果；对第五处理结果进行特征提取，得到第二图像特征。该第一子网络12也可以称之为快分支。结合参考图2，第二子网络12包括卷积层3、批归一化层3、激活层2和池化层2，由上述四层网络结构实现对3D图像进行通道扩充，得到第四处理结果的步骤。其中，激活层用于进行非线性激活处理；池化层用于进行最大值池化处理。第二子网络12还包括Block_F层(包括Block_F1、Block_F2、Block_F3、Block_F4和Block_F5)，由该Block_F层实现上述为第四处理结果中的至少一个通道设置权重，得到第五处理结果；对第五处理结果进行特征提取，得到第二图像特征的步骤。第二子网络12还包括池化层4，该池化层4用于进行平均池化处理。
结合参考图4，其示出了本申请一个实施例提供的Block_F层的结构示意图。在一个示例中，Block_F层包括卷积层8、批归一化层8、激活层5、卷积层9、批归一化层9、卷积层10、批归一化层10、Fast Block1、卷积层11、批归一化层12、激活层6、卷积层12、批归一化层12和Fast Block2。上述各个层的连接顺序参考图4。其中，批归一化层9的输出数据经过下采样后输入卷积层10，最后由批归一化层10输入Fast Block1；此外，批归一化层5的输出数据不经过下采样直接输入Fast Block1。另外，Fast Block1和Fast Block2用于实现上述第四处理结果中的至少一个通道设置权重，得到第五处理结果的步骤。
结合参考图6，其示出了本申请一个实施例提供的Fast Block(Fast Block 1或Fast Block 2)的结构示意图。在一个示例中，Fast Block包括残差神经网络2、池化层6、全连接层4、激活层8、全连接层5、归一化层2以及缩放层2。上述各个层的连接顺序参考图6。其中，残差神经网络2的输出数据输入至池化层6，经过一系列处理后输入至缩放层2，此外，残差神经网络2的输出数据还直接输入缩放层2。另外，从池化层6开始计算机设备为各个特征通道设置权重。
特征融合网络13用于对第一图像特征和第二图像特征进行融合处理，得到3D图像对应的融合图像特征。结合参考图2，特征融合网络包括全连接层1，该全连接层1用于实现上述对第一图像特征和第二图像特征进行融合处理，得到3D图像对应的融合图像特征。另外，图2中还包括输入层和输出层。分类器14用于对3D图像对应的融合图像特征进行分类，得到3D图像对应的分类结果。
相关技术中，存在各个平面的分辨率不同的3D图像。以3D图像为医学图像为例，医学图像是对人体或者人体的某个组织逐层扫描得到的，医学仪器对每层扫描得到一张2D图像(xy平面)，多层2D图像进行叠加得到3D图像。这样，xy平面的分辨率较大，而包括z方向的平面的分辨率较小。若将该类图像作为一个整体来进行特征提取时，由于无法考虑不同平面的分辨率不同的影响，导致提取到的特征不够精细，后续图像分类准确率较低。
本申请实施例提供的技术方案，对于三维图像，通过图像分类模型分别提取第一维度图像信息和第二维度图像信息组成的平面图像信息(例如xy平面图像信息)对应的图像特征，以及第三维度图像信息(例如z方向图像信息)对应的图像特征，之后将上述提取到的两个特征进行融合，得到融合图像特征，利用该融合图像特征确定三维图像对应的分类结果，相比于相关技术中采用人工方式确定三维图像的分类结果，可以提高分类效率及准确率。此外，由于通过两种方式分别提取xy平面图像信息的图像特征，以及z方向图像信息的图像特征，可以避免3D图像的不同平面的分辨率不同带来的干扰，使得提取到的特征更加细致、丰富，有利于提高分类准确率。
本申请实施例提供的技术方案，可以应用于医学领域，也即对医学图像进行分类。具体地，计算机设备将医学图像输入图像分类模型，该图像分类模型提取xy平面图像信息的图像特征以及z方向图像信息的图像特征，并将上述两种图像特征融合后得到融合图像特征，最终确根据融合图像特征进行分类，并根据分类结果确定疾病类型或者疾病原因。
本申请实施例提供的技术方案，可以应用在计算机设备中。该计算机设备中设置有图像分类模型。该计算机设备可以是诸如智能手机、个人计算机、平板电脑之类的终端设备，也可以是服务器。
请参考图7，其示出了本申请一个实施例提供的3D图像的分类方法的流程图。该方法包括：
步骤701，获取3D图像。
3D图像是指具有立体效果的图像。在本申请实施例中，3D图像包括第一维度图像信息、第二维度图像信息和第三维度图像信息。可选地，上述第一维度、第二维度和第三维度采用三维坐标系中的x、y、z来表示。
3D图像可以是医学图像，也可以是3D视频中的某一帧影像。在本申请实施例中，仅以3D图像为医学图像为例进行说明。医学图像是对人体或者人体的某个组织逐层扫描得到的，医学仪器对每层扫描得到一张2D图像，多层2D图像进行叠加得到3D图像。该2D图像包括第一维度图像信息和第二维度图像信息，沿叠加方向获取的图像信息也即是第三维度图像信息。在本申请实施例中，计算机设备与医学仪器进行连接，之后从医学仪器中获取上述3D图像。
另外，需要说明的是，当3D图像为医学图像时，在对医学图像进行分类之前，可以对医学图像进行预处理。该预处理的过程具体为：在医学图像中标识出病理区域，得到被标注的医学图像，后续图像分类模型用于对该被标注的医学图像进行分类。
在一种可能的实现方式中，医学图像处于可编辑状态，计算机设备接收作用在医学图像中的标注信号，得到被标注的医学图像。上述标注信号可以由医生触发，当医生确定医学图像中的某个区域为病理区域后，可以框选出该区域，以对医学图像进行标注。在另一种可能的实现方式中，计算机设备中还设置有定位模型，通过该定位模型输出病理区域在医学图像中的位置，得到被标注的医学图像，定位模型是采用标注出病理区域的样本医学图像对神经网络进行训练得到的。
当人体或人体的某个组织发生病变时，采用医学仪器对发生病变的区域进行扫描，得到病理区域。对医学图像进行分类的主要目的是确定疾病类型，在本申请实施例中，在医学图像中标注出病理区域，后续进行特征提取时，图像分类模型只需对病理区域进行特征提取，可以减小图像分类模型进行特征提取时的工作量，提升分类效率。
可选地，计算机设备在进行特征提取之前，还可以检测3D图像是否存在两个平面的分辨率不同的情况，若存在，则执行后续步骤702-705；若不存在，则无需执行后续步骤702-705，可以直接提取3D图像对应的图像特征。通过上述方式，可以省去执行特征融合的步骤，提升分类效率。
步骤702，从3D图像中提取第一维度图像信息和第二维度图像信息组成的平面图像信息对应的第一图像特征。
在本申请实施例中，由图像分类模型从3D图像中提取第一图像特征。图像分类模型是指采用标注有期望分类结果的样本3D图像对神经网络模型进行训练得到的。神经网络可以是卷积神经网络(Convolutional Neural Network，CNN)、人工神经网络(ArtificialNeural Network，ANN)、深度神经网络(Deep Neural Networks，DNN)等，本申请实施例对此不作限定。训练机器学习模型时采用的机器学习算法可以是反向传播算法(Back-Propagation，BP)、更快的区域卷积神经网络faster RCNN(faster Regions withConvolutional Neural Network，faster RCNN)算法等，本申请实施例对此不作限定。图像分类模型的具体结构，以及各结构所实现的功能可以参考图1至图6以及相关描述，此处不作赘述。
上述第一维度图像信息和第二维度图像信息组成的平面图像信息可以是xy平面图像信息。可选地，步骤702包括如下子步骤：
步骤702a，对3D图像中的第三维度图像信息进行压缩处理，得到第一处理结果。
计算机设备将3D图像输入图像分类模型，图像分类模型在提取第一图像特征之前，将第三维度图像信息进行压缩处理，以减少第三维度图像信息的信息量，后续进行特征提取时，可以减小第三维度特征信息带来的干扰，最终得到第一处理结果。
步骤702b，对第一处理结果进行通道扩充，得到第二处理结果。
通道扩充是指对第一处理结果所包括的特征通道进行扩充，以从多个维度提取第一图像特征。在一个示例中，第一处理结果所包括的特征通道为1个，经过通道扩充后，第二处理结果所包括的特征通道为64个。
步骤703c，为第二处理结果中的至少一个区域的图像信息设置权重，得到第三处理结果。
至少一个区域是第一维度和第二维度组成的平面中的区域。可选地，计算机设备将3D图像中的xy平面划分为多个区域，并为每个区域设置权重。每个区域对应的权重可以相同，也可以不同。
在一种可能的实现方式中，计算机设备根据每个区域所包括的像素点的参数为每个区域设置权重，上述参数可以是颜色、亮度等等。示例性地，当某一区域所包括的像素点的颜色为第一预设颜色时，则该区域的权重较高，当某一区域所包括的像素点的颜色为第二预设颜色时，则该区域的权重较低。第一预设颜色是指人体组织在发生病变时呈现的颜色，例如黑色、黄色。第二预设颜色是指人体组织未发生病变时呈现的颜色，例如红色。
在另一种可能的实现方式中，计算机设备根据每个区域在xy平面上的位置设置权重。示例性地，某一区域在xy平面上的位置越靠近中心，则该区域的权重越高；某一区域在xy平面上的位置越靠近边缘，则该区域的权重越低。
步骤703d，对第三处理结果进行特征提取，得到第一图像特征。
图像分类模型对设置了各个区域的权重的第三处理结果进行特征提取，最终得到第一图像特征。
步骤703，从3D图像中提取第三维度图像信息对应的第二图像特征。
上述第三维度图像信息可以是z方向图像信息。可选地，步骤703包括如下子步骤：
步骤703a，对3D图像进行通道扩充，得到第四处理结果；
通道扩充是指对3D图像所包括的特征通道进行扩充，以从多个维度提取第二图像特征。需要说明的是，第四处理结果所包括的特征通道的数量小于第二处理结构所包括的特征通道的数量。在一个示例中，3D图像所包括的特征通道为1个，经过通道扩充后，第四处理结果所包括的特征通道为8个。
步骤703b，为第四处理结果中的至少一个通道设置权重，得到第五处理结果。
计算机设备为第四处理结果中的各个特征通道设置权重，得到第五处理结果。每个通道对应的权重可以相同，也可以不同。可选地，计算机设备根据每个通道对应的特征参数为通道设置权重。可选地，计算机设备包括特征参数与权重的对应关系，在确定各个通道对应的特征参数后，查找上述对应关系得到各个通道对应的权重，之后进行权重设置。
步骤703c，对第五处理结果进行特征提取，得到第二图像特征。
图像分类模型对设置了各个通道的权重的第五处理结果进行特征提取，最终得到第二图像特征。
步骤704，对第一图像特征和第二图像特征进行融合处理，得到3D图像对应的融合图像特征。
图像分类模型提取到第一图像特征和第二图像特征后，通过特征融合网络对上述第一图像特征和第二图像特征进行融合处理，得到3D图像对应的融合图像特征。
步骤705，根据3D图像对应的融合图像特征，确定3D图像对应的分类结果。
图像分类模型中的分类器对3D图像对应的融合图像特征进行分类后，得到3D图像对应的分类结果，之后由输出层输出上述分类结果。可选地，图像分类模型输出3D图像属于各个分类结果的概率，概率最大且大于预设阈值的分类结果也即是3D图像对应的分类结果。预设阈值可以根据实际需求设定，本申请实施例对此不作限定。
在一个具体的例子中，结合参考图8，用户在前端A输入不同类型的3D医学图像，前端A对用户输入的图像数据进行预处理后，并将预处理后的图像数据发送至后端，后端采用本申请实施例提供的技术方案对医学图像进行分类，并将分类结果发送至前端B，由前端B进行展示。上述前端A和前端B可以是相同的前端，也可以是不同的前端。
综上所述，本申请实施例提供的技术方案，对于三维图像，通过图像分类模型分别提取第一维度图像信息和第二维度图像信息组成的平面图像信息(例如xy平面图像信息)对应的图像特征，以及第三维度图像信息(例如z方向图像信息)对应的图像特征，之后将上述提取到的两个特征进行融合，得到融合图像特征，利用该融合图像特征确定三维图像对应的分类结果，相比于相关技术中采用人工方式确定三维图像的分类结果，可以提高分类效率及准确率。此外，由于通过两种方式分别提取xy平面图像信息的图像特征，以及z方向图像信息的图像特征，可以避免3D图像的不同平面的分辨率不同带来的干扰，使得提取到的特征更加细致、丰富，有利于提高分类准确率。
另外，还通过为平面图像信息中的各个区域设置权重，以及为某一维度图像信息中的各个通道设置权重，可以对3D图像中的有效信息进行增强，以提高分类效率和准确率。
下面对图像分类模型的训练过程进行讲解。图像分类模型的训练步骤可以由上述执行3D图像的分类方法的计算机设备执行，也可以由其他计算机设备执行，本申请实施例对此不作限定。在本申请实施例中，仅以图像分类模型的训练步骤由上述执行3D图像的分类方法的计算机设备执行为例进行说明。
图像分类模型的训练过程可以包括如下几个步骤：
步骤901，获取第一训练样本集。
第一训练样本集包括至少一张样本3D图像，样本3D图像标注有期望分类结果。第一训练样本集所包括的样本3D图像的数量可以根据图像分类模型的精度要求确定。图像分类模型的精度要求越高，则第一训练样本集所包括的样本3D图像的数量越多；图像分类模型的精度要求越低，则第一训练样本集所包括的样本3D图像的数量越少。期望分类结果可以人工进行标注，也可以采用其它方式标注，本申请实施例对此不作限定。可选地，第一训练样本集可以是医院提供的电子计算机断层扫描(Computed Tomography，CT)平扫脑补出血原因判断数据集。
当第一训练样本集所包括的样本3D图像的数量较少时，还可以对第一训练样本集所包括的样本3D图像进行数据增广处理，得到第二训练样本集。第二训练样本集所包括的样本3D图像的数量大于第一训练样本集所包括的样本3D图像。上述数据增广处理包括但不限于：翻转、旋转、缩放、对比度增强等等。
步骤902，将样本3D图像输入初始的神经网络模型，得到实际分类结果。
初始的神经网络模型中的各项参数可以是随机设定的。计算机设备将样本3D图像输入初始的神经网络模型，由该初始的神经网络模型输出实际分类结果。
步骤903，根据期望分类结果和实际分类结果，计算损失函数值。
计算机设备将期望分类结果和实际分类结果进行比对，得到损失函数值。
步骤904，当损失函数值不符合预设条件时，对初始的神经网络模型中的各项参数进行调整，并从将样本3D图像输入初始的神经网络模型，得到实际分类结果的步骤重新开始执行。
该预设条件可以是损失函数值小于预设阈值。预设阈值可以根据图像分类模型的精度要求实际确定，当图像分类模型的精度要求较高时，预设阈值越小；当图像分类模型的精度要求较低时，预设阈值越大。
步骤905，当损失函数值符合预设条件时，停止训练过程，得到图像分类模型。
计算机设备先比对损失函数值与预设阈值的大小关系，当损失函数值大于预设阈值，通过反向传播算法来更新初始的神经网络模型中的各项参数，并从步骤902重新开始执行，直至损失函数值小于预设阈值。
下面将结合图2所示的图像分类模型的结构对该3D图像的分类效果进行讲解。其中，3D图像为医院提供的脑出血原因CT图像。请参考表-1，其示出了图像分类模型中的部分结构的参数以及输出的图像特征。
表-1
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图10，其示出了本申请一个实施例提供的3D模型的分类装置的框图。该装置具有实现上述方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以包括：图像获取模块1001、第一提取模块1002、第二提取模块1003、特征融合模块1004和图像分类模块1005。
图像获取模块1001，用于获取3D图像，所述3D图像包括第一维度图像信息、第二维度图像信息和第三维度图像信息。
第一提取模块1002，用于从所述3D图像中提取所述第一维度图像信息和所述第二维度图像信息组成的平面图像信息对应的第一图像特征。
第二提取模块1003，用于从所述3D图像中提取所述第三维度图像信息对应的第二图像特征。
特征融合模块1004，用于对所述第一图像特征和所述第二图像特征进行融合处理，得到所述3D图像对应的融合图像特征。
图像分类模块1005，用于根据所述3D图像对应的融合图像特征，确定所述3D图像对应的分类结果。
综上所述，本申请实施例提供的技术方案，对于三维图像，通过图像分类模型分别提取第一维度图像信息和第二维度图像信息组成的平面图像信息(例如xy平面图像信息)对应的图像特征，以及第三维度图像信息(例如z方向图像信息)对应的图像特征，之后将上述提取到的两个特征进行融合，得到融合图像特征，利用该融合图像特征确定三维图像对应的分类结果，相比于相关技术中采用人工方式确定三维图像的分类结果，可以提高分类效率及准确率。此外，由于通过两种方式分别提取xy平面图像信息的图像特征，以及z方向图像信息的图像特征，可以避免3D图像的不同平面的分辨率不同带来的干扰，使得提取到的特征更加细致、丰富，有利于提高分类准确率。
在基于图10所示实施例提供的一个可选实施例中，所述第一提取模块1002，用于：
对所述3D图像中的所述第三维度图像信息进行压缩处理，得到第一处理结果；
对所述第一处理结果进行通道扩充，得到第二处理结果；
为所述第二处理结果中的至少一个区域的图像信息设置权重，得到第三处理结果，所述至少一个区域是第一维度和第二维度组成的平面中的区域；
对所述第三处理结果进行特征提取，得到所述第一图像特征。
在基于图10所示实施例提供的一个可选实施例中，所述第二提取模块1003，用于：
对所述3D图像进行通道扩充，得到第四处理结果；
为所述第四处理结果中的至少一个通道设置权重，得到第五处理结果；
对所述第五处理结果进行特征提取，得到所述第二图像特征。
在基于图10所示实施例提供的一个可选实施例中，所述3D图像对应的分类结果是由图像分类模型确定的，所述图像分类模型包括第一子网络、第二子网络、特征融合网络和分类器；
所述第一子网络用于从所述3D图像中提取所述第一维度图像信息和所述第二维度图像信息组成的平面图像信息对应的第一图像特征；
所述第二子网络用于从所述3D图像中提取所述第三维度图像信息对应的第二图像特征；
所述特征融合网络用于对所述第一图像特征和所述第二图像特征进行融合处理，得到所述3D图像对应的融合图像特征；
所述分类器用于根据所述3D图像对应的融合图像特征，确定所述3D图像对应的分类结果。
可选地，所述图像分类模型的训练过程如下：
获取第一训练样本集，所述第一训练样本集包括至少一张样本3D图像，所述样本3D图像标注有期望分类结果；
将所述样本3D图像输入初始的神经网络模型，得到实际分类结果；
根据所述期望分类结果和所述实际分类结果，计算损失函数值；
当所述损失函数值不符合预设条件时，对所述初始的神经网络模型中的各项参数进行调整，并从所述将所述样本3D图像输入初始的神经网络模型，得到实际分类结果的步骤重新开始执行；
当所述损失函数值符合所述预设条件时，停止训练过程，得到所述图像分类模型。
在基于图10所示实施例提供的一个可选实施例中，所述3D图像为医学图像，所述装置还包括：标注模块(图10未示出)。
标注模块，用于在所述医学图像中标注出病理区域，得到标注后的所述医学图像；所述标注后的所述医学图像被用于确定所述医学图像对应的分类结果。
图11示出了本申请一个示例性实施例提供的计算机设备1100的结构框图。该计算机设备1100可以是：智能手机、平板电脑、笔记本电脑或台式电脑。计算机设备1100还可能被称为用户设备、便携式计算机设备、膝上型计算机设备、台式计算机设备等其他名称。
通常，计算机设备1100包括有：处理器1101和存储器1102。
处理器1101可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1101可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1101可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1101还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1102可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1102中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1101所执行以实现本申请中方法实施例提供的3D图像的分类方法。
在一些实施例中，计算机设备1100还可选包括有：***设备接口1103和至少一个***设备。处理器1101、存储器1102和***设备接口1103之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1103相连。具体地，***设备包括：射频电路1104、显示屏1105、摄像头组件1106、音频电路1107、定位组件1108和电源1109中的至少一种。
在一些实施例中，计算机设备1100还包括有一个或多个传感器。该一个或多个传感器包括但不限于：加速度传感器、陀螺仪传感器、压力传感器、指纹传感器、光学传感器以及接近传感器。
本领域技术人员可以理解，图11中示出的结构并不构成对计算机设备1100的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由电子设备的处理器加载并执行以实现上述3D图像的分类方法。
可选地，上述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，当该计算机程序产品被执行时，其用于执行上述3D图像的分类方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本文中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
以上仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种三维3D图像的分类方法，其特征在于，所述方法包括：
获取3D图像，所述3D图像包括第一维度图像信息、第二维度图像信息和第三维度图像信息；
从所述3D图像中提取所述第一维度图像信息和所述第二维度图像信息组成的平面图像信息对应的第一图像特征；
从所述3D图像中提取所述第三维度图像信息对应的第二图像特征；
对所述第一图像特征和所述第二图像特征进行融合处理，得到所述3D图像对应的融合图像特征；
根据所述3D图像对应的融合图像特征，确定所述3D图像对应的分类结果。
2.根据权利要求1所述的方法，其特征在于，所述从所述3D图像中提取所述第一维度图像信息和所述第二维度图像信息组成的平面图像信息对应的第一图像特征，包括：
对所述3D图像中的所述第三维度图像信息进行压缩处理，得到第一处理结果；
对所述第一处理结果进行通道扩充，得到第二处理结果；
为所述第二处理结果中的至少一个区域的图像信息设置权重，得到第三处理结果，所述至少一个区域是第一维度和第二维度组成的平面中的区域；
对所述第三处理结果进行特征提取，得到所述第一图像特征。
3.根据权利要求1所述的方法，其特征在于，所述从所述3D图像中提取所述第三维度图像信息对应的第二图像特征，包括：
对所述3D图像进行通道扩充，得到第四处理结果；
为所述第四处理结果中的至少一个通道设置权重，得到第五处理结果；
对所述第五处理结果进行特征提取，得到所述第二图像特征。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述3D图像对应的分类结果是由图像分类模型确定的，所述图像分类模型包括第一子网络、第二子网络、特征融合网络和分类器；
所述第一子网络用于从所述3D图像中提取所述第一维度图像信息和所述第二维度图像信息组成的平面图像信息对应的第一图像特征；
所述第二子网络用于从所述3D图像中提取所述第三维度图像信息对应的第二图像特征；
所述特征融合网络用于对所述第一图像特征和所述第二图像特征进行融合处理，得到所述3D图像对应的融合图像特征；
所述分类器用于根据所述3D图像对应的融合图像特征，确定所述3D图像对应的分类结果。
5.根据权利要求4所述的方法，其特征在于，所述图像分类模型的训练过程如下：
获取第一训练样本集，所述第一训练样本集包括至少一张样本3D图像，所述样本3D图像标注有期望分类结果；
将所述样本3D图像输入初始的神经网络模型，得到实际分类结果；
根据所述期望分类结果和所述实际分类结果，计算损失函数值；
当所述损失函数值不符合预设条件时，对所述初始的神经网络模型中的各项参数进行调整，并从所述将所述样本3D图像输入初始的神经网络模型，得到实际分类结果的步骤重新开始执行；
当所述损失函数值符合所述预设条件时，停止训练过程，得到所述图像分类模型。
6.根据权利要求1至3任一项所述的方法，其特征在于，所述3D图像为医学图像，所述获取3D图像之后，还包括：
在所述医学图像中标注出病理区域，得到标注后的所述医学图像；所述标注后的所述医学图像被用于确定所述医学图像对应的分类结果。
7.一种三维3D图像的分类装置，其特征在于，所述装置包括：
图像获取模块，用于获取3D图像，所述3D图像包括第一维度图像信息、第二维度图像信息和第三维度图像信息；
第一提取模块，用于从所述3D图像中提取所述第一维度图像信息和所述第二维度图像信息组成的平面图像信息对应的第一图像特征；
第二提取模块，用于从所述3D图像中提取所述第三维度图像信息对应的第二图像特征；
特征融合模块，用于对所述第一图像特征和所述第二图像特征进行融合处理，得到所述3D图像对应的融合图像特征；
图像分类模块，用于根据所述3D图像对应的融合图像特征，确定所述3D图像对应的分类结果。
8.根据权利要求7所述的装置，其特征在于，所述3D图像对应的分类结果是由图像分类模型确定的，所述图像分类模型包括第一子网络、第二子网络、特征融合网络和分类器；
所述第一子网络用于从所述3D图像中提取所述第一维度图像信息和所述第二维度图像信息组成的平面图像信息对应的第一图像特征；
所述第二子网络用于从所述3D图像中提取所述第三维度图像信息对应的第二图像特征；
所述特征融合网络用于对所述第一图像特征和所述第二图像特征进行融合处理，得到所述3D图像对应的融合图像特征；
所述分类器用于根据所述3D图像对应的融合图像特征，确定所述3D图像对应的分类结果。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至6任一项所述的3D图像的分类方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至6任一项所述的3D图像的分类方法。
CN201910568666.XA 2019-06-27 2019-06-27 3d图像的分类方法、装置、设备及存储介质 Active CN110276408B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910568666.XA CN110276408B (zh) 2019-06-27 2019-06-27 3d图像的分类方法、装置、设备及存储介质
PCT/CN2020/097530 WO2020259453A1 (zh) 2019-06-27 2020-06-22 3d图像的分类方法、装置、设备及存储介质
US17/383,724 US11961609B2 (en) 2019-06-27 2021-07-23 3D image classification method and apparatus, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910568666.XA CN110276408B (zh) 2019-06-27 2019-06-27 3d图像的分类方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110276408A true CN110276408A (zh) 2019-09-24
CN110276408B CN110276408B (zh) 2022-11-22

Family

ID=67963616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910568666.XA Active CN110276408B (zh) 2019-06-27 2019-06-27 3d图像的分类方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US11961609B2 (zh)
CN (1) CN110276408B (zh)
WO (1) WO2020259453A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852325A (zh) * 2019-10-31 2020-02-28 上海商汤智能科技有限公司 图像的分割方法及装置、电子设备和存储介质
CN111126454A (zh) * 2019-12-05 2020-05-08 东软集团股份有限公司 图像处理方法、装置、存储介质及电子设备
CN111325766A (zh) * 2020-02-20 2020-06-23 腾讯科技（深圳）有限公司 三维边缘检测方法、装置、存储介质和计算机设备
WO2020259453A1 (zh) * 2019-06-27 2020-12-30 腾讯科技（深圳）有限公司 3d图像的分类方法、装置、设备及存储介质
CN112488178A (zh) * 2020-11-26 2021-03-12 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像处理方法及装置、设备
CN112926537A (zh) * 2021-04-07 2021-06-08 南方科技大学 图像处理方法、装置、电子设备以及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11817204B2 (en) * 2019-12-09 2023-11-14 Case Western Reserve University Specialized computer-aided diagnosis and disease characterization with a multi-focal ensemble of convolutional neural networks

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6415048B1 (en) * 1993-10-12 2002-07-02 Schneider Medical Technologies, Inc. Compositional analysis system
US6731283B1 (en) * 1997-12-31 2004-05-04 Siemens Corporate Research, Inc. C-arm calibration method utilizing aplanar transformation for 3D reconstruction in an imaging system
CN101615289A (zh) * 2009-08-05 2009-12-30 北京优纳科技有限公司 切片组织的三维采集及多层图像融合方法
CN106127263A (zh) * 2016-07-06 2016-11-16 中国人民解放军国防科学技术大学 基于三维特征提取的人脑磁共振图像分类识别方法及***
CN106296720A (zh) * 2015-05-12 2017-01-04 株式会社理光 基于双目相机的人体朝向识别方法和***
CN106919941A (zh) * 2017-04-26 2017-07-04 华南理工大学 一种三维手指静脉识别方法及***
WO2017128799A1 (zh) * 2016-01-27 2017-08-03 深圳大学 基于三维Gabor特征选择的高光谱遥感图像分类方法及***
WO2018040099A1 (zh) * 2016-08-31 2018-03-08 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法
CN108294780A (zh) * 2018-01-31 2018-07-20 深圳开立生物医疗科技股份有限公司 超声三维成像方法、超声三维成像***及装置
CN108960125A (zh) * 2018-06-29 2018-12-07 河北工业大学 一种三维掌纹识别方法
CN108960322A (zh) * 2018-07-02 2018-12-07 河南科技大学 一种基于心脏ct图像的冠状动脉钙化斑块自动检测方法
CN109447183A (zh) * 2018-11-27 2019-03-08 东软集团股份有限公司 模型训练方法、装置、设备以及介质
CN109472199A (zh) * 2018-09-29 2019-03-15 深圳大学 一种图像融合分类的方法及装置
WO2019080488A1 (zh) * 2017-10-27 2019-05-02 东南大学 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法
CN109711246A (zh) * 2018-09-30 2019-05-03 鲁东大学 一种动态物体识别方法、计算机装置及可读存储介质
CN109886933A (zh) * 2019-01-25 2019-06-14 腾讯科技（深圳）有限公司 一种医学图像识别方法、装置和存储介质
CN109902590A (zh) * 2019-01-30 2019-06-18 西安理工大学 深度多视图特征距离学习的行人重识别方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9305344B2 (en) * 2014-04-22 2016-04-05 The Boeing Company Method for improving linear feature detectability in digital images
EP3552148A4 (en) * 2016-12-06 2020-07-08 Abbott Laboratories AUTOMATED SLIDE ASSESSMENT AND TRACKING IN DIGITAL MICROSCOPY
US9968257B1 (en) * 2017-07-06 2018-05-15 Halsa Labs, LLC Volumetric quantification of cardiovascular structures from medical imaging
GB201720059D0 (en) * 2017-12-01 2018-01-17 Ucb Biopharma Sprl Three-dimensional medical image analysis method and system for identification of vertebral fractures
EP3553740A1 (en) * 2018-04-13 2019-10-16 Koninklijke Philips N.V. Automatic slice selection in medical imaging
CN109446951B (zh) * 2018-10-16 2019-12-10 腾讯科技（深圳）有限公司 三维图像的语义分割方法、装置、设备及存储介质
EP3654248A1 (en) * 2018-11-19 2020-05-20 Siemens Aktiengesellschaft Verification of classification decisions in convolutional neural networks
US11769110B1 (en) * 2019-02-01 2023-09-26 Amazon Technologies, Inc. Systems and methods for operator motion management
US10853642B2 (en) * 2019-03-22 2020-12-01 Advanced New Technologies Co., Ltd. Fusing multi-spectral images for identity authentication
US10997466B2 (en) * 2019-06-21 2021-05-04 Straxciro Pty. Ltd. Method and system for image segmentation and identification
CN110276408B (zh) * 2019-06-27 2022-11-22 腾讯科技（深圳）有限公司 3d图像的分类方法、装置、设备及存储介质
JP7410619B2 (ja) * 2019-10-31 2024-01-10 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN114272599A (zh) * 2021-08-23 2022-04-05 腾讯科技（深圳）有限公司 人工智能对象控制方法、装置、设备及存储介质
US20230298356A1 (en) * 2022-03-18 2023-09-21 Motional Ad Llc Instance segmentation in a pseudo-image

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6415048B1 (en) * 1993-10-12 2002-07-02 Schneider Medical Technologies, Inc. Compositional analysis system
US6731283B1 (en) * 1997-12-31 2004-05-04 Siemens Corporate Research, Inc. C-arm calibration method utilizing aplanar transformation for 3D reconstruction in an imaging system
CN101615289A (zh) * 2009-08-05 2009-12-30 北京优纳科技有限公司 切片组织的三维采集及多层图像融合方法
CN106296720A (zh) * 2015-05-12 2017-01-04 株式会社理光 基于双目相机的人体朝向识别方法和***
WO2017128799A1 (zh) * 2016-01-27 2017-08-03 深圳大学 基于三维Gabor特征选择的高光谱遥感图像分类方法及***
CN106127263A (zh) * 2016-07-06 2016-11-16 中国人民解放军国防科学技术大学 基于三维特征提取的人脑磁共振图像分类识别方法及***
WO2018040099A1 (zh) * 2016-08-31 2018-03-08 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法
CN106919941A (zh) * 2017-04-26 2017-07-04 华南理工大学 一种三维手指静脉识别方法及***
WO2019080488A1 (zh) * 2017-10-27 2019-05-02 东南大学 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法
CN108294780A (zh) * 2018-01-31 2018-07-20 深圳开立生物医疗科技股份有限公司 超声三维成像方法、超声三维成像***及装置
CN108960125A (zh) * 2018-06-29 2018-12-07 河北工业大学 一种三维掌纹识别方法
CN108960322A (zh) * 2018-07-02 2018-12-07 河南科技大学 一种基于心脏ct图像的冠状动脉钙化斑块自动检测方法
CN109472199A (zh) * 2018-09-29 2019-03-15 深圳大学 一种图像融合分类的方法及装置
CN109711246A (zh) * 2018-09-30 2019-05-03 鲁东大学 一种动态物体识别方法、计算机装置及可读存储介质
CN109447183A (zh) * 2018-11-27 2019-03-08 东软集团股份有限公司 模型训练方法、装置、设备以及介质
CN109886933A (zh) * 2019-01-25 2019-06-14 腾讯科技（深圳）有限公司 一种医学图像识别方法、装置和存储介质
CN109902590A (zh) * 2019-01-30 2019-06-18 西安理工大学 深度多视图特征距离学习的行人重识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YEFENG ZHENG等: ""Med3D：Transfer Learning for 3D Medical Imageanalysis"", 《ARXIV》 *
孙林等: ""基于Voxler和surfer软件在瞬变电磁法三维切片图绘制中的应用与研究"", 《煤矿开采》 *
胡敏等: ""三维人脸识别算法研究"", 《影像科学与光化学》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020259453A1 (zh) * 2019-06-27 2020-12-30 腾讯科技（深圳）有限公司 3d图像的分类方法、装置、设备及存储介质
US11961609B2 (en) 2019-06-27 2024-04-16 Tencent Technology (Shenzhen) Company Limited 3D image classification method and apparatus, device, and storage medium
CN110852325B (zh) * 2019-10-31 2023-03-31 上海商汤智能科技有限公司 图像的分割方法及装置、电子设备和存储介质
WO2021082517A1 (zh) * 2019-10-31 2021-05-06 上海商汤智能科技有限公司 神经网络训练及图像分割方法、装置、设备、介质和程序
TWI765386B (zh) * 2019-10-31 2022-05-21 大陸商上海商湯智能科技有限公司 神經網路訓練及圖像分割方法、電子設備和電腦儲存介質
CN110852325A (zh) * 2019-10-31 2020-02-28 上海商汤智能科技有限公司 图像的分割方法及装置、电子设备和存储介质
CN111126454B (zh) * 2019-12-05 2024-03-26 东软集团股份有限公司 图像处理方法、装置、存储介质及电子设备
CN111126454A (zh) * 2019-12-05 2020-05-08 东软集团股份有限公司 图像处理方法、装置、存储介质及电子设备
CN111325766A (zh) * 2020-02-20 2020-06-23 腾讯科技（深圳）有限公司 三维边缘检测方法、装置、存储介质和计算机设备
CN111325766B (zh) * 2020-02-20 2023-08-25 腾讯科技（深圳）有限公司 三维边缘检测方法、装置、存储介质和计算机设备
CN112488178A (zh) * 2020-11-26 2021-03-12 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像处理方法及装置、设备
CN112488178B (zh) * 2020-11-26 2022-07-26 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像处理方法及装置、设备
CN112926537A (zh) * 2021-04-07 2021-06-08 南方科技大学 图像处理方法、装置、电子设备以及存储介质
CN112926537B (zh) * 2021-04-07 2024-05-28 南方科技大学 图像处理方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN110276408B (zh) 2022-11-22
WO2020259453A1 (zh) 2020-12-30
US11961609B2 (en) 2024-04-16
US20210350187A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
CN110276408A (zh) 3d图像的分类方法、装置、设备及存储介质
WO2021036616A1 (zh) 一种医疗图像处理方法、医疗图像识别方法及装置
US11861829B2 (en) Deep learning based medical image detection method and related device
CN110874594B (zh) 基于语义分割网络的人体外表损伤检测方法及相关设备
CN108198184B (zh) 造影图像中血管分割的方法和***
CN111368849B (zh) 图像处理方法、装置、电子设备及存储介质
CN111242933B (zh) 视网膜图像动静脉的分类装置、设备及存储介质
US20220058821A1 (en) Medical image processing method, apparatus, and device, medium, and endoscope
WO2019223147A1 (zh) 肝脏癌变定位方法、装置及存储介质
CN107229952A (zh) 图像的识别方法及装置
WO2020001236A1 (zh) 提取医学图像标注的方法及装置
US11948088B2 (en) Method and apparatus for image recognition
US20230052133A1 (en) Medical image processing method and apparatus, device, storage medium, and product
CN104182723B (zh) 一种视线估计的方法和装置
CN113889238B (zh) 一种图像识别方法、装置、电子设备及存储介质
US20220148162A1 (en) Method and product for ai endoscope analyzing of vein based on vrds 4d medical images
Qi et al. Global and local information based deep network for skin lesion segmentation
CN113450359A (zh) 医学图像分割、显示、模型训练方法、***、设备和介质
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
Tuyet et al. A Deep Bottleneck U-Net Combined with Saliency Map for Classifying Diabetic Retinopathy in Fundus Images.
CN111414823B (zh) 人体特征点的检测方法、装置、电子设备以及存储介质
CN111369564B (zh) 一种图像处理的方法、模型训练的方法及装置
WO2022227193A1 (zh) 肝脏区域分割方法、装置、电子设备及存储介质
CN112288683A (zh) 基于多模态融合的肺结核病判定装置和方法
CN115018795B (zh) 医学影像中的病灶的匹配方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant