CN115439423B - 一种基于ct图像的识别方法、装置、设备及存储介质 - Google Patents

一种基于ct图像的识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115439423B
CN115439423B CN202211006713.XA CN202211006713A CN115439423B CN 115439423 B CN115439423 B CN 115439423B CN 202211006713 A CN202211006713 A CN 202211006713A CN 115439423 B CN115439423 B CN 115439423B
Authority
CN
China
Prior art keywords
image
nodule
detected
type
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211006713.XA
Other languages
English (en)
Other versions
CN115439423A (zh
Inventor
张佳琦
高飞
安南
丁佳
吕晨翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Yizhun Intelligent Technology Co ltd
Original Assignee
Beijing Yizhun Medical AI Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yizhun Medical AI Co Ltd filed Critical Beijing Yizhun Medical AI Co Ltd
Priority to CN202211006713.XA priority Critical patent/CN115439423B/zh
Publication of CN115439423A publication Critical patent/CN115439423A/zh
Application granted granted Critical
Publication of CN115439423B publication Critical patent/CN115439423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种基于CT图像的识别方法、装置、设备及存储介质，预处理初始图像，以作为待测图像；将待测图像输入所述结节识别模型，以识别所述待测图像中的结节类型，其中，所述结节识别模型包括预设的形变卷积核，针对性的在结节识别模型的训练过程中增加噪声，以保证模型在预测时对于目标多样化形态的鲁棒性，有效提高结节识别模型的辨识度，提高分类准确性。

Description

一种基于CT图像的识别方法、装置、设备及存储介质
技术领域
本公开涉及图像处理领域，尤其涉及一种基于CT图像的识别方法、装置、设备及存储介质。
背景技术
电子计算机断层扫描(Computed Tomography，CT)是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，可用于多种疾病的检查。
肺结节是常见的肺部疾病，肺结节的尽早发现对于病人的愈后和生存起到了至关重要的作用。而磨玻璃结节属于生长中的病灶，其影像特点非常浅淡，且现有技术没有专门针对磨玻璃结节而设置识别检测方案，因此识别性差，准确率低。
发明内容
本公开提供了一种基于CT图像的识别方法、装置、设备及存储介质，以至少解决现有技术中存在的以上技术问题。
根据本公开的第一方面，提供了一种基于CT图像的识别方法，包括：
预处理初始图像，以作为待测图像；
将待测图像输入所述结节识别模型，以识别所述待测图像中的结节类型，其中，所述结节识别模型包括预设的形变卷积核。
在一可实施方式中，所述预设的形变卷积核，包括：
设置所述形变卷积核中各个像素点的预设位移与预设概率；
在训练所述结节识别模型时，根据所述预设位移与所述预设概率随机生成所述形变卷积核中各个像素点的位置，以增加训练图像中的结节形态。
在一可实施方式中，所述训练所述结节识别模型还包括：
设置窗宽变量值与窗位变量值；
在训练所述结节识别模型的过程中，通过反向传播算法不断调整所述窗宽变量值与所述窗位变量值，以获得窗宽变量常值与窗位变量常值；
通过所述窗宽变量常值与所述窗位变量常值，以自适应调整输入所述结节识别模型中图像的窗口值。
在一可实施方式中，所述预处理初始图像，以作为待测图像，还包括：
判断初始图像的重建算法类型；
若判断当前初始图像的重建算法类型为肺算法类型时，将所述当前初始图像进行高斯平滑处理，以生成软算法类型图像。
在一可实施方式中，所述判断初始图像的重建算法类型包括：
获取所述初始图像的头部字段信息；
当所述头部字段信息包含特有关键字时，确定为肺算法类型，其中，所述特有关键字包括：lung，chest，thorax，B70f以及B71f。
在一可实施方式中，所述结节识别模型为3D Retinanet或3D Fcos类型，相应的，所述将待测图像输入所述结节识别模型，以识别所述待测图像中的结节类型，包括：
将所述待测图像输入所述特征提取层，以获得第一特征图像，其中，所述特征提取层包括所述形变卷积核；
将所述第一特征图像输入特征金字塔层，以获得第二特征图像；
将所述第二特征图像输入检测层，以识别所述待测图像中的结节类型。
在一可实施方式中，所述将所述待测图像输入所述特征提取层，以获得第一特征图像，包括：
通过所述预设位移与所述预设概率，确定所述形变卷积核中各个像素点的平均位置，作为当前形变卷积核；
根据所述当前形变卷积核对所述待测图像中的每个像素点进行卷积计算，以获得所述第一特征图像。
根据本公开的第二方面，提供了一种基于CT图像的识别装置，包括：
图形处理模块，用于预处理初始图像，以作为待测图像；
类型识别模块，用于将待测图像输入所述结节识别模型，以识别所述待测图像中的结节类型，其中，所述结节识别模型包括预设的形变卷积核。
在一可实施方式中，所述类型识别模块，还用于：
设置所述形变卷积核中各个像素点的预设位移与预设概率；
在训练所述结节识别模型时，根据所述预设位移与所述预设概率随机生成所述形变卷积核中各个像素点的位置，以增加训练图像中的结节形态。
在一可实施方式中，所述结节识别模型还包括：
设置窗宽变量值与窗位变量值；
在训练所述结节识别模型的过程中，通过反向传播算法不断调整所述窗宽变量值与所述窗位变量值，以获得窗宽变量常值与窗位变量常值；
通过所述窗宽变量常值与所述窗位变量常值，以自适应调整输入所述结节识别模型中图像的窗口值。
在一可实施方式中，所述图形处理模块还用于：
判断初始图像的重建算法类型；若判断当前初始图像的重建算法类型为肺算法类型时，将所述当前初始图像进行高斯平滑处理，以生成软算法类型的待测图像。
在一可实施方式中，图像判断模块，还用于：
获取所述初始图像的头部字段信息；
当所述头部字段信息包含特有关键字时，确定为肺算法类型，其中，所述特有关键字包括：lung，chest，thorax，B70f以及B71f。
在一可实施方式中，所述结节识别模型为3D Retinanet或3D Fcos类型，相应的，所述类型识别模块具体用于：
将所述待测图像输入所述特征提取层，以获得第一特征图像，其中，所述特征提取层包括所述形变卷积核；
将所述第一特征图像输入特征金字塔层，以获得第二特征图像；
将所述第二特征图像输入检测层，以识别所述待测图像中的结节类型。
在一可实施方式中，所述类型识别模块具体用于：
根据所述预设位移与所述预设概率，确定所述形变卷积核中各个像素点的平均位置，作为当前形变卷积核；
根据所述当前形变卷积核对所述待测图像中的每个像素点进行卷积计算，以获得所述第一特征图像。
根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开所述的方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开所述的方法。
本公开的基于CT图像的识别方法、装置、设备及存储介质，通过预处理初始图像，以作为待测图像；将待测图像输入所述结节识别模型，以识别所述待测图像中的结节类型，其中，所述结节识别模型包括预设的形变卷积核，针对性的在结节识别模型的训练过程中增加噪声，以保证模型在预测时对于目标多样化形态的鲁棒性，有效提高结节识别模型的辨识度，提高分类准确性。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
在附图中，相同或对应的标号表示相同或对应的部分。
图1A示出了本公开实施例一提供的一种基于CT图像的识别方法的实现流程示意图；
图1B示出了本公开实施例一提供的一种不同重建算法条件下显示的磨玻璃结节示意图；
图2A示出了本公开实施例二提供的一种基于CT图像的识别方法的实现流程示意图；
图2B示出了本公开实施例二提供的一种不同条件下的3x3形变卷积核示意图；
图2C示出了本公开实施例二提供的一种形变卷积核与图像运算过程的示意图；
图2D示出了本公开实施例二提供的一种基于CT图像的识别方法的整体框架结构示意图；
图3示出了本公开实施例提供的一种基于CT图像的识别装置的结构示意图；
图4示出了本公开实施例一种电子设备的组成结构示意图。
具体实施方式
为使本公开的目的、特征、优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
目前胸部CT影像上的磨玻璃结节检测深度学习类算法可以分为二维和三维两个技术方向。在二维技术上，例如将一套CT扫描图像的每一张逐层进行磨玻璃检测计算，或者将邻近的几张图组成多通道图像进行磨玻璃病灶检测计算，常见的是三张图组成三通道。在三维技术上，例如将一套CT图像整体作为体素图进行磨玻璃检测。
无论是二维还是三维技术方向，现有技术对于磨玻璃结节的处理一般分为两个步骤：
1)图像的预处理。在图像预处理阶段，现有技术方案按照影像科医生的习惯会先把图像归一化到标准的肺窗图像(-1350Hu～150Hu)。
2)深度学习建模。在深度学习建模阶段，现有技术方案运用的检测方案都是通用的检测方法。
如上所述，现有技术并没有针对磨玻璃结节的特性进行优化而检测，因此磨玻璃结节由于其形态特点经常被漏检。本公开实施例提供了一种基于CT图像的识别方法，专门针对磨玻璃结节图像特点设计了一套磨玻璃结节的检测方法，能够有效提升磨玻璃结节的检出准确性。
实施例一
图1A为本公开实施例一提供的一种基于CT图像的识别方法的流程图，该方法可以由本公开实施例提供的基于CT图像的识别装置来执行，该装置可采用软件和/或硬件的方式实现。该方法具体包括：
S110、预处理初始图像，以作为待测图像。
其中，初始图像可以是由所有CT断层图像堆叠而成的三维体素图像。其中，CT断层图像是由CT断层扫描设备拍摄到的图像，每一张图像显示身体某一层的横截面图像。本实施例中的初始图像就是由这种多张二维断层图像堆叠而成的三维体素图像。
其中，待测图像是输入结节识别模型的图像。由于每个人的体型高矮胖瘦不同，导致扫描出的CT图像的分辨率不同。因此，为了便于结节识别模型识别待测图像，本实施例在将待测图像输入结节识别模型之前，需要对其经过尺度统一化的变换处理，例如可以是调整为相同体素间距。同理，为了降低结节识别模型的训练难度，训练结节识别模型所使用的训练图像也可以跟待测图像一样，进行尺寸统一的操作。
本公开实施例在统一待测图像的尺寸之前，需要将初始图像进行预处理操作，生成同一重建算法的待测图像。因此，本实施例需要判断初始图像的重建算法类型；若判断当前初始图像的重建算法类型为肺算法类型时，将当前初始图像进行高斯平滑处理，以生成软算法类型的待测图像。
图1B为本公开实施例一提供的一种不同重建算法条件下显示的磨玻璃结节示意图，包括(a)软组织重建算法的磨玻璃结节图像和(b)肺重建算法的磨玻璃结节图像，且图1B为同一个人同一次扫描的两种不同重建算法下所得到的图像。
由图1B中的(a)图像可见，标记框正中间有块很淡的模糊区域，这就是磨玻璃结节，但是，该磨玻璃结节显示在(b)中却不明显。由此可见，相同的图像由于采用不同重建算法会得到两种不同锐化风格的图像，其显示图像具有肉眼可见的差异。因此，本实施例在将初始图像输入结节识别模型之前，需要对初始图像进行预处理，以统一CT图像风格为软算法类型的待测图像，如此，不仅有助于结节识别模型进行训练，还有助于该模型识别图像中的磨玻璃结节。同理，作为结节识别模型学习的训练图像亦是做相同操作。
在本公开实施例中，判断初始图像的重建算法类型包括：获取初始图像的头部字段信息；当头部字段信息包含特有关键字时，确定为肺算法类型，其中，特有关键字包括：lung，chest，thorax，B70f以及B71f。
其中，初始图像的头部字段信息可以根据读取CT的医学数字成像和通信(DigitalImaging and Communications in Medicine，Dicom)文件中获取。其中，Dicom文件是标准化医学图像的一种传输协议，包括有患者扫描的CT图像和该图像的、头部字段信息。其中，头部字段信息显示有该CT图像的空间位置信息、该CT图像的空间位置信息与真实位置信息的对应关系，以及该CT图像的重建算法类型等信息。
具体的，由于不同品牌厂商所设置的肺重建算法图像的关键字不同，所以本实施例可以根据Dicom文件内的头部字段信息SeresDescription确定CT初始图像的重建算法。
具体的，本实施例可以判断初始图像的头部字段信息是否包含特有关键字，以确定该图像是否为肺算法类型。其中，特有关键字包括：lung，chest，thorax，B70f以及B71f。也即当某一初始图像中包含有上述特有关键词时，则可以判断该图像为肺算法重建图像，其余图像则视为软组织重建算法图像。如果判断该图像为肺算法类型图像，本实施例则进行高斯平滑处理，经过平滑处理后的图像锐化程度降低，会接近软组织图像的风格。例如，本实施例可以使用3x 3的高斯核，设置sigma＝1参数，来对肺算法重建图像进行图像转换处理。而如果判断该图像为软组织算法重建图像，则保持原样。并且，本实施例在统一输入图像的重建算法类型之后，再进行尺寸统一。
S120、将待测图像输入结节识别模型，以识别待测图像中的结节类型。
其中，结节识别模型包括预设的形变卷积核。形变卷积核位于结节识别模型的特征提取层中，用于跟待测图像进行卷积运算，以形成第一特征图像。
其中，本实施例中的结节识别模型可以是任一款在主干网络(backbone)中具有卷积层的神经网络学习模型。由于本实施例需要通过该主干网络中的卷积层进行形变操作，作为特征提取层，因此，本实施例只需要主干网络中包含卷积层即可，不对其模型的具体类型进行限定。
例如，本实施例中的结节识别模型可以采用3D Retinanet或者3D Fcos框架模型进行深度学习建模，将随机形变卷积残差网络(random deformable convolution resnet)替换原有残差网络，而保持该框架模型中的其余网络结构不变。其中，随机形变卷积残差网络则可以作为特征提取层，把原残差网络中的卷积核全部替换为随机形变卷积核，来提取第一特征图像。又例如，本实施例的结节识别模型还可以采用DenseNet等其他具有卷积层的网络模型。
其中，待测图像中的结节类型可以是肺结节中的任何类型，包括钙化、实性、亚实性、磨玻璃结节等类型。需要说明的是，本实施例所提供的结节识别模型是针对上述四种结节类型中的某一种类型进行针对性识别的专项训练，尤其是其中最难识别出来的磨玻璃结节。具体的，本实施例将待测图像输入结节识别模型，则可以通过结节识别模型识别出待测图像中是否具有磨玻璃结节。
在本公开实施例中，构建结节识别模型包括：设置窗宽变量值与窗位变量值；在训练结节识别模型的过程中，通过反向传播算法不断调整窗宽变量值与窗位变量值，以获得窗宽变量常值与窗位变量常值；通过窗宽变量常值与窗位变量常值，以自适应调整输入结节识别模型中图像的窗口值。
其中，窗宽是CT图像上显示的CT值范围，在此CT值范围内的组织和病变均以不同的模拟灰度显示，而CT值高于此范围或低于此范围的组织结构，分别以白影或黑影显示。因此窗宽的宽窄直接影响到图像的对比度和清晰度。其中，窗位是指窗宽上下限的平均数。同样的窗宽，由于窗位不同，其所包括CT值范围的CT值也有差异。
其中，窗宽变量值与窗位变量值是本实施例在结节识别模型中增加的两个参数，由于现有技术普遍将图像归一化到标准的肺窗图像(-1350Hu～150Hu)进行结节分类，但是以磨玻璃结节进行举例说明，磨玻璃结节的密度范围为(-700Hu～400Hu)，所以肺窗参数并不是观察磨玻璃结节的最佳窗口。因此本实施例在结节识别模型中增加窗宽变量值a与窗位变量值b，以使得该结节识别模型具有自适应调窗功能。需要说明的是，由于结节识别模型所采用的神经网络模型类型不一，因此不同神经网络模型所涉及的窗宽变量值a与窗位变量值b均不相同。
具体的，本实施例在结节识别模型中设计了一个自适应调整窗口值的模块(adaptive window normalizer，AWN)，该AWN模块引入两个参数(a，b)，这两个参数可以在结节识别模型训练的过程中一块学习，且初始值为a＝0，b＝0。在训练开始前，本实施例还需要设置一个初始化的窗口值，由于本实施例中的模型目的为肺部结节识别，因此该初始化的窗口值可以设置为肺窗WW＝1500Hu，WL＝-600Hu，且将自适应调整窗口值设置为(WW*ea，WL+b)，其中，e是自然对数。
具体的，本实施例在训练结节识别模型初始时，设置a＝b＝0。在输入肺窗图像后，随着模型训练的不断迭代，本实施例可以不断地比较模型训练所输出的模拟值与真实值之差，并通过反向传播算法推算该模型中的不合理参数以进行调整，因此最终a值与b值均会发生变化，且最佳观看窗口也会区别于肺窗。本实施例将训练结束后获得的a值与b值，分别作为窗宽变量常值与窗位变量常值进行固定，并通过自适应调整窗口值(WW*ea，WL+b)获得专门适用于该结节识别模型的固定参数，进而提高了该结节识别模型的识别准确性。
本公开的基于CT图像的识别方法，预处理初始图像，以作为待测图像；将待测图像输入结节识别模型，以识别待测图像中的结节类型，其中，结节识别模型包括预设的形变卷积核，针对性的在结节识别模型的训练过程中增加噪声，以保证模型在预测时对于目标多样化形态的鲁棒性，有效提高结节识别模型的辨识度，提高分类准确性。
实施例二
图2A为本公开实施例二提供的一种基于CT图像的识别方法的流程图，本公开实施例在上述实施例的基础上，其中，结节识别模型为3DRetinanet或3D Fcos类型，相应的，将待测图像输入结节识别模型，以识别待测图像中的结节类型，包括：将待测图像输入特征提取层，以获得第一特征图像；将第一特征图像输入特征金字塔层，以获得第二特征图像；将第二特征图像输入检测层，以识别待测图像中的结节类型。该方法具体包括：
S210、预处理初始图像，以作为待测图像。
S220、将待测图像输入特征提取层，以获得第一特征图像。
其中，特征提取层是图像进入结节识别模型后，首先进入的主干网络层，具有多个形变卷积核，通过该形变卷积核对图像中的每个像素点进行卷积计算，以得到新的图像，作为第一特征图像。
其中，第一特征图像可以是根据训练任务相关的一组或多组具有不同分辨率的特征图像。具体的，本实施例提供的结节识别模型为3D Retinanet或3D Fcos类型，因此，特征提取层为随机卷积残差网络结构。
在本公开实施例中，在特征提取层通过形变卷积核提取第一特征图像之前，还包括：设置形变卷积核中各个像素点的预设位移与预设概率；在训练结节识别模型时，根据预设位移与预设概率随机生成形变卷积核中各个像素点的位置，以增加训练图像中的结节形态。
其中，卷积核是对待测图像进行卷积处理所用到的系数矩阵，例如二维的3x3卷积或者5x5卷积，以及三维的3x3x3卷积或5x5x5卷积，在本实施例中的卷积核为3x3x3的3维卷积。
其中，预设位移是为了实现常规卷积核生成形变卷积核而设定的一个位移量，该位移量可以作用于卷积核中的各个像素点，从而使各个像素点在预设范围内的各个方向进行随意移动。预设概率是为上述预设位移的移动方向而设定的概率值。需要说明的是，本实施例中的预设位移和预设概率可以是根据经验值而设定的任意数值。为了方便理解，本实施例以图2B的二维3x3卷积核为例进行说明。
图2B为本公开实施例二提供的一种不同条件下的3x3形变卷积核示意图，包括(c)3x3卷积核初始位置示意图；(d)训练时，根据预设概率随机采样一个偏移量作用于卷积核初始位置的示意图；(e)预测时，根据预设位移与预设概率计算平均位置后的一种卷积核的示意图。
例如，本实施例中的形变卷积核为了产生随机效果，其核内的像素点不会保持原始位置不动。具体例如图2B中的(d)所示，浅色圆点为原始位置像素点，深色圆点为随机移动位置后的像素点。示例性的，以左上角的浅灰色像素点为例，可以根据预设位移进行上下左右各个方向的随机移动，而预设概率可以设置为该像素点以25％的概率向左移动，25％的概率向上移动，25％的概率向右移动，25％的概率向下移动。需要说明的是，本实施例提供的预设概率值仅仅是一种示例进行说明，并不对其具体数值进行限定。
具体的，本实施例设置了预设位移与预设概率，在训练结节识别模型时，形变卷积核中各个像素点的位置会根据预设位移与预设概率随机发生多种多样的位置形变。如此，通过该形变卷积核对输入的CT图像进行卷积处理就会生成多种多样的第一特征图像，正好增加了训练图像中结节形态的多样性提供给结节识别模型进行训练，通过增加训练中的噪声，来保证模型在预测时对于目标多样化形态的鲁棒性。
需要说明的是，本实施例在训练前提前设置预设位移与预设概率，用于增加结节识别模型训练的难度，从而降低其在正式预测时识别结节类型的难度。但是，在训练结束后，则不需要通过预设位移与预设概率生成多种多样的形变卷积核，而需要计算形变卷积核中各个像素点的平均位置即可。
在本公开实施例中，在特征提取层通过形变卷积核提取第一特征图像之前，还包括：根据预设位移与预设概率，确定形变卷积核中各个像素点的平均位置，作为当前形变卷积核；根据当前形变卷积核对待测图像中的每个像素点进行卷积计算，以获得第一特征图像。
如图2B中的(e)所示，浅色圆点为原始位置像素点，深色圆点为根据预设位移和预设概率计算平均位置后的像素点。由于在实际运算过程中，形变卷积核中的每个像素点不会刚刚好移动到每个像素格的中心位置，其移动位置可以是区域范围内的各个位置，因此需要根据预设位移和预设概率计算每个像素点的平均位置，让形变卷积核中的像素点有目的性的移动到计算后的平均位置，形成当前形变卷积核，再使用当前形变卷积核对待测图像进行卷积计算，从而得到第一特征图像，其卷积计算过程可见图2C。
图2C为本公开实施例二提供的一种形变卷积核与图像运算过程的示意图，包括原始图像201，当前形变卷积核202和第一特征图像203。其中，原始图像201为待测图像或者训练图像。具体的，本实施例通过当前形变卷积核202对原始图像201中的每个像素点进行卷积计算，最后生成第一特征图像203。
S230、将第一特征图像输入特征金字塔层，以获得第二特征图像。
其中，特征金字塔层是一种旨在提高准确率和速度的特征提取器，本实施例中的特征金字塔层可以采用现有技术中任一种网络模型。其中，第二特征图像是对第一特征图像进行融合处理后，具有高阶抽象特征的图像。
具体的，由于第一特征图像为一组具有不同分辨率的特征图像，因此特征金字塔层需要对上述不同分辨率的特征图像进行融合处理，以得到一张能够显示全部结节形态、密度以及与周边组织关系的高阶抽象特征图像，也即第二特征图像。
S240、将第二特征图像输入检测层，以识别待测图像中的结节类型。
其中，检测层可以为实现检测目的的任意检测头网络，只要能够检测出第二特征图像中的结节类型即可。
图2D示出了本公开实施例二提供的一种基于CT图像识别方法的整体框架结构示意图。具体的，本实施例先将对初始图像进行预处理，以统一初始图像的重建算法与尺寸，作为待测图像，再将待测图像输入结节识别模型。待测图像在进入结节识别模型后先做自适应调窗处理，以获得最佳观看窗口，再将调窗后的图像逐步输入特征提取层、特征金字塔层与检测层，以识别待测图像中的结节类型。
本实施例提供的结节识别模型，在磨玻璃结节检出率和稳定性上优于经典框架，不仅能提高磨玻璃结节的召回率，同时还可以避免了一些不明原因但明显病灶的漏检情况。
实施例三
图3是本公开实施例提供的一种基于CT图像的识别装置的结构示意图，该装置具体包括：
图形处理模块310，用于预处理初始图像，以作为待测图像；
类型识别模块320，用于将待测图像输入结节识别模型，以识别待测图像中的结节类型，其中，结节识别模型包括预设的形变卷积核。
在一可实施方式中，类型识别模块320，还用于：设置形变卷积核中各个像素点的预设位移与预设概率；在训练结节识别模型时，根据预设位移与预设概率随机生成形变卷积核中各个像素点的位置，以增加训练图像中的结节形态。
在一可实施方式中，结节识别模型还包括：设置窗宽变量值与窗位变量值；在训练结节识别模型的过程中，通过反向传播算法不断调整窗宽变量值与窗位变量值，以获得窗宽变量常值与窗位变量常值；通过窗宽变量常值与窗位变量常值，以自适应调整输入结节识别模型中图像的窗口值。
在一可实施方式中，图形处理模块310还用于：判断初始图像的重建算法类型；若判断当前初始图像的重建算法类型为肺算法类型时，将当前初始图像进行高斯平滑处理，以生成软算法类型的待测图像。
在一可实施方式中，图形处理模块310还用于：获取初始图像的头部字段信息；当头部字段信息包含特有关键字时，确定为肺算法类型，其中，特有关键字包括：lung，chest，thorax，B70f以及B71f。
在一可实施方式中，结节识别模型为3D Retinanet或3D Fcos类型，相应的，类型识别模块320具体用于：将待测图像输入特征提取层，以获得第一特征图像；将第一特征图像输入特征金字塔层，以获得第二特征图像；将第二特征图像输入检测层，以识别待测图像中的结节类型。
在一可实施方式中，类型识别模块320具体用于：根据预设位移与预设概率，确定形变卷积核中各个像素点的平均位置，作为当前形变卷积核；根据当前形变卷积核对待测图像中的每个像素点进行卷积计算，以获得第一特征图像。
实施例四
根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。
图4示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图4所示，设备400包括计算单元401，其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序，来执行各种适当的动作和处理。在RAM 403中，还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理，例如基于CT图像的识别方法。例如，在一些实施例中，基于CT图像的识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由计算单元401执行时，可以执行上文描述的基于CT图像的识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于CT图像的识别方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式***的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种基于CT图像的识别方法，其特征在于，所述方法包括：
预处理初始图像，以作为待测图像；
将待测图像输入结节识别模型，以识别所述待测图像中的结节类型，其中，所述结节识别模型包括预设的形变卷积核；
其中，所述结节识别模型为3D Retinanet或3D Fcos类型，相应的，所述将待测图像输入所述结节识别模型，以识别所述待测图像中的结节类型，包括：将所述待测图像输入特征提取层，以获得第一特征图像，其中，所述特征提取层包括所述形变卷积核；将所述第一特征图像输入特征金字塔层，以获得第二特征图像；将所述第二特征图像输入检测层，以识别所述待测图像中的结节类型；
其中，所述将所述待测图像输入所述特征提取层，以获得第一特征图像，包括：根据预设位移与预设概率，确定所述形变卷积核中各个像素点的平均位置，作为当前形变卷积核；通过所述当前形变卷积核对所述待测图像中的每个像素点进行卷积计算，以获得所述第一特征图像；
其中，所述预处理初始图像，以作为待测图像，包括：判断所述初始图像的重建算法类型；若判断当前初始图像的重建算法类型为肺算法类型时，将所述当前初始图像进行高斯平滑处理，以生成软算法类型图像，作为所述待测图像。
2.根据权利要求1所述的方法，其中，训练结节识别模型，还包括：
设置窗宽变量值与窗位变量值；
在训练所述结节识别模型的过程中，通过反向传播算法不断调整所述窗宽变量值与所述窗位变量值，以获得窗宽变量常值与窗位变量常值；
通过所述窗宽变量常值与所述窗位变量常值，以自适应调整输入所述结节识别模型中图像的窗口值。
3.根据权利要求2所述的方法，其特征在于，所述判断所述初始图像的重建算法类型包括：
获取所述初始图像的头部字段信息；
当所述头部字段信息包含特有关键字时，确定为肺算法类型，其中，所述特有关键字包括：lung，chest，thorax，B70f以及B71f。
4.一种基于CT图像的识别装置，其特征在于，所述装置包括：
图形处理模块，用于预处理初始图像，以作为待测图像；
类型识别模块，用于将待测图像输入结节识别模型，以识别所述待测图像中的结节类型，其中，所述结节识别模型包括预设的形变卷积核；
其中，所述类型识别模块为3D Retinanet或3D Fcos类型，具体用于：将所述待测图像输入特征提取层，以获得第一特征图像，其中，所述特征提取层包括所述形变卷积核；将所述第一特征图像输入特征金字塔层，以获得第二特征图像；将所述第二特征图像输入检测层，以识别所述待测图像中的结节类型；
其中，所述类型识别模块，具体还用于：根据预设位移与预设概率，确定所述形变卷积核中各个像素点的平均位置，作为当前形变卷积核；根据所述当前形变卷积核对所述待测图像中的每个像素点进行卷积计算，以获得所述第一特征图像；
其中，所述图形处理模块，具体用于：判断所述初始图像的重建算法类型；若判断当前初始图像的重建算法类型为肺算法类型时，将所述当前初始图像进行高斯平滑处理，以生成软算法类型图像，作为所述待测图像。
5.根据权利要求4所述的装置，其特征在于，所述结节识别模型还包括：
设置窗宽变量值与窗位变量值；
在训练所述结节识别模型的过程中，通过反向传播算法不断调整所述窗宽变量值与所述窗位变量值，以获得窗宽变量常值与窗位变量常值；
通过所述窗宽变量常值与所述窗位变量常值，以自适应调整输入所述结节识别模型中图像的窗口值。
6.根据权利要求5所述的装置，其特征在于，所述图像判断模块，还用于：
获取所述初始图像的头部字段信息；
当所述头部字段信息包含特有关键字时，确定为肺算法类型，其中，所述特有关键字包括：lung，chest，thorax，B70f以及B71f。
7.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。
8.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-3中任一项所述的方法。
CN202211006713.XA 2022-08-22 2022-08-22 一种基于ct图像的识别方法、装置、设备及存储介质 Active CN115439423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211006713.XA CN115439423B (zh) 2022-08-22 2022-08-22 一种基于ct图像的识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211006713.XA CN115439423B (zh) 2022-08-22 2022-08-22 一种基于ct图像的识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115439423A CN115439423A (zh) 2022-12-06
CN115439423B true CN115439423B (zh) 2023-09-12

Family

ID=84243977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211006713.XA Active CN115439423B (zh) 2022-08-22 2022-08-22 一种基于ct图像的识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115439423B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245832B (zh) * 2023-01-30 2023-11-14 浙江医准智能科技有限公司 一种图像处理方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275699A (zh) * 2020-02-11 2020-06-12 腾讯医疗健康(深圳)有限公司 医学图像的处理方法、装置、设备及存储介质
CN111667459A (zh) * 2020-04-30 2020-09-15 杭州深睿博联科技有限公司 一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质
CN113299369A (zh) * 2021-05-14 2021-08-24 杭州电子科技大学 一种医学图像调窗优化方法
CN113744183A (zh) * 2021-07-27 2021-12-03 山东师范大学 肺结节检测方法及***
CN114782321A (zh) * 2022-03-24 2022-07-22 北京医准智能科技有限公司 胸部ct影像选择方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2021559B1 (en) * 2018-09-04 2020-04-30 Aidence B V Determination of a growth rate of an object in 3D data sets using deep learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275699A (zh) * 2020-02-11 2020-06-12 腾讯医疗健康(深圳)有限公司 医学图像的处理方法、装置、设备及存储介质
CN111667459A (zh) * 2020-04-30 2020-09-15 杭州深睿博联科技有限公司 一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质
CN113299369A (zh) * 2021-05-14 2021-08-24 杭州电子科技大学 一种医学图像调窗优化方法
CN113744183A (zh) * 2021-07-27 2021-12-03 山东师范大学 肺结节检测方法及***
CN114782321A (zh) * 2022-03-24 2022-07-22 北京医准智能科技有限公司 胸部ct影像选择方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的哮喘患者CT影像黏液栓自动识别;黄柳婷，等;北京邮电大学学报;第45卷(第4期);第58-63页 *

Also Published As

Publication number Publication date
CN115439423A (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
EP3449421B1 (en) Classification and 3d modelling of 3d dento-maxillofacial structures using deep learning methods
CN108537794B (zh) 医学图像数据处理方法、装置和计算机可读存储介质
EP1690230B1 (en) Automatic multi-dimensional intravascular ultrasound image segmentation method
CN112424835B (zh) 用于图像重建的***和方法
CN111008984B (zh) 医学影像中正常器官的轮廓线自动勾画方法
CN111105424A (zh) ***自动勾画方法及装置
Ye et al. Deep residual learning for model-based iterative ct reconstruction using plug-and-play framework
WO2006024974A1 (en) Feature weighted medical object contouring using distance coordinates
WO2021136368A1 (zh) 钼靶图像中胸大肌区域自动检测方法及装置
CN113012173A (zh) 基于心脏mri的心脏分割模型和病理分类模型训练、心脏分割、病理分类方法及装置
WO2020238819A1 (en) Systems and methods for image processing
CN113689342A (zh) 一种图像质量优化的方法及***
US20230177698A1 (en) Method for image segmentation, and electronic device
CN116309806A (zh) 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法
WO2023207967A1 (en) Methods and systems for image reconstruction
CN115439423B (zh) 一种基于ct图像的识别方法、装置、设备及存储介质
CN111260701A (zh) 多模态视网膜眼底图像配准方法及装置
JP6643821B2 (ja) 画像処理装置
CN114693671A (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN113962957A (zh) 医学图像处理方法、骨骼图像处理方法、装置、设备
CN111652876B (zh) 一种三维盆底超声图像的检测方法
CN115147360B (zh) 一种斑块分割方法、装置、电子设备及可读存储介质
CN115969400A (zh) 眼球突出截面积测量装置
CN115761228A (zh) 一种冠状动脉钙化斑块分割方法、装置、设备及存储介质
CN115375787A (zh) 伪影校正方法、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000

Patentee after: Zhejiang Yizhun Intelligent Technology Co.,Ltd.

Address before: No. 1202-1203, 12 / F, block a, Zhizhen building, No. 7, Zhichun Road, Haidian District, Beijing 100083

Patentee before: Beijing Yizhun Intelligent Technology Co.,Ltd.