CN113838028A - 一种颈动脉超声自动多普勒方法、超声设备及存储介质 - Google Patents

一种颈动脉超声自动多普勒方法、超声设备及存储介质 Download PDF

Info

Publication number
CN113838028A
CN113838028A CN202111119626.0A CN202111119626A CN113838028A CN 113838028 A CN113838028 A CN 113838028A CN 202111119626 A CN202111119626 A CN 202111119626A CN 113838028 A CN113838028 A CN 113838028A
Authority
CN
China
Prior art keywords
blood vessel
carotid artery
sample
neural network
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111119626.0A
Other languages
English (en)
Inventor
李璐
甘从贵
陈建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chison Medical Technologies Co ltd
Wuxi Chison Medical Technologies Co Ltd
Original Assignee
Chison Medical Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chison Medical Technologies Co ltd filed Critical Chison Medical Technologies Co ltd
Priority to CN202111119626.0A priority Critical patent/CN113838028A/zh
Publication of CN113838028A publication Critical patent/CN113838028A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Vascular Medicine (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供一种颈动脉超声自动多普勒方法，所述方法包括：获取颈动脉超声图像；将所述颈动脉超声图像输入卷积神经网络检测模型提取特征，得到输出特征图；在所述输出特征图上提取预设数量的图像块；并记录每个图像块在所述输出特征图上的位置信息；所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管角度；所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管位置；基于得到的血管位置计算得到血管宽度；基于得到的所述血管角度、血管位置和血管宽度，在所述颈动脉超声图像上自动生成取样门。本发明能够在颈动脉超声多普勒检查时简化医生的操作，提高医生的工作效率。

Description

一种颈动脉超声自动多普勒方法、超声设备及存储介质
技术领域
本发明属于超声设备技术领域，尤其是一种颈动脉超声自动多普勒方法。
背景技术
脑血管病的发病率逐年上升，采用无创性检查方法，早期发现颅外动脉血管病变的存在并及时进行治疗，是预防和减少脑血管病发病的有效手段，具有重要临床意义。以上颅外动脉血管主要指颈动脉血管。颈动脉超声所检测的颈动脉血管包括颈总动脉、颈内动脉、颈外动脉，是诊断评估颈动脉病变的有效手段之一。颈动脉超声检查具有操作简便，可重复性强、经济实用，容易被患者接受等特点；所以它常被用于正常人群的筛查，脑血管病高危人群的病情检查，包括进行术前、术中、术后评价及随访。
颈动脉超声检查包括二维结构、多普勒频谱等综合分析。二维结构分析可以观察到血管的内径，用来判断管腔有无扩张、狭窄、扭曲、走行是否正常、内膜的厚度以及有无斑块。多普勒频谱分析取得血流频谱观察血流速度，判断血流速度是否增大、减小。血流速度往往和二维结构对应，比如血流速度增大往往是因为颈动脉管腔狭窄。多普勒频谱分析还被用来获取收缩期血流速度的峰值、舒张末期血流速度和颈内动脉与颈总动脉流速比值。
目前，医生用超声设备进行颈动脉超声多普勒检查时，第一步先调整探头位置，以使颈动脉超声图像最清晰；然后调整多普勒角度(也就是取样门的角度)，范围一般为正负30°之间；再调整平行四边形取样门的宽度，这个取样门的宽度一般取血管宽度的1/3；最后记录一帧颈动脉图像、一帧代表性多普勒频谱，同时测量收缩期峰值流速。医生进行上面几步操作，才能确保精确测量收缩期峰值流速。医生如果不进行上面的几步操作的话，将会导致血流取样不正确，将会人为造成峰值流速增加或减少，计算收缩期峰值流速比评价管腔狭窄时就会出现误差。此时如果存在临床意义的颈动脉狭窄，可导致错误判断。
然而，医生工作时待检测的病人往往很多，工作量大；如果能用自动化的算法简化颈动脉超声检查的流程的话，能直接提高医生的工作效率。
发明内容
本发明的目的是在于克服现有技术中存在的不足，提供一种颈动脉超声自动多普勒方法，以在颈动脉超声多普勒检查时简化医生的操作，提高医生的工作效率；本申请还提供了与上述方法相应的超声设备和存储介质。为实现以上技术目的，本发明实施例采用的技术方案是：
第一方面，本发明实施例提供了一种颈动脉超声自动多普勒方法，所述方法包括：
获取颈动脉超声图像；
将所述颈动脉超声图像输入卷积神经网络检测模型提取特征，得到输出特征图；
在所述输出特征图上提取预设数量的图像块；并记录每个图像块在所述输出特征图上的位置信息；
所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管角度；
所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管位置；
基于得到的血管位置计算得到血管宽度；
基于得到的所述血管角度、血管位置和血管宽度，在所述颈动脉超声图像上自动生成取样门。
进一步地，所述将所述颈动脉超声图像输入卷积神经网络检测模型提取特征，得到输出特征图，具体包括：
将所述颈动脉超声图像输入卷积神经网络检测模型，所述卷积神经网络检测模型通过多组包含卷积层、池化层、批归一化层和激活函数层的层组对其提取特征，在最后一个层组的激活函数层得到输出特征图。
进一步地，所述在所述输出特征图上提取预设数量的图像块，具体包括：
在输出特征图上进行滑动窗口操作，基于像素位置提取图像块；所述基于像素位置提取图像块包括：以像素位置为中心，遍历输出特征图上每一个像素提取图像块或在输出特征图上每隔数个像素提取图像块。
更进一步地，所述提取图像块包括提取多种不同大小、不同预设长宽比的图像块。
进一步地，所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管角度，具体包括：
通过所述卷积神经网络检测模型对每个所述图像块输出包含多个血管角度预测概率的第一预测输出向量；
确定所有第一预测输出向量中血管角度预测概率最高的图像块；
将所述血管角度预测概率最高的图像块的第一预测输出向量中血管角度预测概率最高的类别对应的血管角度作为所述颈动脉超声图像中的血管角度。
进一步地，所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管位置，具体包括：
通过所述卷积神经网络检测模型对每个所述图像块输出包含预测的血管位置的第二预测输出向量；
将所述血管角度预测概率最高的图像块在所述输出特征图上的位置还原到所述颈动脉超声图像上，并结合该图像块中预测的血管位置得到颈动脉超声图像中的血管位置。
进一步地，所述基于得到的血管位置计算得到血管宽度，具体包括：
基于所述血管的位置，经过所述血管宽度方向的中点，生成一条与所血管长度方向垂直的直线；
从血管中点往所述直线一个方向计算所述直线上每个像素点的梯度值；
在累计预设数量的像素点的梯度值大于预设阈值时，确定第一次满足时的所述预设数量的像素点中第一个像素点作为所述血管的一侧边缘点；获取所述血管中点到所述一侧边缘点的距离；
根据所述血管中点到所述一侧边缘点的距离计算得到血管宽度。
进一步地，所述基于得到的所述血管角度、血管位置和血管宽度，在所述颈动脉超声图像上自动生成取样门，包括：
将所述取样门的中心设置在所述颈动脉超声图像中血管位置的中心点；所述取样门的角度为得到的血管角度；所述取样门的宽度小于或等于得到的血管宽度。
进一步地，所述卷积神经网络检测模型通过如下方式训练得到：
获取样本颈动脉超声图像，所述样本颈动脉超声图像标记有血管角度信息、血管位置标记；
将所述样本颈动脉超声图像输入卷积神经网络检测模型提取特征，得到样本输出特征图；
在所述样本输出特征图上提取预设数量的样本图像块；并记录每个样本图像块在所述样本输出特征图上的位置信息；
将所述样本图像块根据预定规则划分为正样本图像块和负样本图像块；正样本图像块的血管角度取该正样本图像块所对应的样本颈动脉超声图像标记的血管角度；
根据所述正样本图像块和所述负样本图像块训练所述卷积神经网络检测模型。
更进一步地，所述在所述样本输出特征图上提取预设数量的样本图像块，包括：
在样本输出特征图上进行滑动窗口操作，基于像素位置提取样本图像块；所述基于像素位置提取样本图像块包括：以像素位置为中心，遍历样本输出特征图上每一个像素提取样本图像块或在样本输出特征图上每隔数个像素提取样本图像块。
更进一步地，所述将所述样本图像块根据预定规则划分为正样本图像块和负样本图像块，包括：
计算每个样本图像块与对应的样本颈动脉超声图像中血管位置标记的血管交并比，所述交并比为交集与并集的比值；
将所述交并比大于设定阈值的样本图像块作为正样本图像块，否则作为负样本图像块。
更进一步地，所述根据所述正样本图像块和所述负样本图像块训练所述卷积神经网络检测模型，包括：
将所述正样本图像块和所述负样本图像块输入所述卷积神经网络检测模型；
通过所述卷积神经网络检测模型对每个所述样本图像块输出包含多个血管角度预测概率的第一预测输出向量；计算用于血管角度预测的第一损失函数；
通过所述卷积神经网络检测模型对每个所述图像块输出包含预测的血管位置的第二预测输出向量；计算用于血管位置预测的第二损失函数；
将第一损失函数的函数值和第二损失函数的函数值反向传播回所述卷积神经网络检测模型进行更新迭代，得到训练好的卷积神经网络检测模型。
作为预选，第一损失函数如公式(1)所示，
Loss(prob1,prob2)＝max(0,-β(prob1-prob2)+margin) (1)
其中，prob1,prob2为两个样本图像块在一个血管角度类别上的预测概率；当要求卷积神经网络检测模型输出第一个样本图像块的所述一个血管角度类别上的预测概率prob1要大于第二个样本图像块的所述一个血管角度类别上的预测概率prob2时，β取值为1，否则取值为-1；margin为超参数，取值0.4～0.6；
第二损失函数如公式(2)所示，
Figure BDA0003276594570000041
其中，out表示输出的第二预测输出向量，truth表示真实的血管位置。
作为优选，第一损失函数的每次输入为一对正样本图像块和和负样本图像块。
作为优选，所述卷积神经网络检测模型采用金字塔结构，包括三组包含卷积层、池化层、批归一化层和激活函数层的层组；
在所述金字塔结构的卷积神经网络检测模型中，第一个激活函数层输出的低层特征上采样后和第二个激活函数层输出的中层特征相加，得到一个融合低层和中层的特征，再将融合低层和中层的特征上采样后和第三个激活函数层输出的高层特征相加，得到一个融合了低层、中层和高层的特征。
第二方面，本发明实施例提供了一种超声设备，包括：
存储器，存储有计算机程序；
处理器，用于运行所述计算机程序，所述计算机程序运行时执行如上文所述的方法的步骤。
第三方面，本发明实施例提出了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被配置为运行时执行如上文所述的方法的步骤。
本发明实施例提供的技术方案带来的有益效果是：取样门的生成过程实现了全自动化，使用时仅需要提供颈动脉超声图像就自动在该图像上生成取样门，显著提高了医生的工作效率，大大节省了医生进行颈动脉超声多普勒检查的时间。
附图说明
图1为本发明实施例中的颈动脉超声图像示意图。
图2为本发明实施例中的生成的取样门示意图。
图3为本发明实施例中的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
第一方面，本发明的实施例提出一种血管信息获取及取样门自动生成方法，包括：
获取颈动脉超声图像；
将所述颈动脉超声图像输入卷积神经网络检测模型提取特征，得到输出特征图；
在所述输出特征图上提取预设数量的图像块；并记录每个图像块在所述输出特征图上的位置信息；
所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管角度；
所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管位置；
基于得到的血管位置计算得到血管宽度；
基于得到的所述血管角度、血管位置和血管宽度，在所述颈动脉超声图像上自动生成取样门。
本申请通过一个卷积神经网络检测模型就可以对输入的颈动脉超声图像进行血管角度和血管位置的预测，然后再基于血管位置就可以方便地计算得到血管宽度；最后自动生成取样门；以上自动化的处理过程能够在颈动脉超声多普勒检查时简化医生的操作，显著提高医生的工作效率；通过人工智能的方法，大大节省了医生进行颈动脉超声多普勒检查的时间；
具体地，所述将所述颈动脉超声图像输入卷积神经网络检测模型提取特征，得到输出特征图，包括：将所述颈动脉超声图像输入卷积神经网络检测模型，所述卷积神经网络检测模型通过多组包含卷积层、池化层、批归一化层和激活函数层的层组对其提取特征，在最后一个层组的激活函数层得到输出特征图；所述提取特征包括提取血管边缘特征、纹理特征和全局结构特征；因此能够对颈动脉超声图像提取更全面的特征；
具体地，所述在所述输出特征图上提取预设数量的图像块，包括：在输出特征图上进行滑动窗口操作，基于像素位置提取图像块；所述基于像素位置提取图像块包括：以像素位置为中心，遍历输出特征图上每一个像素提取图像块或在输出特征图上每隔数个像素提取图像块；上述图像块的提取过程可以确保至少一个图像块中存在血管的一段；具体可以提取多种不同大小、不同预设长宽比的图像块；
具体地，所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管角度，包括：通过所述卷积神经网络检测模型对每个所述图像块输出包含多个血管角度预测概率的第一预测输出向量；确定所有第一预测输出向量中血管角度预测概率最高的图像块；将所述血管角度预测概率最高的图像块的第一预测输出向量中血管角度预测概率最高的类别对应的血管角度作为所述颈动脉超声图像中的血管角度；
具体地，所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管位置，包括：通过所述卷积神经网络检测模型对每个所述图像块输出包含预测的血管位置的第二预测输出向量；将所述血管角度预测概率最高的图像块在所述输出特征图上的位置还原到所述颈动脉超声图像上，并结合该图像块中预测的血管位置得到颈动脉超声图像中的血管位置；
以上卷积神经网络检测模型的处理过程，能够获得更为准确的处理结果；
具体地，所述得到的颈动脉超声图像中的血管位置可以用一个血管预测矩形框表示；
具体地，所述基于得到的血管位置计算得到血管宽度，包括：基于所述血管的位置，经过所述血管宽度方向的中点，生成一条与所血管长度方向垂直的直线；从血管中点往所述直线一个方向用索贝尔算子计算所述直线上每个像素点的梯度值；在累计预设数量的像素点的梯度值大于预设阈值时，确定第一次满足时的所述预设数量的像素点中第一个像素点作为所述血管的一侧边缘点；获取所述血管中点到所述一侧边缘点的距离；根据所述血管中点到所述一侧边缘点的距离计算得到血管宽度，所述血管中点到所述一侧边缘点的距离的二倍即血管宽度；
其中，索贝尔算子计算的是血管垂直方向的梯度，索贝尔算子为：
Figure BDA0003276594570000061
一个像素点(x,y)处的梯度值的计算公式为：
梯度＝1*f(x-1,y-1)+2*f(x,y-1)+1*f(x+1,y-1)+0*f(x-1,y)+0*f(x,y)+0*f(x+1,y)+(-1)*f(x-1,y+1)+(-2)*f(x,y+1)+(-1)*f(x+1,y+1)f()表示取像素点的像素值；
在另一个实施例中，所述基于得到的血管位置计算得到血管宽度，包括：基于所述血管的位置，经过所述血管宽度方向的中点，生成一条与所血管长度方向垂直的直线；从血管中点往下遍历计算所述直线上相邻两个像素点像素值的欧式距离；在所述相邻两个像素点像素值的欧式距离大于设定阈值时，将相邻两个像素点的后一个像素点作为血管的候选后壁点；在所述血管中点与所述候选后壁点之间不存在连续设定个数的像素点中有任意预设个数的像素点的像素值大于固定值时，将所述候选后壁点确定为所述血管的边缘点；获取所述血管中点到所述边缘点的距离；根据所述血管中点到所述边缘点的距离确定所述血管的宽度；
具体地，所述基于得到的所述血管角度、血管位置和血管宽度，在所述颈动脉超声图像上自动生成取样门，包括：将所述取样门的中心设置在所述颈动脉超声图像中血管位置的中心点，以便取样门位于血管位置的中间区域，由此血流取样更准确；所述取样门的角度为得到的血管角度；所述取样门的宽度小于或等于得到的血管宽度，例如取样门的宽度为得到的血管宽度的1/3～1/2，可以使得血流取样在最佳的一个区域；
在一个具体实例中，首先获取颈动脉超声图像，颈动脉超声图像优选为颈动脉超声长轴图像，如图1所示；在该图像的中间偏上区域可见深黑色的颈动脉血管(大致呈横向走向)；将所述颈动脉超声图像输入卷积神经网络检测模型，所述卷积神经网络检测模型通过多组包含卷积层、池化层、批归一化层和激活函数层的层组对其提取特征，在最后一个层组的激活函数层得到输出特征图；在输出特征图上进行滑动窗口操作，基于像素位置提取图像块；所述基于像素位置提取图像块包括：以像素位置为中心，遍历输出特征图上每一个像素提取图像块或在输出特征图上每隔数个像素提取图像块；通过所述卷积神经网络检测模型对每个所述图像块输出包含多个血管角度预测概率的第一预测输出向量，例如[0.02,0.8,0.1,......,0,0.01]，该第一预测输出向量包括14个类别，负样本图像块作为第0个类别，-30°、-25°、-20°、-15°、-10°、-5°、0°、5°、10°、15°、20°、25°、30°这13个血管角度作为其余13个类别；在该第一预测输出向量中，负样本图像块预测概率为0.02，-30°血管角度预测概率为0.8，-25°血管角度预测概率为0.1......25°血管角度预测概率为0，30°血管角度预测概率为0.01，所有预测概率之和为1；假设其它一些第一预测输出向量中的最大预测概率都小于0.8，那么就可以确定第一预测输出向量为[0.02,0.8,0.1,......,0,0.01]的图像块；然后将该图像块的第一预测输出向量中血管角度预测概率为0.8的类别对应的-30°血管角度作为得到的颈动脉超声图像中的血管角度；通过所述卷积神经网络检测模型对每个所述图像块输出包含预测的血管位置的第二预测输出向量；将所述血管角度预测概率最高的图像块在所述输出特征图上的位置还原到所述颈动脉超声图像上，并结合该图像块中预测的血管位置得到颈动脉超声图像中的血管位置；得到的颈动脉超声图像中血管位置可以用一个血管预测矩形框(如图2中较大的那个矩形框)表示；图2中较大的那个矩形框表示血管预测矩形框，较小的那个矩形框表示取样门；第二预测输出向量采用4维向量来表示图像块中预测的血管位置；血管预测矩形框并非一定需要显示，也可以隐藏，只需要有四个位置数值进行表示即可；再根据得到的血管位置计算血管宽度，计算方法如前文所述；最后基于得到的所述血管角度、血管位置和血管宽度，在所述颈动脉超声图像上自动生成取样门；具体将取样门的中心设置在所述颈动脉超声图像中血管位置的中心点；所述取样门的角度为得到的血管角度；所述取样门的宽度为得到的血管宽度的1/2；
以下将介绍如何训练得到卷积神经网络检测模型；所述卷积神经网络检测模型通过如下方式训练得到：
首先获取样本颈动脉超声图像，应收集尽可能全面的样本颈动脉超声图像，比如不同图像深度，不同采集对象的样本颈动脉超声图像等；所述样本颈动脉超声图像标记有血管角度信息、血管位置标记；具体可通过图像标注人员对收集的样本颈动脉超声图像进行标记工作，首先对样本颈动脉超声图像标记血管角度信息，例如一共分13类，分为-30°、-25°、-20°、-15°、-10°、-5°、0°、5°、10°、15°、20°、25°、30°；再对样本颈动脉超声图像标记血管位置标记，即将样本颈动脉超声图像中一段完整的颈动脉血管用血管标记矩形框标出；
接着将所述样本颈动脉超声图像输入卷积神经网络检测模型提取特征，得到样本输出特征图；具体可通过多组包含卷积层、池化层、批归一化层和激活函数层的层组对所述样本颈动脉超声图像提取特征，在最后一个层组的激活函数层得到输出特征图；
然后在样本输出特征图上进行滑动窗口操作，基于像素位置提取样本图像块；所述基于像素位置提取样本图像块包括：以像素位置为中心，遍历样本输出特征图上每一个像素提取样本图像块或在样本输出特征图上每隔数个像素提取样本图像块；并记录每个样本图像块在所述样本输出特征图上的位置信息；
再将所述样本图像块根据预定规则划分为正样本图像块和负样本图像块，包括：计算每个样本图像块与对应的样本颈动脉超声图像中血管位置标记的血管交并比，所述交并比为交集与并集的比值；将所述交并比大于设定阈值0.8的样本图像块作为正样本图像块，否则作为负样本图像块；
根据所述正样本图像块和所述负样本图像块训练所述卷积神经网络检测模型，包括：将所述正样本图像块和所述负样本图像块输入所述卷积神经网络检测模型；通过所述卷积神经网络检测模型对每个所述样本图像块输出包含多个血管角度预测概率的第一预测输出向量；计算用于血管角度预测的第一损失函数；通过所述卷积神经网络检测模型对每个所述图像块输出包含预测的血管位置的第二预测输出向量；计算用于血管位置预测的第二损失函数；
第一损失函数如公式(1)所示，
Loss(prob1,prob2)＝max(0,-β(prob1-prob2)+margin) (1)
其中，prob1,prob2为两个样本图像块在一个血管角度类别上的预测概率；当要求卷积神经网络检测模型输出第一个样本图像块的所述一个血管角度类别上的预测概率prob1要大于第二个样本图像块的所述一个血管角度类别上的预测概率prob2时，β取值为1，否则取值为-1；margin为超参数，取值为0.5；当两个预测概率prob1,prob2满足期望的样本差异时，第一损失函数为0，否则大于0；
作为优选，第一损失函数的每次输入为一对正样本图像块和和负样本图像块；以获得更好的训练效果；
第二损失函数如公式(2)所示，
Figure BDA0003276594570000081
其中，out表示输出的第二预测输出向量，truth表示真实的血管位置(也就是样本颈动脉超声图像中标记的血管标记矩形框的位置信息)；
将第一损失函数的函数值和第二损失函数的函数值反向传播回所述卷积神经网络检测模型进行更新迭代，得到训练好的卷积神经网络检测模型；
本申请在一个卷积神经网络检测模型中采用两个不同的损失函数，能够提高预测精度；其中的第一损失函数是一种排序的损失函数，这种损失函数不受类别不均衡的影响；
作为优选，所述卷积神经网络检测模型采用金字塔结构，包括三组包含卷积层、池化层、批归一化层和激活函数层的层组；以便结合卷积神经网络检测模型中的中低层的细节信息和高层的抽象信息，得到更好的检测能力；在所述金字塔结构的卷积神经网络检测模型中，第一个激活函数层输出的低层特征上采样后和第二个激活函数层输出的中层特征相加，得到一个融合低层和中层的特征，再将融合低层和中层的特征上采样后和第三个激活函数层输出的高层特征相加，得到一个融合了低层、中层和高层的特征；
第二方面，本发明的实施例还提出一种超声设备，包括：处理器和存储器；所述处理器与存储器之间相互通信，所述存储器中存储有计算机程序；所述处理器用于运行所述计算机程序，所述计算机程序运行时执行如上文所述的方法的步骤；处理器可采用CPU，或者其它通用处理器，数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件等；存储器可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如快闪存储器，硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。
第三方面，本发明的实施例还提出一种存储介质，所述存储介质中存储有计算机程度，所述计算机程序被配置为运行时执行如前文所述的方法的步骤。存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种颈动脉超声自动多普勒方法，其特征在于，所述方法包括：
获取颈动脉超声图像；
将所述颈动脉超声图像输入卷积神经网络检测模型提取特征，得到输出特征图；
在所述输出特征图上提取预设数量的图像块；并记录每个图像块在所述输出特征图上的位置信息；
所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管角度；
所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管位置；
基于得到的血管位置计算得到血管宽度；
基于得到的所述血管角度、血管位置和血管宽度，在所述颈动脉超声图像上自动生成取样门。
2.如权利要求1所述的颈动脉超声自动多普勒方法，其特征在于，所述在所述输出特征图上提取预设数量的图像块，具体包括：
在输出特征图上进行滑动窗口操作，基于像素位置提取图像块；所述基于像素位置提取图像块包括：以像素位置为中心，遍历输出特征图上每一个像素提取图像块或在输出特征图上每隔数个像素提取图像块。
3.如权利要求1～2中任一项所述的颈动脉超声自动多普勒方法，其特征在于，所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管角度，具体包括：
通过所述卷积神经网络检测模型对每个所述图像块输出包含多个血管角度预测概率的第一预测输出向量；
确定所有第一预测输出向量中血管角度预测概率最高的图像块；
将所述血管角度预测概率最高的图像块的第一预测输出向量中血管角度预测概率最高的类别对应的血管角度作为所述颈动脉超声图像中的血管角度。
4.如权利要求3所述的颈动脉超声自动多普勒方法，其特征在于，所述卷积神经网络检测模型基于所述预设数量的图像块得到颈动脉超声图像中的血管位置，具体包括：
通过所述卷积神经网络检测模型对每个所述图像块输出包含预测的血管位置的第二预测输出向量；
将所述血管角度预测概率最高的图像块在所述输出特征图上的位置还原到所述颈动脉超声图像上，并结合该图像块中预测的血管位置得到颈动脉超声图像中的血管位置。
5.如权利要求1所述的颈动脉超声自动多普勒方法，其特征在于，所述基于得到的所述血管角度、血管位置和血管宽度，在所述颈动脉超声图像上自动生成取样门，包括：
将所述取样门的中心设置在所述颈动脉超声图像中血管位置的中心点；所述取样门的角度为得到的血管角度；所述取样门的宽度小于或等于得到的血管宽度。
6.如权利要求1～2中任一项所述的颈动脉超声自动多普勒方法，其特征在于，所述卷积神经网络检测模型通过如下方式训练得到：
获取样本颈动脉超声图像，所述样本颈动脉超声图像标记有血管角度信息、血管位置标记；
将所述样本颈动脉超声图像输入卷积神经网络检测模型提取特征，得到样本输出特征图；
在所述样本输出特征图上提取预设数量的样本图像块；并记录每个样本图像块在所述样本输出特征图上的位置信息；
将所述样本图像块根据预定规则划分为正样本图像块和负样本图像块；正样本图像块的血管角度取该正样本图像块所对应的样本颈动脉超声图像标记的血管角度；
根据所述正样本图像块和所述负样本图像块训练所述卷积神经网络检测模型。
7.如权利要求6所述的颈动脉超声自动多普勒方法，其特征在于，
所述在所述样本输出特征图上提取预设数量的样本图像块，包括：
在样本输出特征图上进行滑动窗口操作，基于像素位置提取样本图像块；所述基于像素位置提取样本图像块包括：以像素位置为中心，遍历样本输出特征图上每一个像素提取样本图像块或在样本输出特征图上每隔数个像素提取样本图像块；
所述将所述样本图像块根据预定规则划分为正样本图像块和负样本图像块，包括：
计算每个样本图像块与对应的样本颈动脉超声图像中血管位置标记的血管交并比，所述交并比为交集与并集的比值；
将所述交并比大于设定阈值的样本图像块作为正样本图像块，否则作为负样本图像块。
8.如权利要求6所述的颈动脉超声自动多普勒方法，其特征在于，所述根据所述正样本图像块和所述负样本图像块训练所述卷积神经网络检测模型，包括：
将所述正样本图像块和所述负样本图像块输入所述卷积神经网络检测模型；
通过所述卷积神经网络检测模型对每个所述样本图像块输出包含多个血管角度预测概率的第一预测输出向量；计算用于血管角度预测的第一损失函数；
通过所述卷积神经网络检测模型对每个所述图像块输出包含预测的血管位置的第二预测输出向量；计算用于血管位置预测的第二损失函数；
将第一损失函数的函数值和第二损失函数的函数值反向传播回所述卷积神经网络检测模型进行更新迭代，得到训练好的卷积神经网络检测模型。
9.一种超声设备，其特征在于，包括：
存储器，存储有计算机程序；
处理器，用于运行所述计算机程序，所述计算机程序运行时执行如权利要求1～8中任一项所述的方法的步骤。
10.一种存储介质，其特征在于，
所述存储介质中存储有计算机程序，所述计算机程序被配置为运行时执行如权利要求1～8中任一项所述的方法的步骤。
CN202111119626.0A 2021-09-24 2021-09-24 一种颈动脉超声自动多普勒方法、超声设备及存储介质 Pending CN113838028A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111119626.0A CN113838028A (zh) 2021-09-24 2021-09-24 一种颈动脉超声自动多普勒方法、超声设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111119626.0A CN113838028A (zh) 2021-09-24 2021-09-24 一种颈动脉超声自动多普勒方法、超声设备及存储介质

Publications (1)

Publication Number Publication Date
CN113838028A true CN113838028A (zh) 2021-12-24

Family

ID=78969740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111119626.0A Pending CN113838028A (zh) 2021-09-24 2021-09-24 一种颈动脉超声自动多普勒方法、超声设备及存储介质

Country Status (1)

Country Link
CN (1) CN113838028A (zh)

Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237646A (en) * 1992-10-13 1993-08-17 Hewlett-Packard Company Pixel image enhancement employing a reduced template memory store
US6390984B1 (en) * 2000-09-14 2002-05-21 Ge Medical Systems Global Technology Company, Llc Method and apparatus for locking sample volume onto moving vessel in pulsed doppler ultrasound imaging
WO2002097714A1 (en) * 2001-04-09 2002-12-05 Lifespan Biosciences, Inc. Computer method for image pattern recognition in organic material
US20160098589A1 (en) * 2014-08-29 2016-04-07 Definiens Ag Applying Pixelwise Descriptors to a Target Image that are Generated by Segmenting Objects in Other Images
CN106408017A (zh) * 2016-09-13 2017-02-15 天津大学 基于深度学习的超生颈动脉内中膜厚度测量装置和方法
CN108280397A (zh) * 2017-12-25 2018-07-13 西安电子科技大学 基于深度卷积神经网络的人体图像头发检测方法
CN108764186A (zh) * 2018-06-01 2018-11-06 合肥工业大学 基于旋转深度学习的人物遮挡轮廓检测方法
CN108921825A (zh) * 2018-06-12 2018-11-30 北京羽医甘蓝信息技术有限公司 基于深度学习的检测面部皮肤点状缺陷的方法及装置
CN109674493A (zh) * 2018-11-28 2019-04-26 深圳蓝韵医学影像有限公司 医用超声自动追踪颈动脉血管的方法、***及设备
CN110136056A (zh) * 2018-02-08 2019-08-16 华为技术有限公司 图像超分辨率重建的方法和装置
CN110136157A (zh) * 2019-04-09 2019-08-16 华中科技大学 一种基于深度学习的三维颈动脉超声图像血管壁分割方法
CN110189299A (zh) * 2019-04-22 2019-08-30 华中科技大学 一种基于MoileNet的脑血管事件自动识别方法及***
CN110766643A (zh) * 2019-10-28 2020-02-07 电子科技大学 一种面向眼底图像的微动脉瘤检测方法
CN111134727A (zh) * 2018-11-02 2020-05-12 无锡祥生医疗科技股份有限公司 基于神经网络的静脉与动脉识别的穿刺引导***
CN111144163A (zh) * 2018-11-02 2020-05-12 无锡祥生医疗科技股份有限公司 基于神经网络的静脉与动脉识别***
CN111476159A (zh) * 2020-04-07 2020-07-31 哈尔滨工业大学 一种基于双角回归的检测模型训练、检测方法及装置
US20200258223A1 (en) * 2018-05-14 2020-08-13 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
WO2020215557A1 (zh) * 2019-04-24 2020-10-29 平安科技（深圳）有限公司 医学影像解释方法、装置、计算机设备及存储介质
CN111954805A (zh) * 2018-02-06 2020-11-17 密歇根大学董事会 用于光学组织学图像的分析和远程解译的***和方法
CN112017185A (zh) * 2020-10-30 2020-12-01 平安科技（深圳）有限公司 病灶分割方法、装置及存储介质
CN112037163A (zh) * 2019-05-17 2020-12-04 深圳市理邦精密仪器股份有限公司 一种基于超声图像的血流量自动测量方法和装置
CN112704515A (zh) * 2019-10-25 2021-04-27 深圳迈瑞生物医疗电子股份有限公司 多普勒参数的调节方法及相关设备
CN113066061A (zh) * 2021-03-24 2021-07-02 同心医联科技（北京）有限公司 一种基于mra的动脉瘤检测方法、***、终端及介质
CN113749690A (zh) * 2021-09-24 2021-12-07 无锡祥生医疗科技股份有限公司 血管的血流量测量方法、装置及存储介质
CN114202504A (zh) * 2021-09-24 2022-03-18 无锡祥生医疗科技股份有限公司 颈动脉超声自动多普勒方法、超声设备及存储介质

Patent Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237646A (en) * 1992-10-13 1993-08-17 Hewlett-Packard Company Pixel image enhancement employing a reduced template memory store
US6390984B1 (en) * 2000-09-14 2002-05-21 Ge Medical Systems Global Technology Company, Llc Method and apparatus for locking sample volume onto moving vessel in pulsed doppler ultrasound imaging
WO2002097714A1 (en) * 2001-04-09 2002-12-05 Lifespan Biosciences, Inc. Computer method for image pattern recognition in organic material
US20160098589A1 (en) * 2014-08-29 2016-04-07 Definiens Ag Applying Pixelwise Descriptors to a Target Image that are Generated by Segmenting Objects in Other Images
CN106408017A (zh) * 2016-09-13 2017-02-15 天津大学 基于深度学习的超生颈动脉内中膜厚度测量装置和方法
CN108280397A (zh) * 2017-12-25 2018-07-13 西安电子科技大学 基于深度卷积神经网络的人体图像头发检测方法
CN111954805A (zh) * 2018-02-06 2020-11-17 密歇根大学董事会 用于光学组织学图像的分析和远程解译的***和方法
CN110136056A (zh) * 2018-02-08 2019-08-16 华为技术有限公司 图像超分辨率重建的方法和装置
US20200258223A1 (en) * 2018-05-14 2020-08-13 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
CN108764186A (zh) * 2018-06-01 2018-11-06 合肥工业大学 基于旋转深度学习的人物遮挡轮廓检测方法
CN108921825A (zh) * 2018-06-12 2018-11-30 北京羽医甘蓝信息技术有限公司 基于深度学习的检测面部皮肤点状缺陷的方法及装置
CN111134727A (zh) * 2018-11-02 2020-05-12 无锡祥生医疗科技股份有限公司 基于神经网络的静脉与动脉识别的穿刺引导***
CN111144163A (zh) * 2018-11-02 2020-05-12 无锡祥生医疗科技股份有限公司 基于神经网络的静脉与动脉识别***
CN109674493A (zh) * 2018-11-28 2019-04-26 深圳蓝韵医学影像有限公司 医用超声自动追踪颈动脉血管的方法、***及设备
CN110136157A (zh) * 2019-04-09 2019-08-16 华中科技大学 一种基于深度学习的三维颈动脉超声图像血管壁分割方法
CN110189299A (zh) * 2019-04-22 2019-08-30 华中科技大学 一种基于MoileNet的脑血管事件自动识别方法及***
WO2020215557A1 (zh) * 2019-04-24 2020-10-29 平安科技（深圳）有限公司 医学影像解释方法、装置、计算机设备及存储介质
CN112037163A (zh) * 2019-05-17 2020-12-04 深圳市理邦精密仪器股份有限公司 一种基于超声图像的血流量自动测量方法和装置
CN112704515A (zh) * 2019-10-25 2021-04-27 深圳迈瑞生物医疗电子股份有限公司 多普勒参数的调节方法及相关设备
CN110766643A (zh) * 2019-10-28 2020-02-07 电子科技大学 一种面向眼底图像的微动脉瘤检测方法
CN111476159A (zh) * 2020-04-07 2020-07-31 哈尔滨工业大学 一种基于双角回归的检测模型训练、检测方法及装置
CN112017185A (zh) * 2020-10-30 2020-12-01 平安科技（深圳）有限公司 病灶分割方法、装置及存储介质
CN113066061A (zh) * 2021-03-24 2021-07-02 同心医联科技（北京）有限公司 一种基于mra的动脉瘤检测方法、***、终端及介质
CN113749690A (zh) * 2021-09-24 2021-12-07 无锡祥生医疗科技股份有限公司 血管的血流量测量方法、装置及存储介质
CN114202504A (zh) * 2021-09-24 2022-03-18 无锡祥生医疗科技股份有限公司 颈动脉超声自动多普勒方法、超声设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
乔文凡;慎利;戴延帅;曹云刚;: "联合膨胀卷积残差网络和金字塔池化表达的高分影像建筑物自动识别", 地理与地理信息科学, no. 05, 27 August 2018 (2018-08-27) *
刘琼;戴柯;周然;黄文健;丁明跃;: "超声图像中颈动脉血管自动识别算法研究", 生命科学仪器, no. 06, 25 December 2019 (2019-12-25) *
黄滨阳: ""基于量子优化和深度学习的图像重建算法研究"", 《中国硕士学位论文全文数据库》, 15 February 2021 (2021-02-15) *

Similar Documents

Publication Publication Date Title
CN111985536B (zh) 一种基于弱监督学习的胃镜病理图像分类方法
KR102491988B1 (ko) 정량적 이미징을 이용하기 위한 방법 및 시스템
US10453191B2 (en) Automated intravascular plaque classification
CN108898595B (zh) 一种胸部图像中病灶区域的定位模型的构建方法及应用
CN112529894B (zh) 一种基于深度学习网络的甲状腺结节的诊断方法
CN110197713B (zh) 一种医疗影像的处理方法、装置、设备和介质
US20150339816A1 (en) A method and system for assessing fibrosis in a tissue
JP2021531885A (ja) 誘導肝イメージングのための人工ニューラルネットワークを有する超音波システム
CN111539930A (zh) 基于深度学习的动态超声乳腺结节实时分割与识别的方法
CN112381164B (zh) 一种基于多分支注意力机制的超声图像分类方法和装置
CN111476757A (zh) 一种冠脉斑块数据检测方法、***、存储介质、终端
CN111768366A (zh) 超声成像***、bi-rads分级方法及模型训练方法
CN111340128A (zh) 一种肺癌转移性***病理图像识别***及方法
CN114202504A (zh) 颈动脉超声自动多普勒方法、超声设备及存储介质
Khan et al. Benchmark methodological approach for the application of artificial intelligence to lung ultrasound data from covid-19 patients: From frame to prognostic-level
CN113313714B (zh) 一种基于改进U-Net网络的冠脉OCT图像病变斑块分割方法
US20220061920A1 (en) Systems and methods for measuring the apposition and coverage status of coronary stents
CN117197594B (zh) 一种基于深度神经网络的心脏分流分类***
Xing et al. Automatic detection of A‐line in lung ultrasound images using deep learning and image processing
CN113570594A (zh) 超声图像中目标组织的监测方法、装置及存储介质
CN115760851B (zh) 一种基于机器学习的超声图像数据处理设备、***及计算机可读存储介质
CN116416221A (zh) 一种超声图像分析方法
CN111265234A (zh) 一种肺部纵膈***的性质判定方法及***
CN113838028A (zh) 一种颈动脉超声自动多普勒方法、超声设备及存储介质
CN116168029A (zh) 一种用于评估肋骨骨折的方法、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination