CN112184817B - 一种臂丛神经图像识别方法及*** - Google Patents

一种臂丛神经图像识别方法及*** Download PDF

Info

Publication number
CN112184817B
CN112184817B CN202011057047.3A CN202011057047A CN112184817B CN 112184817 B CN112184817 B CN 112184817B CN 202011057047 A CN202011057047 A CN 202011057047A CN 112184817 B CN112184817 B CN 112184817B
Authority
CN
China
Prior art keywords
image
brachial plexus
ultrasonic image
ultrasonic
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011057047.3A
Other languages
English (en)
Other versions
CN112184817A (zh
Inventor
邱逦
向茜
王丽芸
朱笔挥
李科君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Wangwang Technology Co ltd
West China Hospital of Sichuan University
Original Assignee
Chengdu Wangwang Technology Co ltd
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Wangwang Technology Co ltd, West China Hospital of Sichuan University filed Critical Chengdu Wangwang Technology Co ltd
Priority to CN202011057047.3A priority Critical patent/CN112184817B/zh
Publication of CN112184817A publication Critical patent/CN112184817A/zh
Application granted granted Critical
Publication of CN112184817B publication Critical patent/CN112184817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3401—Puncturing needles for the peridural or subarachnoid space or the plexus, e.g. for anaesthesia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Anesthesiology (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种臂丛神经图像识别暨麻醉穿刺引导方法及***，协助医生在臂丛神经麻醉穿刺引导过程中，通过构建具有针对性的模型对超声扫描到的图像进行臂丛神经识别标注，同时通过对臂丛神经前后的前斜角肌和中斜角肌也进行识别标注，便于麻醉医生在实际麻醉注射过程中医生能够基于具有上述解剖学结构标注的超声图像，准确地进行神经阻滞，快速上手，同时提高工作效率。

Description

一种臂丛神经图像识别方法及***
技术领域
本发明属于影像识别技术领域，具体涉及一种臂丛神经图像识别方法及***。
背景技术
将局部***注入臂丛神经干周围使其所支配的区域产生神经传导阻滞的麻醉方法称为臂丛神经阻滞麻醉。是临床上常用的麻醉方法之一。适用于手、前臂、上臂及肩部各种手术。在超声影像设备引入临床使用以后，特别在麻醉穿刺领域，麻醉医生熟练掌握超声引导下的麻醉穿刺，需要经过长时间专业的超声机操作培训。因此，急需一种辅助技术手段协助麻醉医生在使用超声引导臂丛神经麻醉穿刺中，快速上手，准确地找到目标位置。
为解决上述问题，发明人并未在现有技术中找到相关设备或技术，鉴于此，发明人希望能够使用人工智能在超声影像中，辅助麻醉医生快速确认麻醉穿刺的准确目标位置。然而，对于某些复杂的超声影像，或者对于经验不丰富的医生医生来说，在复杂的超声影像中找出目标位置是十分困难的，需要考虑使用辅助软件对超声影像进行处理以帮助医生快速找到目标位置，但是目前并没有这样的方法及软件。
在完成本发明的过程中，发明人发现现有技术中存在如下问题：对超声影像进行处理的方法包括Haar特征处理方法与Cascade处理方法。Haar特征处理方法是提取影像的Haar特征值，但是Haar特征值只反映了超声图像的灰度变化情况，提取特征值的能力弱；Cascade处理方法使用Cascade级联思想从平滑窗中定位，但是Cascade级联思想仅仅使用了很弱的特征，用它做分类的检测器也是弱分类器，抗干扰差，泛化性差。对超声影像中的神经丛位置分析准确性较低。
发明内容
针对现有技术中的上述不足，本发明提供的臂丛神经图像识别方法及***解决了现有技术中在进行神经阻滞时，对医生经验要求高，难以准确定位臂丛神经的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种臂丛神经图像识别方法，包括以下步骤：
S1、构建臂丛神经图像识别模型
S2、扫描获取臂丛神经切面的超声影像；
S3、在超声影像上进行解剖学结构标记；
S4、利用标记后的超声影像对构建的臂丛神经图像识别模型进行训练；
S5、利用训练好的臂丛神经图像识别模型对待识别的超声影像进行识别，获得对臂丛神经进行准确定位的图像。
进一步地，所述步骤S1中的臂丛神经图像识别模型为具有至上而下各阶级逐层相连的阶梯型结构的深层卷积神经网络。
进一步地，所述步骤S2中的臂丛神经切面包括臂丛神经根部切面、臂丛神经干部切面和臂丛神经股部切面；
扫描获取臂丛神经切面的超声影像的方法具体为：自颈部下份、甲状腺外侧将探头横向放置向下滑行扫描至锁骨上区，实时显示具有前斜角肌、中后斜角肌和臂丛神经肌间沟段的超声图像。
进一步地，所述步骤S3中，在所述超声影像中需要标记的解剖学结构包括臂丛神经、前斜角肌和中斜角肌；
在所述超声影像中，臂丛神经位于前斜角肌和中斜角肌之间，通过标记前斜角肌和中斜角肌，以实现臂丛神经实际位置的准确定位。
进一步地，所述步骤S4中对臂丛神经图像识别模型训练的方法具体为：
采用输入数据增强的仿射变换方法对臂丛神经图像识别模型进行训练，并按照交叉检验的方式对其进行验证测试；
其中，训练过程中参数设置包括将learning_rate设置为0.001，将batch设置为32，将step设置为35000。
进一步地，所述步骤S5中，对待识别的超声影像进行识别的方法具体为：
S51、对待识别的超声影像进行分帧处理，获得连续的单帧超声图像；
S52、对各单帧超声图像进行特征提取；
S53、对每张单帧超声图像中的特征进行相似度匹配并得到目标影像；
S54、对提取的特征进行特征融合处理并得到目标参数；
S55、将得到的目标参数定位到目标影像中，获得对臂丛神经完成进行准确定位的图像。
进一步地，所述步骤S53具体为：
A1、构建各单帧超声图像的多层阶梯结构，并获取每层阶梯结构的空间分辨率；
A2、依次判断各单帧超声图像中高层阶梯结构的空间分辨率是否高于低层阶梯结构的空间分辨率；
若是，则进入步骤A 3；
若否，则返回步骤S52；
A3、增加单帧超声图像中高层阶梯结构的语义值，进而得到当前单帧超声图像的整体语义信息；
A4、将所有单帧超声图像的整体语义信息之和作为分母，依次将每个单帧超声图像的整体语义信息作为分子，得到各整体语义信息对应的分数；
A5、将各整体语义信息分数作为对应单帧超声图像中的特征权重；
A6、将各特征权重的参数与臂丛神经图像识别模型中保存的标准超声图像的参数进行相似度匹配，获得其对应的置信度；
A7、将最大置信度对应的单帧超声图像作为目标影像。
进一步地，所述步骤S54具体为：
通过对提取的特征进行分类与回归处理，输出各解剖学结构的位置信息和名称信息作为目标参数。
一种臂丛神经图像识别***，包括：
图像采集模块，用于对臂丛神经切面进行扫描并采集其对应的超声影像；
图像传输模块，用于通过有线或无线传输方式将采集的超声影像传输至图像分帧模块；
图像分帧模块，用于将接收到的超声影像分为连续的单帧超声图像；
图像识别模块，用于依次对各单帧超声图像进行识别获取标注有解剖学结构位置及名称的超声图像；
图像显示模块，用于将标注有解剖学结构位置及名称的超声图像进行显示，作为臂丛神经的图像。
进一步地，所述图像采集模块为便携式超声机或掌上超声；
所述图像采集模块通过对颈部下份和甲状腺外侧至锁骨上区进行扫描，采集其对应的超声影像。
进一步地，所述图像识别模块包括特征提取单元、目标影像提取单元、特征融合单元及参数定位单元；
所述特征提取单元用于对各单帧超声图像中表征解剖学结构的特征进行提取；
所述目标影像提取单元用于对提取的特征进行相似度匹配，获得存在完整解剖学结构的目标影像；
所述特征融合单元用于提取的所有特征进行特征融合，获得解剖学结构的位置及名称信息作为目标参数；
所述参数定位单元用于将获取的目标参数定位到目标影像中，得到标注有解剖学结构位置及名称参数的超声图像。
进一步地，所述图像显示模块中显示的臂丛神经的图像中标注的解剖学结构包括臂丛神经、前斜角肌和中斜角肌。
进一步地，所述图像采集模块、图像传输模块、图像分帧模块、图像识别模块和图像显示模块构成用于臂丛神经图像识别的AI模型，所述AI模型可运行于Windows***、linux***、IOS***及Android***中的任意一种。
进一步地，所述AI模型不仅可运行于大型服务器、也可以运行于普通台式机、笔记本电脑及移动设备中的任意一种，不限于是否有独立显卡支持；
所述移动设备包括平板电脑和智能手机。
本发明的有益效果为：
(1)本发明通过构建具有针对性的臂丛神经识别模型，来对扫描的超声图像进行臂丛神经识别标注，同时通过对臂丛神经前后的前斜角肌和中斜角肌也进行识别标注，便于麻醉医生在实际过程中能够独立判断基于具有上述解剖学结构标注的超声图像，准确地进行神经阻滞；
(2)本发明在进行超声图像中臂丛神经的识别定位时，不但可以有效区分图像中各分类间的差异，也对各类内的分布也有很好的约束，具有良好的监督效果；
(3)本发明采用深层卷积神经网络进行臂丛神经特征提取，可以确保较高的特征提取能力，图像中的空间特征、高频及低频特征都能很好的捕捉到，同时也具有较好的鲁棒性；
(4)本发明中的臂丛神经图像识别模型对硬件结构要求低，能广泛适用于各种移动设备及环境，适用于基层机构以及大型超声机不方便携带的地方，比如战场环境，具有较高的普适性。
附图说明
图1为本发明提供的臂丛神经图像识别方法流程图。
图2为本发明提供的臂丛神经图像识别***结构框图。
图3为本发明提供的臂丛神经的图像示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例1：
如图1所示，一种臂丛神经图像识别方法，包括以下步骤：
S1、构建臂丛神经图像识别模型；
S2、扫描获取臂丛神经切面的超声影像；
S3、在超声影像上进行解剖学结构标记；
S4、利用标记后的超声影像对构建的臂丛神经图像识别模型进行训练；
S5、利用训练好的臂丛神经图像识别模型对待识别的超声影像进行识别，获得对臂丛神经进行准确定位的图像。
在本发明实施例中，将获取的具有臂丛神经切面的超声影像输入到构建的识别模型中，对臂丛神经及其相关定位辅助结构进行标注，使得在没有超声医生的辅助下，麻醉医生能通过识别后具有标注信息的图像快速定位臂丛神经，进而进行神经阻滞。
本实施例的步骤S1中的臂丛神经图像识别模型为具有至上而下各阶级逐层相连的阶梯型结构的深层卷积神经网络；
本实施例的步骤S2中的臂丛神经切面包括臂丛神经根部切面、臂丛神经干部切面和臂丛神经股部切面；
扫描获取臂丛神经切面的超声影像的方法具体为：自颈部下份、甲状腺外侧将探头横向放置向下滑行扫描至锁骨上区，实时显示具有前斜角肌、中后斜角肌和臂丛神经肌间沟段的超声图像。
本发明实施例的步骤S3中，在超声影像中需要标记的解剖学结构包括臂丛神经、前斜角肌和中斜角肌；在超声影像中，臂丛神经位于前斜角肌和中斜角肌之间，通过标记前斜角肌和中斜角肌，以实现臂丛神经实际位置的准确定位。具体地，临床神经阻滞一般阻滞臂丛神经肌间沟阶段，通过对前斜角肌和中斜角肌进行标记，有助于麻醉医生准确确认进行神经阻滞的位置。
本发明实施例的步骤S4中对臂丛神经图像识别模型训练的方法具体为：采用输入数据增强的仿射变换方法对臂丛神经图像识别模型进行训练，并按照交叉检验的方式对其进行验证测试；
其中，训练过程中参数设置包括将learning_rate设置为0.001，将batch设置为32，将step设置为35000；
上述臂丛神经图像识别模型训练过程的损失函数为：
Figure GDA0003907048890000081
式中，yi为一个batch中的第i个数据的准确标注结果，y'i为模型输出的预测结果，n为输入数据总数。
本实施例的步骤S5中，通对待识别的超声影像进行识别的方法具体为：
S51、对待识别的超声影像进行分帧处理，获得连续的单帧超声图像；
S52、对各单帧超声图像进行特征提取；
S53、对每张单帧超声图像中的特征进行相似度匹配并得到目标影像；
S54、对提取的特征进行特征融合处理并得到目标参数；
S55、将得到的目标参数定位到目标影像中，获得对臂丛神经完成进行准确定位的图像。
在上述过程中，采用常规的视频分帧技术将获取的超声影像分帧处理为若干连续帧的超声图像，便于臂丛神经图像识别模型完成步骤S52-S55中图像识别处理过程；具体地，特征提取为通过卷积层的组合得到一个多维权重矩阵，特征融合是通过对多维权重矩阵进行拼接得到，相似度匹配是通过对特征权重矩阵的非负矩阵分解得到，参数定位是通过卷积网络输出位置目标的名称及区域坐标。
上述步骤S53具体为：
A1、构建各单帧超声图像的多层阶梯结构，并获取每层阶梯结构的空间分辨率；
A2、依次判断各单帧超声图像中高层阶梯结构的空间分辨率是否高于低层阶梯结构的空间分辨率；
若是，则进入步骤A3；
若否，则返回步骤S52；
A3、增加单帧超声图像中高层阶梯结构的语义值，进而得到当前单帧超声图像的整体语义信息；
A4、将所有单帧超声图像的整体语义信息之和作为分母，依次将每个单帧超声图像的整体语义信息作为分子，得到各整体语义信息对应的分数；
A5、将各整体语义信息分数作为对应单帧超声图像中的特征权重；
A6、将各特征权重的参数与臂丛神经图像识别模型中保存的标准超声图像的参数进行相似度匹配，获得其对应的置信度；
A7、将最大置信度对应的单帧超声图像作为目标影像。
上述过程中，通过构建多层阶梯结构的深层卷积神经网络结构对单帧图像进行处理，通过使用多层结构来加强层之间的联系，实现了特征图像的有效利用并提取了能够表征图像所需解剖学结构的丰富高频特征。
上述步骤S54具体为：
通过对提取的特征进行分类与回归处理，输出各解剖学结构的位置信息和名称信息作为目标参数。通过对提取的特征中属于同一解剖学结构的特征进行分类，使得同一结构的特征尽可能的充分，并对同一分类下的解剖学结构进行特征融合，使得构建训练完成的识别模型针对略有差异的超声图像中的解剖学结构也能识别出来，提高了模型的识别效率。
实施例2：
如图2所示，本实施例提供了一种与上述实施例1中方法对应的臂丛神经图像识别***，包括：
图像采集模块，用于对臂丛神经切面进行扫描并采集其对应的超声影像；
图像传输模块，用于通过有线或无线传输方式将采集的超声影像传输至图像分帧模块；
图像分帧模块，用于将接收到的超声影像分为连续的单帧超声图像；
图像识别模块，用于依次对各单帧超声图像进行识别获取标注有解剖学结构位置及名称的超声图像；
图像显示模块，用于将标注有解剖学结构位置及名称的超声图像进行显示，作为臂丛神经的图像。
本实施例中的图像采集模块为超声机或手持超声仪；图像采集模块通过对颈部下份、甲状腺外侧至锁骨上区进行扫描，采集其对应的超声影像；基于臂丛神经存在的区域范围进行扫描采集获取对应的超声影像，避免了在不必要的区域进行扫描，降低识别效率。
本实施例中的图像识别模块与上述实施例1中的臂丛神经图像识别模型的功能相同，包括特征提取单元、目标影像提取单元、特征融合单元及参数定位单元；
特征提取单元用于对各单帧超声图像中表征解剖学结构的特征进行提取；目标影像提取单元用于对提取的特征进行相似度匹配，获得存在完整解剖学结构的目标影像；特征融合单元用于提取的所有特征进行特征融合，获得解剖学结构的位置及名称信息作为目标参数；参数定位单元用于将获取的目标参数定位到目标影像中，得到标注有解剖学结构位置及名称参数的超声图像。
其中，特征提取单元为构建深层卷积神经网络进行图像特征提取的过程，避免传统的Hear特征提取方法及Cascade方法存在的抗干扰性差、泛化性差的问题，目标影像提取单元为通过各种图像相似度指标进行相似度匹配的过程，图像相似度指标包括曼哈顿距离、欧氏距离、马氏距离、图像均值和图像标准差等，设置的相似度指标越多，得到的相似度匹配精度也就越高，目标影像也就越准确；特征融合单元为将同一解剖学结构所具有所有特征进行融合的过程，以使得确定的目标参数能尽可能多的表征各种解剖学结构。
本实施例中的图像显示模块中显示的臂丛神经的图像中标注的解剖学结构包括臂丛神经、前斜角肌和中斜角肌，在超声影像中，臂丛神经位于前斜角肌和中斜角肌之间，临床神经阻滞一般阻滞臂丛神经肌间沟段，通过对前斜角肌和中斜角肌进行标记，有助于麻醉医生准确确认进行神经阻滞的位置。
本实施例中的图像采集模块、图像传输模块、图像分帧模块、图像识别模块和图像显示模块构成用于臂丛神经图像识别的AI模型，AI模型可运行于Windows***、linux***、IOS***及Android***中的任意一种；另外，AI模型不仅可运行于大型服务器、也可以运行于普通台式机、笔记本电脑及移动设备中的任意一种，不限于是否有独立显卡支持；移动设备包括平板电脑和智能手机等。
传统的相关AI模型的运行需要大量的计算资源，所以常规AI模型都是集成在大型传统超声机中，本发明对该技术进行了突破，减少了对计算资源的需求，模型运行的硬件环境可以在普通台式机(不需要太专业的显卡)、笔记本电脑(不需要太专业的显卡)、PAD和手机等移动设备上，软件环境支撑Linux、Windows、IOS和Android各个版本，有效支持配合掌上超声工作，降低了使用难度，扩大了适用面。
图3为本发明实施例中显示模块呈现的具有解剖学结构标注的图像，从图中可以看出，本发明方法能清晰地对臂丛神经、前斜角肌和中斜角肌进行标注，便于麻醉医生操作过程中对臂丛神经进行准确定位，进行神经阻滞。

Claims (3)

1.一种臂丛神经图像识别方法，其特征在于，包括以下步骤：
S1、构建臂丛神经图像识别模型；
S2、扫描获取臂丛神经切面的超声影像；
S3、在超声影像上进行解剖学结构标记；
S4、利用标记后的超声影像对构建的臂丛神经图像识别模型进行训练；
S5、利用训练好的臂丛神经图像识别模型对待识别的超声影像进行识别，获得对臂丛神经进行准确定位的图像；
所述步骤S1中的臂丛神经图像识别模型为具有至上而下各阶级逐层相连的阶梯型结构的深层卷积神经网络；
所述步骤S2中的臂丛神经切面包括臂丛神经根部切面、臂丛神经干部切面和臂丛神经股部切面；
扫描获取臂丛神经切面的超声影像的方法具体为：自颈部下份、甲状腺外侧将探头横向放置向下滑行扫描至锁骨上区，实时显示具有前斜角肌、中后斜角肌和臂丛神经肌间沟段的超声图像；
所述步骤S3中，在所述超声影像中需要标记的解剖学结构包括臂丛神经、前斜角肌和中斜角肌；
在所述超声影像中，臂丛神经位于前斜角肌和中斜角肌之间，通过标记前斜角肌和中斜角肌，以实现臂丛神经实际位置的准确定位；
所述步骤S4中对臂丛神经图像识别模型训练的方法具体为：
采用输入数据增强的仿射变换方法对臂丛神经图像识别模型进行训练，并按照交叉检验的方式对其进行验证测试；
其中，训练过程中参数设置包括将learning_rate设置为0.001，将batch设置为32，将step设置为35000；
所述步骤S5中，对待识别的超声影像进行识别的方法具体为：
S51、对待识别的超声影像进行分帧处理，获得连续的单帧超声图像；
S52、对各单帧超声图像进行特征提取；
S53、对每张单帧超声图像中的特征进行相似度匹配并得到目标影像；
S54、对提取的特征进行特征融合处理并得到目标参数；
S55、将得到的目标参数定位到目标影像中，获得对臂丛神经完成进行准确定位的图像；
在上述过程中，采用常规的视频分帧技术将获取的超声影像分帧处理为若干连续帧的超声图像，便于臂丛神经图像识别模型完成步骤S52-S55中图像识别处理过程；具体地，特征提取为通过卷积层的组合得到一个多维权重矩阵，特征融合是通过对多维权重矩阵进行拼接得到，相似度匹配是通过对特征权重矩阵的非负矩阵分解得到，参数定位是通过卷积网络输出位置目标的名称及区域坐标；
上述步骤S53具体为：
A1、构建各单帧超声图像的多层阶梯结构，并获取每层阶梯结构的空间分辨率；
A2、依次判断各单帧超声图像中高层阶梯结构的空间分辨率是否高于低层阶梯结构的空间分辨率；
若是，则进入步骤A3；
若否，则返回步骤S52；
A3、增加单帧超声图像中高层阶梯结构的语义值，进而得到当前单帧超声图像的整体语义信息；
A4、将所有单帧超声图像的整体语义信息之和作为分母，依次将每个单帧超声图像的整体语义信息作为分子，得到各整体语义信息对应的分数；
A5、将各整体语义信息分数作为对应单帧超声图像中的特征权重；
A6、将各特征权重的参数与臂丛神经图像识别模型中保存的标准超声图像的参数进行相似度匹配，获得其对应的置信度；
A7、将最大置信度对应的单帧超声图像作为目标影像。
2.根据权利要求1所述的臂丛神经图像识别方法，其特征在于，所述步骤S54具体为：
通过对提取的特征进行分类与回归处理，输出各解剖学结构的位置信息和名称信息作为目标参数。
3.一种臂丛神经图像识别***，其特征在于，包括：
图像采集模块，用于对臂丛神经切面进行扫描并采集其对应的超声影像；
图像传输模块，用于通过有线或无线传输方式将采集的超声影像传输至图像分帧模块；
图像分帧模块，用于将接收到的超声影像分为连续的单帧超声图像；
图像识别模块，用于依次对各单帧超声图像进行识别获取标注有解剖学结构位置及名称的超声图像；
图像显示模块，用于将标注有解剖学结构位置及名称的超声图像进行显示，作为臂丛神经的图像；
所述图像采集模块为便携式超声机或掌上超声；
所述图像采集模块通过对颈部下份和甲状腺外侧至锁骨上区进行扫描，采集其对应的超声影像；
所述图像识别模块包括特征提取单元、目标影像提取单元、特征融合单元及参数定位单元；
所述特征提取单元用于对各单帧超声图像中表征解剖学结构的特征进行提取；
所述目标影像提取单元用于对提取的特征进行相似度匹配，获得存在完整解剖学结构的目标影像，具体步骤为：
A1、构建各单帧超声图像的多层阶梯结构，并获取每层阶梯结构的空间分辨率；
A2、依次判断各单帧超声图像中高层阶梯结构的空间分辨率是否高于低层阶梯结构的空间分辨率；
若是，则进入步骤A3；
若否，则返回步骤特征提取单元，用于提取各单帧超声图像中表征解剖学结构的特征；
A3、增加单帧超声图像中高层阶梯结构的语义值，进而得到当前单帧超声图像的整体语义信息；
A4、将所有单帧超声图像的整体语义信息之和作为分母，依次将每个单帧超声图像的整体语义信息作为分子，得到各整体语义信息对应的分数；
A5、将各整体语义信息分数作为对应单帧超声图像中的特征权重；
A6、将各特征权重的参数与臂丛神经图像识别模型中保存的标准超声图像的参数进行相似度匹配，获得其对应的置信度；
A7、将最大置信度对应的单帧超声图像作为目标影像；
所述特征融合单元用于提取的所有特征进行特征融合，获得解剖学结构的位置及名称信息作为目标参数；
所述参数定位单元用于将获取的目标参数定位到目标影像中，得到标注有解剖学结构位置及名称参数的超声图像；
所述图像显示模块中显示的臂丛神经的图像中标注的解剖学结构包括臂丛神经、前斜角肌和中斜角肌；
所述图像采集模块、图像传输模块、图像分帧模块、图像识别模块和图像显示模块构成用于臂丛神经图像识别的AI模型，所述AI模型可运行于Windows***、linux***、IOS***及Android***中的任意一种；
所述AI模型不仅可运行于大型服务器、也可以运行于普通台式机、笔记本电脑及移动设备中的任意一种，不限于是否有独立显卡支持；
所述移动设备包括平板电脑和智能手机。
CN202011057047.3A 2020-09-30 2020-09-30 一种臂丛神经图像识别方法及*** Active CN112184817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011057047.3A CN112184817B (zh) 2020-09-30 2020-09-30 一种臂丛神经图像识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011057047.3A CN112184817B (zh) 2020-09-30 2020-09-30 一种臂丛神经图像识别方法及***

Publications (2)

Publication Number Publication Date
CN112184817A CN112184817A (zh) 2021-01-05
CN112184817B true CN112184817B (zh) 2022-12-02

Family

ID=73946458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011057047.3A Active CN112184817B (zh) 2020-09-30 2020-09-30 一种臂丛神经图像识别方法及***

Country Status (1)

Country Link
CN (1) CN112184817B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118037751A (zh) * 2024-02-27 2024-05-14 中国医学科学院肿瘤医院 基于超声影像的神经阻滞自动分割及可视化方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009110410A1 (ja) * 2008-03-04 2009-09-11 日本電気株式会社 画像照合装置、画像照合用特徴量格納記憶媒体、画像照合方法および画像照合用プログラム
CN108804547A (zh) * 2018-05-18 2018-11-13 深圳华声医疗技术股份有限公司 超声图像教学方法、装置及计算机可读存储介质
CN110384698A (zh) * 2019-08-14 2019-10-29 牡丹江医学院 一种适用于彩超引导下对臂丛神经麻醉的麻醉剂及其应用
CN110399915A (zh) * 2019-07-23 2019-11-01 王英伟 一种基于深度学习的超声图像识别方法及其***
CN110414405A (zh) * 2019-07-23 2019-11-05 王英伟 基于深度学习的肌间沟臂丛神经的识别方法及其***
CN110706807A (zh) * 2019-09-12 2020-01-17 北京四海心通科技有限公司 一种基于本体语义相似度的医学问答方法
CN111260786A (zh) * 2020-01-06 2020-06-09 南京航空航天大学 一种智能超声多模态导航***及方法
CN111292324A (zh) * 2020-03-20 2020-06-16 电子科技大学 一种针对臂丛神经超声图像的多目标识别方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8556635B2 (en) * 2000-10-23 2013-10-15 Christopher C. Toly Physiological simulator for use as a brachial plexus nerve block trainer

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009110410A1 (ja) * 2008-03-04 2009-09-11 日本電気株式会社 画像照合装置、画像照合用特徴量格納記憶媒体、画像照合方法および画像照合用プログラム
CN108804547A (zh) * 2018-05-18 2018-11-13 深圳华声医疗技术股份有限公司 超声图像教学方法、装置及计算机可读存储介质
CN110399915A (zh) * 2019-07-23 2019-11-01 王英伟 一种基于深度学习的超声图像识别方法及其***
CN110414405A (zh) * 2019-07-23 2019-11-05 王英伟 基于深度学习的肌间沟臂丛神经的识别方法及其***
CN110384698A (zh) * 2019-08-14 2019-10-29 牡丹江医学院 一种适用于彩超引导下对臂丛神经麻醉的麻醉剂及其应用
CN110706807A (zh) * 2019-09-12 2020-01-17 北京四海心通科技有限公司 一种基于本体语义相似度的医学问答方法
CN111260786A (zh) * 2020-01-06 2020-06-09 南京航空航天大学 一种智能超声多模态导航***及方法
CN111292324A (zh) * 2020-03-20 2020-06-16 电子科技大学 一种针对臂丛神经超声图像的多目标识别方法及***

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
"Deep learning for Semantic Segmentation of Brachial Plexus Nervesin Ultrasound Images Using U-Net and M-Net";Abraham N等;《2019 3rd International Conference on Imaging Signal Processing and Communication》;20191231;第235-242页 *
"Impaired Visual Hand Recognition in Preoperative Patients during Brashial Plexus Anesthesia";Silva等;《Anesthesiology》;20111231;第126-134页 *
"Ultrasound Nerve Segmentation of Brachial Plexus Based on Optimized ResU-Net";Wang R等;《2019 IEEE International Conference on Imaging Systems and Techniques》;20191231;第2237-2245页 *
"不同定位方法对臂丛神经阻滞麻醉的效果比较";汪三岳等;《中华全科医学》;20140331;第12卷(第3期);第338-340页 *
"两种容量罗哌卡因用于超声引导下肌间沟臂丛神经阻滞对膈肌***影像";殷琴琴等;《临床麻醉学杂志》;20191231;第35卷(第12期);第1170-1173页 *
"基于卷积神经网络的臂丛神经超声图像分割方法";龙法宁等;《合肥工业大学学报(自然科学版)》;20180930;第41卷(第9期);第1191-1195页及第1296页 *
"基于深度学习与自适应对比度增强的臂丛神经超声图像优化";杨桐等;《计算机科学》;20191130;第46卷(第11A期);第236-240页 *

Also Published As

Publication number Publication date
CN112184817A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
US11776421B2 (en) Systems and methods for monitoring and evaluating body movement
WO2020215565A1 (zh) 手部图像的分割方法、装置及计算机设备
US20210397266A1 (en) Systems and methods for language driven gesture understanding
CN111832468B (zh) 基于生物识别的手势识别方法、装置、计算机设备及介质
US8755569B2 (en) Methods for recognizing pose and action of articulated objects with collection of planes in motion
US20190066327A1 (en) Non-transitory computer-readable recording medium for storing skeleton estimation program, skeleton estimation device, and skeleton estimation method
US11759126B2 (en) Scoring metric for physical activity performance and tracking
Lu et al. Appearance-based gaze estimation via uncalibrated gaze pattern recovery
CN111401318B (zh) 动作识别方法及装置
WO2022089257A1 (zh) 医学图像处理方法、装置、设备、存储介质及产品
CN108257670B (zh) 医学解释模型的建立方法和装置
CN113597614B (zh) 图像处理方法和装置、电子设备及存储介质
US20230290174A1 (en) Weakly supervised semantic parsing
CN112184817B (zh) 一种臂丛神经图像识别方法及***
CN111190595A (zh) 基于界面设计图自动生成界面代码的方法、装置、介质及电子设备
CN113485555A (zh) 医学影像阅片方法、电子设备和存储介质
CN115331314A (zh) 一种基于app筛查功能的运动效果评估方法和***
CN116130088A (zh) 多模态面诊问诊方法、装置及相关设备
Li Badminton motion capture with visual image detection of picking robotics
CN114708981A (zh) 基于医学影像报告的疾病图谱构建方法、解读方法及***
CN114519804A (zh) 一种人体骨架标注方法、装置及电子设备
CN113436143A (zh) 基于人工智能的关节检测方法、装置及电子设备
CN112331312A (zh) 标注质量确定方法、装置、设备及介质
CN110276249A (zh) 立体手掌图像摆正方法及装置
CN117173491B (zh) 医学图像的标注方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant