CN117437392B - 交叉韧带止点标记及其模型训练的方法和关节镜*** - Google Patents

交叉韧带止点标记及其模型训练的方法和关节镜*** Download PDF

Info

Publication number
CN117437392B
CN117437392B CN202311731000.4A CN202311731000A CN117437392B CN 117437392 B CN117437392 B CN 117437392B CN 202311731000 A CN202311731000 A CN 202311731000A CN 117437392 B CN117437392 B CN 117437392B
Authority
CN
China
Prior art keywords
video
feature
cruciate ligament
frame image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311731000.4A
Other languages
English (en)
Other versions
CN117437392A (zh
Inventor
赵志江
周世豪
易之光
潘振兴
吴俊男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Ruijian Medical Technology Co ltd
Original Assignee
Hangzhou Ruijian Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Ruijian Medical Technology Co ltd filed Critical Hangzhou Ruijian Medical Technology Co ltd
Priority to CN202311731000.4A priority Critical patent/CN117437392B/zh
Publication of CN117437392A publication Critical patent/CN117437392A/zh
Application granted granted Critical
Publication of CN117437392B publication Critical patent/CN117437392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了交叉韧带止点标记及其模型训练的方法和关节镜***，涉及图像识别技术领域，模型训练方法包括对从视频图像中提取视频帧图像进行预处理；对预处理后的视频帧图像进行特征工程，确定特征向量；特征向量为高维向量；根据特征向量对经过预处理的视频帧图像进行归一化处理，构建数据集；利用构建的数据集分别对不同的图像识别模型进行独立训练，获得不同的交叉韧带止点识别模型；不同的图像识别模型至少包括RBF神经网络、BP神经网络和支持向量机中的任意两者；对获得的不同的交叉韧带止点识别模型进行融合，将融合模型确定为交叉韧带止点模型。能够提高识别精度和可靠性，从而缩短手术过程，降低风险，同时也能减少医生注意力的分散。

Description

交叉韧带止点标记及其模型训练的方法和关节镜***
技术领域
本发明涉及交叉韧带止点识别技术领域，具体涉及一种交叉韧带止点标记及其模型训练的方法和关节镜***。
背景技术
目前在关节手术中会使用摄像***来获取关节内部的实时图像，以方便医生在（膝）交叉韧带的修复过程中进行观察和操作。在该过程中，医生需要根据个人经验对(膝)交叉韧带止点进行判断和定位。因受医生临床经验差异以及关节腔内组织结构差异的影响，在人工进行止点定位时往往存在差异，稳定性和准确性有待提高。
另外，即使一开始已经获取了（膝）交叉韧带止点的具***置，但在术中常常会移动关节镜的位置，在移动位置后，可能会导致视野内膝交叉韧带止点的丢失。若医生此时需要重新确定（膝）交叉韧带止点的具***置，则可能存在短时间无法准确找到止点位置的情况，进而延长手术时间。手术时间增加后也会增加患者的感染风险。同时，为减少出现这种情况，也会分散医生的一部分注意力来留心膝交叉韧带止点的位置，导致医生的注意力分散，影响手术安全性。
发明内容
本发明旨在一定程度上解决相关技术中的技术问题之一。为此，本发明提供了一种交叉韧带止点标记及其模型训练的方法和装置，能够在一定程度上提高识别精度和可靠性，从而缩短手术过程，降低风险，同时也能减少医生注意力的分散。
为了达到上述目的，本发明方案在第一方面提出：
一种交叉韧带止点模型训练方法，所述方法包括，
对从关节镜采集的视频图像中提取的含有交叉韧带止点的视频帧图像进行预处理；
对预处理后的视频帧图像进行特征工程，确定特征向量；所述特征向量为高维向量；
根据特征向量对经过预处理的视频帧图像进行归一化处理，构建数据集；
利用构建的数据集分别对不同的图像识别模型进行独立训练，获得不同的交叉韧带止点识别模型；不同的所述图像识别模型至少包括RBF神经网络、BP神经网络和支持向量机三者中的任意两者；
对获得的不同的交叉韧带止点识别模型进行融合，将融合模型确定为所述交叉韧带止点模型。
可选的，所述预处理步骤包括采用灰度处理和边缘检测，用于将感兴趣区域从帧图像的背景区域中分割出来；所述感兴趣区域是所述特征工程步骤中的处理对象。
可选的，所述特征工程包括特征提取和特征选择；在所述特征提取步骤中提取的特征个数至少15种，在所述特征选择的步骤中采用Fisher判别准则对提取的特征进行选择，根据Fisher值的大小至少从中选出前三分之一的特征。
可选的，所述对获得的不同的交叉韧带止点识别模型进行融合的步骤中，采用打分机制对不同的交叉韧带止点识别模型的输出进行融合。
此外，本发明在第二方面还提供了一种交叉韧带止点标记方法，用于关节镜***，所述标记方法包括，
获取由关节镜实时采集的视频；
对视频的帧图像进行预处理；
对预处理的结果中感兴趣的区域进行特征归一化处理；
将特征归一化处理的结果代入预先获取的交叉韧带止点模型中，获得识别结果；其中所述预先获取的交叉韧带止点模型采用如在第一方面所述的交叉韧带止点模型训练方法获得；
根据识别结果在帧图像上对应的感兴趣区域添加标记；
在关节镜***的显示设备上显示带标记的帧图像。
可选的，所述对视频的帧图像进行预处理步骤中，所述视频的帧图像是根据视频画面变化快慢的程度确定。
可选的，所述视频画面变化快慢是根据关节镜镜头的移动状态来确定；在所述对视频的帧图像进行预处理步骤前，还包括对关节镜镜头进行运动检测，当检测到关节镜的镜头在预设的移动速度内时确定对应时刻的视频画面为所述视频的帧图像。
可选的，所述视频画面变化快慢是根据视频的动态码率来确定；在所述对视频的帧图像进行预处理步骤前，还包括获取当前视频画面的动态码率，当动态码率低于或等于预设值时确定当前视频画面为所述视频的帧图像。
本发明所提供的交叉韧带止点标记方法与前述交叉韧带止点模型训练方法的有益效果推理过程相似，在此不再赘述。
并且，本发明在第三方面还提供了一种关节镜***，包括关节镜、图像处理装置和显示设备，所述关节镜用于实时采集视频图像；所述图像处理装置包括，
帧图像获取模块，用于从关节镜实时采集的视频中获取视频的帧图像；
图像预处理模块，用于对视频的帧图像进行预处理，从背景区域中分割感兴趣区域；
归一化处理模块，用于对感兴趣的区域进行特征归一化处理，获取特征矩阵；
识别模块，用于将特征矩阵代入预先获取的交叉韧带止点模型，输出识别结果；
标记模块，用于根据识别结果在帧图像上对应的感兴趣区域添加标记；
所述显示设备用于显示采集的视频图像，所述视频图像包括带标记的帧图像。
可选的，还包括视角变化检测模块，用于检测视频画面变化快慢的程度，并在视频画面变化小于预设值时从关节镜实时采集的视频中获取视频的帧图像。
本发明的这些特点和优点将会在下面的具体实施方式以及附图中进行详细的揭露。本发明最佳的实施方式或手段将结合附图来详尽表现，但并非是对本发明技术方案的限制。另外，在每个下文和附图中出现的这些特征、要素和组件是具有多个，并且为了表示方便而标记了不同的符号或数字，但均表示相同或相似构造或功能的部件。
附图说明
下面结合附图对本发明作进一步说明：
图1为本实施例中所述交叉韧带止点模型训练方法的流程图。
图2a-图2d分别为本实施例采用Sobel算子、Canny算子、最大类间方差方法和迭代阈值分割算法对同一对象处理的效果图。
图3为一实施例中所述交叉韧带止点标记方法的流程图。
图4为一实施例中所述交叉韧带止点标记方法的流程图，示出了视频画面变化快慢是根据关节镜镜头的移动状态来确定的步骤。
图5为一实施例中所述交叉韧带止点标记方法的流程图，示出了视频画面变化快慢是根据视频的动态码率来确定的步骤。
图6为一实施例中所述关节镜***的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。基于实施方式中的实施例，旨在用于解释本发明，而不能理解为对本发明的限制。
在本说明书中引用的“一个实施例”或“实例”或“例子”意指结合实施例本身描述的特定特征、结构或特性可被包括在本专利公开的至少一个实施例中。短语“在一个实施例中”在说明书中的各位置的出现不必都是指同一个实施例。
在相关技术中，为减轻医生的负担和对医生经验的要求，提出了一种通过人体膝关节十字交叉韧带的核磁共振图像和对应的CT(Computed Tomography)图，即电子计算机断层扫描图，结合骨轮廓大小和形状，进行标记和确认交叉韧带止点在股骨与胫骨上的位置信息，减少需要医生手工来定位及标记止点信息的操作，从而减少一些由于人工失误导致的误差，使得准确性和效率有了一定提高。但是，这种方式需要在术中获取核磁共振图像和对应的CT图，非常依赖设备，并且由于CT成像有一定的电磁辐射，术中采用实时CT会对患者和医生健康造成一定的危害。
本发明人发现，交叉韧带断裂后其在骨头上残留的部分以及断口与周边组织存在一些细微的差别，虽然（在短时间内）通过人眼对残留的组织来判断韧带止点，存在一定的难度，但是借助图像识别技术可以做到不遗漏细节，将细微的差别放大、精准的识别交叉韧带止点的位置。
为此提出了以下的交叉韧带止点标记及其模型训练的方法和关节镜***，能更精确的进行止点定位，缩短手术过程，降低风险，同时也能减少医生注意力的分散，以及上述相关方案中对设备的依赖和人员健康的损伤。
作为本发明的第一个方面，提供一种交叉韧带止点模型训练方法，如图1所示，所述方法包括但不限于以下步骤。
S10：对从关节镜采集的视频图像中提取的含有交叉韧带止点的视频帧图像进行预处理。这里关节镜采集的视频图像为4K分辨率，能够获得更多的图片细节。视频图像由医生在术中通过在关节腔内的关节镜的摄像头采集，视频图像的每一秒都是由很多帧图像组成，选择其中含有交叉韧带止点的帧图像，可以是连续的帧，也可以非连续的，不做限制。选择的帧图像应当有足够的数量，并且尽可能的包含不同视角下的交叉韧带止点，对这些选出的帧图像进行预处理，预处理可以包括但不限于灰度处理、滤波消除噪声和边缘检测等步骤。
在后续的模型训练步骤中，如果输入的图像清晰且无噪声，不仅能够提高计算机处理问题的效率，还确保了最终分析结果的精度。然而，由于膝关节腔内的恶劣环境和图像采集装置（关节镜）本身的原因，在获取和输送关节腔内视频图像的流程中，不可避免的会掺杂部分噪声。如果不采取适当措施将噪声抑制掉，会影响后续模型训练和识别的结果。因此，有必要采取合适的滤波方法，以降低或消除图像中的噪声。
在步骤S10中对图像的滤波消除噪声处理，可以使用均值滤波、高斯滤波和维纳滤波等算法中的一种或多种来处理图像。
均值滤波是对当前像素点附近一定区域内像素的灰度值求取均值，并用此值取代当前像素点灰度值。均值滤波的计算表达式如下：
其中：图像当前像素点的原始灰度值为/>，经过滤波处理后的灰度值为，/>为选定范围内包含的所有像素点的数集，/>为该数集中像素点数量的大小。
这里也可以采用中值滤波替代均值滤波，中值滤波的原理类似于均值滤波，其对当前像素点附近的像素点灰度值进行大小排序，取顺序的中值作为当前像素点的灰度值。中值滤波的计算表达式如下：
其中：为在选定范围内的像素灰度值取中值。
高斯滤波的原理可参照均值滤波，其对目标像素点附近的像素点灰度值进行加权求和，将求和的数值作为目标像素点的灰度值。高斯滤波的计算表达式如下：
其中：和/>为选定像素点在图像中的定位，/>为像素点/>在滤波处理中的权值。
维纳滤波利用线性思维进行滤波处理，其主要思想是依据最小均方差的原理，根据图像整体像素灰度值和当前窗口像素灰度值来得出期望像素灰度值的滤波算法。维纳滤波的计算表达式如下：
其中：为求解期望值，/>为经过滤波处理后的结果图像，/>为不含噪声的理想图像。
维纳滤波的原理是输入图像和滤波结果图像/>之间保证最小均方差，那么必须求出局部像素的均值和方差值，计算公式如下所示：
其中：为选定范围内像素灰度值的均值，/>为选定范围内像素灰度值的均值方差值，/>为原始图像中所有噪声点的方差值。
本实施例中，采用效果最好的维纳滤波方式。其效果可以利用峰值信噪比（PeakSignal to Noise Ratio，PSNR)进行评价，PSNR值越大认为滤波效果更好。
峰值信噪比（Peak Signal to Noise Ratio，PSNR)对图像质量具有良好的评价效果，其是基于均方误差（Mean Squared Error，MSR）进行定义，且PSNR数值越高表示图片质量越好。PSNR的计算表达式如下：
其中：和/>为图像的行列数，/>为待评价图像的像素灰度值，/>为标准图像的像素灰度值。
)
其中：为图像像素点的数目。
表1 为采用均值滤波、高斯滤波和维纳滤波对同一批图像进行处理后的PSNR数值比较
由上表可知，对于含有交叉韧带止点的视频帧图像，采用维纳滤波的效果最好。
边缘检测又称边缘识别，是模仿人类视觉的一个过程。在检测物体边缘时,先对其轮廓点进行粗略检测,然后通过链接规则把原来检测到的轮廓点连接起来,同时也检测和连接遗漏的边界点及去除虚假的边界。边缘检测的目的是去发现图像中关于形状和反射或透射比的信息。通过边缘检测，可以初步将感兴趣区域（ROI，Region of Interest）从帧图像的背景区域中分割出来，为后续交叉韧带止点特征提取，可以减少处理时间，增加精度。
当处理一张膝关节腔内图像时，只对其中的交叉韧带止点位置进行分析，为了准确判断止点的位置，需要利用合适的边缘检测手段（或图像分割算法）将止点区域同背景区域分割开，图像分割的质量会影响接下来的特征提取和止点识别的结果。
因此，在获取噪声点少、清晰度高的图像之后，预处理有必要使用图像分割算法提取出止点的精确位置，图像分割算法可以采用根据基于微分算子的分割方法、最大类间方差方法和迭代阈值分割算法对图像进行处理。
其中基于微分算子的分割方法包括基于Sobel算子的边缘检测和基于Canny算子的边缘检测。
Sobel算子的原理是首先求解窗口范围内水平方向上偏导数的近似值，设定一个恰当的阈值/>，并将近似值/>与阈值/>的关系进行分析，若/>，则认为该像素点为图像水平方向上的边界点；然后求解窗口范围内垂直方向上偏导数的近似值，设定一个恰当的阈值/>，并将近似值/>与阈值/>的关系进行分析，若，则认为该像素点为图像垂直方向上的边界点；最后将两方向的边界点进行叠加即得到图像完整的边界点，其表达式如下：
；
；
和/>对应的算子矩阵如下：
；/>；
基于Canny算子的边缘检测分为多步进行，具体如下：
对图像进行高斯滤波；
计算像素点梯度幅值和方向，如下式所示：
其中：为水平方向的梯度，/>为垂直方向的梯度，/>；
对滤波处理后的图像进行非极大值抑制；
设定两个高低阈值和/>，将目标像素点与阈值的关系进行分析，判别该像素点是否为边界点。
根据最大类间方差方法确定的全局阈值把图像中的内容划分为两种类别，并将这两种类别包含的像素点看成两个集合，同时保证集合间的灰度值方差最大。表达式如下式所示。
由阈值将图像内的像素点区分为/>和/>，其中/>包含的是灰度值处于区间的像素点，/>包含的是灰度值处于区间/>的像素点。目标图像的所有像素点灰度均值的表达式如下式所示。
和/>的类内像素点灰度均值的表达式如下：
上式中，和/>的表达式如下：
根据上式可得：
最终，类间方差的计算表达式如式下式所示。
使阈值在区间/>内遍历所有值，当/>出现最大值时，此时对应的阈值/>视为最佳阈值。
迭代阈值分割算法的基本原理是：首先选取一个灰度值视为阈值的预估值，然后依照某种规则反复修改这一预估值，当满足设置的判别标准时结束循环。操作流程如下：
（1）选择一个灰度值作为初始阈值，这个值的计算表达式如下式所示；
（2）根据阈值把图像分成两个部分/>和/>，并计算出两部分/>和/>中包含像素点灰度值的均值/>和/>，计算表达式如下：
（3）由和/>的均值确定一个新阈值/>，如下：
（4）设定一个误差值，若/>，那么重复步骤（2）和（3）；若/>，确定最佳阈值为/>。
如图2a-图2d所示，分别为采用Sobel算子、Canny算子、最大类间方差方法和迭代阈值分割算法处理同一个帧图像的效果图。由图可知，本实施例优选迭代阈值分割算法。
需要说明的是，采用边缘检测后，有可能会获得感兴趣区域，也可能没有获得感兴趣区域。由于本实施例中，所用的帧图像均包含交叉韧带止点，故在设定迭代阈值分割算法的参数时，应当保证每一个帧图像中交叉韧带止点至少存在其中的一个感兴趣区域内。
S20：对预处理后的视频帧图像进行特征工程，确定特征向量；所述特征向量为高维向量。
在步骤S20中，特征工程的处理对象是经预处理后的从帧图像背景区域中分割出来的感兴趣区域。在进行交叉韧带止点模型训练时，输入变量是从感兴趣区域中提取的能够表征图像特点的特征量，输出变量是对止点位置的决策结果。提取的特征量是一组高维向量，如果没有选出关键特征，不仅会降低止点识别的效率，还会影响识别的准确度。因此，需要通过特征工程在图像中提取常见的特征，并挑选出对止点识别贡献更大的（一个或多个）关键特征，为之后的止点识别打下坚实的基础。
特征工程包括特征提取和特征选择。在所述特征提取步骤中提取的特征个数至少15种，在所述特征选择的步骤中采用Fisher判别准则对提取的特征进行选择，根据Fisher值的大小至少从中选出前三分之一的特征，也就是根据Fisher值的大小进行排序，至少选出排序靠前5个特征。
常见的提取特征主要包括图像的几何特征、灰度特征和纹理特征，其中几何特征包含面积、边界周长、重心坐标、矩特征，灰度特征包含灰度平均值、灰度方差、歪度、峭度、能量、熵，纹理特征包含纹理二阶矩、纹理熵、纹理对比度、纹理相关性。初步提取的特征数为21个。
当特征个数和单个特征的影响处于一定的临界值时，增加特征个数不仅不能提高止点识别的精度，还会由于运算量的增加导致***运行速度降低，甚至对止点识别的准确性产生不利影响。因此，有必要选择对止点识别有较大贡献的特征。具体的，利用Fisher判别准则对提取的21个特征进行选择，挑选出Fisher 值大的特征。
Fisher判别准则把高维数的处理数据投影到低维数的判别空间中，投影的结果满足同类别特征投影值的类内离差最小，不同类别特征投影值的类间离差最大。Fisher判别准则的表达式如下：
其中：为样本维度，/>为类别数目，包括/>，/>为每个类别的样本数目，为第/>个特征上样本/>的均值，/>为第/>个特征上类别/>的均值，/>为第/>个特征上总体样本的均值，/>为第/>个特征的类间离散度矩阵，/>表示第/>个特征的类内离散度矩阵。
Fisher比的数值表明目标特征区分类别的能力，数值越大代表该特征鉴别类别的能力越强。
根据Fisher判别准则，计算出从相同的一批图像中提取的21种特征的Fisher比，当某一特征Fisher比低于1时，可认为该特征对缺陷识别分类贡献较小。
表2 为从同一图像中提取的21种特征的Fisher比值表
由上表可知，取阈值1，选出Fisher比大于1的特征共8个，其中4个纹理特征，2个灰度特征，2个几何特征，依次为纹理均衡性、纹理熵、缺陷图像灰度方差、纹理对比度、纹理二阶矩、缺陷面积、缺陷边界周长和缺陷图像熵。
S30：根据特征向量对经过预处理的视频帧图像进行归一化处理，构建数据集。
选择合适数量的帧图像，对每一个帧图像中分割出来的感兴趣区域，根据纹理均衡性、纹理熵、缺陷图像灰度方差、纹理对比度、纹理二阶矩、缺陷面积、缺陷边界周长和缺陷图像熵这8个特征进行归一化处理。每一个帧图像按照这8个特征归一化处理后的数值构成一个8维向量。例如100个样本经过归一化处理后，构成X100×8的矩阵，这150个样本构成的X150×8的矩阵作为图像识别模型的数据集。具体的，还可以进一步划分出训练集和测试集，例如按照2：1划分出一个X100×8的矩阵和一个X50×8的矩阵，一个作为训练集，另一个作为测试集。
需要说明的是，这里所有帧图像样本全部选用的是含有交叉韧带止点，即默认训练集和测试集所对应的模型输出为有交叉止点。若样本中既包含交叉韧带止点的帧图像，也包含无交叉韧带止点的帧图像，则训练集和测试集的矩阵中的向量还应当增加一个维度，该维度对应帧图像中交叉止点的标记结果。
S40：利用构建的数据集分别对不同的图像识别模型进行独立训练，获得不同的交叉韧带止点识别模型；不同的所述图像识别模型至少包括RBF神经网络、BP神经网络和支持向量机三者中的任意两者，优选为三者。
RBF神经网络模型的训练：以X100×8的矩阵作为RBF神经网络的输入层，全部有交叉止点为输出。选取易于编程计算的高斯函数为RBF网络的激活函数进行模型的训练。
RBF神经网络模型的测试：以X50×8的矩阵作为RBF神经网络的输入层，根据训练时建立的模型进行测试，测试结果见表3所示。
BP神经网络模型的训练：以X100×8的矩阵作为BP神经网络的输入层，选择Trainlm训练方法、采用15个隐含层神经元，以学习速率为0.42和误差精度为0.01，进行10000次训练。
BP神经网络模型的测试：以X50×8的矩阵作为BP神经网络的输入层，根据训练时建立的模型进行测试，测试结果见表3所示。
支持向量机的训练：以X100×8的矩阵作为支持向量机的输入因子，以正则化系数为1和Sigmoid核（函数），进行训练建模。
支持向量机的测试：以X50×8的矩阵作为支持向量机的输入因子，根据训练时建立的模型进行测试，测试结果见表3所示。
S50：对获得的不同的交叉韧带止点识别模型进行融合，将融合模型确定为所述交叉韧带止点模型。
表3 为采用RBF神经网络、BP神经网络、支持向量机和融合模型的测试结果对比表
根据上表可知，在上述的RBF神经网络、BP神经网络、支持向量机中，没有一种图像识别模型可以对止点的识别达到较高的精度，各个图像识别模型分类器之间的性能是需要互补的,故采用打分的机制对不同的交叉韧带止点识别模型的输出进行融合，可以看到融合模型的测试结果明显提高止点的识别精度。
打分机制能够为融合模型提供更灵活的权衡方式，以决定各个模型在最终预测中的影响程度。通过对每个模型进行评分，融合模型可以更精细地结合各个模型的优势，从而提高整体模型的鲁棒性和预测性能。
需要说明的是，融合模型是将多个单独模型的预测结果结合以获得更好的性能或更稳定的预测的方法。在图像识别中，融合模型通常结合多种算法或多个相同算法的不同实例来提高识别准确性。本领域技术人员根据情况，还可以选择其他的融合策略，例如投票（Majority Voting）、加权平均、堆叠（Stacking）等，不做限制。
与此同时，本实施例在第二方面还提供了一种交叉韧带止点标记方法，用于关节镜***，如图3所示，所述标记方法包括但不限于：
S100：获取由关节镜实时采集的视频。
S300：对视频的帧图像进行预处理。
S400：对预处理的结果中感兴趣的区域进行特征归一化处理；
S500：将特征归一化处理的结果代入预先获取的交叉韧带止点模型中，获得识别结果；其中所述预先获取的交叉韧带止点模型采用如第一方面所述的交叉韧带止点模型训练方法获得；
S600：根据识别结果在帧图像上对应的感兴趣区域添加标记；
S700：在关节镜***的显示设备上显示带标记的帧图像。
在步骤S300中，对采集到的视频的帧图像进行处理，是为了后续对帧图像进行交叉韧带止点识别、标记，因此在选择对帧图像预处理时应当考虑到止点识别所花费的时间，以及最终在关节镜***的显示设备上显示后对医生手术操作的帮助。本领域技术人员可以根据计算设备算力和实际情况的需求，选择对视频的所有帧图像进行预处理，或按照一定的规则有选择的对其中某些帧图像进行预处理，例如为方便医生观察和操作，关节镜***的显示设备上视频画面的帧率在60hz以上，而对于其中交叉韧带的识别和标记时为了帮助医生快速聚焦到最大可能是交叉韧带止点的区域，故在对视频的帧图像进行识别和标记时，仅需要每一秒中选择识别和标记其中的24帧（相间的，并非连续帧）即可等同于标记所有帧的效果。这里利用视觉暂留现象，减少了识别数量，在低于24帧时也可以同时对医生起到提示效果，也不会过多影响医生获取完整画面的信息。
为进一步降低对设备算力的要求，在不影响对医生的判断的情况下，采用最小数量的帧图像来完成识别、标记。还可以进一步对交叉韧带止点的识别时机进行预判断，关节镜在使用过程中，任何操作动作都会改变关节的位置或角度，进而使视频画面发生变化。若对每一帧图像都进行识别，则会浪费设备的算力，故通过视频画面变化快慢的程度来判断当前识别时机。在视频画面变化较小或较慢时，则说明此时医生的视野聚焦到视频画面上，选择此时进行获取帧图像，能够节省设备运算资源。
例如视频画面变化快慢是根据关节镜镜头的移动状态来确定，具体的，在关节镜的镜头处设置加速度传感器或者陀螺仪，通过监测关节镜的镜头的重力加速度判断其移动状态，当关节镜在静止状态，即重力加速度小于预设值时，可视为关节镜静止，医生需要寻找交叉韧带止点。故图4所示，在所述对视频的帧图像进行预处理步骤前，还包括步骤S201：对关节镜镜头进行运动检测，当检测到关节镜的镜头在预设的移动速度内时确定对应时刻的视频画面为所述视频的帧图像。
又例如视频画面变化快慢是根据视频的动态码率来确定，关节镜***包括图像处理装置，图像处理装置一方面为显示设备提供处理后的视频图像，另一方面也在同步记录并存储视频图像，通常会采用一些视频压缩技术手段，这些视频压缩技术在压缩视频时会采用动态码率，对于当前帧图像需要储存的数据是由当前帧图像与其前一帧的帧图像之间的区别部分确定的，也就是说，当前帧图像数据仅储存了其与前一帧的帧图像之间的区别部分，当关节镜在接近静止时，其前后两帧的帧图像之间几乎无区别（区别小），故动态码率低。如图5所示，所以在所述对视频的帧图像进行预处理步骤前，还包括步骤S202:获取当前视频画面的动态码率，当动态码率低于或等于预设值时确定当前视频画面为所述视频的帧图像。
需要说明的是，步骤S201和步骤S202可以选择其中一个，也可以同时采用，本领域技术人员可根据情况灵活选择，不作限制。
作为本发明的第三个方面，如图6所示，提供一种关节镜***，包括关节镜、图像处理装置和显示设备，所述关节镜用于实时采集视频图像；所述图像处理装置包括帧图像获取模块、视角变化检测模块、图像预处理模块、归一化处理模块、识别模块和标记模块。
其中，帧图像获取模块用于从关节镜实时采集的视频中获取所有视频的帧图像。视角变化检测模块用于检测视频画面变化快慢的程度，并在视频画面变化小于预设值时从关节镜实时采集的视频中选择符合预设条件视频的帧图像。图像预处理模块用于对视频的帧图像进行预处理，从背景区域中分割感兴趣区域。归一化处理模块用于对感兴趣的区域进行特征归一化处理，获取特征矩阵。识别模块用于将特征矩阵代入预先获取的交叉韧带止点模型，输出识别结果。标记模块，用于根据识别结果在帧图像上对应的感兴趣区域添加标记。所述显示设备用于显示采集的视频图像，所述视频图像包括带标记的帧图像。
本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分流程，是可以通过计算机程序指令来控制相关的硬件来完成。据此，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可实现上述任意一项实施例的方法。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，熟悉本领域的技术人员应该明白本发明包括但不限于附图和上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。

Claims (9)

1.一种交叉韧带止点模型训练方法，其特征在于，所述方法包括，
对从关节镜采集的视频图像中提取的含有交叉韧带止点的视频帧图像进行预处理；
对预处理后的视频帧图像进行特征工程，确定特征向量；所述特征工程包括特征提取和特征选择；在所述特征提取步骤中提取的特征个数至少15种，在所述特征选择的步骤中采用Fisher判别准则对提取的特征进行选择，根据Fisher值的大小至少从中选出前三分之一的特征；所述特征向量为高维向量；构成所述特征向量中的维度至少包括一个纹理特征、一个灰度特征和一个几何特征；
根据特征向量对经过预处理的视频帧图像进行归一化处理，构建数据集；
利用构建的数据集分别对不同的图像识别模型进行独立训练，获得不同的交叉韧带止点识别模型；不同的所述图像识别模型包括支持向量机和以下中的至少一者：RBF神经网络、BP神经网络；
对获得的不同的交叉韧带止点识别模型进行融合，将融合模型确定为所述交叉韧带止点模型。
2.根据权利要求1所述的交叉韧带止点模型训练方法，其特征在于，所述预处理步骤包括采用灰度处理和边缘检测，用于将感兴趣区域从帧图像的背景区域中分割出来；所述感兴趣区域是所述特征工程步骤中的处理对象。
3.根据权利要求1所述的交叉韧带止点模型训练方法，其特征在于，所述对获得的不同的交叉韧带止点识别模型进行融合的步骤中，采用打分机制对不同的交叉韧带止点识别模型的输出进行融合。
4.一种交叉韧带止点标记方法，其特征在于，用于关节镜***，所述交叉韧带止点标记方法包括，
获取由关节镜实时采集的视频；
对视频的帧图像进行预处理；
对预处理的结果中感兴趣的区域进行特征归一化处理；
将特征归一化处理的结果代入预先获取的交叉韧带止点模型中，获得识别结果；其中所述预先获取的交叉韧带止点模型采用如权利要求1-3中任一项所述的交叉韧带止点模型训练方法获得；
根据识别结果在帧图像上对应的感兴趣区域添加标记；
在关节镜***的显示设备上显示带标记的帧图像。
5.根据权利要求4所述的交叉韧带止点标记方法，其特征在于，所述对视频的帧图像进行预处理步骤中，所述视频的帧图像是根据视频画面变化快慢的程度确定。
6.根据权利要求5所述的交叉韧带止点标记方法，其特征在于，所述视频画面变化快慢是根据关节镜镜头的移动状态来确定；在所述对视频的帧图像进行预处理步骤前，还包括对关节镜镜头进行运动检测，当检测到关节镜的镜头在预设的移动速度内时确定对应时刻的视频画面为所述视频的帧图像。
7.根据权利要求5所述的交叉韧带止点标记方法，其特征在于，所述视频画面变化快慢是根据视频的动态码率来确定；在所述对视频的帧图像进行预处理步骤前，还包括获取当前视频画面的动态码率，当动态码率低于或等于预设值时确定当前视频画面为所述视频的帧图像。
8.一种关节镜***，包括关节镜、图像处理装置和显示设备，所述关节镜用于实时采集视频图像；其特征在于，所述图像处理装置包括，
帧图像获取模块，用于从关节镜实时采集的视频中获取视频的帧图像；
图像预处理模块，用于对视频的帧图像进行预处理，从背景区域中分割感兴趣区域；
归一化处理模块，用于对感兴趣的区域进行特征归一化处理，获取特征矩阵；所述特征归一化处理中的特征是通过特征工程预先确定，所述特征工程包括特征提取和特征选择；在所述特征提取步骤中提取的特征个数至少15种，在所述特征选择的步骤中采用Fisher判别准则对提取的特征进行选择，根据Fisher值的大小至少从中选出前三分之一的特征；构成所述特征矩阵的元素至少包括一个纹理特征、一个灰度特征和一个几何特征；
识别模块，用于将特征矩阵代入预先获取的交叉韧带止点模型，输出识别结果；所述预先获取的交叉韧带止点模型是支持向量机和神经网络模型的融合模型，以及，
标记模块，用于根据识别结果在帧图像上对应的感兴趣区域添加标记；
所述显示设备用于显示采集的视频图像，所述视频图像包括带标记的帧图像。
9.根据权利要求8所述的关节镜***，其特征在于，还包括视角变化检测模块，用于检测视频画面变化快慢的程度，并在视频画面变化小于预设值时从关节镜实时采集的视频中获取视频的帧图像。
CN202311731000.4A 2023-12-15 2023-12-15 交叉韧带止点标记及其模型训练的方法和关节镜*** Active CN117437392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311731000.4A CN117437392B (zh) 2023-12-15 2023-12-15 交叉韧带止点标记及其模型训练的方法和关节镜***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311731000.4A CN117437392B (zh) 2023-12-15 2023-12-15 交叉韧带止点标记及其模型训练的方法和关节镜***

Publications (2)

Publication Number Publication Date
CN117437392A CN117437392A (zh) 2024-01-23
CN117437392B true CN117437392B (zh) 2024-03-26

Family

ID=89546413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311731000.4A Active CN117437392B (zh) 2023-12-15 2023-12-15 交叉韧带止点标记及其模型训练的方法和关节镜***

Country Status (1)

Country Link
CN (1) CN117437392B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737508A (zh) * 2012-06-19 2012-10-17 银江股份有限公司 一种融合svm与bp神经网络的城市道路交通状态检测方法
CN108685560A (zh) * 2017-04-12 2018-10-23 香港生物医学工程有限公司 用于机器人内窥镜的自动化转向***和方法
CN108921047A (zh) * 2018-06-12 2018-11-30 江西理工大学 一种基于跨层融合的多模型投票均值动作识别方法
CN111666845A (zh) * 2020-05-26 2020-09-15 南京邮电大学 基于关键帧采样的小样本深度学习多模态手语识别方法
CN111919260A (zh) * 2018-03-19 2020-11-10 威里利生命科学有限责任公司 基于术前图像的手术视频检索
CN112598661A (zh) * 2020-12-29 2021-04-02 河北工业大学 一种基于机器学习的踝骨折及韧带损伤诊断方法
CN113327269A (zh) * 2021-05-21 2021-08-31 哈尔滨理工大学 一种无标记颈椎运动检测方法
CN113538522A (zh) * 2021-08-12 2021-10-22 广东工业大学 一种用于腹腔镜微创手术的器械视觉跟踪方法
CN113673307A (zh) * 2021-07-05 2021-11-19 浙江工业大学 一种轻量型的视频动作识别方法
CN114092450A (zh) * 2021-11-25 2022-02-25 合肥中纳医学仪器有限公司 一种基于胃镜检查视频的实时图像分割方法、***、装置
CN114708665A (zh) * 2022-05-10 2022-07-05 西安交通大学 一种基于多流融合的骨骼图人体行为识别方法及***
CN116671984A (zh) * 2023-05-23 2023-09-01 商丘医学高等专科学校 一种骨关节炎的超声影像融合诊断***
CN116824495A (zh) * 2023-06-26 2023-09-29 华东交通大学 危险行为识别方法、***、存储介质及计算机设备
CN117115068A (zh) * 2022-05-12 2023-11-24 北京联影智能影像技术研究院 医学图像处理方法、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI455705B (zh) * 2009-10-07 2014-10-11 Ind Tech Res Inst 肢段肌力與運動體適偵知系統及方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737508A (zh) * 2012-06-19 2012-10-17 银江股份有限公司 一种融合svm与bp神经网络的城市道路交通状态检测方法
CN108685560A (zh) * 2017-04-12 2018-10-23 香港生物医学工程有限公司 用于机器人内窥镜的自动化转向***和方法
CN111919260A (zh) * 2018-03-19 2020-11-10 威里利生命科学有限责任公司 基于术前图像的手术视频检索
CN108921047A (zh) * 2018-06-12 2018-11-30 江西理工大学 一种基于跨层融合的多模型投票均值动作识别方法
CN111666845A (zh) * 2020-05-26 2020-09-15 南京邮电大学 基于关键帧采样的小样本深度学习多模态手语识别方法
CN112598661A (zh) * 2020-12-29 2021-04-02 河北工业大学 一种基于机器学习的踝骨折及韧带损伤诊断方法
CN113327269A (zh) * 2021-05-21 2021-08-31 哈尔滨理工大学 一种无标记颈椎运动检测方法
CN113673307A (zh) * 2021-07-05 2021-11-19 浙江工业大学 一种轻量型的视频动作识别方法
CN113538522A (zh) * 2021-08-12 2021-10-22 广东工业大学 一种用于腹腔镜微创手术的器械视觉跟踪方法
CN114092450A (zh) * 2021-11-25 2022-02-25 合肥中纳医学仪器有限公司 一种基于胃镜检查视频的实时图像分割方法、***、装置
CN114708665A (zh) * 2022-05-10 2022-07-05 西安交通大学 一种基于多流融合的骨骼图人体行为识别方法及***
CN117115068A (zh) * 2022-05-12 2023-11-24 北京联影智能影像技术研究院 医学图像处理方法、装置、计算机设备和存储介质
CN116671984A (zh) * 2023-05-23 2023-09-01 商丘医学高等专科学校 一种骨关节炎的超声影像融合诊断***
CN116824495A (zh) * 2023-06-26 2023-09-29 华东交通大学 危险行为识别方法、***、存储介质及计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Rehabilitation Tracking of Athletes Post Anterior Cruciate Ligament Reconstruction (ACL-R) Surgery Through Causal Analysis of Gait Data & Computational Modeling;Varun Mandalapu 等;《2021 43rd Annual International Conference of the IEEE Engineering in Medicine & Biology Society》;20211231;980-984 *
基于MRI深度学习在膝关节前交叉韧带损伤的 研究进展;王梅 等;《磁共振成像》;20220430;第13卷(第4期);166-170 *

Also Published As

Publication number Publication date
CN117437392A (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
US20240119719A1 (en) Identification and tracking of a predefined object in a set of images from a medical image scanner during a surgical procedure
JP4860749B2 (ja) 画像中の人物における位置決め指示との適合性を判定する機器、システム、及び方法
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
US20210133473A1 (en) Learning apparatus and learning method
CN105249922A (zh) 断层图像拍摄设备和断层图像拍摄方法
CN113768461B (zh) 一种眼底图像分析方法、***和电子设备
CN111652175A (zh) 应用于机器人辅助手术视频分析的实时手术工具检测方法
Alharbi et al. Deep learning based algorithm for automatic scoliosis angle measurement
CN111932492B (zh) 一种医学图像处理方法、装置及计算机可读存储介质
CN113012093B (zh) 青光眼图像特征提取的训练方法及训练***
CN114450716A (zh) 用于卒中表征的图像处理
CN114333046A (zh) 舞蹈动作评分方法、装置、设备和存储介质
CN111128369A (zh) 一种用于评估患者的帕金森病情的方法和装置
CN111508004B (zh) 基于深度学习的室壁运动异常超声处理方法、***和设备
Nirmala et al. HoG based Naive Bayes classifier for glaucoma detection
JP6041781B2 (ja) 医用画像処理装置およびその作動方法並びに医用画像処理プログラム
CN117437392B (zh) 交叉韧带止点标记及其模型训练的方法和关节镜***
KR101464862B1 (ko) 카메라를 이용한 척추 측만증 판단 방법 및 장치
CN111640127A (zh) 一种用于骨科的精准临床诊断导航方法
Smith et al. Detection of fracture and quantitative assessment of displacement measures in pelvic X-RAY images
CN110598652A (zh) 眼底数据预测方法和设备
JP4571378B2 (ja) 画像処理方法および装置並びにプログラム
Kurochka et al. An algorithm of segmentation of a human spine X-ray image with the help of Mask R-CNN neural network for the purpose of vertebrae localization
EP2693397A1 (en) Method and apparatus for noise reduction in an imaging system
CN114612526A (zh) 一种关节点追踪方法、帕金森辅助诊断方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant