CN112419353B - 一种检测开合式工具的方法、装置 - Google Patents
一种检测开合式工具的方法、装置 Download PDFInfo
- Publication number
- CN112419353B CN112419353B CN202011350240.6A CN202011350240A CN112419353B CN 112419353 B CN112419353 B CN 112419353B CN 202011350240 A CN202011350240 A CN 202011350240A CN 112419353 B CN112419353 B CN 112419353B
- Authority
- CN
- China
- Prior art keywords
- open
- close
- tool
- coordinate point
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims description 31
- 238000003708 edge detection Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 10
- 230000007797 corrosion Effects 0.000 claims description 8
- 238000005260 corrosion Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000001574 biopsy Methods 0.000 abstract description 42
- 230000002159 abnormal effect Effects 0.000 abstract description 18
- 238000013135 deep learning Methods 0.000 abstract description 4
- 210000001072 colon Anatomy 0.000 abstract description 3
- 230000002183 duodenal effect Effects 0.000 abstract description 3
- 238000001839 endoscopy Methods 0.000 abstract description 3
- 210000001187 pylorus Anatomy 0.000 abstract description 3
- 230000000747 cardiac effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 13
- 239000013598 vector Substances 0.000 description 12
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 208000032843 Hemorrhage Diseases 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 2
- 208000037062 Polyps Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 230000002550 fecal effect Effects 0.000 description 2
- 206010020718 hyperplasia Diseases 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004054 inflammatory process Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 206010015150 Erythema Diseases 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000002318 cardia Anatomy 0.000 description 1
- 231100000321 erythema Toxicity 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000002575 gastroscopy Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002445 nipple Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 210000003800 pharynx Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 210000002105 tongue Anatomy 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
- A61B10/02—Instruments for taking cell samples or for biopsy
- A61B10/04—Endoscopic instruments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
- A61B10/02—Instruments for taking cell samples or for biopsy
- A61B10/06—Biopsy forceps, e.g. with cup-shaped jaws
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Radiology & Medical Imaging (AREA)
- Geometry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明的一个技术方案是提供了一种检测开合式工具状态的方法。本发明的另一个技术方案是提供了一种检测开合式工具状态的装置。本发明利用深度学习与计算机视觉技术，能够动态识别开合式工具的开闭状态，准确计算开合式工具的屏幕像素宽度。本发明提供的方法和装置可以用于内镜检查中，以该开合式工具(如活检钳)为参照，进而能够对内镜检查图像中的背景目标(如结肠带、幽门口、贲门口、十二指肠降部***、回盲瓣等背景中正常目标组织)和/或异常目标进行大小的判断和精确计算。
Description
技术领域
本发明涉及一种检测诸如活检钳之类的开合式工具的状态的方法以及一种检测诸如活检钳之类的开合式工具的状态的装置。
背景技术
现有的异常目标识别方法，主要包括：1)人类识别：大小判断靠操作人员的体力、注意力、记忆力、检查时间和操作经验，报告大小判断不精准，大部分操作人员的判断不够准确，报告中异常目标的大小都是估算值。2)物理识别：通过激光光源或激光雷达，采用脉冲发射和反射回波时延与成像距离呈正比关系，测量反射回波脉冲时延，得到成像距离，进而求得病灶尺寸，但是此类方法需要额外的脉冲发射和探测单元，***结构复杂、成本较高。3)软件识别：只能计算重叠包围框参照物大小，不能判断两者之间距离，大小判断精度不够，即使使用深度学习技术在目前的单目摄像头，完全依靠计算机视觉技术，在非几何环境中，识别非朗伯体大小也是一项具有挑战性的工作；全自动的判断，过程中没有人工经验参与和判断，没有做到人机结合，作为医疗设备来说不够严谨；目标只能是特定的病灶，不能在检查过程中进行选择。
发明内容
本发明的目的是：提供一种至少可以用于内镜检查中的方法及装置，能够对内镜检查图像中的背景目标和/或异常目标进行大小的判断和精确计算。
为了达到上述目的，本发明的一个技术方案是提供了一种检测开合式工具状态的方法，其特征在于，包括以下步骤：
获取开合式工具的操作图像；
对操作图像进行目标检测，至少得到开合式工具的包围框；
对操作图像进行边缘检测，得到开合式工具的边界图；
在开合式工具的包围框内对开合式工具的边界图进行直线检测，从而判断开合式工具的开闭状态。
优选地，在所述边缘检测之前还包括对所述操作图像进行去噪处理。
优选地，在对所述操作图像进行所述去噪处理之前，还包括截取操作：截取所述操作图像中的不包括所述开合式工具的部分。
优选地，对所述操作图像进行去噪处理，包括以下步骤：
通过非局部平均去噪算法对所述操作图像进行去噪；
将去噪后的图像转换至HSV色彩空间，调整开合式工具的颜色区域，得到二值化掩码图像，其中，黑色为背景，白色为开合式工具；
对二值化掩码图像进行腐蚀操作，然后再进行膨胀操作，去掉最后的噪点。
优选地，在所述开合式工具的所述包围框内对所述开合式工具的所述边界图进行所述直线检测，从而判断所述开合式工具的所述开闭状态，包括以下步骤：
在得到的所述开合式工具的所述包围框范围内，通过霍夫曼变换进行直线检测，并设置直线的最短跨越距离，得到多个直线；
通过超平面算法，将多个直线的起始坐标点和终点坐标点进行二分，然后对两个分类的坐标点分别取均值，得到两个坐标点，进而得到唯一的霍夫曼直线；
根据唯一的霍夫曼直线上任意两个点的坐标(x1,y1)和(x2,y2)得到斜率k，k＝(y2-y1)/(x2-x1)，通过斜率k的反正切得到对应的弧度r；
计算四个象限的角度
如果计算得到的角度angle小于0，则将计算得到的角度angle加180°作为最终的角度，否则直接将计算得到的角度angle作为最终的角度；
根据最终的角度的大小确定所述开合式工具的开闭状态。
优选地，根据所述最终的角度的大小确定所述开合式工具的所述开闭状态包括以下步骤：
若在第一象限和第二象限的角度分别为0°<angle<60°或150°<angle<180°，则确定所述开合式工具为开状态；
若在第一象限和第二象限的角度为70°<angle<120°，则确定所述开合式工具为关状态。
优选地，还包括：计算所述开合式工具开闭状态下的屏幕像素宽度，包括：
记录所述开合式工具所有霍夫曼直线的起始点和终点坐标，并通过超平面将坐标分为两个决策区域；
根据所有霍夫曼起始点的坐标以及超平面性质，获得最终的直线方程；
如果所述开合式工具是关状态，则遍历霍夫曼直线起始坐标点数组中所有坐标，获取最终的直线方程以上区域的所有坐标点，记录至坐标数组；遍历坐标数组，记录最左侧坐标点和最右侧坐标点，计算二者之间的欧氏距离，得到所述开合式工具关状态屏幕像素宽度；或者遍历坐标数组，记录最左侧坐标点和左侧最上方坐标点，取二者坐标的平均数，得到开合式工具的左侧坐标；记录最右侧坐标点和右侧最上方坐标点，取二者坐标的平均数，得到所述开合式工具的右侧坐标，然后，计算所述开合式工具的左侧坐标和所述开合式工具的右侧坐标之间的欧氏距离，得到所述开合式工具关状态屏幕像素宽度；
如果所述开合式工具是开状态，则遍历霍夫曼直线起始坐标点数组中所有坐标，记录最左侧坐标点和最右侧坐标点，计算二者之间的欧氏距离，得到所述开合式工具开状态屏幕像素宽度。
本发明的另一个技术方案是提供了一种检测开合式工具状态的装置，其特征在于，包括：
操作图像获取模块，被配置为获取开合式工具的操作图像；
目标检测模块，被配置为对操作图像进行目标检测，至少得到同一帧操作图像中的开合式工具的包围框；
开合式工具状态检测模块，被配置为确定开合式工具的开闭状态，进一步包括：
边缘检测单元，被配置为对操作图像进行边缘检测，得到开合式工具的边界图；
直线检测单元，被配置为在开合式工具的包围框内对所开合式工具的边界图进行直线检测，从而判断开合式工具的开闭状态。
优选地，所述开合式工具状态检测模块还包括：
去噪单元，被配置为在进行所述边缘检测之前，对所述操作图像进行去噪处理。
优选地，所述开合式工具状态检测模块还包括：
截取单元，被配置为对所述操作图像进行去噪处理之前，截取所述操作图像中的不包括所述开合式工具的部分。
优选地，所述去噪单元包括：
第一去噪子单元，被配置为通过非局部平均去噪算法对所述操作图像进行去噪；
二值化子单元，被配置为将图像转换至HSV色彩空间，调整所述开合式工具的颜色区域，得到二值化掩码图像，其中，黑色为背景，白色为开合式工具；
腐蚀膨胀子单元，被配置为对二值化掩码图像依次进行腐蚀操作、膨胀操作，去掉最后的噪点。
优选地，所述直线检测单元包括：
霍夫曼变换子单元，被配置为在得到的所述开合式工具的所述包围框范围内，通过霍夫曼变换进行直线检测，并设置直线的最短跨越距离，得到多个直线；
二分处理子单元，被配置为通过超平面算法，将多个直线的起始坐标点和终点坐标点进行二分，然后对两个分类的坐标点分别取均值，得到两个点，进而得到唯一的霍夫曼直线；
弧度计算子单元，被配置为根据唯一的霍夫曼直线上任意两个点的坐标(x1,y1)和(x2,y2)得到斜率k，k＝(y2-y1)/(x2-x1)，通过斜率k的反正切得到对应的弧度r；
角度计算子单元，被配置为通过计算四个象限的角度angle，如果计算得到的角度angle小于0，则将计算得到的角度angle加180°作为最终的角度，否则直接将算得到的角度angle作为最终的角度；
开合式工具开闭状态判断子单元，被配置为根据最终的角度的大小判断所述开合式工具的开闭状态。
优选地，根据所述最终的角度的大小判断所述开合式工具的所述开闭状态包括：
若在第一象限和第二象限的角度分别为0°<angle<60°或150°<angle<180°，则确定所述开合式工具为开状态；
若在第一象限和第二象限的角度为70°<angle<120°，则确定所述开合式工具为关状态。
优选地，还包括：
开合式工具屏幕像素宽度计算模块，被配制为计算所述开合式工具的所述开闭状态下的屏幕像素宽度。
优选地，所述开合式工具屏幕像素宽度计算模块包括：
决策区域划分子单元，被配置为记录所述开合式工具所有所述霍夫曼直线的起始点和终点坐标，并通过超平面将坐标分为两个决策区域；
直线方程获取子单元，根据所有霍夫曼起始点的坐标以及超平面性质，获得最终的直线方程；
开合式工具屏幕像素宽度计算子单元，被配置为：
如果开合式工具是关状态，则遍历霍夫曼直线起始坐标点数组中所有坐标，获取所述直线方程两个决策区域的所有坐标点，记录至坐标数组；遍历坐标数组，记录最左侧坐标点和最右侧坐标点，计算二者之间的欧氏距离，得到开合式工具关状态屏幕像素宽度；或者，遍历坐标数组，记录最左侧坐标点和左侧最上方坐标点，取二者坐标的平均数，得到开合式工具左侧坐标；记录最右侧坐标点和右侧最上方坐标点，取二者坐标的平均数，得到开合式工具右侧坐标；然后，计算开合式工具左侧坐标和开合式工具右侧坐标之间的欧氏距离，得到开合式工具关状态屏幕像素宽度；
如果开合式工具是开状态，则遍历霍夫曼直线起始坐标点数组中所有坐标，记录最左侧坐标点和最右侧坐标点，计算二者之间的欧氏距离，得到开合式工具开状态屏幕像素宽度。
本发明利用深度学***状息肉、异常血管分形、不典型增生、炎症、出血、粪渣、肿瘤、进展期癌等异常目标组织)进行大小的判断和精确计算。
附图说明
图1为本发明一实施例的检测开合式工具状态的方法的流程示意图；
图2示出了本发明实施例提供的检测开合式工具状态的方法中，以判断开合式工具开状态为例，目标检测模型输出开合式工具的包围框和概率；
图3示出了对图2示出的影像通过非局部平均去噪算法对图像进行去噪后所得的影像；
图4示出了将图3中的影像转换至HSV色彩空间，调整开合式工具的颜色区域，得到二值化掩码图像；
图5示出了将图4中的影像进行去噪后得到的影像；
图6示出了对图5所示去噪后二值掩码图像进行腐蚀操作，然后再进行膨胀操作，去掉最后的噪点后所得影像；
图7示出了对图6所示影像通过边缘检测Canny算法进行处理所得边界图；
图8示出了图1所得到包围框范围内，通过霍夫曼变换进行直线检测，并设置直线的最短跨越距离，得到多个直线的效果图；
图9示出了本发明实施例提供的检测开合式工具状态的方法中，以判断开合式工具关状态为例，目标检测模型输出开合式工具的包围框和概率；
图10示出了对图9示出的影像通过非局部平均去噪算法对图像进行去噪后所得的影像；
图11示出了将图10中的影像转换至HSV色彩空间，调整开合式工具的颜色区域，得到的二值化掩码图像；
图12示出了将图11中的影像进行去噪，腐蚀操作，膨胀操作，去掉最后的噪点后所得影像；
图13示出了对图12所示影像通过Canny算法进行边缘检测所得边界图；
图14示出了在图9所得到包围框范围内，通过霍夫曼变换后进行效果叠加所得影像；
图15为应用本发明优选实施例提供的检测开合式工具状态的方法，分别根据开合式工具开闭状态计算同一帧图像中其他目标大小的流程示意图；
图16为本发明的优选实施例提供的检测开合式工具状态的方法中，通过超平面将开合式工具所有霍夫曼直线起点和终点坐标分为两个决策区域，从而计算开合式工具屏幕像素宽度的效果图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
参见图1-图16，以胃镜检查为应用场景，根据本发明示例性实施方式的检测活检钳状态的方法包括如下步骤：
Step1：读取内镜设备的直播流或从录制的内镜操作视频中读取视频帧，发送至辅助判别设备，进入Step2。
Step2：辅助判别设备加载目标检测模型YOLO v3，将图像发送至目标检测模型YOLO v3进行多目标检测，得到多个标签的预测概率和包围框，这些标签可分为三个大分类，分别为：活检钳分类、背景目标分类和异常目标分类，处理流程分别进入Step3、Step4和Step5。
Step3：活检钳分类作为目标大小判别的参照物，得到包围框后通过计算机视觉处理算法对开闭状态进行判断，详情见Step6。
Step4：背景目标分类包括：舌头、咽、胃角、结肠带、幽门口、贲门口、十二指肠降部***、回盲瓣等背景中正常目标组织，判断后结果发送至Step7。
Step5：异常目标分类包括：扁平状息肉、异常血管分形、不典型增生、炎症、出血、粪渣、肿瘤、进展期癌、白斑、红斑、溃疡等异常目标组织，判断后结果发送至Step7。
Step6：采用计算机视觉处理方法判断活检钳开状态或关状态。
开状态判断流程如下：
1)截取视频中上半部分和左右黑屏部分，因活检钳不可能出现在内镜检测视窗的上半部分，而左右部分为黑屏，保留输入检测模型是浪费计算资源，由目标检测模型输出活检钳的包围框和概率，效果参见图2。
2)通过非局部平均去噪算法，对图像进行去噪，效果参见图3。
3)将图像转换至HSV色彩空间，调整活检钳的颜色区域，得到二值化掩码图像，其中，黑色为背景，白色为活检钳，原图效果见图4，接着再次通过非局部平均去噪算法对图像进行去噪，去噪后效果见图5。
4)对去噪后二值化掩码图像进行腐蚀操作，然后再进行膨胀操作，最后再次通过非局部平均去噪算法对图像去掉最后的噪点，效果参见图6。
5)通过边缘检测Canny算法对膨胀二值化图像进行处理，得到边界图，效果参见图7。
6)在上述步骤1)得到活检钳包围框范围内，通过霍夫曼变换进行直线检测，并设置直线的最短跨越距离，得到多条霍夫曼直线，效果见图8。
7)通过超平面算法，将多条霍夫曼直线的起始坐标点和终点坐标点进行二分，然后对两个分类的坐标点分别取均值，得到两个点，进而得到唯一的霍夫曼直线；根据上述唯一的霍夫曼直线上任意两个点的坐标(x1，y1)和(x2，y2)得到斜率k，k＝(y2-y1)/(x2-x1)，通过斜率k的反正切得到对应的弧度r。
8)通过公式计算四个象限的角度，公式如下：
9)如果angle小于0，则将angle结果加180°，以将值为负数的angle(第三象限和第四象限的角度)转换为第一象限和第二象限的角度。
10)经过观察，活检钳的开状态在第一和第二象限的角度分别为0°＜angle＜60°或150°＜angle＜180°，输出结果到Step7。
关状态判断流程如下：
1)重复上述开状态判断流程中的步骤1)至9)：AI目标检测输出活检钳的包围框和概率见图9；图像去噪后效果参见图10；去噪后掩码见图11；腐蚀膨胀后见图12；Canny算法边缘检测效果见图13；霍夫曼变换后效果叠加原图见14，计算得到angle。
2)经过观察，活检钳的关状态在第一和第二象限的角度为70°＜angle＜120°，输出结果到Step8。
Step7：活检钳和背景目标或异常目标同时存在，分别记录活检钳开状态和关状态临时变量到OpenBBox和CloseBBox，同时记录背景目标或异常目标的标签到缓存LabelCache且记录包围框到缓存BBoxCache，如图15所示。由于背景目标和异常目标的包围框不一定是一直存在的，有可能是断断续续的显示，如果开启钳子的时候挡住了，可能包围框不会进行显示，所以要记录包围框的缓存，有利于动态识别参照物的状态。
Step8：从配置文件获取用户事先手动设置的不同厂商不同规格的活检钳开闭大小，比如活检钳开状态宽度和关状态宽度。如果活检钳是打开状态，则开始结合背景目标和异常目标的缓存BBoxCache与活检钳OpenBBox，以及配置文件中读取的活检钳开大小(即活检钳开状态宽度)得到的活检钳包围框记录至OpenSizeCache。如活检钳是是关闭状态，则开始结合背景目标和异常目标的缓存BBoxCache与活检钳CloseBBox，以及配置文件中读取的活检钳关大小(即活检钳关状态宽度)得到的活检钳包围框记录至CloseSizeCache。参见图15，具体流程如下：
1)记录活检钳包围框内得到的所有霍夫曼直线的起点和终点的坐标到一个数组CoorArr中，并使用超平面(hyperplane)将坐标点分为两个决策区域(decision regions)，公式如下：
i表示第i个分区，m为分区的总个数，由于本发明采用二分区域，因此，m＝2；xi为第i个分区的坐标点；wi为坐标点xi的系数；b为偏差。通过上述公式可将空间分为二分区域，分别为类A和类B，其中，如果则坐标点xi属于类A；如果则坐标点xi属于类B。
2)n为坐标点的数量，可以设已知，则有：
x(n)＝[1，x1(n)，x2(n)]T
式中，x(n)表示第n次迭代时由3个向量组成的输入向量；x1(n)表示第n次迭代时组成x(n)的第2个向量；x2(n)表示第n次迭代时组成x(n)的第3个向量；T为转置符号。
未知：
w(n)＝[b，w1(n)，w2(n)]T
式中，w(n)表示第n次迭代时由3个向量组成的权值输入向量；w1(n)表示第n次迭代时组成w(n)的第2个向量；w2(n)表示第n次迭代时组成w(n)的第3个向量。
则超平面公式可转换为x和w的线性组合，写作：
v(n)＝w(n)Tx(n)
式中，v(n)表示线性组合器的输出，通过两个向量的内积计算得到标量结果。
根据超平面性质可知，如果wTx＞0，w即为w(n)，则所有输入向量x属于类A，如果wTx≤0，则所有输入向量x属于类B。
3)设学习率η，通过n轮(此处n为通过经验得到参数，一般为2或4，与上述步骤2)中的坐标点数量n无关)输入对w进行动态更新，如果wTx＞0，则w(n+1)＝w(n)-x(n)η(n)，w(n+1)表示迭代公式，表示下一个的结果等于上一个权重与当前输入与学习率积的差或积的和，η(n)表示第n轮的学习率，x(n)表示第n轮的输入向量；如果wTx≤0，则w(n+1)＝w(n)+x(n)η(n)；
4)最终得到直线方程w1x1+w2x2+w3＝0，即通过超单层感知器对线性可分的坐标点进行分离的直线方程，w1、w2和w3就是感知器在多轮计算中得到的权重，该直线方程见图16中的线条(即靠近下方的横线条)。
5)如果活检钳是关状态，则遍历霍夫曼直线起始坐标点CoorArr数组中所有坐标，获取w1x1+w2x2+w3＞0决策区域内的所有坐标点，记录至坐标数组TopCoorArr。遍历TopCoorArr坐标数组，记录其中最左侧坐标点L＝(XL，YL)和最右侧坐标点R＝(XR，YR)，计算L和R的欧几里得距离(L2范数距离)，得到活检钳关状态屏幕像素宽度DClose。也可以是，遍历TopCoorArr坐标数组，记录最左侧坐标点和左侧最上方坐标点，将两者坐标取平均数得到活检钳左侧坐标L＝(XL，YL)；记录最右侧坐标点和右侧最上方坐标点，将两者坐标取平均数得到活检钳右侧坐标R＝(XR，YR)；计算两者L2范数距离，得到活检钳关状态屏幕像素宽度DClose。
6)如果活检钳是开状态，则遍历霍夫曼直线起始坐标点CoorArr数组中所有坐标，记录最左侧坐标点和最右侧坐标点，计算两者之间的欧几里得距离(L2范数距离)，得到活检钳开状态屏幕像素宽度DOpen。
7)读取配置文件中手动设置的活检钳开状态宽度和关状态宽度，分别对DClose和DOpen进行除操作，分别得到rClose和rOpen；从BBoxCache中提取到的包围框坐标为[x，y，w，h]，将w和h分别乘rClose或rOpen，得到当前包围框内背景目标和异常目标的大小，并分别放入目标大小缓存CloseSizeCache或OpenSizeCache中，如果坐标超界或霍夫曼直线数量小于2，则记录该大小为[-1，-1，-1，-1](由于视频播放的特性，不可能每帧都得到合适的霍夫曼直线，有的达不到判断要求，比如：冲水状态下视觉模糊，活检钳/病理夹伸出来的部位太小，这样的结果没有进行计算的意义，所以用[-1，-1]代替非法输入，用于计算的时候做排除过滤)，如图15所示，输出结果至Step9。
Step9：如果当前活检钳是关状态，则进入Step10；如果是开状态，则进入Step11。
Step10：按LabelCache中相同类型标签，对映射缓存CloseSizeCache中内容按LabelCache索引组进行分类，并计算每个分类对应平均宽和平均高，公式如下：
得到背景目标或异常目标的大小和/>
Step11：识别到活检钳为开状态后，按LabelCache中相同类型标签，对映射缓存OpenSizeCache中内容按LabelCache索引组进行分类，以每个分类中最后(即最新加入的)一个元素的大小作为最终的异常目标或背景目标的大小。
本发明利用深度学习与计算机视觉技术，能够动态识别开合式工具(活检钳)的开闭状态，准确计算开合式工具(活检钳)的屏幕像素宽度，利用比例关系，最终能够对内镜检查图像中的背景目标和/或异常目标进行大小的判断和精确计算。
Claims (11)
1.一种检测开合式工具状态的方法，其特征在于，包括以下步骤：
获取开合式工具的操作图像；
对操作图像进行目标检测，至少得到开合式工具的包围框；
对操作图像进行边缘检测，得到开合式工具的边界图；
在开合式工具的包围框内对开合式工具的边界图进行直线检测，从而判断开合式工具的开闭状态；
在所述开合式工具的所述包围框内对所述开合式工具的所述边界图进行所述直线检测，从而判断所述开合式工具的所述开闭状态，包括以下步骤：
在得到的所述开合式工具的所述包围框范围内，通过霍夫曼变换进行直线检测，并设置直线的最短跨越距离，得到多个直线；
通过超平面算法，将多个直线的起始坐标点和终点坐标点进行二分，然后对两个分类的坐标点分别取均值，得到两个坐标点，进而得到唯一的霍夫曼直线；
根据唯一的霍夫曼直线上任意两个点的坐标(x1,y1)和(x2,y2)得到斜率k，k＝(y2-y1)/(x2-x1)，通过斜率k的反正切得到对应的弧度r；
计算四个象限的角度
如果计算得到的角度angle小于0，则将计算得到的角度angle加180°作为最终的角度，否则直接将计算得到的角度angle作为最终的角度；
根据最终的角度的大小确定所述开合式工具的开闭状态；
根据所述最终的角度的大小确定所述开合式工具的所述开闭状态包括以下步骤：
若在第一象限和第二象限的角度分别为0°<angle<60°或150°<angle<180°，则确定所述开合式工具为开状态；
若在第一象限和第二象限的角度为70°<angle<120°，则确定所述开合式工具为关状态。
2.根据权利要求1所述的检测开合式工具状态的方法，其特征在于，在所述边缘检测之前还包括对所述操作图像进行去噪处理。
3.根据权利要求2所述的检测开合式工具状态的方法，其特征在于，在对所述操作图像进行所述去噪处理之前，还包括截取操作：截取所述操作图像中的不包括所述开合式工具的部分。
4.根据权利要求2或3所述的检测开合式工具状态的方法，其特征在于，对所述操作图像进行去噪处理，包括以下步骤：
通过非局部平均去噪算法对所述操作图像进行去噪；
将去噪后的图像转换至HSV色彩空间，调整开合式工具的颜色区域，得到二值化掩码图像，其中，黑色为背景，白色为开合式工具；
对二值化掩码图像进行腐蚀操作，然后再进行膨胀操作，去掉最后的噪点。
5.根据权利要求1所述的检测开合式工具状态的方法，其特征在于，还包括：计算所述开合式工具开闭状态下的屏幕像素宽度，包括：
记录所述开合式工具所有霍夫曼直线的起始点和终点坐标，并通过超平面将坐标分为两个决策区域；
根据所有霍夫曼起始点的坐标以及超平面性质，获得最终的直线方程；
如果所述开合式工具是关状态，则遍历霍夫曼直线起始坐标点数组中所有坐标，获取最终的直线方程以上区域的所有坐标点，记录至坐标数组；遍历坐标数组，记录最左侧坐标点和最右侧坐标点，计算二者之间的欧氏距离，得到所述开合式工具关状态屏幕像素宽度；或者遍历坐标数组，记录最左侧坐标点和左侧最上方坐标点，取二者坐标的平均数，得到开合式工具的左侧坐标；记录最右侧坐标点和右侧最上方坐标点，取二者坐标的平均数，得到所述开合式工具的右侧坐标，然后，计算所述开合式工具的左侧坐标和所述开合式工具的右侧坐标之间的欧氏距离，得到所述开合式工具关状态屏幕像素宽度；
如果所述开合式工具是开状态，则遍历霍夫曼直线起始坐标点数组中所有坐标，记录最左侧坐标点和最右侧坐标点，计算二者之间的欧氏距离，得到所述开合式工具开状态屏幕像素宽度。
6.一种检测开合式工具状态的装置，其特征在于，包括：
操作图像获取模块，被配置为获取开合式工具的操作图像；
目标检测模块，被配置为对操作图像进行目标检测，至少得到同一帧操作图像中的开合式工具的包围框；
开合式工具状态检测模块，被配置为确定开合式工具的开闭状态，进一步包括：
边缘检测单元，被配置为对操作图像进行边缘检测，得到开合式工具的边界图；
直线检测单元，被配置为在开合式工具的包围框内对所开合式工具的边界图进行直线检测，从而判断开合式工具的开闭状态；
所述直线检测单元包括：
霍夫曼变换子单元，被配置为在得到的所述开合式工具的所述包围框范围内，通过霍夫曼变换进行直线检测，并设置直线的最短跨越距离，得到多个直线；
二分处理子单元，被配置为通过超平面算法，将多个直线的起始坐标点和终点坐标点进行二分，然后对两个分类的坐标点分别取均值，得到两个点，进而得到唯一的霍夫曼直线；
弧度计算子单元，被配置为根据唯一的霍夫曼直线上任意两个点的坐标(x1,y1)和(x2,y2)得到斜率k，k＝(y2-y1)/(x2-x1)，通过斜率k的反正切得到对应的弧度r；
角度计算子单元，被配置为通过计算四个象限的角度angle，如果计算得到的角度angle小于0，则将计算得到的角度angle加180°作为最终的角度，否则直接将算得到的角度angle作为最终的角度；
开合式工具开闭状态判断子单元，被配置为根据最终的角度的大小判断所述开合式工具的开闭状态；
根据所述最终的角度的大小判断所述开合式工具的所述开闭状态包括：
若在第一象限和第二象限的角度分别为0°<angle<60°或150°<angle<180°，则确定所述开合式工具为开状态；
若在第一象限和第二象限的角度为70°<angle<120°，则确定所述开合式工具为关状态。
7.如权利要求6所述的检测开合式工具状态的装置，其特征在于，所述开合式工具状态检测模块还包括：
去噪单元，被配置为在进行所述边缘检测之前，对所述操作图像进行去噪处理。
8.如权利要求7所述的检测开合式工具状态的装置，其特征在于，所述开合式工具状态检测模块还包括：
截取单元，被配置为对所述操作图像进行去噪处理之前，截取所述操作图像中的不包括所述开合式工具的部分。
9.如权利要求7或8所述的检测开合式工具状态的装置，其特征在于，所述去噪单元包括：
第一去噪子单元，被配置为通过非局部平均去噪算法对所述操作图像进行去噪；
二值化子单元，被配置为将图像转换至HSV色彩空间，调整所述开合式工具的颜色区域，得到二值化掩码图像，其中，黑色为背景，白色为开合式工具；
腐蚀膨胀子单元，被配置为对二值化掩码图像依次进行腐蚀操作、膨胀操作，去掉最后的噪点。
10.如权利要求9所述的检测开合式工具状态的装置，其特征在于，还包括：
开合式工具屏幕像素宽度计算模块，被配制为计算所述开合式工具的所述开闭状态下的屏幕像素宽度。
11.如权利要求10所述的检测开合式工具状态的装置，其特征在于，所述开合式工具屏幕像素宽度计算模块包括：
决策区域划分子单元，被配置为记录所述开合式工具所有所述霍夫曼直线的起始点和终点坐标，并通过超平面将坐标分为两个决策区域；
直线方程获取子单元，根据所有霍夫曼起始点的坐标以及超平面性质，获得最终的直线方程；
开合式工具屏幕像素宽度计算子单元，被配置为：
如果开合式工具是关状态，则遍历霍夫曼直线起始坐标点数组中所有坐标，获取所述直线方程两个决策区域的所有坐标点，记录至坐标数组；遍历坐标数组，记录最左侧坐标点和最右侧坐标点，计算二者之间的欧氏距离，得到开合式工具关状态屏幕像素宽度；或者，遍历坐标数组，记录最左侧坐标点和左侧最上方坐标点，取二者坐标的平均数，得到开合式工具左侧坐标；记录最右侧坐标点和右侧最上方坐标点，取二者坐标的平均数，得到开合式工具右侧坐标；然后，计算开合式工具左侧坐标和开合式工具右侧坐标之间的欧氏距离，得到开合式工具关状态屏幕像素宽度；
如果开合式工具是开状态，则遍历霍夫曼直线起始坐标点数组中所有坐标，记录最左侧坐标点和最右侧坐标点，计算二者之间的欧氏距离，得到开合式工具开状态屏幕像素宽度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011350240.6A CN112419353B (zh) | 2020-11-26 | 2020-11-26 | 一种检测开合式工具的方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011350240.6A CN112419353B (zh) | 2020-11-26 | 2020-11-26 | 一种检测开合式工具的方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112419353A CN112419353A (zh) | 2021-02-26 |
| CN112419353B true CN112419353B (zh) | 2023-09-26 |
Family
ID=74843485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011350240.6A Active CN112419353B (zh) | 2020-11-26 | 2020-11-26 | 一种检测开合式工具的方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112419353B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006293522A (ja) * | 2005-04-07 | 2006-10-26 | Fuji Photo Film Co Ltd | 直線検出装置、直線検出方法およびそのプログラム |
| CN101474075A (zh) * | 2009-01-15 | 2009-07-08 | 复旦大学附属中山医院 | 微创手术导航*** |
| CN107582108A (zh) * | 2016-09-13 | 2018-01-16 | 张卫民 | 一种活检钳及钳头 |
| CN108596897A (zh) * | 2018-04-27 | 2018-09-28 | 四川大学 | 基于图像处理的鼻咽镜下腭咽闭合度的全自动检测方法 |
| CN109146884A (zh) * | 2018-11-16 | 2019-01-04 | 青岛美迪康数字工程有限公司 | 内窥镜检查监控方法及装置 |
| CN110705571A (zh) * | 2019-09-21 | 2020-01-17 | 南京鑫和汇通电子科技有限公司 | 一种剪刀式刀闸开合状态检测方法 |
| CN110942443A (zh) * | 2019-09-21 | 2020-03-31 | 南京鑫和汇通电子科技有限公司 | 一种对开式刀闸状态的实时检测方法 |
| CN111209881A (zh) * | 2020-01-13 | 2020-05-29 | 深圳市雄帝科技股份有限公司 | 一种在图像中检测眼睛状态的方法及其*** |
-
2020
- 2020-11-26 CN CN202011350240.6A patent/CN112419353B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006293522A (ja) * | 2005-04-07 | 2006-10-26 | Fuji Photo Film Co Ltd | 直線検出装置、直線検出方法およびそのプログラム |
| CN101474075A (zh) * | 2009-01-15 | 2009-07-08 | 复旦大学附属中山医院 | 微创手术导航*** |
| CN107582108A (zh) * | 2016-09-13 | 2018-01-16 | 张卫民 | 一种活检钳及钳头 |
| CN108596897A (zh) * | 2018-04-27 | 2018-09-28 | 四川大学 | 基于图像处理的鼻咽镜下腭咽闭合度的全自动检测方法 |
| CN109146884A (zh) * | 2018-11-16 | 2019-01-04 | 青岛美迪康数字工程有限公司 | 内窥镜检查监控方法及装置 |
| CN110705571A (zh) * | 2019-09-21 | 2020-01-17 | 南京鑫和汇通电子科技有限公司 | 一种剪刀式刀闸开合状态检测方法 |
| CN110942443A (zh) * | 2019-09-21 | 2020-03-31 | 南京鑫和汇通电子科技有限公司 | 一种对开式刀闸状态的实时检测方法 |
| CN111209881A (zh) * | 2020-01-13 | 2020-05-29 | 深圳市雄帝科技股份有限公司 | 一种在图像中检测眼睛状态的方法及其*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112419353A (zh) | 2021-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11132794B2 (en) | System and method for detection of suspicious tissue regions in an endoscopic procedure | |
| CN111325739B (zh) | 肺部病灶检测的方法及装置，和图像检测模型的训练方法 | |
| JP6150583B2 (ja) | 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法 | |
| US9672620B2 (en) | Reconstruction with object detection for images captured from a capsule camera | |
| US20200387706A1 (en) | Systems and methods for processing colon images and videos | |
| JP5959168B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
| JP5281826B2 (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
| JP5683888B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| CN111968091B (zh) | 一种临床图像中病变区域的检测和分类方法 | |
| EP2054852A1 (en) | Computer aided analysis using video from endoscopes | |
| US9754189B2 (en) | Detection device, learning device, detection method, learning method, and information storage device | |
| Gschwandtner et al. | Experimental study on the impact of endoscope distortion correction on computer-assisted celiac disease diagnosis | |
| JP2005352571A (ja) | 画像処理装置 | |
| CN112419353B (zh) | 一种检测开合式工具的方法、装置 | |
| CN113689424A (zh) | 可自动识别图像特征的超声检查***及识别方法 | |
| CN111161852B (zh) | 一种内窥镜图像处理方法、电子设备及内窥镜*** | |
| EP2506212B1 (en) | Image processing apparatus, image processing method, and image processing program | |
| CN107529962B (zh) | 图像处理装置、图像处理方法和记录介质 | |
| Martínez et al. | Estimating the size of polyps during actual endoscopy procedures using a spatio-temporal characterization | |
| CN112580437A (zh) | 一种测量目标大小的方法、装置 | |
| Luo et al. | Endoscopic video defogging using luminance blending | |
| Gadermayr et al. | Fully automated decision support systems for celiac disease diagnosis | |
| Gschwandtner et al. | Improved endoscope distortion correction does not necessarily enhance mucosa-classification based medical decision support systems | |
| CN116977411B (zh) | 内镜移动速度估计方法及装置、电子设备及存储介质 | |
| CN118521834A (zh) | 一种基于多模态的肿瘤分类模型训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210226 Assignee: Henan Xuan Yongtang Medical Information Technology Co.,Ltd. Assignor: Zhongshan Hospital, Fudan University Contract record no.: X2021980005735 Denomination of invention: The invention relates to a method and a device for detecting an opening closing tool License type: Exclusive License Record date: 20210705 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |