CN111968115A

CN111968115A - 基于栅格化图像处理方法的骨科耗材检测方法及***

Info

Publication number: CN111968115A
Application number: CN202010942091.6A
Authority: CN
Inventors: 宋尚玲; 杨阳
Original assignee: Second Hospital of Shandong University
Current assignee: Second Hospital of Shandong University
Priority date: 2020-09-09
Filing date: 2020-09-09
Publication date: 2020-11-20
Anticipated expiration: 2040-09-09
Also published as: CN111968115B

Abstract

本发明属于医学图像和图像处理技术领域，涉及基于栅格化图像处理方法的骨科耗材检测方法及***。对原始数据图像数量和质量都没有严格的要求，通过分阶段检测的方法，分阶段检测骨科耗材外盒和骨科耗材，大大提高了检测的准确率。只需要先检测骨科耗材外盒类型，根据外盒类型进行对应骨科耗材的检测，准确率提升50%‑60%。提出了一种在仅有少量数据下进行目标检测的方法，在精确标注数据量不足时，采用先检测骨科耗材外盒再检测骨科耗材的方法，优于只采用检测骨科耗材的单一方法。本发明可以在数据集较少的情况下，具有较高的准确率。

Description

基于栅格化图像处理方法的骨科耗材检测方法及***

技术领域

本发明属于医学图像和图像处理技术领域，涉及一种基于图像识别技术对医学图像中的骨科耗材盒中的钉子定位识别***，具体涉及一种基于栅格化图像处理方法的骨科耗材检测方法及***。

背景技术

目标检测即在图片中找出感兴趣的目标，并且确定其位置和类别。目标检测技术发展至今，主要有两类方法：传统的经典目标检测方法以及人工智能相关的深度学习方法。

传统目标检测方法主要包含以下三个步骤：①区域选择②特征提取③分类器。目前传统的目标检测技术中主要存在以下技术问题：

在区域选择过程中，由于目标可能出现在图像任何位置，并且目标的大小，长宽比例也不能确定，所以一般采用的是滑窗法（Sliding Window）的策略对整幅图像进行遍历。这种方法的缺点较为突出：对整幅图像进行遍历，产生了大量重叠区域从而带来了冗余计算，严重影响后续特征提取和分类的计算速度。因此，若想加速计算效率，就需要在保证计算准确性的同时，减少冗余计算，而现有技术并没有专门针对这方面的研究报道。

在特征提取中，通常使用SIFT, HOG特征，但是由于目标形态多样性、光照变化多样性、背景多样性等原因导致提取的特征难以对图像进行准确描述。因此，需要针对骨钉检测问题，寻找特定的特征提取方法，从而提升特征提取的准确性。

在分类器中，主要使用SVM, Adaboost分类器等。这些方法具有一定的鲁棒性，但是其控制参数的选择没有统一的标准，因此需要针对骨钉检测问题，选择合适的分类器参数。

发明内容

本发明针对传统的目标检测技术中存在的问题提出一种新型的基于栅格化图像处理方法的骨科耗材检测方法。

为了达到上述目的，本发明是采用下述的技术方案实现的：

一种基于栅格化图像处理方法的骨科耗材检测方法,包括如下步骤:

步骤1：标准匹配模板库

获取训练用的骨科耗材图像数据，进行图像去噪、图像增强等操作，提高图像的质量。将所有的图像数据存入到程序运行的文件夹中，作为标准匹配模板，并标定每一张图片的类别。

步骤2：待识别骨钉盒分类

输入一种待识别的骨钉盒图片，使用K近邻算法进行类别判定，在K近邻算法中使用欧式距离，来衡量待识别的骨钉盒图片与模板图片的距离，从而确定图片的分类。所采用的公式如下：

其中，L是图片与模板之间的欧式距离，

n是图片中像素的个数，

x _i是图片上的像素值

y _i是模板上的像素值。

通过计算出的欧式距离，根据多次的实验结果，得到效果比较好的K值。

步骤3：感兴趣区域提取

分类后的图片使用霍夫圆形检测，根据圆形聚集的区域，计算出骨钉盒的方向，并且将摆放骨钉的区域划分出来，对此区域进行裁剪。

步骤4：图像校正

采用透视变换，对步骤3中划分出来的区域进行矫正，进而得到标准的摆放骨钉的区域。此时摆放骨钉的区域会按照骨钉位置的横竖排列进行图片的旋转与变形。

步骤5：图像边缘处理

使用Canny边缘检测算法已经将感兴趣区域的边缘计算出来，此时的图片是二值化图片，图片上显示区域中的物体边缘特征；

步骤6：栅格化处理

使用数理统计的方法，计算步骤5中图片所有相同横坐标像素之和，得到骨钉位置的行划分；计算所有相同列坐标像素之和，得到骨钉位置的列划分，从而可以将骨钉位置的行列划分出来。此步骤是整个检测方法中的核心步骤。由此保证***检测的准确率。栅格划分的结果直接影响最终的结果。栅格化就是将所有可能摆放骨钉的位置划分出来，然后对此位置进行判定。

步骤7：栅格骨钉摆放检测

使用与栅格形状相同大小的全1卷积核对步骤6中划分出来的栅格进行卷积计算，根据计算的实验阈值来判断此栅格中是否存在骨钉。

步骤8：栅格位置标定与数量统计

根据步骤6中栅格和步骤7中计算的结果进行位置标定，标定有骨钉的栅格，并且将图片中骨钉的数量统计出来

基于栅格化图像处理方法的骨科耗材检测***，包括：

预处理模块，其被配置为：获取训练用的骨科耗材图像数据，进行图像去噪、图像增强操作，提高图像的质量。输入为：骨科耗材原始图像；输出为：经过预处理后的骨科耗材图像。

骨钉盒分类模块，其被配置为：使用K近邻分类器对骨钉盒进行类别判定，判断出属于哪一种。输入为：经过预处理后的骨科耗材图像；输出为：骨钉盒类别。

感兴趣区域提取模块，其被配置为：识别骨钉盒的方向，从而判定哪个范围才是摆放骨钉的地方，对此范围进行裁剪。输入为：经过预处理后的骨科耗材图像，骨钉盒类别识别结果；输出为：骨科耗材图像的感兴趣区域。

图像矫正模块，其被配置为：采用透视变换，对摄像头拍到的图片进行矫正，进而得到标准的骨钉盒图片。输入为：骨科耗材图像的感兴趣区域；输出为：经过矫正后的标准的骨科耗材图像的感兴趣区域。

边缘检测模块，其被配置为：对图像进行边缘化处理，将图像的边缘全部检测出来。输入为：经过矫正后的标准的骨科耗材图像的感兴趣区域；输出为：感兴趣区域的边缘图像。

统计模块，其被配置为：对边缘处理后的二值化图像进行横纵坐标上的像素点统计。从而区分骨钉的行和列。输入为：感兴趣区域的边缘图像；输出为：横纵坐标方向的统计数据。

栅格化分割模块，其被配置为：对边缘图片进行栅格化分割，将可以摆放骨钉的地方全部划分出来。输入为：感兴趣区域的边缘图像，以及横纵坐标的统计数据；输出为：栅格化后的图像。

栅格化检测模块，其被配置为：利用目标模板，对划分出来的栅格进行相关检测，从而判断出哪个栅格中含有钉子，并给出钉子的类型。输入为栅格化后的图像；输出为栅格的卷积计算数据。

栅格化统计模块，其被配置为：对有钉子的地方进行标注，统计出钉子的数量。输入为：栅格的卷积计算数据；输出为统计计算后的结果，以及标注的图片。

以上各模块的详细连接关系见说明书附图1。

与现有技术相比，本发明的优点和积极效果在于：

1、本发明提出的方法对原始数据图像数量和质量都没有严格的要求，通过分阶段检测的方法，分阶段检测骨科耗材外盒和骨科耗材，大大提高了检测的准确率。

2、本发明只需要先检测骨科耗材外盒类型，根据外盒类型进行对应骨科耗材的检测。

3、本发明提出了一种在仅有少量数据下进行目标检测的方法，在精确标注数据量不足时，采用先检测骨科耗材外盒再检测骨科耗材的方法，优于只采用检测骨科耗材的单一方法。

4、本发明提供的栅格化检测的方法，可以在数据集较少的情况下，具有较高的准确率。

附图说明

图1为***中各模块连接关系示意图。

图2为原始图像。

图3为圆形标注后的图像。

图4为粗略剪裁区域图。

图5为以行为单位划分的图形。

图6为透视转换的图像。

图7为Canny边缘处理的图像。

图8为左侧横向统计和右侧纵向统计图。

图9为栅格化后的图像。

图10为最终的识别结果图。

图11为骨钉盒种类。

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合具体实施例对本发明做进一步说明。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开说明书的具体实施例的限制。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

术语解释：

1.骨科耗材：是指医院在开展医疗服务过程中经常使用的材料，其品种型号繁多，应用量大，是医院开展医疗，护理工作的物质基础，且部分骨科耗材价格昂贵，其检测利用具有极大的实际应用价值。

2.K最近邻分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：在特征空间中，如果一个样本附近的K个最近(即特征空间中最邻近)样本的大多数属于某一个类别，则该样本也属于这个类别。

3.霍夫圆变换，可以检测出灰度图像中的圆。三点可以确定一个圆，以这三点做所有半径的圆则必有一个公共交点，这个交点为以三点为圆的圆心。把问题转换成在求解经过像素点最多的圆形。

4.Canny边缘检测算法，是John F. Canny于 1986 年开发出来的一个多级边缘检测算法。

实施例1，如图1所示，本实施例提供基于栅格化图像处理方法的骨科耗材检测方法。

第一步.预处理***

在预处理模块中，主要是对图片的预处理，包括旋转，灰度变化，标记等操作，来扩大数据集，制作模板数据集。

第二步.利用K近邻算法进行类别估计

在分类模块中，我们使用最简单欧式距离，来衡量图片与模板的距离，从而确定图片的分类。所采用的公式如下：

其中，L是图片与模板之间的欧式距离，

n是图片中像素的个数，

x _i是图片上的像素值

y _i是模板上的像素值。

通过计算出的欧式距离，根据多次的实验结果，将K设置成3可以达到比较好的结果，就可以根据结果来分辨出图片属于哪一类骨钉盒子。

第三步.区域提取

经过第一步分类，拿到一类图片后，继续后面的操作。本实施例中图片采用摄像机拍摄，因此图形的变形更符合透视变形。由于图片中只有一部分是摆放钉子的。我们首先需要将摆放钉子的部分检测出来。原始图像输入如图2。

从图2中可以看出，需要识别的图片中骨钉摆放的区域。首先使用霍夫圆形检测算法，检测到图像中的圆形，如图3。

实际拍摄过程中没有摆放钉子的部分是盖子，由于拍摄角度盖子部分的圆洞会发生变形，从而不能检测出圆形，则在图片上检测到圆形密集的地方，正是我们需要检测的部分。从图片中圆形检测的区域看，和理论的结果相同，可以得到有钉子的区域，所检测出来的圆形比较多。所以将圆形区域比较多的区域选择出来。此区域就是我们所感兴趣的区域。如图4。

第四步. 透视变换

因为选取的区域钉子的排列是有规律的，我们可以根据圆形的圆心位置，来更精确确定透视变换的四个顶点。我们还可以根据圆形的排列位置来找到每一行的划分。可以找到图形上最上侧的圆形。这一行圆形不一定需要全部找到，只找出其中的一部分即可。因为可以根据找出的几个圆心进行线性回归，公式如下。

其中：a是需要计算到的直线斜率；

b是需要计算到的直线截距；

X是圆心的横坐标；

F（X）是圆心的纵坐标，

使用点到直线的距离和最短，使用的方法和第二步中形同，使用欧式距离为优化目标，求算出a,b的值。这样就可以找到其他点。同样经过直线的平移就可以找到其他行上的圆心。从而将所有检测的圆形按照每一行为单位进行划分，如图5。

经过行的划分，就可以确定圆心的位置。这样就可以找到左上（第一行最左侧的点）、右上（第一行最右侧的点）、左下（第四行最左侧的点），右下（第四行最右侧的点）。这样透视变换的点就找到了。然后将采集的区域进行透视变换，变换成1900*750大小的尺寸。如图6。

第五步.边缘检测

将透视变换后的图像进行边缘提取，为了更进一步的数理统计。边缘提起使用的Canny算法。得到的边缘图像如图7。

第六步. 数值统计

然后分别对行、列上的数值进行累加计算叠加。使用一次矩阵乘法就可以得到横纵方向的像素特征。

其中：x _i是对应像素点上的像素值

n是行数或列数，统计不同方向的数值，代表发生变化

F是一行或者一列所有像素值之和。

通过以上计算得到横纵方向的像素特征。如图8。

第七步.栅格化分割

通过数的统计可以得到圆形区域的位置。因为将图像二值化后，没有圆形的区域像素值是0，从而根据统计数值之间的0值就可以区分行或者列的区域。图8中左侧的图是可以对行进行划分，右侧的图可以对列进行划分。通过划分，就可以得到栅格化的区域，如图9所示。

第八步.栅格分类与标定

通过对第四步栅格化的区域进行卷积计算分析，然后根据经验阈值，可以判定哪一个栅格上存在钉子，哪个区域上没有钉子。公式如下：

其中：X是一个栅格上所有像素组成的矩阵。

ones是一个与X有相同维度的全一矩阵

⨂是卷积计算运算符。

根据卷积的结果可以的最终的数据。输出的结果如图10。

通过图10和图2的对比，可以看出，所有的钉子都已经识别出来了，因此本实施例验证了，采用本发明所提供的方法，具有非常好的准确性。在本方法中使用的骨钉盒种类图11，一共9类骨钉盒，检测的准确率如表1。

表1检测的准确率结果统计

表1为本方法中使用的骨钉盒种类，但不限定骨钉盒种类。这些骨钉盒种类中对骨钉位置处有无骨钉判定的准确率。在实验中达到较高准确率。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims

1.一种基于栅格化图像处理方法的骨科耗材检测方法,其特征在于,包括如下步骤:

步骤1，获取所有骨钉盒子的图片，作为模板，保存在文件中，然后标定每一张图片的分类；

步骤2，使用K近邻算法对骨钉盒进行类别判定，判断出骨钉盒的类别属性；

步骤3，使用图像矫正算法对拍到的图片进行矫正，得到标准的骨钉盒图片；

步骤4，识别骨钉盒的方向，从而判定骨钉摆放的范围，对此范围进行裁剪；

步骤5，对裁剪后的图像进行边缘化处理，将图像的边缘全部转换出来；

步骤6，对边缘图片进行栅格化处理，将能摆放骨钉的地方全部划分出来；

步骤7，使用二维卷积对步骤6中划分出来的栅格进行处理，从而判断出含有钉子的栅格；

步骤8,对有钉子的地方进行标注，统计出钉子的数量。

2.根据权利要求1所述基于栅格化图像处理方法的骨科耗材检测方法,其特征在于,步骤2中所采用的公式为：

其中，L是图片与模板之间的欧式距离，

n是图片中像素的个数，

x _i是图片上的像素值，

y _i是模板上的像素值。

3.根据权利要求1所述基于栅格化图像处理方法的骨科耗材检测方法，其特征在于，所述步骤4中使用霍夫圆形检测，根据圆形聚集的区域，并计算出骨钉盒的方向。

4.根据权利要求1所述基于栅格化图像处理方法的骨科耗材检测方法，其特征在于，所述步骤5中使用Canny边缘检测算法将感兴趣区域的边缘计算出来，此时的图片是二值化图片，图片上显示区域中的物体的边缘特征。

5.根据权利要求1所述基于栅格化图像处理方法的骨科耗材检测方法，其特征在于，所述步骤6中的栅格处理使用数理统计的方法，计算步骤5中图片所有相同横坐标像素之和，得到骨钉位置的行划分；计算所有相同列坐标像素之和，得到骨钉位置的列划分，从而将骨钉位置的行列划分出来。

6.实现权利要求1所述基于栅格化图像处理方法的骨科耗材检测***，其特征在于，包括

预处理模块，其被配置为：获取训练用的骨科耗材图像数据，进行图像去噪、图像增强操作，提高图像的质量；

骨钉盒分类模块，其被配置为：使用K近邻分类器对骨钉盒进行类别判定，输出骨钉盒类别；

感兴趣区域提取模块，其被配置为：识别骨钉盒的方向，从而判定摆放骨钉的范围，对此范围进行裁剪，输出骨科耗材图像的感兴趣区域；

图像矫正模块，其被配置为：输入骨科耗材图像的感兴趣区域，采用透视变换，对摄像头拍到的图片进行矫正，得到标准的骨钉盒图片，输出经过矫正后的标准的骨科耗材图像的感兴趣区域；

边缘检测模块，其被配置为：对经过矫正后的标准的骨科耗材图像的感兴趣区域图像进行边缘化处理，将图像的边缘全部检测出来，输出感兴趣区域的边缘图像；

统计模块，其被配置为：对感兴趣区域的边缘图像进行横纵坐标上的像素点统计，输出横纵坐标方向的统计数据；

栅格化分割模块，其被配置为：对感兴趣区域的边缘图像进行栅格化分割，将能摆放骨钉的地方全部划分出来，输出栅格化后的图像；

栅格化检测模块，其被配置为：利用目标模板，对栅格化后的图像的栅格进行检测，判断出含有钉子的栅格，并给出钉子的类型，输出栅格的卷积计算数据；

栅格化统计模块，其被配置为：对有钉子的地方进行标注，统计出钉子的数量。