CN111428622A - 一种基于分割算法的图像定位方法及其应用 - Google Patents

Abstract

本发明公开了一种基于分割算法的图像定位方法，从深度数据中提取药盒几何尺寸，并确定其世界坐标系下的位置，通过坐标转换的方式，得到其在RGB图上的像素位置，从而实现RGB图块的提取，供下一步药品识别使用。本发明还公开了上述一种基于分割算法的图像定位方法的应用，将该种图像定位方法用于药品复核，可以减少药师发药差错；提高药师药品复核工作效率。

Description

一种基于分割算法的图像定位方法及其应用

技术领域

本发明涉及一种基于分割算法的图像定位方法及其应用。

背景技术

随着“智慧医院”概念不断得到业界认同，“智能+”药房成为了医药药房建设的重要工作。目前很多医院都引入了自动化发药设备，这些设备极大提高了药房发药效 率。但是也产生一序列的技术痛点问题，其中最主要是“药品复核”单位时间累积量 大，复核药师难于跟上发药***速度。

在开发药品视觉复核装置的过程中，如何快速、准确的实现药品的图像定位是 亟需解决的问题。

发明内容

本发明的目的是克服现有技术的缺陷，提供一种基于分割算法的图像定位方法及其应用，可以快速准确实现药品的图像提取定位，供下一步药品识别使用，可以 减少药师发药差错；提高药师药品复核工作效率。

实现上述目的的技术方案是：一种基于分割算法的图像定位方法，包括以下步骤：

S1，像素坐标系到镜头坐标系转换：相机拍摄原始的药盒图片，根据相机的像 素参数得到镜头坐标系下点云坐标；

S2，经过镜头坐标系到世界坐标系转换，得到世界坐标系下的点云坐标；

S3，经过图像定位、分割以及三维尺寸确定，得到世界坐标系下药盒四个角点 位置；

S4，经过世界坐标系到深度镜头坐标系的转化，得到深度镜头坐标系下药盒四 个角点位置；

S5，经过深度镜头坐标系到彩色镜头坐标系的转化，得到彩色镜头坐标系下药 盒四个角点位置；

S6，经过彩色镜头坐标系到彩色像素坐标系的转化，得到处理后的药盒图片；

S7，旋转并统一图片尺寸，得到最终的药盒图片。

上述的一种基于分割算法的图像定位方法，其中，步骤S3中，具体包括以下 步骤：

S31，过滤药盒侧面深度值步骤：相机拍摄原始的药盒图片时，相机镜头并非 正对药盒，药盒侧面的深度信息会干扰轮廓检测，通过给每个区间深度点数量的一 个阈值，剔除侧面的深度信息的影响；

S32，基于深度的轮廓检测步骤：有深度信息的坐标即为药盒所在的位置，直 接提取该部分区域，然后再使用opencv里的轮廓检函数测得轮廓；

S33，基于RGB的轮廓修正步骤：对于深度不能分割的药盒，如贴在一起，需 要利用RGB的信息来修正

S34，计算药盒的三维尺寸，得到世界坐标系下药盒四个角点位置。

上述的一种基于分割算法的图像定位方法，其中，步骤S1中，像素坐标系与 镜头坐标系的相互转换过程如下：

fx、fy、u₀、v₀分别为相机的像素参数，x、y、z分别为镜头坐标系的三坐标； u是像素坐标系的水平方向的轴，v是像素坐标系的竖直方向的轴；

则：

其中：1/dx和1/dy分别是成像平面在水平和竖直方向上缩放的倍数。

上述的一种基于分割算法的图像定位方法，步骤S4中，世界坐标系到深度镜 头坐标系的转化采用Kabsch算法，具体包括以下步骤：

S41，已知两个d维空间的点集P＝{p1,p2,p3…pn}和Q＝{q1,q2,q3…qn}，为求解它们的刚体转换参数R和t，将其建模为如下公式：

公式(1)中，wi表示每个点的权重，pi为世界坐标系下棋盘格角点坐标，qi 为深度镜头坐标系下棋盘格角点检测函数；

S42，计算平移矩阵，首先对公式(1)求导，得到：

引入点集合P的中心点

和Q的中心点

分别为：

公式(2)两边同时除以

得到：

将等式

代入公式(1)得到：

观察公式(5)，用集合X和集合Y分别表示

和

用x_i和y_i分 别表示新数据集合中的点：

公式(1)等价于：

S43，计算旋转矩阵，根据公式(7)得到：

旋转矩阵是一个正交矩阵，它的转置等于它的逆；

观察公式(8)：

每一个项都是标量，对于任意一个标量，他的转置是它本身，公式(8)变成：

进一步，

和

不依赖于旋转矩阵R，上式转化为：

只要求解新问题：

对于公式(11)，可以推导出：

其中，W＝diag(w1,w2,..wn),Y＝[y1 y2..yn]，X＝[x1 x2..xn]；

且矩阵的迹满足特性tr(AB)＝tr(BA)，则：

令S＝XWY^T，则：

V，R，U是正交矩阵，M＝V^TRU同样是正交矩阵，在矩阵M中每一列向量 mj,mj^Tmj＝1，因此：

求解最大化的R，

计算出R后，平移矩阵t为：

本发明还公开了上述的一种基于分割算法的图像定位方法的应用，所述基于分割算法的图像定位方法用于药品视觉复核，具体包括以下步骤：

A：患者取药时，患者刷卡后，药品视觉复核的服务器与与HIS***交互，获 取处方信息，处方信息传输至的所述服务器；

B：复核摄像头进入工作状态，等待放药；

C：药师将药品陈列在复核摄像头下方的复核底板上，复核摄像头拍摄药品的 药盒图片，并把拍摄的原始的药盒图片发送给所述服务器；

D：图像处理服务器采用权利要求1所述的基于分割算法的图像定位方法将图 片进行切割、处理，生成对应的特征向量；

E：经过图像处理服务器处理的图片与标准图像数据库中的药品图片进行分析 检索匹配后，生成复核结果；

若复核结果是匹配成功，药品正确，则指示灯绿灯亮，药师端显示屏中显示复 核通过，患者端显示屏显示处方中药品信息，患者取走药品；

若复核结果是匹配不成功，药品不正确，则指示灯红灯/黄灯亮，则等待药师人 工复查，药师先判断是否由药品数量不匹配导致指示灯异常，如果数量不足且品种 不足或者品种正确但数量不足，药师端显示屏中提示药师需继续放置的药品和数量， 然后返回步骤C；如果是数量大于处方中的数量，药师端显示屏中显示不通过，药 师进行人工复核，重新调整药品后返回步骤C；如果是药品品种错误，含有不在处 方内的药品，药师端显示屏中显示不通过，药师进行人工复核，重新调整药品后返 回步骤C。

本发明的基于分割算法的图像定位方法及其应用，可以快速准确实现药品的图像定位提取，供下一步药品识别使用，可以减少药师发药差错；提高药师药品复核 工作效率。

附图说明

图1为本发明的基于分割算法的图像定位方法的流程图；

图2为像素坐标系和镜头坐标系的互相转换的示意图；

图3为像素坐标系和镜头坐标系的互相转换的示意图；

图4为世界坐标系变换到深度镜头坐标系的转换示意图；

图5为绕Z轴旋转θ角的示意图；

图6为本发明的基于分割算法的图像定位方法的应用的流程图。

具体实施方式

为了使本技术领域的技术人员能更好地理解本发明的技术方案，下面结合附图对其具体实施方式进行详细地说明：

请参阅图1，本发明的最佳实施例，一种基于分割算法的图像定位方法，包括 以下步骤：

S1，像素坐标系到镜头坐标系转换：相机拍摄原始的药盒图片，根据相机的像 素参数得到镜头坐标系下点云坐标；

S2，经过镜头坐标系到世界坐标系转换，得到世界坐标系下的点云坐标；

S3，经过图像定位、分割以及三维尺寸确定，得到世界坐标系下药盒四个角点 位置；

S4，经过世界坐标系到深度镜头坐标系的转化，得到深度镜头坐标系下药盒四 个角点位置；

S5，经过深度镜头坐标系到彩色镜头坐标系的转化，得到彩色镜头坐标系下药 盒四个角点位置；

S6，经过彩色镜头坐标系到彩色像素坐标系的转化，得到处理后的药盒图片；

S7，旋转并统一图片尺寸，得到最终的药盒图片。

步骤S3中，具体包括以下步骤：

S31，过滤药盒侧面深度值步骤：相机拍摄原始的药盒图片时，相机镜头并非 正对药盒，药盒侧面的深度信息会干扰轮廓检测，通过给每个区间深度点数量的一 个阈值，剔除侧面的深度信息的影响；

S32，基于深度的轮廓检测步骤：有深度信息的坐标即为药盒所在的位置，直 接提取该部分区域，然后再使用opencv里的轮廓检函数测得轮廓；

S33，基于RGB的轮廓修正步骤：对于深度不能分割的药盒，如贴在一起，需 要利用RGB的信息来修正

S34，计算药盒的三维尺寸，得到世界坐标系下药盒四个角点位置。

请参阅图2和图3，步骤S1中，像素坐标系与镜头坐标系的相互转换过程如下：

fx、fy、u₀、v₀分别为相机的像素参数，x、y、z分别为镜头坐标系的三坐标； u是像素坐标系的水平方向的轴，v是像素坐标系的竖直方向的轴；推导过程为：

则：

其中：1/dx和1/dy分别是成像平面在水平和竖直方向上缩放的倍数，从而实现 从成像平面到像素平面坐标的转化。

请参阅图4和图5，步骤S4中，世界坐标系与深度镜头坐标系的相互转化过程 如下：

一个旋转矩阵，一个平移矩阵，共12个参数R1-R9以及V1-V3，

世界坐标系变换到深度镜头坐标系属于刚性变换，即物体不会发生形变，只需 要进行旋转和平移，R表示旋转矩阵，T表示偏移向量(见图4)。

请参阅图5，绕Z轴旋转θ角时：

同理，绕x轴旋转Φ角时：

绕y轴旋转ω角时：

世界坐标系到深度镜头坐标系的转化采用Kabsch算法，推导过程为：

已知条件：世界坐标系下棋盘格角点坐标pi--------根据需要自行定义

深度镜头像素坐标系下的qi---------------opencv里棋盘格角点检测函数给出：

qi＝Rpi+t

求解：旋转矩阵R和平移矩阵t。

具体包括以下步骤：

S41，已知两个d维空间的点集P＝{p1,p2,p3…pn}和Q＝{q1,q2,q3…qn}，为求解它们的刚体转换参数R和t，将其建模为如下公式：

公式(1)中，wi表示每个点的权重，pi为世界坐标系下棋盘格角点坐标，qi 为深度镜头坐标系下棋盘格角点检测函数；

S42，计算平移矩阵，首先对公式(1)求导，得到：

引入点集合P的中心点

和Q的中心点

分别为：

公式(2)两边同时除以

得到：

将等式

代入公式(1)得到：

观察公式(5)，用集合X和集合Y分别表示

和

用x_i和y_i分 别表示新数据集合中的点：

公式(1)等价于：

S43，计算旋转矩阵，根据公式(7)得到：

旋转矩阵是一个正交矩阵，它的转置等于它的逆；

观察公式(8)：

每一个项都是标量，对于任意一个标量，他的转置是它本身，公式(8)变成：

进一步，

和

不依赖于旋转矩阵R，上式转化为：

只要求解新问题：

对于公式(11)，可以推导出：

其中，W＝diag(w1,w2,..wn),Y＝[y1 y2..yn]，X＝[x1 x2..xn]；

且矩阵的迹满足特性tr(AB)＝tr(BA)，则：

令S＝XWY^T，则：

V，R，U是正交矩阵，M＝V^TRU同样是正交矩阵，在矩阵M中每一列向量 mj,mj^Tmj＝1，因此：

求解最大化的R，

计算出R后，平移矩阵t为：

请参阅图6，本发明还公开了上述的一种基于分割算法的图像定位方法的应用，将基于分割算法的图像定位方法用于药品视觉复核，具体包括以下步骤：

A：患者取药时，患者刷卡后，药品视觉复核的服务器与与HIS***交互，获 取处方信息，处方信息传输至的所述服务器；处方信息中的药品列表包括品种、数 量、特征向量、长宽高、标签和阈值等；

B：复核摄像头进入工作状态，等待放药；

C：药师将药品陈列在复核摄像头下方的复核底板上，稳定秒后复核摄像头拍 摄药品的药盒图片(复核摄像头触发时间可以修改)，并把拍摄的原始的药盒图片发 送给所述服务器；

D：图像处理服务器采用上述的基于分割算法的图像定位方法将图片进行切割、处理，根据分割完成的土块、长宽高等信息，生成对应的特征向量；

E：经过图像处理服务器处理的图片与标准图像数据库中的药品图片进行分析 检索匹配后，生成复核结果即匹配结果，包括图片中的药品种类及数量；

若复核结果是匹配成功，药品正确，则指示灯绿灯亮，药师端显示屏中显示复 核通过，患者端显示屏显示处方中药品信息，患者取走药品；若如重新刷卡操作， 10s后复位到待机状态；

若复核结果是匹配不成功，药品不正确，则指示灯红灯/黄灯亮，则等待药师人 工复查，药师先判断是否由药品数量不匹配导致指示灯异常，如果数量不足且品种 不足或者品种正确但数量不足，药师端显示屏中提示药师需继续放置的药品和数量， 然后返回步骤C，数量不足的情况下，复核摄像头检测到新增药品，重新拍摄照片 复核；如果是数量大于处方中的数量，药师端显示屏中显示不通过，药师端显示屏 中提供“重新复核”按钮以及“确认无误”按钮，药师进行人工复核，可以手动干 预通过，也可以重新调整药品后返回步骤C；如果是药品品种错误，含有不在处方 内的药品，药师端显示屏中显示不通过，药师端显示屏中提供“重新复核”按钮以 及“确认无误”按钮，药师进行人工复核，可以手动干预通过，也可以重新调整药 品后返回步骤C。

综上所述，本发明的基于分割算法的图像定位方法及其应用，可以快速准确实 现药品的图像定位提取，供下一步药品识别使用，可以减少药师发药差错；提高药 师药品复核工作效率。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发 明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述 实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (5)

1.一种基于分割算法的图像定位方法，其特征在于，包括以下步骤：

S1，像素坐标系到镜头坐标系转换：相机拍摄原始的药盒图片，根据相机的像素参数得到镜头坐标系下点云坐标；

S2，经过镜头坐标系到世界坐标系转换，得到世界坐标系下的点云坐标；

S3，经过图像定位、分割以及三维尺寸确定，得到世界坐标系下药盒四个角点位置；

S4，经过世界坐标系到深度镜头坐标系的转化，得到深度镜头坐标系下药盒四个角点位置；

S5，经过深度镜头坐标系到彩色镜头坐标系的转化，得到彩色镜头坐标系下药盒四个角点位置；

S6，经过彩色镜头坐标系到彩色像素坐标系的转化，得到处理后的药盒图片；

S7，旋转并统一图片尺寸，得到最终的药盒图片。

2.根据权利要求1所述的一种基于分割算法的图像定位方法，其特征在于，步骤S3中，具体包括以下步骤：

S31，过滤药盒侧面深度值步骤：相机拍摄原始的药盒图片时，相机镜头并非正对药盒，药盒侧面的深度信息会干扰轮廓检测，通过给每个区间深度点数量的一个阈值，剔除侧面的深度信息的影响；

S32，基于深度的轮廓检测步骤：有深度信息的坐标即为药盒所在的位置，直接提取该部分区域，然后再使用opencv里的轮廓检函数测得轮廓；

S33，基于RGB的轮廓修正步骤：对于深度不能分割的药盒，如贴在一起，需要利用RGB的信息来修正

S34，计算药盒的三维尺寸，得到世界坐标系下药盒四个角点位置。

3.根据权利要求1所述的一种基于分割算法的图像定位方法，其特征在于，步骤S1中，像素坐标系与镜头坐标系的相互转换过程如下：

fx、fy、u₀、v₀分别为相机的像素参数，x、y、z分别为镜头坐标系的三坐标；u是像素坐标系的水平方向的轴，v是像素坐标系的竖直方向的轴；

则：

其中：1/dx和1/dy分别是成像平面在水平和竖直方向上缩放的倍数。

4.根据权利要求1所述的一种基于分割算法的图像定位方法，其特征在于，步骤S4中，世界坐标系到深度镜头坐标系的转化采用Kabsch算法，具体包括以下步骤：

S41，已知两个d维空间的点集P＝{p1,p2,p3…pn}和Q＝{q1,q2,q3…qn}，为求解它们的刚体转换参数R和t，将其建模为如下公式：

公式(1)中，wi表示每个点的权重，pi为世界坐标系下棋盘格角点坐标，qi为深度镜头坐标系下棋盘格角点检测函数；

S42，计算平移矩阵，首先对公式(1)求导，得到：

引入点集合P的中心点

和Q的中心点

分别为：

公式(2)两边同时除以

得到：

将等式

代入公式(1)得到：

观察公式(5)，用集合X和集合Y分别表示

和

用x_i和y_i分别表示新数据集合中的点：

公式(1)等价于：

S43，计算旋转矩阵，根据公式(7)得到：

旋转矩阵是一个正交矩阵，它的转置等于它的逆；

观察公式(8)：

每一个项都是标量，对于任意一个标量，他的转置是它本身，公式(8)变成：

进一步，

和

不依赖于旋转矩阵R，上式转化为：

只要求解新问题：

对于公式(11)，可以推导出：

其中，W＝diag(w1,w2,..wn),Y＝[y1 y2 .. yn]，X＝[x1 x2 .. xn]；

且矩阵的迹满足特性tr(AB)＝tr(BA)，则：

令S＝XWY^T，则：

V，R，U是正交矩阵，M＝V^TRU同样是正交矩阵，在矩阵M中每一列向量mj,mj^Tmj＝1，因此：

求解最大化的R，

计算出R后，平移矩阵t为：

5.根据权利要求1所述的一种基于分割算法的图像定位方法的应用，其特征在于，所述基于分割算法的图像定位方法用于药品视觉复核，具体包括以下步骤：

A：患者取药时，患者刷卡后，药品视觉复核的服务器与与HIS***交互，获取处方信息，处方信息传输至的所述服务器；

B：复核摄像头进入工作状态，等待放药；

C：药师将药品陈列在复核摄像头下方的复核底板上，复核摄像头拍摄药品的药盒图片，并把拍摄的原始的药盒图片发送给所述服务器；

D：图像处理服务器采用权利要求1所述的基于分割算法的图像定位方法将图片进行切割、处理，生成对应的特征向量；

E：经过图像处理服务器处理的图片与标准图像数据库中的药品图片进行分析检索匹配后，生成复核结果；

若复核结果是匹配成功，药品正确，则指示灯绿灯亮，药师端显示屏中显示复核通过，患者端显示屏显示处方中药品信息，患者取走药品；

若复核结果是匹配不成功，药品不正确，则指示灯红灯/黄灯亮，则等待药师人工复查，药师先判断是否由药品数量不匹配导致指示灯异常，如果数量不足且品种不足或者品种正确但数量不足，药师端显示屏中提示药师需继续放置的药品和数量，然后返回步骤C；如果是数量大于处方中的数量，药师端显示屏中显示不通过，药师进行人工复核，重新调整药品后返回步骤C；如果是药品品种错误，含有不在处方内的药品，药师端显示屏中显示不通过，药师进行人工复核，重新调整药品后返回步骤C。

Images