CN113252614B

CN113252614B - 一种基于机器视觉的透明度检测方法

Info

Publication number: CN113252614B
Application number: CN202110579783.3A
Authority: CN
Inventors: 林峰; 甘力博
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2021-05-26
Filing date: 2021-05-26
Publication date: 2022-07-22
Anticipated expiration: 2041-05-26
Also published as: JP7450848B2; WO2022247162A1; CN113252614A; JP2023533644A; US20220398711A1

Abstract

本发明涉及计算机视觉技术领域，具体地说，涉及一种基于机器视觉的透明度检测方法，提出了一种基于图像处理的智能塞氏盘与水尺识别技术，将传统的塞氏盘与图像处理、深度学习等技术相结合，准确测量出了水体的透明度，克服了人工测量过程中因主观和客观因素造成读数有误差、圆盘位置判断不准确的缺点。该方法准确率高，数值稳定客观、不受个体主观因素影响，具有很高的应用价值。

Description

一种基于机器视觉的透明度检测方法

技术领域

本发明涉及计算机视觉技术领域，具体地说，涉及一种基于机器视觉的透明度检测方法。

背景技术

水体透明度是衡量水质好坏的一个常用指标，比较常用的传统方法是塞氏盘法，该方法需要人用眼睛去判断塞氏盘的模糊程度并读取水尺的读数，会受到观察者主观因素的影响，从而使透明度的测量值具有较大的不确定性。另外，外界的客观因素如光线的强弱、塞氏盘的抖动等，也会对透明度的测量产生影响。这类传统方法测量透明度对操作者的经验要求较高，且存在较大的不确定性和不稳定性。现在随着对环境生态要求的提高，水体透明度已经成为一个非常重要的指标，准确实时地监测水体透明度的变化，有助于环保部门对城市河道的治理做出及时的应对。在水产养殖领域，水体透明度的高低会直接影响养殖产量。因此，水体透明度的精确测量对于促进生活生产具有重要的意义，提出一种准确且有效的水体透明度测量方法，成为一种迫切需求。

现在已经有不少测量透明度的方法，如公布号为CN 109859183A的中国专利文献公开了基于边缘计算的多要素一体化水体智能识别方法及生态站,该方法将浸有塞氏盘的目标水域图像输入预设的SSD深度学习网络，并基于该SSD深度学习网络输出的塞氏盘的图像识别结果，应用边缘计算方法获取目标水域当前的第二水体透明度信息,但该方法需要获取由水体检测传感组件采集的目标水域当前的至少一个第一水体透明度信息和至少一个第一水位信息。公布号为CN 109784259 A的中国专利文献公开了基于图像识别的水体透明度智能识别方法及塞氏盘组件，该方法将浸有塞氏盘的目标水域图像输入预设的图像识别模型，并将该图像识别模型的输出作为所述塞氏盘的图像识别结果，但该方法需要多个包含有两色相间的作业面的圆盘，且各个所述圆盘环绕所述柱体呈螺旋阶梯式固定排布。公布号为CN110672563A的中国专利文献公开了一种适用于智慧水环境透明度图像识别检测方法，该方法需要水质监测点竖直固定一带有塞氏盘的特制螺纹杆件。上述方法往往都需要事先获得数据或需要特定装置，操作相对复杂，实用性并不强。

随着计算机视觉技术的巨大发展，利用计算机视觉技术处理图像数据可以有效避免主客观因素的影响，具有准确性高、应用场景广、泛化能力强的优点。本例将深度学习、图像处理技术与塞氏盘测量技术相结合，提出一种基于机器视觉的智能图像处理识别技术，用于水体透明度的测量。

发明内容

本发明的目的是提供一种基于机器视觉的透明度检测方法，本发明例摄像头可以是一个摄像头，也可以是两个摄像头，当水质透明度较浅时，可以采用一个摄像头。当水质透明度较深，一个摄像头不能同时跟踪拍摄塞氏盘和水尺移动时，则可以采用两个摄像头，其中一个拍摄塞氏盘，另一个拍摄水尺，两个摄像头同时进行拍摄，模仿人用塞氏盘测量水体透明度的动作(一边看塞氏盘一边看水尺)，获得画面较为清晰的塞氏盘和水尺升降视频，把拍摄的视频通过云端或者直接传送到电脑上处理。

为了实现上述目的，本发明例包括两方面的内容，一方面是塞氏盘临界位置的判定，另一方面是水尺识别，其流程示意图如图1所示，具体步骤包括：

1)操作塞氏盘开始水体透明度测量，打开摄像头拍摄；

2)塞氏盘临界位置的判定；

3)水尺识别及水尺读数计算；

4)输出显示。

步骤2)中：塞氏盘临界位置的判定；塞氏盘临界位置是指塞氏盘刚好看不见时候的位置。包括塞氏盘初步分割，塞氏盘精细分割以及塞氏盘临界位置判定等步骤，具体如下：

2-1)塞氏盘初步分割：从视频图像中将塞氏盘上的白色部分分割出来；具体包括塞氏盘大小确定、塞氏盘在图像中位置定位和阈值确定等步骤。

2-1-1)塞氏盘大小确定：本例采用经典的faster rcnn算法进行塞氏盘大小的识别；

需要说明的是此处的大小不是指塞氏盘的面积，而是一个矩形的面积，这个矩形的四条边正好能将塞氏盘包围住。首先对包含塞氏盘的视频，进行帧提取，为减小后续图像处理的计算量，本例每隔3帧截取一张图像，然后存放在固定的文件夹中。对文件夹中的第一张图像，用经典的faster rcnn算法进行塞氏盘的识别，采集数据用Matlab2020b中的image labeler功能进行标注，faster rcnn识别塞氏盘大小的结果如图2所示。

2-1-2)塞氏盘在图像中位置定位；

对塞氏盘处于初始位置时的图像用faster rcnn进行识别后，得到矩形框的位置和大小，以该矩形框的上边缘为分界线将所有图像分成上下两部分，本例从下半部分图像的左上角开始，以一定的步长在整个图像上移动之前确定的矩形框，每移动一次截取矩形框里的内容，计算框内的亮度均值。由于塞氏盘上白色部分亮度高，所以亮度均值高的采样矩形框所在位置，即为塞氏盘所在位置。

当图像中含有亮度比塞氏盘高或者差不多的背景物体时，本例采用基于均值的背景相减法进行处理：取视频最后几秒的图像，视频中完全没有塞氏盘的存在，因此可将视频中最后10帧图像取均值作为背景图像，将含有塞氏盘的图像减去背景图像，则图像中背景部分相减后几乎变为0，再对相减后的图像利用之前的方法判定塞氏盘所在位置。

2-1-3)阈值确定

在确定塞氏盘所在位置后，将塞氏盘从原图中提取出来，如图3所示。然后将被分割出来的塞氏盘图像由RGB空间转换到HSV空间，提取亮度分量，建立亮度直方图，如图4所示。本发明例用类间最大方差法确定阈值，其算法过程如下：

第一步，整个图像的亮度值记为集合C，将亮度值分为两类，一类记为集合C1，一类记为集合C2，且C1∩C2＝0，C1∪C2＝C。

第二步，取亮度值k，将亮度值在[0,k-1]范围内的亮度值全放在集合C1内，剩下的亮度值放在集合C2内。集合C1内亮度值的均值记为m1,集合C1内元素个数占集合C内元素个数的比例记为p1；集合C2内亮度值的均值记为m2,集合C2内元素个数占集合C内元素个数的比例记为p2；集合C内亮度值的均值记为m；类间方差的计算公式记为：g＝p1*(m1-m)^2+p2*(m2-m)^2

第三步，亮度值k从0到255逐一取值，每取一次值，计算对应的类间最大方差。最大的类间方差对应的k值除以255就是最后的阈值。

确定阈值后，将高于这个阈值的亮度全部保留，其它全部去除，然后再转回到RGB空间，就得到塞氏盘上的白色部分。

2-2)塞氏盘精细分割：在塞氏盘几乎看不见时，将塞氏盘上的白色部分分割出来；为了实现塞氏盘的精细分割，本发明例用如下两个步骤实现：

2-2-1)在塞氏盘几乎将要看不见时确定塞氏盘的分割阈值并将其分割出来。

根据步骤2-1)，对于某一个塞氏盘视频进行截取，将所有截取的图像都运用步骤2-1)的方法确定其阈值，并将每张图像阈值大小做成折线图，如图5所示。

先确定塞氏盘非常模糊时，塞氏盘所在矩形框位置。在临界位置塞氏盘已经非常模糊只要再下降一小段距离就会看不见，而标准塞氏盘的直径有20cm，这一小段距离是远小于塞氏盘的直径的，所以，记塞氏盘图像跳变点的前一张图像的塞氏盘所在矩形框的高为h、宽为w、左上角顶点坐标为[x,y]，以[x,y]为起点划分一宽为1.6*w、高为1.6*h的矩形区域，可以保证之后图像中的塞氏盘都会出现在这个矩形区域。

然后，利用阈值变化趋势来确定阈值大小。将阈值跳变点之前的阈值数据进行线性拟合，用拟合曲线来预测跳变点之后阈值大小，将预测值作为跳变点之后图像的分割阈值。对于跳变点的确定，本例采用kmeans聚类分析的方法。具体方法如下：

第一步，求取相邻点阈值的差分，并对所有差分取绝对值；

第二步，用matlab自带的kmeans函数对这些差分进行分类，分成两类；

第三步，计算每一类差分的均值，取均值大的那类差分，这类差分第一次出现的位置就是跳变点的位置。

找到跳变点位置，作出原阈值曲线、阈值差分曲线、阈值拟合曲线如图6所示。

2-2-2)采用基于均值的背景相减法确定临界阈值；在塞氏盘完全看不见时，排除将水面当成塞氏盘分割出来。

本例还是采用基于均值的背景相减法进行处理，得到背景图像。每次把塞氏盘从原图分割出来的同时，将对应位置的背景图像也分割出来。由于背景图像都是水面，其背景亮度值成正太分布，设其均值为u，标准差为σ，用u+2σ代替该图的阈值，可以保证图像中完全看不见塞氏盘时，不会将大部分面分割出来，为步骤2-3)临界位置的判定提供依据。

2-3)塞氏盘临界位置判定：使用分类网络判定塞氏盘的临界位置；具体步骤如下：

2-3-1)将所有塞氏盘白色部分的分割结果，都缩放至统一尺寸(本例为160*160*3)；本例用Matlab2020b的resnet18网络构建分类网络，对塞氏盘的分割结果进行分类。本例将resnet18的输入大小修改至统一尺寸(本例为160*160*3)，网络各层参数如表1所示。

2-3-2)采集更多场景塞氏盘视频，制作用于分类网络训练的数据集；本例数据分为两类，一类表示有塞氏盘，一类表示无塞氏盘，部分数据集图像如图7所示。

2-3-3)用训练好的分类网络判断塞氏盘的临界位置。

2-3-4)获得塞氏盘的临界位置之后，再进行校正。由于人眼跟摄像头的透视距离有差距，而且现在摄像头的精准度越来越高，所以跟肉眼判断之间有一定的误差(其实人与人的判断距离，每个人在不同状态下的判断距离也是有所不同的，因此需要一个标准，而以摄像头作为标准无疑相对更客观)，但这个误差是相对固定的，设为ΔD，则实际的临界位置为：塞氏盘的临界位置+ΔD。

3)水尺识别及水尺读数计算；本例利用Deeplabv3+算法对该位置处的水尺进行识别分割，然后提取水尺上的字符，对字符进行分类，最后计算水尺读数，得到透明度值。具体步骤如下：

3-1)利用Deeplabv3+算法对该位置处的水尺进行识别分割；具体步骤如下：

3-1-1)创建数据集；本例收集120余张水尺图像作为训练数据集，用Matlab2020b自带的image labeler功能进行数据标注，部分水尺图像以及标注的结果如图8所示。

3-1-2)用Deeplabv3+进行网络训练；

3-1-3)用训练好的Deeplabv3+进行水尺分割。

3-2)提取水尺上的字符；具体如下：

3-2-1)水尺倾斜校正；

利用最小二乘估计对Deeplabv3+分割的结果进行倾斜校正，其计算公式如式(1)所示：

设水尺左侧或者右侧的边缘上的点的坐标为(xi,yi),其中xi表示横坐标，yi表示纵坐标，i∈[1,n]，计算水尺的倾斜斜率。

3-2-2)确定校正后水尺的边缘位置，然后从原图中将水尺分割出来；

3-2-3)对分割出来的水尺进行转置和镜像，使之向右旋转90度，变为水平的水尺；

3-2-4)用matlab的im2bw函数对分割出来的水尺进行二值化，对二值化后的图像取反，利用腐蚀算法断开字符与字符间的连接；

3-2-5)用matlab自带的regionprops()函数，将所有字符用矩形框标注出来，具体如图9所示；

3-2-6)利用kmeans聚类分析，将大字符与小字符分开；

经过上述操作后，本例要获取的有效字符(比较大的字符)依然保留在图像中，但另外一些小的字符或被腐蚀掉或被保留了下来。

本例利用kmeans聚类算法将大字符与小字符分开，具体步骤如下：

第一步，计算包围字符的矩形框的面积。

第二步，用matlab的kmeans()函数，对上述矩形框面积进行聚类分析，分成两类。

第三步，计算每一类的面积均值，均值大的那一类就是大字符，并将它们分割出来，聚类得到的大字符如图10所示。

3-3)对水尺字符进行分类；本例构建CNN分类网络来对水尺字符进行分类，用Matlab2020b的resnet18网络作为分类器，一共设置10个类，0到9每个数字属于一个类。本例采用matlab自带的数字字符数据集，将数据集里所有图像进行二值化，并缩放至64*64*1的大小。

3-4)计算水尺读数，得到透明度值；具体说明如下：

对于水平的水尺，每个整十刻度的位置，处于每个非0数字和其右边紧邻的数字0之间，比如，刻度70的位置处于字符7和其右边的字符0之间。设非0数字为k，数字k的右边缘位置记为x_right(k)，数字k右侧紧邻的数字0的左边缘位置记为x_left(k),则每个整十刻度的位置x(k)的计算公式如(2)所示：

记水尺上非零的最小数字为i，则根据比值关系得到水尺的读数计算公式如(3)所示：

4)输出显示。

与现有技术相比，本发明的有益之处在于：

上述技术方案提出了一种基于图像处理的智能塞氏盘与水尺识别技术，将传统的塞氏盘与图像处理、深度学习等技术相结合，准确测量出了水体的透明度，克服了人工测量过程中因主观和客观因素造成读数有误差、圆盘位置判断不准确的缺点。该方法准确率高，数值稳定客观、不受个体主观因素影响，具有很高的应用价值。

附图说明

图1为本发明实施例中一种基于机器视觉的透明度检测方法流程示意图；

图2为本发明实施例中采用faster rcnn识别塞氏盘大小的结果图；

图3为本发明实施例被分割出来的塞氏盘；

图4为本发明实施例被分割出来的塞氏盘的亮度直方图；

图5为本发明实施例的阈值折线图图；

图6为本发明实施例的原阈值曲线、阈值差分曲线、阈值拟合曲线图；

图7为本发明实施例中resnet18的部分数据集示意图；

图8为本发明实施例中部分水尺及其标注结果图像；

图9为本发明实施例中水尺图像处理结果，(a)为水平的水尺图像，(b)为二值化、取反、腐蚀后的水尺图像；

图10为本发明实施例中聚类得到的大字符。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

实施例

参见图1至图10，

本发明的目的是提供一种基于机器视觉的透明度检测方法，本发明例摄像头可以是一个摄像头，也可以是两个摄像头，当水质透明度较浅时，可以采用一个摄像头。当水质透明度较深，一个摄像头不能同时跟踪拍摄塞氏盘和水尺移动时，则可以采用两个摄像头，其中一个拍摄塞氏盘，另一个拍摄水尺，两个摄像头同时进行拍摄，模仿人用塞氏盘测量水体透明度的动作(一边看塞氏盘一边看水尺)，获得画面较为清晰的水尺视频和塞氏盘升降视频，把拍摄的视频通过云端或者直接传送到电脑上处理。为了实现上述目的，本发明例包括两方面的内容，一方面是塞氏盘临界位置的判定，另一方面是水尺识别，其流程示意图如图1所示，具体步骤包括：

步骤S100，操作塞氏盘开始水体透明度测量，打开摄像头拍摄；

步骤S200，塞氏盘临界位置的判定；塞氏盘临界位置是指塞氏盘刚好看不见时候的位置。包括塞氏盘初步分割，塞氏盘精细分割以及塞氏盘临界位置判定等步骤，具体如下：

步骤S210，塞氏盘初步分割：从视频图像中将塞氏盘上的白色部分分割出来；具体包括塞氏盘大小确定、塞氏盘在图像中位置定位和阈值确定等步骤。

步骤S211，塞氏盘大小确定：本例采用经典的faster rcnn算法进行塞氏盘大小的识别；首先对包含塞氏盘的视频，进行帧提取，为减小后续图像处理的计算量，本例每隔3帧截取一张图像，然后存放在固定的文件夹中。对文件夹中的第一张图像，用经典的fasterrcnn算法进行塞氏盘的识别，采集数据用Matlab2020b中的image labeler功能进行标注，faster rcnn识别塞氏盘大小的结果如图2所示。

步骤S212，塞氏盘在图像中位置定位；

对塞氏盘处于初始位置时的图像用faster rcnn进行识别后，得到矩形框的位置和大小，以该矩形框的上边缘为分界线将所有图像分成上下两部分，塞氏盘一般只出现在下半部分图像中，在下半部分图像中，本例从图像的左上角开始，以一定的步长在整个图像上移动之前确定的矩形框，每移动一次截取矩形框里的内容，计算框内的亮度均值，亮度均值高的采样矩形框所在位置，即为塞氏盘所在位置。

当图像中含有亮度比塞氏盘要高或者差不多的背景物体时，本例采用基于均值的背景相减法进行处理：取视频最后几秒的图像，视频中完全没有塞氏盘的存在，因此可将视频中最后10帧图像取均值作为背景图像，将含有塞氏盘的图像减去背景图像，则图像中背景部分相减后几乎变为0，再对相减后的图像利用之前的方法判定塞氏盘所在位置。

步骤S213，阈值确定；

步骤S220，塞氏盘精细分割：在塞氏盘几乎看不见时，将塞氏盘上的白色部分分割出来；为了实现塞氏盘的精细分割，本发明例用如下两个步骤实现：

步骤S221，在塞氏盘几乎将要看不见时确定塞氏盘的分割阈值并将其分割出来；

根据步骤S210，对于某一个塞氏盘视频进行截取，将所有截取的图像都运用步骤S210的方法确定其阈值，并将每张图像阈值大小做成折线图，如图5所示。

先确定塞氏盘非常模糊时，塞氏盘所在矩形框位置。在临界位置塞氏盘已经非常模糊只要再下降一小段距离就会看不见，记塞氏盘图像跳变点的前一张图像的塞氏盘所在矩形框的高为h、宽为w、左上角顶点坐标为[x,y]，以[x,y]为起点划分一宽为1.6*w、高为1.6*h的矩形区域，可以保证之后图像中的塞氏盘都会出现在这个矩形区域。

第一步，求取相邻点阈值的差分，并对所有差分取绝对值；

步骤S222，采用基于均值的背景相减法确定临界阈值；在塞氏盘完全看不见时，排除将水面当成塞氏盘分割出来。

本例采用基于均值的背景相减法进行处理，得到背景图像。每次把塞氏盘从原图分割出来的同时，将对应位置的背景图像也分割出来。由于背景图像都是水面，其背景亮度值成正太分布，设其均值为u，标准差为σ,并用u+2σ代替该图的阈值，就不会将大部分水面分割出来，为步骤S230临界位置的判定提供依据。

步骤S230，塞氏盘临界位置判定：使用分类网络判定塞氏盘的临界位置；具体步骤如下：

步骤S231，将所有塞氏盘白色部分的分割结果，都缩放至统一尺寸(本例为160*160*3)；本例用Matlab2020b的resnet18网络构建分类网络，对塞氏盘的分割结果进行分类。本例将resnet18的输入大小修改至统一尺寸(本例为160*160*3)，网络各层参数如表1所示。

表1 resnet18各层参数

步骤S232，采集更多场景塞氏盘视频，制作用于分类网络训练的数据集；本例数据分为两类，一类表示有塞氏盘，一类表示无塞氏盘，部分数据集图像如图7所示。

步骤S233，用训练好的分类网络判断塞氏盘的临界位置。

步骤S234，获得塞氏盘的临界位置之后，再进行校正。实际的临界位置为：塞氏盘的临界位置+ΔD，本例ΔD＝-5cm。

步骤S300，水尺识别及水尺读数计算；本例利用Deeplabv3+算法对该位置处的水尺进行识别分割，然后提取水尺上的字符，对字符进行分类，最后计算水尺读数，得到透明度值。具体步骤如下：

步骤S310，利用Deeplabv3+算法对该位置处的水尺进行识别分割；具体步骤如下：

步骤S311，创建数据集；本例收集120余张水尺图像作为训练数据集，用Matlab2020b自带的image labeler功能进行数据标注，部分水尺图像以及标注的结果如图8所示。

步骤S312，用Deeplabv3+进行网络训练；

步骤S313，用训练好的Deeplabv3+进行水尺分割。

步骤S320，提取水尺上的字符；具体如下：

步骤S321，水尺倾斜校正；利用最小二乘估计对Deeplabv3+分割的结果进行倾斜校正，其计算公式如式(1)所示：

设水尺左侧或者右侧的边缘上的点的坐标为(xi,yi),i∈[1,n]，计算水尺的倾斜斜率。

步骤S322，确定校正后水尺的边缘位置，然后从原图中将水尺分割出来；

步骤S323，对分割出来的水尺进行转置和镜像，使之向右旋转90度，变为水平的水尺；

步骤S324，用matlab的im2bw函数对分割出来的水尺进行二值化，对二值化后的图像取反，利用腐蚀算法断开字符与字符间的连接；

步骤S325，用matlab自带的regionprops()函数，将所有字符用矩形框标注出来，具体如图9所示；

步骤S326，利用kmeans聚类分析，将大字符与小字符分开；

第一步，计算包围字符的矩形框的面积。

步骤S330，对水尺字符进行分类；本例构建CNN分类网络来对水尺字符进行分类，用Matlab2020b的resnet18网络作为分类器，一共设置10个类，0到9每个数字属于一个类。本例采用matlab自带的数字字符数据集，将数据集里所有图像进行二值化，并缩放至64*64*1的大小。

步骤S340，计算水尺读数，得到透明度值；具体说明如下：

步骤S400，输出显示。

Claims

1.一种基于机器视觉的透明度检测方法，其特征在于，具体步骤包括：

1)操作塞氏盘开始水体透明度测量，打开摄像头拍摄；

2)塞氏盘临界位置的判定；

3)水尺识别及水尺读数计算；

4)输出显示；

其中，所述步骤2)中所述的塞氏盘临界位置的判定；包括塞氏盘初步分割，塞氏盘精细分割以及塞氏盘临界位置判定，具体包括如下：

2-1)塞氏盘初步分割：从视频图像中将所述塞氏盘上的白色部分分割出来；包括塞氏盘大小确定、塞氏盘在图像中位置定位和阈值确定；

2-1-1)塞氏盘大小确定：采用fasterrcnn算法进行塞氏盘大小的识别；所述塞氏盘大小指代一矩形的面积，所述矩形的四条边正好能将所述塞氏盘包围住；首先对包含塞氏盘的视频进行帧提取，每隔3帧截取一张图像，然后存放在固定的文件夹中；对文件夹中的第一张图像，用所述fasterrcnn算法进行塞氏盘的识别，采集数据用Matlab2020b中的imagelabeler功能进行标注；

2-1-2)塞氏盘在图像中位置定位；对所述塞氏盘处于初始位置时的图像用所述fasterrcnn算法进行识别后，得到矩形框的位置和大小，以该矩形框的上边缘为分界线将所述图像分成上下两部分；从下半部分图像的左上角开始，以一定的步长在整个图像上移动之前确定的矩形框，每移动一次截取矩形框里的内容，计算框内的亮度均值；亮度均值高的采样矩形框所在位置，即为所述塞氏盘所在位置；

当所述图像中含有亮度比所述塞氏盘高或者差不多的背景物体时，将视频中最后10帧图像取均值作为背景图像，将含有所述塞氏盘的图像减去背景图像，则图像中背景部分相减后几乎变为0，再对相减后的图像利用所述步骤2-1-2)中的方法判定塞氏盘所在位置；

2-1-3)阈值确定：在确定所述塞氏盘所在位置后，将所述塞氏盘从原图中提取出来，然后将被分割出来的塞氏盘图像由RGB空间转换到HSV空间，提取亮度分量，建立亮度直方图，用类间最大方差法确定阈值，其算法过程如下：

第一步，整个所述塞氏盘图像的亮度值记为集合C，将亮度值分为两类，一类记为集合C1，一类记为集合C2，且C1∩C2＝0，C1∪C2＝C；

第二步，取亮度值k，将亮度值在[0,k-1]范围内的亮度值全放在所述集合C1内，剩下的亮度值放在所述集合C2内；所述集合C1内亮度值的均值记为m1，所述集合C1内元素个数占集合C内元素个数的比例记为p1；所述集合C2内亮度值的均值记为m2，所述集合C2内元素个数占所述集合C内元素个数的比例记为p2；所述集合C内亮度值的均值记为m；类间方差的计算公式记为：g＝p1*(m1-m)^2+p2*(m2-m)^2；

第三步，亮度值k从0到255逐一取值，每取一次值，计算对应的类间最大方差；最大的类间方差对应的k值除以255就是最后的阈值；

确定阈值后，将高于这个阈值的亮度全部保留，其它全部去除，然后再转回到RGB空间，就得到所述塞氏盘上的白色部分；

2-2)塞氏盘精细分割：在所述塞氏盘接近临界位置时，将所述塞氏盘上的白色部分分割出来；所述塞氏盘的精细分割包括以下步骤：

2-2-1)在所述塞氏盘接近临界位置时确定塞氏盘的分割阈值并将其分割出来；

根据所述步骤2-1)，对于某一个塞氏盘视频进行截取，将所有截取的图像都运用步骤2-1)的方法确定其阈值，并将每张图像阈值大小做成折线图；

先确定所述塞氏盘接近临界位置时，所述塞氏盘所在矩形框位置；记所述塞氏盘图像跳变点的前一张图像的所述塞氏盘所在矩形框的高为h、宽为w、左上角顶点坐标为[x,y]，以[x,y]为起点划分一宽为1.6*w、高为1.6*h的矩形区域，保证之后图像中的所述塞氏盘都会出现在这个矩形区域；

然后，将阈值跳变点之前的阈值数据进行线性拟合，用拟合曲线来预测跳变点之后阈值大小，将预测值作为跳变点之后图像的分割阈值；对于跳变点的确定，采用kmeans聚类分析的方法，包括以下步骤：

第一步，求取相邻点阈值的差分，并对所有差分取绝对值；

第三步，计算每一类差分的均值，取均值大的那类差分，这类差分第一次出现的位置就是跳变点的位置；

找到跳变点位置，作出原阈值曲线、阈值差分曲线、阈值拟合曲线；

2-2-2)采用基于均值的背景相减法确定临界阈值；在塞氏盘看不见时，排除将水面当成塞氏盘分割出来；采用基于均值的背景相减法进行处理，得到背景图像；每次把塞氏盘从原图分割出来的同时，将对应位置的背景图像也分割出来；由于背景图像都是水面，其背景亮度值成正太分布，设其均值为u，标准差为σ，用u+2σ代替该图的阈值，为步骤2-3)临界位置的判定提供依据；

2-3)塞氏盘临界位置判定：使用分类网络判定塞氏盘的临界位置；具体包括如下步骤：

2-3-1)将所有塞氏盘白色部分的分割结果，都缩放至统一尺寸；用Matlab2020b的resnet18网络构建分类网络，对塞氏盘的分割结果进行分类；

2-3-2)采集更多场景塞氏盘视频，制作用于分类网络训练的数据集；数据分为两类，一类表示有塞氏盘，一类表示无塞氏盘；

2-3-3)用训练好的分类网络判断塞氏盘的临界位置；

2-3-4)获得塞氏盘的临界位置之后，再进行校正；实际的临界位置为：塞氏盘的临界位置+ΔD，其中，ΔD为人眼与摄像头观察造成的误差。

2.根据权利要求1所述的一种基于机器视觉的透明度检测方法，其特征在于，步骤3)中所述的水尺识别及水尺读数计算；利用Deeplabv3+算法对该位置处的水尺进行识别分割，然后提取水尺上的字符，对字符进行分类，最后计算水尺读数，得到透明度值，具体包括如下步骤：

3-1)利用Deeplabv3+算法对该位置处的水尺进行识别分割，包括如下步骤：

3-1-1)创建数据集；用image labeler功能进行数据标注；

3-1-2)用Deeplabv3+进行网络训练；

3-1-3)用训练好的Deeplabv3+进行水尺分割；

3-2)提取水尺上的字符，包括如下步骤：

3-2-1)水尺倾斜校正；

设水尺左侧或者右侧的边缘上的点的坐标为(xi,yi),其中xi表示横坐标，yi表示纵坐标，i∈[1,n]，计算水尺的倾斜斜率；

3-2-5)用matlab自带的regionprops()函数，将所有字符用矩形框标注出来；

3-2-6)利用kmeans聚类分析，将大字符与小字符分开，具体包括如下步骤：

第一步，计算包围字符的矩形框的面积；

第二步，用matlab的kmeans()函数，对上述矩形框面积进行聚类分析，分成两类；

第三步，计算每一类的面积均值，均值大的那一类就是大字符，并将它们分割出来；

3-3)对水尺字符进行分类；构建CNN分类网络来对水尺字符进行分类，用Matlab2020b的resnet18网络作为分类器，一共设置10个类，0到9每个数字属于一个类；采用matlab自带的数字字符数据集，将数据集里所有图像进行二值化，并缩放至统一的大小；

3-4)计算水尺读数，得到透明度值；

对于水平的水尺，每个整十刻度的位置，处于每个非0数字和其右边紧邻的数字0之间，设非0数字为k，数字k的右边缘位置记为x_right(k)，数字k右侧紧邻的数字0的左边缘位置记为x_left(k),则每个整十刻度的位置x(k)的计算公式如下式所示：

记水尺上非零的最小数字为i，则根据比值关系得到水尺的读数计算公式如下式所示：