CN107549036B - 基于电、视频信号的水生生物行为在线监测***及方法 - Google Patents

Abstract

本发明公开了基于电、视频信号的水生生物行为在线监测***及方法，包括将电场与视频技术融合进一个装置的水生生物行为传感器，所述水生生物行为传感器将利用电场采集的水生生物行为信号及利用摄像装置采集的水生生物的视频数据传输至计算机端进行处理；在计算机端，采用视频印迹定位算法实现对水生生物的视频数据处理实现对水生生物的精确定位的监测。本申请的算法通过对每个个体单独分析，剥离出代表每个个体的多个时间段的对应像素块，对像素块建立骨架并沿骨架方向切片，分析每段切片的大小，提取出各个个体的特征数据，即使又出现这种交叉混合的情况，只要有两个个体完全分离后的数据，依然可以对应到每一个个体，保持精确定位。

Description

基于电、视频信号的水生生物行为在线监测***及方法

技术领域

本发明涉及生物监测技术领域，具体涉及基于电、视频信号的水生生物行为在线监测***及方法。

背景技术

基于鱼类行为学的行为捕捉方式，通过电场采集鱼类运动强度信号，其技术是通过四个电极，两两相对为一组，互通正负电极，在电极之间产生电场，同时电极连接信号处理端，负责采集电场信号变化，当水生生物在电场中运动时，会对电场产生干扰，信号处理端捕捉到变化的电信号，由此实现对水生生物的定位，同步输出行为强度数据；另一个技术主要是利用多个摄像头采集的视频数据，利用视频追踪技术和识别定位算法实现对视频中的水生生物的三维定位，并输出其位置、速度等数据。

目前，现有技术单纯使用中存在阳性阈值警报、定位失误、数据不完善的问题。当前技术主要依赖行为强度指标，过度依赖于电场的变化信号，这会导致行为强度信号不仅会采集到鱼类运动，连水体流速、投喂食物等外界环境变化也可能会使行为强度信号变化，除此以外，单纯使用电场监测运动信号很难精确定位鱼类具***置，且分辨鱼类个体能力低，容易做出误判，比如两条鱼交叉汇合的时候，很容易在两条鱼再次分离时颠倒身份。

发明内容

为解决现有技术存在的不足，本发明公开了基于电、视频信号的水生生物行为在线监测***及方法，在电场测量的基础上，加入了多个摄像头的辅助定位，以及配套的生物识别算法，即降低了单纯电场监测中的数据采集错误率，还丰富了行为强度的数据采集方式，同时密封性更好，相比当前行为强度采集传感器，能提高所采数据的准确性，减少噪声。

为实现上述目的，本发明的具体方案如下：

基于电、视频信号的水生生物行为在线监测***，包括将电场与视频技术融合进一个装置的水生生物行为传感器，所述水生生物行为传感器将利用电场采集的水生生物行为信号及利用摄像装置采集的水生生物的视频数据传输至计算机端进行处理；

在计算机端对水生生物的视频数据处理实现对水生生物的精确定位的监测。在计算机端采用视频印迹定位算法对采集的数据进行处理实现精确定位。

进一步的，所述水生生物行为传感器包括生物养育室、外部套件及与外部套件搭配的上盖，外部套件靠近侧壁的底部有一处凸起，与生物养育室下方开口吻合，上盖与生物养育室上端的对应位置设置有卡口用于留有安装摄像头，外部套件与生物养育室相对的另一侧壁上安装有摄像头，生物养育室内壁安装有电极。

进一步的，所述电极为四个铁片电极，分别安置在等间隔分布在生物养育室内壁上的四个凹槽内，铁片电极中心的位置打眼，安装导电螺丝，导电螺丝一端接触铁片电极，另一端在生物养育室室壁外侧，负责固定用于采集信号的数据线。

进一步的，所述生物养育室、外部套件为可拆卸的。

进一步的，所述生物养育室、外部套件为由3D打印一体成型。

优选的，所述生物养育室为圆柱体。

进一步的，所述生物养育室下方且位于外部套件底部的凸起边缘处有通向外部的水管，用作生物养育室的进水口，生物养育室侧面同样具有一个通向外部的水管，用作该传感器的出水口。

进一步的，所述外部套件的底部凸起内部会留有一处用以安置LED灯的空隙，届时会从底部打光，保证整个装置的采光；在生物养育室与侧面摄像头中间某处外部套件的底部设置有多个渗水点。

进一步的，所述电极分为两组，其中第一组电极连续发射低压正弦高频信号，第二组电极接收经过监测区域内生物行为干扰以后的第一组电极信号，通过不同电极接点，由数据线传输至计算机端，实现对生物行为进行解析。

基于电、视频信号的水生生物行为在线监测方法，包括：

利用水生生物行为传感器采集的水生生物行为信号及水生生物的视频数据并传输至计算机端；

计算机端一帧帧的识别全部或大部分个体分散的情况，并将该帧图像转化为灰度模式，滤除背景值，以更好的找出代表每一个个体的像素块，如果该帧图像中正好有两个或多个个体交叉的情况出现，则抛弃这种多个体的像素块，对单个体像素块进行处理，通过对单个体提取轮廓图，构造中心线，并沿中心线进行切片，完整的识别单个体的数据。

进一步的，当开始视频监测定位时，一旦再次发生个体交叉的情况，在计算机端会捕捉交叉前后的帧数据，两个个体完全分离，并利用数据库进行比对，从而将交叉后的个体对应到交叉前的情况。

基于电、视频信号的水生生物行为在线监测方法中所利用的为视频印迹定位算法，具体为：

分割，摄像头将采集到的每一帧数据传输至计算机端，计算机端自动寻找一系列显著不同于背景值的连续运动的像素块，判断该像素块是否是一个个体的标准；

将全部适于分割的图像转化为强度图：适于分割的图像即各个个体互相没有交叉或交叉很小，一旦出现多个个体聚在一起的情况，该帧图像不适于分割；

个体选择：需要将代表个体的像素块跟多个个体交叉的像素块以及噪声像素块分离开来，通过与之前在准备时间中采集到的数据作对比，随机抽选数帧独立图像作为参考构建个体图像；

处理参考图像：从视频中提取出了对应每个个体的一系列图像，其中包括该个体的各种动作形态，新监测到的个体的某一状态，通过与各个参考图像做对比，从而确定是不是属于该参考图像的个体；

确定ID：一旦确定某监测视频中的某帧中的某个独立像素块是属于一系列参考图像的，那该像素块即为该个体，赋予其这一系列参考图像具有的ID；

构建轨迹：计算每个个体的中心点，并最终以中心点的移动路线为蓝本绘制轨迹。

本发明的有益效果：

本装置创新性的将两个技术融合进一个***中，构建基于电、视频信号的水生生物行为在线监测***及方法，实现对多个体同时监测情况下单一个体行为分析，保证行为信号及结果的特一性及连续性，即避免了单独电场监测容易出现的阳性错误，又丰富了视频采集技术的数据程度。该装置满足了水环境条件下受试生物的个体识别、示踪与行为采集和在线分析的技术需要，完成了水生生物个体识别与行为分析***的硬件条件；不同污染物导致的环境胁迫下受试生物行为响应研究及模型分析，探讨不同生物对不同污染物的反应临界阈值，实现了水生生物个体识别与行为分析***的软件条件。

本发明将电场监测与视频监测联合在一起，即减少了电场监测阳性报警的产生，还丰富了视频监测的数据采集，同时密封性更好，相比以前的行为强度在线监测***，能提高所采数据的准确性，减少噪声。

本申请通过对每个个体单独分析，剥离出代表每个个体的多个时间段的对应像素块，对像素块建立骨架并沿骨架方向切片，分析每段切片的大小，提取出各个个体的特征数据，即使又出现这种交叉混合的情况，只要有两个个体完全分离后的数据，依然可以对应到每一个个体，保持精确定位。

附图说明

图1本发明的整体结构示意图；

图2本发明的生物养育室结构示意图；

图3本发明的生物养育室侧面数据线连接结构示意图；

图4本发明的水声生物交叉视频监测图像；

图5(a)-图5(b)本发明的交叉可能的两种路线示意图；

图中，1、生物养育室；2、进水口；3、凸起水塞；4、渗水点；5、外部套件；6、侧面摄像头；7、上盖；8、顶部摄像头；9、出水口；10、固定器；11、生物养育室主体；12、电极。

具体实施方式：

下面结合附图对本发明进行详细说明：

本发明通过全新设计水生生物行为传感器，将电场与视频融合进一个装置中，该装置总共分三个部分，生物养育室1，外部套件5，上盖7。整个装置为5V供电，可以接外部电路板或USB直接供电。

如图1所示，生物养育室1，对应于不同种类的鱼类大小不同，整体为圆柱体，高约6-30cm，直径约3-25cm，顶部镂空，除此以外还有长10-50cm宽5-30cm的长方体外部套件5及与之搭配的上盖7，通过将生物养育室1上端及下端分别安装上盖7及外部套件5组成一个密封的整体；外部套件5底部有一处凸起水塞3，与生物养育室1下方开口吻合，用于将生物养育室1固定在外部套件5底部，并且该凸起水塞3边缘有通向外部的水管，用作该传感器的进水口2；生物养育室1侧面同样具有一个通向外部的水管，用作该传感器的出水口9，生物养育室1侧壁通过固定器10固定在外部套件5的侧壁上。

生物养育室1结构如图2所示，包括生物养育室主体11，生物养育室1内壁等间隔分布有四个凹槽，安置四个铁片电极12，电极12为不锈钢电极，对应铁片中心的位置打眼，安装导电螺丝，一端接触铁片电极12，另一端在生物养育室1室壁外侧，负责固定用于采集信号的数据线，具体结构如图3所示；每组电极由相对设置的两对电极组成，每组电极的结构一致，其中一组电极连续发射低压正弦高频信号，第二组电极接收经过监测区域内生物行为干扰以后的第一组电极信号，通过不同电极接点，由数据线传输至计算机端，经过专用信号识别软件，对生物行为进行解析，并实现生物行为信号的采集，并将采集的虚拟信号转化为数字信号，输送到生物行为数据处理中心。

生物养育室1上方开口，同时上盖的对应位置留有安装摄像头的卡口，是该传感器顶部摄像头8的位置，侧面摄像头6安装在外部套件与生物养育室相对的另一端；摄像头主要用于视频印迹定位算法，负责与侧面摄像头配合形成计算机双目视觉。

关于该视频印迹定位算法的流程，首先是分割，在***启动至正式开始识别工作之间有一段数据准备时间，在这段时间内，摄像头将采集到的每一帧数据传输至计算机端，***会自动寻找一系列显著不同于背景值的连续运动的像素块，一般这种像素块就代表了一个个体，判断该像素块是否是一个个体的标准我们称之为阈值，该标准由用户设定，通常依被测物种不同被设定在50-250之间。

第二步将全部适于分割的图像转化为强度图，此处适于分割的图像即各个个体互相没有交叉或交叉很小，一旦出现多个个体聚在一起等情况，该帧图像不适于分割。

第三步为个体选择。我们需要将代表个体的像素块跟多个个体交叉的像素块以及噪声像素块分离开来，这就要与之前准备时间中采集到的数据做对比，随机抽选3-8帧独立图像作为参考构建个体图像。

第四步处理参考图像。现在我们从视频中提取出了对应每个个体的一系列图像，其中包括该个体的各种动作形态，新监测到的个体的某一状态，通过与各个参考图像做对比，从而确定是不是属于该参考图像的个体。

第五步，确定ID。一旦确定某监测视频中的某帧中的某个独立像素块是属于一系列参考图像的，那该像素块即为该个体，赋予其这一系列参考图像具有的ID。

第六步构建轨迹。***目前已经可以做到追踪每一个个体，接下来我们可以计算每个个体的中心点，并最终以中心点的移动路线为蓝本绘制轨迹。

下进水口主要负责进水与照明，凸起即能完整的卡入生物养育室的底部，还提供了LED灯运行的空间，***运行时LED灯安装在凸起底部，透过中间隔层为整套装置打光，凸起侧壁安装有两道橡皮圈，一是增大摩擦力，更好的固定生物养育室，二是起到密封隔水的作用，使水流只能从侧面出水口流出。

上盖主要负责遮光密封以及顶部摄像示踪，有与生物养育室顶部对应的缺口，并且内部安装有一顶部摄像头，该摄像头与侧面摄像头配合，共同形成计算机双目视觉,该口与封闭室以卡口形式相连，方便连接与拆卸。

外部套件的底部凸起内部会留有一处用以安置LED灯的空隙，届时会从底部打光，保证整个装置的采光；在生物养育室与侧面摄像头中间某处外部套件的底部有多个渗水点4，防止生物养育室与其他地方接触不严或其他原因导致漏水时水溢满整个装置。

该水生生物行为传感器设置为可拆卸方式，主要原因是方便清洗，但是同时导致了装置出现密封性问题，虽然我们会在接口处定制橡胶圈解决，但是时间久了容易磨损，

作为本发明的另外一种实施方法，本发明的上述水生生物行为传感器还可以为一种一体型的密封装置，整个装置由3D打印一体成型，即生物养育室与外部套件连接处为一体，同时底部有加厚加固措施，保证装置的稳定性，该装置可以定期使用压力较大的水流冲洗，其宽度也足够伸入一小块清洁用具用于清洗。

在使用时，整套装置组装完毕，从外部套件下方的水管进水，从侧面的水管出水，生物养育室中放入适量实验监测用鱼，整个生物养育室用于***启动时作为水生生物的运动场所，所以密封隔水性能必须很好，上盖盖上密封，整套***启动后，一方面生物养育室内四片电极开始工作，在生物养育室中形成电场，并开始采集鱼类在电场中的运动信息，另一方面，顶部与侧面摄像头工作，形成双目视觉，并将视频信息传输到工作站中，通过我们三维定位指纹印迹算法辅助定位及数据处理。该算法通过计算机赋予每个个体独一无二的指纹，保证生物识别定位的准确性，因为之前在遇到两条鱼交叉分离后，传统的视频识别算法很容易被干扰，图4本发明的水声生物交叉视频监测图像，A鱼和B鱼从两个方向交叉相遇，当两条鱼再次分开时，会出现两种情况，如图5(a)-图5(b)所示，一种是C鱼与D鱼分别对应A鱼和B鱼，另一种C鱼与D鱼分别对应的是B鱼与A鱼，传统的视频识别算法无法分辨到底发生了哪一种情况，因此有很大的概率会出现个体识别错位的情况，在一次行为监测实验的过程中会出现无数次这种情况，所以导致了定位的数据极其不准确，除此以外，经常出现鱼类游出监测范围再返回的情况，计算机经常会将该鱼识别为新的个体，从新进行定位，这些都导致了传统定位算法的不精确性。本申请的算法通过对每个个体单独分析，剥离出代表每个个体的多个时间段的对应像素块，对像素块建立骨架并沿骨架方向切片，分析每段切片的大小，提取出各个个体的特征数据，即使又出现这种交叉混合的情况，只要有两个个体完全分离后的数据，依然可以对应到每一个个体，保持精确定位。

更为详细的实施例子：

首先检测该装置密闭性，将各部分组装完毕，注满水并静置一段时间，查看是否有水漏出。

检测完毕，可以利用本实施例制作的生物行为传感器，以斑马鱼为例，进行监测斑马鱼在正常水体内的行为周期性变化，具体监测试验如下：

试验进行的温度控制在20±2℃，光照周期为16H：8D。流水暴露试验维持4天。在试验过程中，流水速率控制在1升/小时，食物通过流水***投喂。利用生物行为传感器监测斑马鱼在正常水体内的行为周期性变化。

对电信号和视频信号进行识别以后，将生物行为信号进行采集，并将采集的模拟信号转化为数字信号，输送到生物行为数据处理中心。数据处理中心会将相关数据代入水生生物行为阈值模型，分析生物行为的具体行为阶段，并由此推断水质状况变化。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.基于电、视频信号的水生生物行为在线监测***，其特征是，包括将电场与视频技术融合进一个装置的水生生物行为传感器，所述水生生物行为传感器将利用电场采集的水生生物行为信号及利用摄像装置采集的水生生物的视频数据传输至计算机端进行处理；上盖摄像头负责与侧面摄像头配合形成计算机双目视觉，用于视频印迹定位算法；在计算机端对水生生物的视频数据处理实现对水生生物的精确定位的监测；

关于视频印迹定位算法，从视频中提取出了对应每个个体的一系列图像，其中包括该个体的各种动作形态，新监测到的个体的某一状态，通过与各个参考图像做对比，从而确定是不是属于该参考图像的个体，一旦确定某监测视频中的某帧中的某个独立像素块是属于一系列参考图像的，那该像素块即为该个体，赋予其这一系列参考图像具有的ID。

2.如权利要求1所述的基于电、视频信号的水生生物行为在线监测***，其特征是，所述水生生物行为传感器包括生物养育室、外部套件及与外部套件搭配的上盖，外部套件靠近侧壁的底部有一处凸起，与生物养育室下方开口吻合，上盖与生物养育室上端的对应位置设置有卡口用于留有安装摄像头，外部套件与生物养育室相对的另一侧壁上安装有摄像头，生物养育室内壁安装有电极。

3.如权利要求2所述的基于电、视频信号的水生生物行为在线监测***，其特征是，所述电极为四个铁片电极，分别安置在等间隔分布在生物养育室内壁上的四个凹槽内，铁片电极中心的位置打眼，安装导电螺丝，导电螺丝一端接触铁片电极，另一端在生物养育室室壁外侧，负责固定用于采集信号的数据线。

4.如权利要求1所述的基于电、视频信号的水生生物行为在线监测***，其特征是，所述生物养育室、外部套件为可拆卸的。

5.如权利要求1所述的基于电、视频信号的水生生物行为在线监测***，其特征是，所述生物养育室、外部套件为由3D打印一体成型。

6.如权利要求1所述的基于电、视频信号的水生生物行为在线监测***，其特征是，所述生物养育室为圆柱体。

7.如权利要求1所述的基于电、视频信号的水生生物行为在线监测***，其特征是，所述生物养育室下方且位于外部套件底部的凸起边缘处有通向外部的水管，用作生物养育室的进水口，生物养育室侧面同样具有一个通向外部的水管，用作该传感器的出水口。

8.如权利要求2所述的基于电、视频信号的水生生物行为在线监测***，其特征是，所述外部套件的底部凸起内部会留有一处用以安置LED灯的空隙，届时会从底部打光，保证整个装置的采光；在生物养育室与侧面摄像头中间某处外部套件的底部设置有多个渗水点。

9.如权利要求2所述的基于电、视频信号的水生生物行为在线监测***，其特征是，所述电极分为两组，其中第一组电极连续发射低压正弦高频信号，第二组电极接收经过监测区域内生物行为干扰以后的第一组电极信号，通过不同电极接点，由数据线传输至计算机端，实现对生物行为进行解析。

10.如权利要求1-9所述的任一基于电、视频信号的水生生物行为在线监测***的监测方法，其特征是，包括：

利用水生生物行为传感器采集的水生生物行为信号及水生生物的视频数据并传输至计算机端；

计算机端一帧帧的识别全部或大部分个体分散的情况，并将该帧图像转化为灰度模式，滤除背景值，以更好的找出代表每一个个体的像素块，如果该帧图像中正好有两个或多个个体交叉的情况出现，则抛弃这种多个体的像素块，对单个体像素块进行处理，通过对单个体提取轮廓图，构造中心线，并沿中心线进行切片，完整的识别单个体的数据；从视频中提取出了对应每个个体的一系列图像，其中包括该个体的各种动作形态，新监测到的个体的某一状态，通过与各个参考图像做对比，从而确定是不是属于该参考图像的个体，一旦确定某监测视频中的某帧中的某个独立像素块是属于一系列参考图像的，那该像素块即为该个体，赋予其这一系列参考图像具有的ID；

当开始视频监测定位时，一旦再次发生个体交叉的情况，在计算机端会捕捉交叉前后的帧数据，两个个体完全分离，并利用数据库进行比对，从而将交叉后的个体对应到交叉前的情况。

Images