CN117690194B - 一种多源ai生物多样性观测的方法和采集*** - Google Patents

Abstract

本申请提供一种多源AI生物多样性观测的方法和采集***，属于生态智能科技领域以及生物多样性观测领域，采集***包括：无人船和边缘服务器，***中的无人船包括：水面可旋转运动摄像相机、水下可旋转运动摄像相机、音频采集装置、通信天线、中控单元、北斗/GPS定位单元、IMU单元和存储单元；***中的边缘服务器进行动植物的AI识别。本申请可以利用人工智能、高精定位获取高质量的生物观测数据，为生物多样性评估提供重要参数、并为生物多样性的科学保护措施和政策制定提供依据。

Description

一种多源AI生物多样性观测的方法和采集***

技术领域

本申请涉及生态智能科技领域以及生物观测领域，尤其涉及生物多样性的观测方法和采集***。

背景技术

无人船作为智能机器人中的一个分支，无人船一般包括：智能驾驶、图像采集与传输等功能，其具有体积小，成本低，机动性好，可以搭载不同传感器等优点，因此采用无人船进行生态环境生物多样性的信息观测和采集是非常可行的方向。但现有的无人船在观测采集中普遍存在几个问题：1采集参数不完备。采集的数据仅包含采集目标视频或者音频数据，而不包含环境参数，如实时地理位置信息等，也不包括实时时间信息等，导致后续分析数据时，缺失必要信息；2定位不精准。内陆无人船往往工作在内陆河流、水库和小型湖泊等区域，地形狭小且相对海洋较为复杂，在靠近水岸的时候，由于楼房或树木的遮挡，北斗或者GPS信号容易丢失，从而导致定位失效或者不精准的问题。

发明内容

本申请的目的是为了解决现有技术中上述的问题，本申请提供了多源AI进行生物多样性观测的方法和采集***，可以利用人工智能、高精定位获取高质量的生物观测数据，为生物多样性评估提供重要参数、并为生物多样性的科学保护措施和政策制定提供依据。

为了实现上述目的，本申请提出一种多源AI进行生物多样性观测的采集***，采集***包括：无人船和边缘服务器，***中的无人船包括：水面可旋转运动摄像相机、水下可旋转运动摄像相机、音频采集装置、通信天线、中控单元、北斗/GPS定位单元、IMU单元和存储单元；在无人船的上表面固定连接通信天线，天线上方连接水面可旋转运动摄像相机，鱼眼镜头固定安装在运动摄像相机上，调整相机云台可使得鱼眼镜头调整拍摄方位，无人船腔体前方在左右两侧分别固定安装一个水下可旋转运动摄像相机，水下可旋转运动摄像相机突出于腔体之外，鱼眼镜头安装在水下可旋转运动摄像相机上，调整水下可旋转运动摄像相机可使得鱼眼镜头朝下，音频采集装置安装在无人船后方，北斗/GPS定位单元和IMU单元实现融合定位，中控单元与存储单元、北斗/GPS定位单元、IMU单元、无人船的控制***和运动摄像相机的控制***连接；***中的边缘服务器进行动植物的AI识别。

在一些实施方案中，采用北斗/GPS/IMU的融合定位方式，将北斗或者GPS的经纬度坐标(lat，lon)转换到二维平面坐标(x_斗/GPS，y_斗/GPS)，将IMU的位姿数据转换为二维平面坐标(x_和，y_和)。

在一些实施方案中，北斗/GPS/IMU的融合坐标(x_融合，y_融合)，通过将北斗或者GPS的经纬度坐标与IMU的位姿数据进行融合得到，即如下公式所示：

x_融合＝ αx_斗/GPS + βx_和 (5)

y_融合＝ αy_斗/GPS + βy_和 (6)

其中α+β＝1(7)

其中，α和β分别是经纬度坐标的权重和IMU位姿数据的权重。

在一些实施方案中，当北斗/GPS的工作状态异常时，即北斗/GPS定位失效时，进入以IMU为主，北斗/GPS为辅的定位模式，此时权值的动态更新以IMU的更新周期进行更新，也即β_异常＝1/[1+κ(t_当前-t_IMU刷新)]，其中t_当前是当前时间，t_IMU刷新是最近一次IMU的刷新时间，κ是时间衰减速度系数，此时α_异常＝1-β_异常。即如下公式：

x_融合＝ α_异常x_斗/GPS + β_异常x_和 (8)

y_融合＝ α_异常y_斗/GPS + β_异常y_和 (9)

其中

α_异常 ＝1-β_异常 (11)。

在一些实施方案中，当北斗/GPS的工作状态正常时，即北斗/GPS定位有效时，进入以GPS为主，IMU为辅的定位模式，此时权值的动态更新以北斗/GPS的更新周期进行更新，也即α_正常＝1/[1+κ(t_当前-t_{斗/GPS刷新})]，其中t_当前是当前时间，t_{斗/GPS刷新}是最近一次北斗/GPS的刷新时间，κ是时间衰减速度系数，此时β_正常＝1-α_正常。即如下公式：

x_融合＝ α_正常x_斗/GPS + β_正常x_和 (12)

y_融合＝ α_正常y_斗/GPS + β_正常y_和 (13)

其中

β_正常 ＝1-α_正常 (15)。

在一些实施方案中，经过墨卡托转换将北斗/GPS的二维曲面经纬度坐标转换到二维平面直角坐标，即通过公式(1)和公式(2)实现球形坐标纬度lat、经度lon到直角平面横坐标x和纵坐标y的变换：

x_斗/GPS＝lat (1)

在一些实施方案中，基于滑动加权滤波算法对IMU输出的位姿数据进行预处理，得到无人船在x和y方向上的位姿数据，根据上述位姿数据构建五维向量：x方向的线加速度和角速度、y方向的线加速度和角速度以及航向角，将上述五维数据作为神经网络模型的输入向量；然后基于训练好的神经网络模型对x和y方向上的相对位移和(x_和，y_和)进行预测，并将预测的结果作为神经网络模型的输出：

x_和＝∑Δx_i (3)

y_和＝∑Δy_i (4)。

本申请还提供一种多源AI生物多样性的采集方法，使用如权利要求1-7任一项所述采集***，包括：(1)数据采集：通过水面可旋转运动摄像相机以及音频采集装置对水面动植物进行视频采集，采集的视频图像中添加无人船当时的融合定位信息以及当时的时间信息作为属性信息，通过水下可旋转运动摄像相机对水下的动植物进行视频采集，采集的视频图像中添加无人船当时的融合定位信息以及当时的时间信息作为属性信息；(2)数据传输：将步骤(1)中采集的水面视频以及水下视频数据及其属性信息，通过通信天线传输至云中边缘服务器上进行存储；(3)动植物识别：边缘服务器还对接收的视频进行动植物识别；(4)识别结果上报：如果所述识别结果中有与岸基控制单元设定的目标对象相匹配的识别结果时，将识别到目标对象的识别相关的结果以及对应的无人船的定位信息通过预定的方式上报给指定接收装置；(5)计算夹角：当识别到目标对象后，边缘服务器计算目标对象的方位信息，将该目标对象的方位信息发送给无人船的中控单元；(6)调整无人船姿态：中控单元根据接收到的目标对象的方位信息以及无人船的当前定位信息计算目标对象与无人船的夹角，并根据该夹角确定无人船的航向，通过下位机控制无人船的差速转向运动，并在无人船姿态调整后驱动无人船朝向目标对象方位移动；(7)目标对象采集：在抵达目标位置后，进行目标追踪和视频对准并采集和保存目标对象的视频图像和音频数据。

在一些实施方案中，中控单元在接收到目标对象的方位信息并调整好无人船航向姿态后，调整水面可旋转运动摄像相机上云台，使云台上的鱼眼镜头朝向对准目标对象方位。

本申请具有如下优点：

(1)本申请使用了北斗/GPS/IMU的融合定位方式，能够克服无人船复杂采集环境中物体遮挡以及信号失效等问题；

(2)为了精确定位无人船的位置，本申请创造性地提出了动态权值调节的定位融合计算方法，综合考虑定位信号刷新频率和定位精度等因素，对融合的多源定位信息进行动态融合，从而有效缓解了固定权值所带来的定位误差较大的问题；

(3)本申请提出附加定位以及时间信息到视频属性中的方案，有效地保证了生物多样性研究中针对珍稀物种目标对象的习性等方面的观测和分析。

附图说明

图1所示为本申请的无人船的结构示意图；

图2所示为本申请多源AI生物多样性观测采集的方法流程。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部。

本申请所用无人船质量约130kg，长约2.8m，宽约1.5m，续航能力约20km，船速在0～1.5m/s范围内可调，通信距离超过10km。无人船电源使用24V和12V锂电池组，分别为推进***和主控及传感器***供电。无人船具备自主巡航、远程操控等模式，无人船自主巡航模式下，一般根据其工作地点、目标方位、运行要求合理规划航行路径或者按照岸基控制单元发送的期望航向、GPS位点和航线等完成自动巡航。

本申请所述的多源AI生物多样性观测的采集***，如图1所示，包括：无人船和边缘服务器，***中的无人船包括：水面可旋转运动摄像相机(2)、水下可旋转运动摄像相机(5)、音频采集装置(3)、通信天线(1)、中控单元(4)、北斗/GPS定位单元、IMU单元和存储单元；在无人船的上表面固定连接通信天线(1)，天线(1)上方连接水面可旋转运动摄像相机(2)，鱼眼镜头固定安装在水面可旋转运动摄像相机(2)上，调整相机云台可使得鱼眼镜头调整拍摄方位，无人船腔体下方在左右两侧分别固定安装一个水下可旋转运动摄像相机(5)，鱼眼镜头安装在水下可旋转运动摄像相机(5)上，调整水下可旋转运动摄像相机(5)云台可使得鱼眼镜头朝下，音频采集装置(3)安装在无人船后方，北斗/GPS定位单元和IMU单元实现融合定位，中控单元(4)与存储单元、北斗/GPS定位单元、IMU单元、无人船的控制***和运动摄像相机的控制***连接；***中的边缘服务器根据接收到的无人船采集的多源信息进行动植物的AI识别。

无人船在驶向目标的过程中需要采集无人船的经纬度信息，用来定位无人船当前经纬度信息的就是北斗或者GPS。GPS的定位精度为5米，北斗的定位精度也差不多5米，定位精度高。无人船在驶向目标鱼群的过程中虽然可以使用GPS了解当前位置的经纬度信息，但是北斗和GPS更新的频率较低，约为1～10Hz之间。无人船所处环境多为内陆河流、水库和小型湖泊等区域，这些区域地形复杂、空间狭小且常有遮挡，北斗/GPS信号容易丢失，北斗/GPS信号丢失的情况下，使用IMU等自体传感器完成地理位置定位估算。IMU(Inertialmeasurementunit)是惯性测量单元，更新频率高达1KHz，包含陀螺仪、加速度计和磁强计。陀螺仪用三个轴测量无人船的角速度，以计算船体的姿态；加速度计测量无人船的加速度和位置；磁强计(M-Sensor)，也称为地磁和磁传感器，用于测试无人船当前磁场的强度和方向，通过上述数据可以推算出无人船自身所处位置，但IMU中陀螺仪和加速度计随时间增加会累积误差，单独的IMU不适合长时间使用。因此，本申请无人船使用多传感器融合的方式完成自身定位，即采用北斗/GPS/IMU的融合定位方式，实现无人船的准确实时定位。

GPS输出是地球坐标系下的经纬度信息(latitude，longitude)，“北斗”卫星导航模块中所获得的卫星数据如经度(longitude)、纬度(latitude)、移动速度、海拔等也是基于地球的球形坐标系的，而无人船所在坐标系是二维平面坐标系(x，y)，经纬度信息不合适无人船使用，因此，需要将经纬度信息转换到二维平面直角坐标系。本申请根据地球球形坐标系到墨卡托二维平面直角坐标系转换的墨卡托转换算法，把从“北斗”卫星导航模块中所获得的卫星经纬度数据或者GPS全球定位***中获取的经纬度数据(lat，lon)，进行坐标转换，转化为二维平面直角坐标(x_斗/GPS，y_斗/GPS)。坐标转换的主要流程是把北斗/GPS的二维曲面经纬度坐标，经过墨卡托转换算法变为二维平面直角坐标，即通过公式(1)和公式(2)实现球形坐标纬度lat、经度lon到平面坐标横坐标x和纵坐标y的变换。

x_斗/GPS＝lat (1)

y_斗/GPS＝ln(tan(π/4+lon/2)) (2)

IMU单元输出的位姿数据包括加速度、角速度和航向角等，同样需要转换为二维直角坐标的表达形式。本申请采用AI方式进行转换。首先基于滑动加权滤波算法对IMU输出的位姿数据进行预处理，得到无人船在x和y方向上的位姿数据，分别为x方向的线加速度和角速度、y方向的线加速度和角速度以及航向角共五维数据，之后将这五维数据作为神经网络模型的输入向量；然后基于训练好的神经网络模型对x和y方向上的相对位移和(x_和，y_和)进行预测，并将预测的结果作为神经网络模型的输出。

x_和＝∑Δx_i (3)

y_和＝∑Δy_i (4)

将以上北斗/GPS定位数据和IMU的位姿数据进行加权融合后得到二维平面坐标的定位数据，记为(x_融合,y_融合)。

X_融合＝αx_斗/GPS+βx_和 (5)

y_融合＝αy_斗/GPS+βy_和 (6)

其中α+β＝1(7)

考虑到定位在刷新时刻较为精确，而无论北斗/GPS还是IMU都存在随时间移动导致的定位偏移/偏差问题，为了解决上述问题，本申请采用根据距离刷新时间的间隔对定位置信度进行衰减的动态加权更新方法进行定位数据的加权融合。具体地，当北斗/GPS的工作状态异常时，即北斗/GPS定位失效时，进入以IMU为主，北斗/GPS为辅的定位模式，此时权值的动态更新以IMU的更新周期进行更新，也即β_异常＝1/[1+κ(t_当前-t_IMU刷新)]，其中t_当前是当前时间，t_IMU刷新是最近一次IMU的刷新时间，κ是时间衰减速度系数，此时α_异常＝1-β_异常。即如下公式：

x_融合＝α_异常x_斗/GPS+β_异常x_和 (8)

y_融合＝α_异常y_斗/GPS+β_异常y_和 (9)

其中

α_异常＝1-β_异常(11)

当北斗/GPS的工作状态正常时，即北斗/GPS定位有效时，进入以GPS为主，IMU为辅的定位模式，此时权值的动态更新以北斗/GPS的更新周期进行更新，也即α_正常＝1/[1+κ(t_当前-t_{斗/GPS刷新})]，其中t_当前是当前时间，t_{斗/GPS刷新}是最近一次北斗/GPS的刷新时间，κ是时间衰减速度系数，此时β_正常＝1-α_正常。即如下公式：

x_融合＝α_正常x_斗/GPS+β_正常x_和 (12)

y_融合＝α_正常y_斗/GPS+β_正常y_和 (13)

其中

β_正常＝1-α_正常 (15)

基于上述多源AI生物多样性观测的采集***进行多源信息采集的方法，如图2所示，具体包括：

(1)通过水面可旋转运动摄像相机(2)以及音频采集装置(3)对水面动植物进行视频采集，采集的视频图像中添加无人船当时的融合定位信息以及当时的时间信息等作为属性信息，便于后续研究分析或者数据回溯等处理。通过水下可旋转运动摄像相机(5)对水下的动植物进行视频采集，采集的视频图像中添加无人船当时的融合定位信息以及当时的时间信息等作为属性信息。

(2)按照一定的时间间隔，将步骤(1)中采集的水面视频以及水下视频数据及其属性信息，如定位信息、时间信息、文件大小等信息，通过通信天线(1)传输至云中边缘服务器上进行存储，此外，边缘服务器还对接收的视频进行动植物识别，其中对于水面视频可以采用视频音频分离，分别进行AI识别后进行相互验证或者对两者的结果进行综合后，得到动植物识别结果。

(3)边缘服务器在接收到无人船上传的数据后存储至指定存储空间后，对接收到的所述数据进行完整性验证，并在校验无误后，发送确认信息给无人船，此时无人船根据确认信息将成功上传的文件进行本地删除，以防止存储空间溢出问题。

(4)如果所述识别结果中有与岸基控制单元设定的目标对象相匹配的结果时，将识别到目标对象的识别相关的结果，如包含目标对象的图像帧等以及对应的无人船的定位等信息通过预定的方式上报给指定接收装置。

(5)当识别到目标对象后，边缘服务器计算目标对象的方位信息，将该目标对象的方位信息发送给无人船的中控单元；所述目标对象方位信息的计算，是边缘服务器结合音频中声学定位以及无人船的实时融合定位等信息计算得到，实现了声-船的协同计算以及声-光的协同验证，使得目标对象的方位信息更准确。

(6)中控单元(4)根据接收到的目标对象的方位信息以及无人船的当前定位信息计算目标对象与无人船的夹角，并根据该夹角确定无人船的航向，通过下位机控制无人船的差速转向运动，并在无人船姿态调整后驱动无人船朝向目标对象方位移动，同时调整水面可旋转运动摄像相机上云台，使云台上的鱼眼镜头朝向对准目标对象方位。

(7)在抵达目标位置后，进行目标追踪和视频对准并采集和保存目标对象的视频图像和音频数据。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，尽管参照前述实施例对本申请进行了详细的说明，对于本领域技术人员来说，其依然可以对前述各实施例所记载的技术方案进行改进，或者对其中部分技术特征进行等同替换。凡在本申请的精神和原则之内，所作的任何修改、等同替换，均应包含在本申请的保护范围之内。

Claims (7)

1.一种多源AI生物多样性观测的采集***，其特征在于，***包括：无人船和边缘服务器，***中的无人船包括：水面可旋转运动摄像相机、水下可旋转运动摄像相机、音频采集装置、通信天线、中控单元、北斗/GPS定位单元、IMU单元和存储单元；在无人船的上表面固定连接通信天线，天线上方连接水面可旋转运动摄像相机，鱼眼镜头固定安装在水面可旋转运动摄像相机上，调整水面可旋转运动摄像相机云台可使得鱼眼镜头调整拍摄方位，无人船腔体下方在左右两侧分别固定安装一个水下可旋转运动摄像相机，鱼眼镜头安装在水下可旋转运动摄像相机上，调整水下可旋转运动摄像相机云台可使得鱼眼镜头朝下，音频采集装置安装在无人船后方，北斗/GPS定位单元和IMU单元实现融合定位，中控单元与存储单元、北斗/GPS定位单元、IMU单元、无人船的控制***和运动摄像相机的控制***连接；***中的边缘服务器根据接收到的无人船采集的多源信息进行动植物的AI识别；

采用北斗/GPS/IMU的融合定位方式，将北斗或者GPS的经纬度坐标(lat，lon)转换到二维平面坐标(x_斗/GPS，y_斗/GPS)，将IMU的位姿数据转换为二维平面坐标(x_和，y_和)；

北斗/GPS/IMU的融合坐标(x_融合，y_融合)，通过将北斗或者GPS的经纬度坐标与IMU的位姿数据进行加权融合得到；

当北斗/GPS的工作状态异常时，即北斗/GPS定位失效时，进入以IMU为主，北斗/GPS为辅的定位模式，此时权值的动态更新以IMU的更新周期进行更新，也即β_异常＝1/[1+κ(t_当前-t_IMU刷新)]，其中t_当前是当前时间，t_IMU刷新是最近一次IMU的刷新时间，κ是时间衰减速度系数，此时α_异常＝1-β_异常，α_异常和_异常β分别是北斗/GPS的工作状态异常时，经纬度坐标的权重和IMU位姿数据的权重，即如下公式：

x_融合＝α_异常x_斗/GPS+β_异常x_和(8)

y_融合＝α_异常y_斗/GPS+β_异常y_和(9)

其中

α_异常＝1-β_异常(11)。

2.根据权利要求1所述的采集***，其特征在于，当北斗/GPS的工作状态正常时，即北斗/GPS定位有效时，进入以GPS为主，IMU为辅的定位模式，此时权值的动态更新以北斗/GPS的更新周期进行更新，也即α_正常＝1/[1+κ(t_当前-t_{斗/GPS刷新})]，其中t_当前是当前时间，t_{斗/GPS刷新}是最近一次北斗/GPS的刷新时间，κ是时间衰减速度系数，此时β_正常＝1-α_正常，α_正常和β_正常分别是北斗/GPS的工作状态正常时，经纬度坐标的权重和IMU位姿数据的权重即如下公式：

x_融合＝α_正常x_斗/GPS+β_正常x_和(12)

y_融合＝α_正常y_斗/GPS+β_正常y_和(13)

其中

β_正常＝1-α_正常(15)。

3.根据权利要求1所述的采集***，其特征在于，经过墨卡托转换将北斗/GPS的二维曲面经纬度坐标转换到二维平面直角坐标，即通过公式(1)和公式(2)实现球形坐标纬度lat、经度lon到直角平面横坐标x和纵坐标y的变换：

x_斗/GPS＝lat(1)

y_斗/GPS＝ln(tan(π/4+lon/2))(2)。

4.根据权利要求1所述的采集***，其特征在于，基于滑动加权滤波算法对IMU输出的位姿数据进行预处理，得到无人船在x和y方向上的位姿数据，根据上述位姿数据构建五维向量：x方向的线加速度和角速度、y方向的线加速度和角速度以及航向角，将上述五维数据作为神经网络模型的输入向量；然后基于训练好的神经网络模型对x和y方向上的相对位移和(x_和，y_和)进行预测，并将预测的结果作为神经网络模型的输出。

5.一种多源AI生物多样性的采集方法，使用如权利要求1-4任一项所述采集***，其特征在于，包括：(1)数据采集：通过水面可旋转运动摄像相机以及音频采集装置对水面动植物进行视频采集，采集的视频图像中添加无人船当时的融合定位信息以及当时的时间信息作为属性信息，通过水下可旋转运动摄像相机对水下的动植物进行视频采集，采集的视频图像中添加无人船当时的融合定位信息以及当时的时间信息作为属性信息；(2)数据传输：将步骤(1)中采集的水面视频以及水下视频数据及其属性信息，通过通信天线传输至云中边缘服务器上进行存储；(3)动植物识别：边缘服务器还对接收的视频进行动植物识别；(4)识别结果上报：如果所述识别结果中有与岸基控制单元设定的目标对象相匹配的识别结果时，将识别到目标对象的识别相关的结果以及对应的无人船的定位信息通过预定的方式上报给指定接收装置。

6.根据权利要求5所述的采集方法，其特征在于，还包括：(5)计算夹角：当识别到目标对象后，边缘服务器计算目标对象的方位信息，将该目标对象的方位信息发送给无人船的中控单元；(6)调整无人船姿态：中控单元根据接收到的目标对象的方位信息以及无人船的当前定位信息计算目标对象与无人船的夹角，并根据该夹角确定无人船的航向，通过下位机控制无人船的差速转向运动，并在无人船姿态调整后驱动无人船朝向目标对象方位移动；(7)目标对象采集：在抵达目标位置后，进行目标追踪和视频对准并采集和保存目标对象的视频图像和音频数据。

7.根据权利要求5所述的采集方法，其特征在于，中控单元在接收到目标对象的方位信息并调整好无人船航向姿态后，调整水面可旋转运动摄像相机上云台，使云台上的鱼眼镜头朝向对准目标对象方位。