CN115032817A

CN115032817A - 用于恶劣天气使用的实时视频去雾智能眼镜和控制方法

Info

Publication number: CN115032817A
Application number: CN202210594746.4A
Authority: CN
Inventors: 白永强; 艾欣; 张佳; 张镇; 陈杰
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2022-05-27
Filing date: 2022-05-27
Publication date: 2022-09-09
Anticipated expiration: 2042-05-27
Also published as: CN115032817B

Abstract

本发明提出一种用于恶劣天气使用的实时视频去雾智能眼镜，包括：采集模块、处理模块、通信模块、显示模块和供电模块，所述采集模块包括可见光摄像头、GPS定位模块、九轴姿态传感器、四合一气象站模块和心率传感器；所述可见光摄像头固定在眼镜右桩头处；所述GPS定位模块和所述九轴姿态传感器内嵌在左镜腿中；所述四合一气象站模块外置在右镜腿近桩头处；所述心率传感器内置在右镜腿中部，贴近人体太阳穴处；所述处理模块采用ESP处理器，固定在智能眼镜左镜腿近桩头处；所述通信模块采用WIFI和蓝牙模块，固定在智能眼镜处理模块后方；所述显示模块采用微型显示屏，以铰链结构固定在智能眼镜左镜框上。

Description

用于恶劣天气使用的实时视频去雾智能眼镜和控制方法

技术领域

本发明涉及眼镜技术及视频处理领域，具体涉及一种用于恶劣天气使用的实时视频去雾智能眼镜和控制方法。

背景技术

据《全国道路交通事故统计年报***》统计，30％的交通事故由恶劣天气导致。。因为团雾、雨雪导致的交通事故屡见报端。传统的路况预报或地图导航仅仅关注路面拥堵的情况，忽略了路面湿滑、积水积冰、局部能见度差这些直接影响交通安全的路面条件。所以设计一款具有通用性的实时视频去雾智能眼镜是非常有必要的。

现有的智能眼镜以播放音频功能为主，而面对该恶劣环境束手无策，无法从视野清晰度方面解决问题，保障人们的安全。其他的一些智能眼镜，安装了摄像头、无线通信等模块，如发明专利申请号为202111479922.1，名称为基于深度学习和大数据的全天候徒步旅行辅助***及方法，提供了一种全天候户外徒步的智能辅助***，包括智能眼镜，中心服务器和远程智能设备。其中智能眼镜能够完成图像增强处理，包括黑夜增强和去雨去雪去雾功能，使用算法包含三个神经网络模型。该算法结构庞大，所要求的中央处理器性能较高，导致实时性差、成本高、散热处理难等问题，仅针对户外徒步人群，不具备其他人群的通用性。

发明内容

有鉴于此，本发明提供了一种用于恶劣天气使用的实时视频去雾智能眼镜，包括：采集模块、处理模块、通信模块、显示模块和供电模块，其特征在于，所述采集模块包括可见光摄像头、GPS定位模块、九轴姿态传感器、四合一气象站模块和心率传感器；所述可见光摄像头固定在眼镜右桩头处，用于实时采集当前环境下视频信息；所述GPS定位模块和所述九轴姿态传感器内嵌在左镜腿中，分别用于采集智能眼镜当前位置和用户当前加速度和角速度；所述四合一气象站模块外置在右镜腿近桩头处，用于采集光强度、温湿度和大气压强；所述心率传感器内置在右镜腿中部，贴近人体太阳穴处，用于采集用户心率；所述处理模块采用ESP处理器，固定在智能眼镜左镜腿近桩头处；所述通信模块采用WIFI和蓝牙模块，固定在智能眼镜处理模块后方；所述显示模块采用微型显示屏，以铰链结构固定在智能眼镜左镜框上。

特别地，所述处理模块包括第一ESP处理器和第二ESP处理器；所述第一 ESP处理器用于接收可见光摄像头采集到的视频数据及其他传感器采集数据；所述第二ESP处理器用于接收经过智能设备客户端处理的视频数据，并发送到所述显示模块。

特别地，WIFI模块用于接收从第一ESP处理器发送的可见光摄像头采集到的视频数据及其他传感器采集数据，并发送到智能设备客户端所在局域网中；所述蓝牙模块用于将所述智能设备客户端处理完成的视频数据发送回所述第二 ESP处理器。

特别地，所述微型显示屏可翻转使用，用于显示当前环境中的真实视频经过处理模块运算后的无雾视频。

特别地，所述供电模块采用聚合物电池作为主要供电设备，太阳能电池通过稳压电路为所述聚合物电池充电；所述聚合物电池内嵌在右侧镜腿后方，太阳能电池固定在右侧镜腿外壳处。

特别地，当所述智能眼镜的采集模块中采集的数据传输至智能设备客户端；所述采集的数据包括视频数据、光强度、温湿度和大气压值；所述智能设备客户端将所述视频数据使用基于图像自适应去雾网络(IA-CNN)进行去雾处理，得到无雾视频；所述智能眼镜的将光强度、温湿度和大气压值三种数据处理成序列格式，使用长短时记忆网络(LSTM)进行预测当前环境下未来两小时后的天气情况，然后将预测结果标记在处理完成的实时视频上发回所述显示模块并显示。

特别地，GPS定位数据可用于防止智能眼镜丢失；加速度、角速度和心率值可用于检测用户是否发生意外；若数值发生异常，智能设备客户端将发送GPS 定位数据发送至紧急联系人。

特别地，使用智能设备客户端中基于图像自适应去雾网络(IA-CNN)算法的视频处理过程中，首先将采集到的视频逐帧进行隔行隔列下采样后放入卷积层和全连接层中进行预测暗通道先验、白平衡、锐化滤波器中的超参数，然后让原始视频经过上述滤波器的处理，最后得到无雾视频。

有益效果：

1)、本发明中的去雾智能眼镜将视频进行实时去雾处理，处理速度快、视频质量清晰且成本低，适用人群广，有效解决了雾气对人视线的影响；

2)、本发明中的去雾智能眼镜处理模块采用第一ESP处理器和第二ESP处理器分别用于接收采集模块的采集数据和经过智能设备客户端处理的视频数据，提高了处理能力和效率，能避免智能眼镜处理信息不及时造成视频卡顿，采集数据不及时等问题；

3)、本发明中的去雾智能眼镜通信模块接口丰富，适用性广，可分别使用 WIFI模块和蓝牙模块用于接收采集数据的发送和将所述智能设备客户端处理完成的视频数据送回；

4)、本发明中的去雾智能眼镜镜片部分的微型显示屏，采用可翻转方式设计，可以选择使用镜片或者不使用，给用户更多选择，适用范围广泛；

5)、本发明中的去雾智能眼镜供电模块采用聚合物电池作为主要供电设备，太阳能电池通过稳压电路为聚合物电池充电，供电方式多样，可通过太阳能补充电量，环保又可以给用户更多的选择；

6)、本发明中的去雾智能眼镜通过人工智能模型预测未来两小时后的天气情况，然后将预测结果标记在处理完成的实时视频上，使得用户可以实时感知天气变化，为天气变化做好应对准备；LSTM模型使用简便，用较少的资源完成天气预测。

附图说明

图1为本发明提出的实时视频去雾智能眼镜的结构示意图；

图2为本发明中去雾眼镜的***连接流程示意图；

图3为本发明提出的用于实时视频去雾智能眼镜的图像自适应去雾网络算法流程图。

附图标记说明

1 GPS定位模块 2 九轴姿态传感器

3 第一ESP处理器 4 第二ESP处理器

5 可见光摄像头 6 四合一气象站模块

7 太阳能电池 8 心率传感器、

9 聚合物电池 10 微型显示屏

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种用于恶劣天气使用的实时视频去雾智能眼镜，其结构如图1所示，包括：采集模块、处理模块、通信模块、显示模块和供电模块，具体的连接示意图如图2所示。

智能眼镜中采集模块包括可见光摄像头5，GPS定位模块1，九轴姿态传感器2，四合一气象站模块6(光强度、温湿度和大气压强模块，心率传感器8)。可见光摄像头5固定在眼镜右桩头处，用于实时采集当前环境下视频信息；GPS 定位模块和九轴姿态传感器内嵌在左镜腿中，分别用于采集智能眼镜当前位置和用户当前加速度和角速度等值；四合一气象站模块外置在右镜腿近桩头处，避免贴合人体，用于采集光强度、温湿度和大气压强；心率传感器8内置在右镜腿中部，贴近人体太阳穴处，用于采集用户心率。

处理模块采用两种类型的ESP芯片处理器，固定在智能眼镜左镜腿近桩头处。第一ESP处理器3用于接收可见光摄像头5采集到的视频数据及其他传感器采集数据，第二ESP处理器4用于接收智能设备客户端处理好的视频数据，并发送到显示模块中。

通信模块采用WIFI和蓝牙模块，固定在智能眼镜处理模块后方；WIFI模块用于第一ESP处理器3中可见光摄像头5采集到的视频数据及其他传感器采集数据，发送到智能设备客户端所在局域网中。蓝牙模块用于将智能设备客户端处理完成的视频数据发送回第二ESP处理器4。

显示模块采用微型显示屏10，以铰链结构固定在智能眼镜左镜框上，不适用的时候能够向上翻起，不会遮挡视线。微型显示屏10用于显示当前环境中的真实视频经过处理模块运算后的无雾视频。

供电模块采用聚合物电池9作为主要供电设备，太阳能电池7通过稳压电路为聚合物电池9充电。聚合物电池9内嵌在右侧镜腿后方，太阳能电池7固定在右侧镜腿外壳处。供电模块采用了聚合物电池9和太阳能充电电池一体结构，实现了自充放电功能，为采集模块、处理模块和显示模块提供能源。

进一步地，所述智能设备客户端含有WIFI和蓝牙通信双模块，WIFI模块用于连接第一ESP处理器3，蓝牙模块用于连接第二ESP处理器4。采集模块中数据通过WIFI模块传输至智能设备客户端时，视频使用基于图像自适应去雾网络(IA-CNN)进行去雾处理；光强度、温湿度和大气压值使用长短时记忆网络(LSTM)进行预测当前环境下未来两小时后的天气情况；GPS定位数据可用于防止智能眼镜丢失；加速度、角速度和心率值可用于检测用户是否发生意外，若该数值发生异常，智能设备客户端将发送GPS定位数据至紧急联系人。智能设备客户端通过蓝牙串口通信方式连接第二ESP处理器4，将视频、天气情况等数据实时回传，且通过第二ESP处理器4显示在微型显示屏10上。使用智能设备客户端中基于图像自适应去雾网络(IA-CNN)算法的视频处理过程中，首先将采集到的视频逐帧进行隔行隔列下采样后放入卷积层和全连接层中进行预测暗通道先验、白平衡、锐化滤波器中的超参数，然后让原始视频经过上述滤波器的处理，最后得到无雾视频。使用基于长短时记忆网络对光强度、温湿度和大气压值进行预测天气过程中，首先将三种数据处理成序列格式，然后将该序列放入LSTM模型和全连接层中进行预测，将预测结果显示在显示屏上。

所述智能设备可以是智能手机、笔记本电脑、平板电脑等带有WIFI和蓝牙模块的设备，并且能够给予权限用于安装本发明中的智能设备客户端。

所述智能设备客户端主要用于管理智能眼镜、对视频进行去雾处理、对天气情况进行预测。智能设备客户端功能包括配对智能眼镜，记录智能眼镜的位置信息，当智能眼镜丢失时，能在智能眼镜客户端中查找到其GPS定位；利用智能设备本身的存储空间存储视频数据；利用图像自适应去雾网络算法对视频去雾；利用四合一气象站模块中数据结合长短时记忆网络进行天气预测；设置用户的紧急联系人，智能设备客户端收到第一ESP处理器3发送的危险信号后，发送带有GPS定位信息的短信给用户的紧急联系人。

本发明中智能眼镜和智能设备中所人工智能模型的训练和智能眼镜的使用过程包括以下具体步骤：

步骤1：训练图像自适应去雾网络算法，网络的训练集为公开数据集及志愿者运用相同的拍摄方式在相同地点收集的200张雾霾天气与晴天图片。网络流程如图3所示，首先将采集到的视频进行逐帧隔行隔列下采样后放入卷积层和全连接层中进行预测暗通道先验、白平衡、锐化滤波器中的超参数，然后使原始视频经过这些滤波器的处理，最后得到无雾视频。训练基于长短时记忆网络的天气预测算法，网络的训练集为公开数据集。首先将光强度、温湿度和大气压强数据处理成序列格式，然后将该序列放入LSTM模型和全连接层中进行预测，预测结果保存为文本格式。

步骤2：将训练好的网络模型算法移植到智能设备客户端中，即可正式投入使用并实现相关功能。将智能眼镜分发给处于恶劣雾霾环境下的人群，让用户正确佩戴智能眼镜，使用智能设备安装本发明中所述智能设备客户端。智能眼镜将用户视野前方的环境用可见光摄像头拍摄下来，通过WIFI模块实时传输到智能设备客户端中进行去雾处理，去雾完成的视频通过蓝牙模块回传至智能眼镜的微型显示屏10上。智能眼镜将四合一气象站模块获取到的数据通过WIFI 模块传入智能设备客户端进行天气预测，预测完成的结果保存在智能设备中，并且每隔半小时调用显示在微型显示屏10上。

步骤3：智能眼镜中的第一ESP处理器3实时接收用户所佩戴的GPS定位信息、九轴姿态传感器采集到的加速度和角速度及心率传感器8的心率值。通过分析数值，判断用户当前状态和安全情况。如果数据发生突变或者超过阈值，分析为用户遇到危险。第一ESP处理器3发送求救型号至智能设备客户端，智能设备客户端发送带有GPS定位信息给紧急联系人呼救。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本发明实施例不限于上述示范性实施例的细节，而且在不背离本发明实施例的精神或基本特征的情况下，能够以其他的具体形式实现本发明实施例。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明实施例的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明实施例内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。***、装置或终端权利要求中陈述的多个单元、模块或装置也可以由同一个单元、模块或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施方式仅用以说明本发明实施例的技术方案而非限制，尽管参照以上较佳实施方式对本发明实施例进行了详细说明，本领域的普通技术人员应当理解，可以对本发明实施例的技术方案进行修改或等同替换都不应脱离本发明实施例的技术方案的精神和范围。

Claims

1.一种用于恶劣天气使用的实时视频去雾智能眼镜，包括：采集模块、处理模块、通信模块、显示模块和供电模块，其特征在于，所述采集模块包括可见光摄像头、GPS定位模块、九轴姿态传感器、四合一气象站模块和心率传感器；所述可见光摄像头固定在眼镜右桩头处，用于实时采集当前环境下视频信息；所述GPS定位模块和所述九轴姿态传感器内嵌在左镜腿中，分别用于采集智能眼镜当前位置和用户当前加速度和角速度；所述四合一气象站模块外置在右镜腿近桩头处，用于采集光强度、温湿度和大气压强；所述心率传感器内置在右镜腿中部，贴近人体太阳穴处，用于采集用户心率；所述处理模块采用ESP处理器，固定在智能眼镜左镜腿近桩头处；所述通信模块采用WIFI和蓝牙模块，固定在智能眼镜处理模块后方；所述显示模块采用微型显示屏，以铰链结构固定在智能眼镜左镜框上。

2.如权利要求1所述的用于恶劣天气使用的实时视频去雾智能眼镜，其特征在于，所述处理模块包括第一ESP处理器和第二ESP处理器；所述第一ESP处理器用于接收可见光摄像头采集到的视频数据及其他传感器采集数据；所述第二ESP处理器用于接收经过智能设备客户端处理的视频数据，并发送到所述显示模块。

3.如权利要求1或2所述的用于恶劣天气使用的实时视频去雾智能眼镜，其特征在于，WIFI模块用于接收从第一ESP处理器发送的可见光摄像头采集到的视频数据及其他传感器采集数据，并发送到智能设备客户端所在局域网中；所述蓝牙模块用于将所述智能设备客户端处理完成的视频数据发送回所述第二ESP处理器。

4.如权利要求1-3任意一项所述的用于恶劣天气使用的实时视频去雾智能眼镜，其特征在于，所述微型显示屏可翻转使用，用于显示当前环境中的真实视频经过处理模块运算后的无雾视频。

5.如权利要求1-3任意一项所述的用于恶劣天气使用的实时视频去雾智能眼镜，其特征在于，所述供电模块采用聚合物电池作为主要供电设备，太阳能电池通过稳压电路为所述聚合物电池充电；所述聚合物电池内嵌在右侧镜腿后方，太阳能电池固定在右侧镜腿外壳处。

6.一种用于恶劣天气使用的实时视频去雾智能眼镜的控制方法，其中采用如权利要求1-5任意一项所述的去雾智能眼镜，其特征在于，包括：当所述智能眼镜的采集模块中采集的数据传输至智能设备客户端；所述采集的数据包括视频数据、光强度、温湿度和大气压值；所述智能设备客户端将所述视频数据使用基于图像自适应去雾网络(IA-CNN)进行去雾处理，得到无雾视频；所述智能眼镜的将光强度、温湿度和大气压值三种数据处理成序列格式，使用长短时记忆网络(LSTM)进行预测当前环境下未来两小时后的天气情况，然后将预测结果标记在处理完成的实时视频上发回所述显示模块并显示。

7.如权利要求6所述的用于恶劣天气使用的实时视频去雾智能眼镜的控制方法，其特征在于：GPS定位数据可用于防止智能眼镜丢失；加速度、角速度和心率值可用于检测用户是否发生意外；若数值发生异常，智能设备客户端将发送GPS定位数据发送至紧急联系人。

8.如权利要求6或7所述的用于恶劣天气使用的实时视频去雾智能眼镜的控制方法，其特征在于：使用智能设备客户端中基于图像自适应去雾网络(IA-CNN)算法的视频处理过程中，首先将采集到的视频逐帧进行隔行隔列下采样后放入卷积层和全连接层中进行预测暗通道先验、白平衡、锐化滤波器中的超参数，然后让原始视频经过上述滤波器的处理，最后得到无雾视频。