CN109829927B - 一种电子眼镜及高空景象图像重建方法 - Google Patents
一种电子眼镜及高空景象图像重建方法 Download PDFInfo
- Publication number
- CN109829927B CN109829927B CN201910095865.3A CN201910095865A CN109829927B CN 109829927 B CN109829927 B CN 109829927B CN 201910095865 A CN201910095865 A CN 201910095865A CN 109829927 B CN109829927 B CN 109829927B
- Authority
- CN
- China
- Prior art keywords
- image
- scene image
- altitude
- gray
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种电子眼镜及高空景象图像重建方法,涉及计算机视觉与传感器相结合的技术领域。本发明通过双目摄像头和六轴姿态传感器对现实场景和头部姿态进行采集,并传给主控制器,主控制器通过OpenCV_BM算法以及霍夫直线变换算法对影像数据进行分析,分割出远近图像,对近景以及重要细节进行保留,远景使用高斯模糊等方法进行处理,最后把得到的影像显示到液晶显示屏上,并且整个过程能达到良好的实时性。当佩戴者处于高处且佩戴该电子眼镜时,看到的远景图像为模糊图像,从而有效的缓解佩戴者的恐高症状;且该电子眼镜在构造上使用了模块化设计,且不需要昂贵的光学镜片,从而降低了维修成本和制造成本。
Description
技术领域
本发明涉及计算机视觉与传感器相结合的技术领域,特别是涉及一种电子眼镜及高空景象图像重建方法。
背景技术
恐高症又称畏高症。据调查资料显示,现代都市人中有91%的人出现过恐高症状。其中10%属临床性恐高。经过查询资料得知,对于恐高症患者的治疗,大部分都是基于心里学的治疗,比较常用的方法是暴露疗法又称满灌疗法,这种方法是鼓励接受治疗的患者直接接触引致恐怖焦虑的情景,坚持到紧张感觉消失的一种快速行为治疗法。这种治疗方法的治疗时间比较长同时会给接受治疗的患者很大的心里压力,所以愿意接受治疗的人还是相对较少。除此以外,还提供了一种光学减距眼镜,但是这类眼镜的成本比较高,同时效果并不显著。因此,市面上还没有专注于解决或缓解恐高症患者在实际生活中遇到的各种场景而产生的恐惧感的产品。
发明内容
为了弥补现有技术的缺陷,本发明提供了一种电子眼镜及高空景象图像重建方法。
为实现上述目的,本发明提供了如下方案:
一种电子眼镜,包括眼镜盒子和双目摄像头;所述眼镜盒子内嵌有依次设置的液晶显示屏、主控板以及移动电源;所述主控板上集成有主控制器和六轴姿态传感器;所述双目摄像头安装在所述眼镜盒子的外侧面上,所述双目摄像头、所述六轴姿态传感器、所述移动电源均与所述主控制器电连接。
可选的,在所述眼镜盒子的佩戴端口处嵌入有视距调节镜片,且所述视距调节镜片位于所述液晶显示屏的正前方;所述眼镜盒子的外侧面还设置有视距调节滑动块。
可选的,所述眼镜盒子的佩戴端口为弧形结构。
可选的,所述眼镜盒子采用夹板方式组装而成,所述眼镜盒子的材料为PLA材料。
可选的,所述主控制器采用基础频率达1.44GHz的Intel Cherry Trail Z8350四核处理器;所述主控制器集成有HDMI视频输出端口和三个USB端口;所述主控制器搭载开源的Ubuntu***以及支持OpenCV_BM程序。
可选的,所述双目摄像头由两个摄像头模组组成,所述双目摄像头采用单个USB输出,且兼容Windows***和Linux***;所述双目摄像头的视频输出格式为YUV格式。
可选的,所述六轴姿态传感器为陀螺仪加速计。
可选的,所述陀螺仪加速计的型号为MPU6050。
一种应用于电子眼镜的高空景象图像重建方法,所述高空景象图像重建方法包括:
获取双目摄像头采集的高空景象图像以及六轴姿态传感器采集的头部姿态信息,并确定所述头部姿态信息中的头部转动角度;
判断所述头部转动角度是否在设定角度区间内,得到第一判断结果;
若是所述第一判断结果表示所述头部转动角度不在设定角度区间内,则将所述高空景象图像显示在液晶显示屏上;
若是所述第一判断结果表示所述头部转动角度在设定角度区间内,则将所述高空景象图像转换成二值图像,并通过Canny算法对所述二值图像中的各个区域进行边缘检测,得到所有区域的边缘曲线;
采用霍夫直线变换算法对所有所述边缘曲线进行检测,判断是否存在直线,得到第二判断结果;
若所述第二判断结果表示所述边缘曲线内存在直线,则计算所有直线的中点,然后根据所有直线的中点的分布位置确定分割轮廓,并根据所述分割轮廓对所述高空景象图像进行分割,得到近景图像和远景图像;
若所述第二判断结果表示所述边缘曲线内不存在直线,则采用OpenCV_BM算法对所述高空景象图像进行处理得到景深图,然后根据腐蚀算法和膨胀算法对所述景深图进行处理,得到不同深度的灰度图,并根据设定的灰度阈值,对所述灰度图进行二值化划分,得到近景图像和远景图像;所述远景图像为灰度值为0时对应的高空景象图像区域,所述近景图像为灰度值为1时对应的高空景象图像区域;其中,将高于所述灰度阈值的像素的灰度值变成0,将低于所述灰度阈值的像素的灰度值变成1。
对所述远景图像进行模糊处理;
将所述近景图像和模糊处理后的远景图像合成,并将合成图像显示在液晶显示屏上。
可选的,所述根据所有直线的中点的分布位置确定分割轮廓,具体包括:
将所述二值图像按照横轴方向分割成三部分,分别为左部、中部以及右部;若分布在左部的中点的数量大于第一阈值,则根据所有直线的中点的坐标值,筛选出中点的横坐标最大值,并将横坐标最大值对应的中点坐标确定为分割直线的中点坐标;若分布在右部的中点的数量大于所述第一阈值,则根据所有直线的中点的坐标值,筛选出中点的横坐标最小值,并将横坐标最小值对应的中点坐标确定为分割直线的中点坐标;
将所述二值图像按照横轴方法分割成三部分,分别为左部、中部以及右部;若分布在中部和下部的中点的数量大于第二阈值,则根据所有直线的中点的坐标值,筛选出中点的纵坐标最小值,并将纵坐标最小值对应的中点坐标确定为分割直线的中点坐标;
根据所述分割直线的中点坐标,计算分割直线;
根据findcontours()函数对所述二值化图像进行处理,得到所有闭合区域的边缘曲线;
将分割直线与所述分割直线端点最接近的闭合区域的边缘曲线连接,确定分割轮廓。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明提供了一种电子眼镜及高空景象图像重建方法,通过双目摄像头以及六轴姿态传感器对现实场景和头部姿态进行采集,而后将这些数据传给主控制器,主控制器先对头部姿态进行分析,如果为平视或仰视姿态,则不对图像进行处理;若为俯视或斜向下状态,则通过OpenCV_BM算法以及霍夫变换算法对影像数据进行分析,分割出远近图像,对近景图像以及重要细节进行保留,远景图像使用高斯模糊等方法进行处理,最后把得到的影像显示到液晶显示屏上,并且整个处理过程达到了良好的实时性。当佩戴者处于高处且佩戴该电子眼镜时,看到的远景图像为模糊图像,从而有效的缓解佩戴者的恐高症状;且该电子眼镜在构造上使用了模块化设计,且不需要昂贵的光学镜片,从而降低了维修成本和制造成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例眼镜盒子的结构示意图;
图2为本发明实施例眼镜盒子的前视图;
图3为本发明实施例眼镜盒子的后视图;
图4为本发明实施例眼镜盒子的俯视图;
图5为本发明实施例高空景象图像重建方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种电子眼镜及高空景象图像重建方法,通过计算机视觉技术将画面中导致恐高症患者产生恐惧的高度信息进行弱化,但是保留画面中的一些重要的景物细节,让佩戴者能够了解自己所在的位置,例如高山上,高层建筑上,楼顶天台上等,从而减缓恐高症患者在现实生活中场景产生的恐惧心理。
且该电子眼镜在构造上使用了模块化设计,且不需要昂贵的光学镜片,从而降低了维修成本和制造成本。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本***涉及硬件电路、核心算法以及结构模型。硬件电路包括:主控CPU、双目摄像头、六轴姿态传感器;结构模型是一个类似于VR的头戴式盒子,可装载所有硬件电路。
本实施例提供的电子眼镜包括眼镜盒子和双目摄像头;眼镜盒子内嵌有依次设置的液晶显示屏、主控板以及移动电源;主控板上集成有主控制器和六轴姿态传感器;双目摄像头安装在眼镜盒子的外侧面上,双目摄像头、六轴姿态传感器、移动电源均与主控制器电连接。
在眼镜盒子的佩戴端口处嵌入有视距调节镜片,且视距调节镜片位于液晶显示屏的正前方;将视距调节镜片设置在眼镜盒子内,使眼镜盒子能够适应不同年龄、不同视力状况的人群。
眼镜盒子的外侧面还设置有视距调节滑动块、开关按键和重启按键。眼镜盒子的佩戴端口为弧形结构。
眼镜盒子采用夹板方式组装而成。眼镜盒子的材料为PLA材料。
优选的,本实施例采用的六轴姿态传感器为陀螺仪加速计。
下面对电子眼镜中的各个组件进行详细介绍
主控制器
本实施例采用性价比较高的LattePanda迷你板。具体为:主控制器采用IntelCherry Trail Z8350四核处理器,基础频率达1.44GHz,并且集成了三个USB端口和HDMI视频输出,可搭载开源的Ubuntu***以及支持Open_CV程序,非常适合本***的开发。
结构特点:体积小(仅88*70mm*16mm),重量轻(55克),集成度高。
电气特点:5V/2A供电,功耗低(整个***芯片的SDP为2瓦,热设计功率应低于4瓦)。
双目摄像头
本实施例提供的电子眼镜需要对外界世界进行立体感知,考虑到成本以及图像实时性等因素,采用市面上一款普通的双目视觉相机。该双目摄像头2由两个摄像头模组组成,采用单个USB输出,减少了对USB口的占用,兼容Windows、Linux各大平台,视频输出格式为YUV格式,无需解码,减少了对CPU的占用。
相较于激光传感器测距以及单目测距等其他方法,双目测距具有效率高、精度合适、***结构简单、成本低等优点。
陀螺仪加速计
本实施例采用的陀螺仪加速计型号为MPU6050,对人体头部姿态进行识别,此陀螺仪加速计采用先进的数字滤波技术,能有效降低测量噪声,提高测量精度。
结构特点:集成度高、体积小、重量轻。
电气特点:功耗低,工作电流较小(小于10毫安)。
液晶显示屏
本实施例采用微雪的5寸LCD显示屏,分辨率为800*480,兼容性较强。
移动电源
考虑到续航以及携带的问题,本实施例选择了市面上普通的移动电源进行供电,移动电源具有容量大、体积合适、携带方便等优点,即可满足本设备的供电,也可满足手机等其他智能设备的充电需求。
眼镜盒子
如图1-4所示,本实施例提供的眼镜盒子参考了市面上的VR设备外壳,经过多次的测验、升级改进,重新设计了一款适合人眼直接观看的眼镜盒子。眼镜盒采用夹板方式设计,方便移动电源以及其他设备的安装与拆卸,眼镜盒子的材料采用PLA材料,并且在佩戴端口处采用个性化的弧形设计,能够更舒适的佩戴。
该眼镜盒子1包括上顶面板、下底面板、前面板、后面板1以及左侧面板2和右侧面板。在左侧面板2和右侧面板上均设有提手。
在本实施例中,视距调节滑动块3、开关按键4和重启按键5设置在眼镜盒子的上顶面板上,眼镜盒子的前面板上加工有两个摄像头安装孔6,双目摄像头安装在摄像头安装孔6内固定。佩戴端口安装在眼镜盒子的后面板1上,且后面板1上还加工有两个镜片安装孔7,视距调节镜片安装在镜片安装孔7内固定。
在眼镜盒子1内嵌入有三块夹板,分别为显示屏夹板8、处理器夹板9以及电源夹板10,安装时只需要液晶显示屏、主控板和移动电源***分别显示屏夹板8、处理器夹板9以及电源夹板10中即可。
图5为本发明实施例高空景象图像重建方法的流程示意图,如图5所示,本实施例提供了一种高空景象图像重建方法,具体包括以下步骤。
步骤101:获取双目摄像头采集的高空景象图像以及六轴姿态传感器采集的头部姿态信息,并确定所述头部姿态信息中的头部转动角度。
步骤102:判断所述头部转动角度是否在设定角度区间内,得到第一判断结果;若是所述第一判断结果表示所述头部转动角度不在设定角度区间内,则执行步骤103;若是所述第一判断结果表示所述头部转动角度在设定角度区间内,则执行步骤104。
步骤103:将所述高空景象图像显示在液晶显示屏上。
步骤104:将所述高空景象图像转换成二值图像,并通过Canny算法对所述二值图像中的各个区域进行边缘检测,得到所有区域的边缘曲线。
步骤105:采用霍夫直线变换算法对所有所述边缘曲线进行检测,判断是否存在直线,得到第二判断结果。若所述第二判断结果表示所述边缘曲线内存在直线,则执行步骤106;若所述第二判断结果表示所述边缘曲线内不存在直线,则执行步骤107。
步骤106:计算所有直线的中点,然后根据所有直线的中点的分布位置确定分割轮廓,并根据所述分割轮廓对所述高空景象图像进行分割,得到近景图像和远景图像。
步骤107:采用OpenCV_BM算法对所述高空景象图像进行处理得到景深图,然后根据腐蚀算法和膨胀算法对所述景深图进行处理,得到不同深度的灰度图,并根据设定的灰度阈值,对所述灰度图进行二值化划分,得到近景图像和远景图像;所述远景图像为灰度值为0时对应的高空景象图像区域,所述近景图像为灰度值为1时对应的高空景象图像区域;其中,将高于所述灰度阈值的像素的灰度值变成0,将低于所述灰度阈值的像素的灰度值变成1。
步骤108:对所述远景图像进行模糊处理。
步骤109:将所述近景图像和模糊处理后的远景图像合成,并将合成图像显示在液晶显示屏上。
将高空景象图像转换为灰度图后,通过一个二维高斯核一次卷积实现高斯滤波,然后用一阶偏导的有限差分来计算梯度的幅值和方向,对梯度的幅值进行非极大值抑制,就是说寻找像素点局部最大值,将非最大值的所对应的灰度值置为0,完成非极大值抑制后,会得到一个二值图像。非边缘的点的灰度值均为0,可能为边缘的点的局部灰度极大值点设置的灰度值为128。
该二值图像还包含了很多由噪声及其他原因造成的假边缘(非二值图像中的闭合区域轮廓边缘)。本实施例采用Canny算法的双阈值方法来减少假边缘数量,具体为选择两个阈值,分别为高阈值和低阈值,根据高阈值得到一个区域轮廓,这样一个区域轮廓含有很少的假边缘,但是由于高阈值较高,产生的区域轮廓可能不闭合,因此需要低阈值去解决区域轮廓不闭合的问题。
下面确定二值图像的分割轮廓,那就需要寻找到远点和近点的分水岭。类似于地平线,用地平线可以将天空和地面分离。目前无法直接确定远点和近点的分水岭。如果对二值图像直接寻找闭合区域轮廓,就会被远点中的闭合区域轮廓所干扰,所以在此之前,要先大致确定远点近点的分水岭的位置。
通过实际观察和使用,视野中的远近反映在图像中,远近图像的边缘是有所区别的。远景图像的边缘大多是断断续续的,不完整的。而近景图像的边缘都是连续的完整的,并且多数边缘直线。所以根据此特征,接下来则是寻找二值图像中存在的直线。本发明实施例采用霍夫直线变换算法对二值图像中的边缘进行直线检测。
其中,根据所有直线的中点的分布位置确定分割轮廓,具体包括:通过中点分布的概率,分为三种:第一种、近景在高空景象图像下方;第二种、近景在高空景象图像的左边;第三种、近景在高空景象图像的右边。分类的依据是计算中点分布的情况,在三个区域内所包含的中点越多,则认为近景就在此区域。
具体思路为:将二值图像按照横轴方向分割为三部分,分别为左部、中部以及右部。若中点大部分分布在左部,则属于上述第二种情况,若中点大部分分布在右部,则属于上述第三种情况。将二值图像按照纵轴方向分割为三部分,分别上部、中部以及下部,若中点大部分分布在中下部,则属于第一种情况。如果是第一种情况,后续处理则是筛选所有直线中点中纵坐标最小值对应的中点坐标。第二种情况则是筛选所有直线中点中x横坐标最大值对应的中点坐标。第三种情况则是筛选所有直线中点中x横坐标最小值对应的中点坐标。然后根据此中点坐标计算分割直线。通过此思路,可以准确识别出属于近景边缘的直线。
具体操作过程为将所述二值图像按照横轴方向分割成三部分,分别为左部、中部以及右部;若分布在左部的中点的数量大于第一阈值,则根据所有直线的中点的坐标值,筛选出中点的横坐标最大值,并将横坐标最大值对应的中点坐标确定为分割直线的中点坐标;若分布在右部的中点的数量大于所述第一阈值,则根据所有直线的中点的坐标值,筛选出中点的横坐标最小值,并将横坐标最小值对应的中点坐标确定为分割直线的中点坐标。
将所述二值图像按照横轴方法分割成三部分,分别为左部、中部以及右部;若分布在中部和下部的中点的数量大于第二阈值,则根据所有直线的中点的坐标值,筛选出中点的纵坐标最小值,并将纵坐标最小值对应的中点坐标确定为分割直线的中点坐标。根据所述分割直线的中点坐标,计算分割直线的方程,然后根据直线方程找到图中对应的直线。
根据findcontours()函数对所述二值化图像进行处理,得到所有闭合区域的边缘曲线;将分割直线与所述分割直线端点最接近的闭合区域的边缘曲线连接,确定分割轮廓。
把近点闭合轮廓区域全部填充为白色(255),其余区域填充成黑色(0),使其成为一张以一条直线为分水岭的黑白图像。将该图像取反和高空景象图像进行或操作可以取出近景区域,将该图像和模糊后的高空景象图像进行或操作可以取出模糊后的远景区域。
若采用霍夫直线变换算法对二值图像中的边缘进行直线检测时不存在直线,则先对原始的图像通过OpenCV_BM算法得到深度图(一幅通过灰度值来判断距离得灰度图,灰度值得范围是0-255),接着通过腐蚀和膨胀算法将一些不连续的区域连接起来。因为距离近的是灰度值低的,距离远的是灰度值高的然后设置一个阈值,把高于阈值的像素的灰度值变成0,低于阈值的像素的灰度值变成1,这样就得到一幅二值图。然后远景部分就是灰度值为0的部分,近景就是灰度值为1的区域。区分出远景和近景之后就是对远景部分进行模糊和对近景部分的保留。
最后再将两张图进行合成,则可以得到最终的图像。
相对于现有的技术,本发明提供的上述方法对于视频的处理具有很高的实时性,同时因为上述方法是基于计算机视觉的,并且运行于具有强劲性能的主控制器的电子设备上,因此能够对佩戴者进行个性化的定制,对比光学减距的方法更加具有更好的画面处理效果,以及处理方案的更高灵活性和高度个性化适配性,并且能够在后期通过算法改进,以极低的成本大幅度提高这款电子眼镜的处理效果。
本发明因为在硬件的构造上使用了模块化和易拆的设计,因此在维修时具有较高的维护性,具有更低的维护成本。另外,这款电子眼镜相对于光学眼镜来说,不需要更换昂贵的光学镜片,同样也降低了制造成本。
本发明针对恐高症患者在视觉上看到的景象进行图像处理,并不是治疗恐高症状,而是缓解恐高症状,从而扩大了受众人群。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种电子眼镜,其特征在于,包括眼镜盒子和双目摄像头;所述眼镜盒子内嵌有依次设置的液晶显示屏、主控板以及移动电源;所述主控板上集成有主控制器和六轴姿态传感器;所述双目摄像头安装在所述眼镜盒子的外侧面上,所述双目摄像头、所述六轴姿态传感器、所述移动电源均与所述主控制器电连接;
所述主控制器获取双目摄像头采集的高空景象图像以及六轴姿态传感器采集的头部姿态信息,并确定所述头部姿态信息中的头部转动角度;
判断所述头部转动角度是否在设定角度区间内,得到第一判断结果;
若是所述第一判断结果表示所述头部转动角度不在设定角度区间内,则将所述高空景象图像显示在液晶显示屏上;
若是所述第一判断结果表示所述头部转动角度在设定角度区间内,则将所述高空景象图像转换成二值图像,并通过Canny算法对所述二值图像中的各个区域进行边缘检测,得到所有区域的边缘曲线;
采用霍夫直线变换算法对所有所述边缘曲线进行检测,判断是否存在直线,得到第二判断结果;
若所述第二判断结果表示所述边缘曲线内存在直线,则计算所有直线的中点,然后根据所有直线的中点的分布位置确定分割轮廓,并根据所述分割轮廓对所述高空景象图像进行分割,得到近景图像和远景图像;
若所述第二判断结果表示所述边缘曲线内不存在直线,则采用OpenCV_BM算法对所述高空景象图像进行处理得到景深图,然后根据腐蚀算法和膨胀算法对所述景深图进行处理,得到不同深度的灰度图,并根据设定的灰度阈值,对所述灰度图进行二值化划分,得到近景图像和远景图像;所述远景图像为灰度值为0时对应的高空景象图像区域,所述近景图像为灰度值为1时对应的高空景象图像区域;其中,将高于所述灰度阈值的像素的灰度值变成0,将低于所述灰度阈值的像素的灰度值变成1;
对所述远景图像进行模糊处理;
将所述近景图像和模糊处理后的远景图像合成,并将合成图像显示在液晶显示屏上。
2.根据权利要求1所述的电子眼镜,其特征在于,在所述眼镜盒子的佩戴端口处嵌入有视距调节镜片,且所述视距调节镜片位于所述液晶显示屏的正前方;所述眼镜盒子的外侧面还设置有视距调节滑动块。
3.根据权利要求2所述的电子眼镜,其特征在于,所述眼镜盒子的佩戴端口为弧形结构。
4.根据权利要求1所述的电子眼镜,其特征在于,所述眼镜盒子采用夹板方式组装而成,所述眼镜盒子的材料为PLA材料。
5.根据权利要求1所述的电子眼镜,其特征在于,所述主控制器采用基础频率达1.44GHz的Intel Cherry Trail Z8350四核处理器;所述主控制器集成有HDMI视频输出端口和三个USB端口;所述主控制器搭载开源的Ubuntu***以及支持OpenCV_BM程序。
6.根据权利要求1所述的电子眼镜,其特征在于,所述双目摄像头由两个摄像头模组组成,所述双目摄像头采用单个USB输出,且兼容Windows***和Linux***;所述双目摄像头的视频输出格式为YUV格式。
7.根据权利要求1所述的电子眼镜,其特征在于,所述六轴姿态传感器为陀螺仪加速计。
8.根据权利要求7所述的电子眼镜,其特征在于,所述陀螺仪加速计的型号为MPU6050。
9.一种应用于权利要求1-8任意一项所述的电子眼镜的高空景象图像重建方法,其特征在于,所述高空景象图像重建方法包括:
获取双目摄像头采集的高空景象图像以及六轴姿态传感器采集的头部姿态信息,并确定所述头部姿态信息中的头部转动角度;
判断所述头部转动角度是否在设定角度区间内,得到第一判断结果;
若是所述第一判断结果表示所述头部转动角度不在设定角度区间内,则将所述高空景象图像显示在液晶显示屏上;
若是所述第一判断结果表示所述头部转动角度在设定角度区间内,则将所述高空景象图像转换成二值图像,并通过Canny算法对所述二值图像中的各个区域进行边缘检测,得到所有区域的边缘曲线;
采用霍夫直线变换算法对所有所述边缘曲线进行检测,判断是否存在直线,得到第二判断结果;
若所述第二判断结果表示所述边缘曲线内存在直线,则计算所有直线的中点,然后根据所有直线的中点的分布位置确定分割轮廓,并根据所述分割轮廓对所述高空景象图像进行分割,得到近景图像和远景图像;
若所述第二判断结果表示所述边缘曲线内不存在直线,则采用OpenCV_BM算法对所述高空景象图像进行处理得到景深图,然后根据腐蚀算法和膨胀算法对所述景深图进行处理,得到不同深度的灰度图,并根据设定的灰度阈值,对所述灰度图进行二值化划分,得到近景图像和远景图像;所述远景图像为灰度值为0时对应的高空景象图像区域,所述近景图像为灰度值为1时对应的高空景象图像区域;其中,将高于所述灰度阈值的像素的灰度值变成0,将低于所述灰度阈值的像素的灰度值变成1;
对所述远景图像进行模糊处理;
将所述近景图像和模糊处理后的远景图像合成,并将合成图像显示在液晶显示屏上。
10.根据权利要求9所述的高空景象图像重建方法,其特征在于,所述根据所有直线的中点的分布位置确定分割轮廓,具体包括:
将所述二值图像按照横轴方向分割成三部分,分别为左部、中部以及右部;若分布在左部的中点的数量大于第一阈值,则根据所有直线的中点的坐标值,筛选出中点的横坐标最大值,并将横坐标最大值对应的中点坐标确定为分割直线的中点坐标;若分布在右部的中点的数量大于所述第一阈值,则根据所有直线的中点的坐标值,筛选出中点的横坐标最小值,并将横坐标最小值对应的中点坐标确定为分割直线的中点坐标;
将所述二值图像按照横轴方法分割成三部分,分别为左部、中部以及右部;若分布在中部和下部的中点的数量大于第二阈值,则根据所有直线的中点的坐标值,筛选出中点的纵坐标最小值,并将纵坐标最小值对应的中点坐标确定为分割直线的中点坐标;
根据所述分割直线的中点坐标,计算分割直线;
根据findcontours()函数对所述二值化图像进行处理,得到所有闭合区域的边缘曲线;
将分割直线与所述分割直线端点最接近的闭合区域的边缘曲线连接,确定分割轮廓。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910095865.3A CN109829927B (zh) | 2019-01-31 | 2019-01-31 | 一种电子眼镜及高空景象图像重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910095865.3A CN109829927B (zh) | 2019-01-31 | 2019-01-31 | 一种电子眼镜及高空景象图像重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109829927A CN109829927A (zh) | 2019-05-31 |
CN109829927B true CN109829927B (zh) | 2020-09-01 |
Family
ID=66863280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910095865.3A Active CN109829927B (zh) | 2019-01-31 | 2019-01-31 | 一种电子眼镜及高空景象图像重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109829927B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111552076B (zh) * | 2020-05-13 | 2022-05-06 | 歌尔科技有限公司 | 一种图像显示方法、ar眼镜及存储介质 |
CN113113128A (zh) * | 2021-04-15 | 2021-07-13 | 王小娟 | 基于vr、算法和5g技术的医疗手术辅助***以及方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103297703A (zh) * | 2013-05-30 | 2013-09-11 | 深圳职业技术学院 | 多光谱图像获取方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3492151B2 (ja) * | 1996-09-10 | 2004-02-03 | 大日本スクリーン製造株式会社 | 画像のシャープネス処理方法及びその装置並びにプログラムを記録した記憶媒体 |
CN201662682U (zh) * | 2010-04-27 | 2010-12-01 | 中兴通讯股份有限公司 | 一种立体摄像装置 |
CN105183170B (zh) * | 2015-09-22 | 2018-09-25 | 京东方科技集团股份有限公司 | 头戴式可穿戴设备及其信息处理方法、装置 |
CN105717644A (zh) * | 2016-04-26 | 2016-06-29 | 上海与德通讯技术有限公司 | 图像调整方法、装置及所适用的智能眼镜 |
CN106843491A (zh) * | 2017-02-04 | 2017-06-13 | 上海肇观电子科技有限公司 | 带增强现实的智能设备及电子设备 |
CN107229340B (zh) * | 2017-06-29 | 2020-04-24 | 联想(北京)有限公司 | 一种信息处理方法以及电子设备 |
CN107749053A (zh) * | 2017-10-24 | 2018-03-02 | 郑州布恩科技有限公司 | 一种用于视觉假体的双目图像采集与预处理装置及方法 |
-
2019
- 2019-01-31 CN CN201910095865.3A patent/CN109829927B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103297703A (zh) * | 2013-05-30 | 2013-09-11 | 深圳职业技术学院 | 多光谱图像获取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109829927A (zh) | 2019-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108810538B (zh) | 视频编码方法、装置、终端及存储介质 | |
US20180081434A1 (en) | Eye and Head Tracking | |
CN109993115B (zh) | 图像处理方法、装置及可穿戴设备 | |
US20110148868A1 (en) | Apparatus and method for reconstructing three-dimensional face avatar through stereo vision and face detection | |
CN110009720B (zh) | Ar场景中的图像处理方法、装置、电子设备及存储介质 | |
EP4261778A1 (en) | Posture estimation method related apparatus | |
EP3839894A1 (en) | Three-dimensional model processing method and apparatus, electronic device, and readable storage medium | |
CN102542552B (zh) | 视频图像的顺逆光判断和拍摄时间检测方法 | |
CN105989326B (zh) | 人眼三维位置信息的确定方法和装置 | |
CN113177515A (zh) | 一种基于图像的眼动追踪方法和*** | |
US9292927B2 (en) | Adaptive support windows for stereoscopic image correlation | |
CN109829927B (zh) | 一种电子眼镜及高空景象图像重建方法 | |
CN102473282A (zh) | 外部光映入判定装置、视线检测装置及外部光映入判定方法 | |
CN111062981A (zh) | 图像处理方法、装置及存储介质 | |
CN111104893B (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
CN114494334B (zh) | 调整三维姿态的方法、装置、电子设备及存储介质 | |
AU2009344148A1 (en) | Enhancing image data | |
CN111582005A (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
US10107594B1 (en) | Analysis method of electronic spotting scope for automatically analyzing shooting accuracy | |
CN115861077A (zh) | 一种全景图像的确定方法、装置、设备及存储介质 | |
CN115965653A (zh) | 一种光斑追踪方法、装置、电子设备及存储介质 | |
CN113344796A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN112700568B (zh) | 一种身份认证的方法、设备及计算机可读存储介质 | |
CN107295261B (zh) | 图像去雾处理方法、装置、存储介质和移动终端 | |
CN115984950B (zh) | 视线检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |