CN106204431A - 智能眼镜的显示方法及装置 - Google Patents
智能眼镜的显示方法及装置 Download PDFInfo
- Publication number
- CN106204431A CN106204431A CN201610712201.3A CN201610712201A CN106204431A CN 106204431 A CN106204431 A CN 106204431A CN 201610712201 A CN201610712201 A CN 201610712201A CN 106204431 A CN106204431 A CN 106204431A
- Authority
- CN
- China
- Prior art keywords
- view data
- display
- intelligent glasses
- display screen
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011521 glass Substances 0.000 title claims abstract description 118
- 238000012856 packing Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000003287 optical effect Effects 0.000 claims abstract description 40
- 239000000463 material Substances 0.000 claims description 18
- 238000012544 monitoring process Methods 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 230000004438 eyesight Effects 0.000 claims description 5
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 19
- 210000003128 head Anatomy 0.000 description 15
- 230000000007 visual effect Effects 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 3
- 230000008595 infiltration Effects 0.000 description 3
- 238000001764 infiltration Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000000162 simple eye Anatomy 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种智能眼镜的显示方法及装置,所述方法包含:调节并标定所述智能眼镜的显示屏上的显示区域,使所述显示区域与用户透过所述智能眼镜看到的外界区域一致;调整光学仪器于所述智能眼镜上的固定位置,使所述光学仪器所获取的第一图像数据与用户透过所述智能眼镜看到的第二图像数据大小一致;根据所述第二图像数据调整所述第一图像数据于所述显示区域内的显示位置,使所述第一图像数据与第二图像数据重叠并显示所述第一图像数据。
Description
技术领域
本发明涉及智能穿戴领域,尤指一种智能眼镜的显示方法及装置。
背景技术
目前的智能眼镜从显示原理可以分为遮挡型和透过型,遮挡型的典型代表就是Oculus系列。这种设备会遮挡自然视野,并使用显示的图像覆盖视野,这种设备在没有能源的情况下会完全遮挡正常视野。透过型的典型代表是***glass和爱普生Moverio BT-200智能眼镜以及微软的hololens,这种设备本身并不会遮挡自然视野,图像只会与自然视野的部分图像发生叠加,并且在没有能源的情况下不会遮挡正常视野。本文的技术手段主要针对透过型的智能眼镜,并且该类型的智能眼镜的显示并不能完全覆盖自然视野。目前的主流方式是将摄像头采集到的图像完全显示在透镜显示屏上。如图1所示,实线大图为真实场景中人眼通过镜片看到的图像,虚线小图为透镜显示屏上图像。透镜显示屏上的图像仅仅是摄像头采集到的图像,这样视野内的虚拟图像会和真实图像形成相互干扰,影响用户体验。
现有技术的缺点是从视觉上看起来,显示的图像会和现实图像发生重叠,如图1,并且这种重叠不存在对应关系。人眼看到图像就像内容重复的画中画。这样图像信息会产生混杂,从而影响人们对正常信息的获取,同时由于显示视窗仅占居视野的一小部分,因此所显示的信息量和内容有限同时内容也不够清晰。
发明内容
本发明的目的在于将显示的内容与实际视野的内容产生对应关系,这样既不遮挡自然视野的内容又可以对自然视野中对应的信息加以补充,如图2所示的显示方式,显示的内容与实际观察到的真实图像可以完全重合,这样显示的信息更直观,可以准确的与真实物体对应。同时,我们在虚拟物体上进行的信息的添加也可以更准确地对应到真实物体,提高显示信息的准确程度,由于虚拟出来的图像与真实图像的比例为1:1,也就可以更好的保证了图像的细节。
为解决上述问题,本发明具体提供一种智能眼镜的显示方法,所述方法包含:调节并标定所述智能眼镜的显示屏上的显示区域,使所述显示区域与用户透过所述智能眼镜看到的外界区域一致;调整光学仪器于所述智能眼镜上的固定位置,使所述光学仪器所获取的第一图像数据与用户透过所述智能眼镜看到的第二图像数据大小一致;根据所述第二图像数据调整所述第一图像数据在所述显示区域内的显示位置,使所述第一图像数据与第二图像数据重叠并显示所述第一图像数据。
在上述智能眼镜的显示方法中,优选的,所述调节并标定所述智能眼镜的显示屏上的显示区域包含:通过观测距离所述显示屏外预定阈值的标定板,以棋盘标定法或靶形标定法标定所述显示屏上的显示区域。
在上述智能眼镜的显示方法中,优选的,所述显示所述第一图像数据之后还包含:监测所述光学仪器的图像采集端距采集的实物之间的观察距离,当所述观察距离小于预定阈值时,根据预定比例放大或缩小于所述显示屏上显示的所述第一图像数据。
在上述智能眼镜的显示方法中,优选的,所述使所述第一图像数据与第二图像数据重叠包含:通过用户观察并调整所述第一图像数据的显示位置,使所述第一图像数据与第二图像数据重叠;或,通过预先设置的采样光学设备模拟人眼视觉并将采样光学设备获得的第二图像数据与所述第一图像数据匹配重叠。
在上述智能眼镜的显示方法中,优选的,所述通过预先设置的采样光学设备模拟人眼视觉并将采样光学设备获得的第二图像数据与所述第一图像数据匹配重叠包含:固定所述第二图像数据,将所述第一图像数据按预定像素单位进行横向移动或纵向移动,并记录移动后的所述第一图像数据与第二图像数据通过比对获得的两者之间的相似度值;通过多次横向移动或纵向移动所述第一图像数据,获得所述相似度值构成相似度矩阵;根据所述相似度矩阵,获得确定所述第一图像数据横向移动或纵向移动的移动距离;;根据所述移动距离移动所述第一图像数据。
在上述智能眼镜的显示方法中,优选的,所述显示所述第一图像数据之后还包含:获取用户的眼镜与所述显示屏之间的观测距离,根据所述观测距离按预定参数调整所述第一图像数据的大小和/或显示位置后于所述显示屏上输出显示。
在上述智能眼镜的显示方法中,优选的,所述显示所述第一图像数据之后还包含:监测用户输入的控制指令,根据所述控制指令调整所述第一图像数据后于所述显示屏上输出显示。
在上述智能眼镜的显示方法中,优选的,所述监测用户输入的控制指令,根据所述控制指令调整所述第一图像数据后于所述显示屏上输出显示包含:根据所述控制指令,监测所述智能眼镜的位移情况,根据所述位移情况放大或缩小所述第一图像数据后于所述显示屏上输出显示。
在上述智能眼镜的显示方法中,优选的,所述监测用户输入的控制指令,根据所述控制指令调整所述第一图像数据后于所述显示屏上输出显示还包含:监测所述第一图像数据中是否包含标定图像数据,如包含标定图像数据,则截取所述第一图像数据中包含标定图像数据的监测图片;根据所述控制指令将所述监测图片与数据库中模型图片进行比对,获得所述标定图像数据对应的标定模型;将所述标定模型添加入所述第一图像数据,并调整所述标定模型的大小及显示位置;将叠加有所述标定模型的所述第一图像数据于所述显示屏上输出显示。
在上述智能眼镜的显示方法中,优选的,所述用户的眼镜与所述显示屏之间的距离大于或等于0.5厘米。
本发明还提供一种智能眼镜的显示装置,所述显示装置包含标定模块、模型调整模块和位移调整模块;所述标定模块用于调节并标定所述智能眼镜的显示屏上的显示区域,使所述显示区域与用户透过所述智能眼镜看到的外界区域一致;所述模型调整模块用于根据光学仪器于所述智能眼镜上的不同固定位置,对应调整所述光学仪器获得的第一图像数据,使所述第一图像数据与用户透过所述智能眼镜看到的第二图像数据大小一致;所述位移调整模块用于根据所述第二图像数据调整所述第一图像数据于所述显示区域内的显示位置,使所述第一图像数据与第二图像数据重叠并显示所述第一图像数据。
在上述智能眼镜的显示装置中,优选的,所述显示装置还包含距离判定模块,所述距离判定模块用于获取用户的眼镜与所述显示屏之间的观测距离,以及采集所述光学仪器的图像采集端距采集的实物之间的观察距离,或根据所述第一图像数据判断所述光学仪器的图像采集端距采集的实物之间的观察距离。
本发明的有益技术效果在于:通过该智能眼镜的显示方法可以等比例对应位置的在智能眼镜上显示与实际场景对应的信息,这样不容易遮挡视野,不产生信息混淆,可以展示更多细节,保证信息显示的对应和准确;同时在测距功能的配合下,可以提供更好的补偿,保证在近距离时的使用效果,以及根据该对应关系使用户可通过智能眼镜获得更多实景与虚幻集合的全新体验。
为让本发明的上述和其他目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附图式,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术中智能眼镜的显示画面示意图;
图2为本发明所提供的智能眼镜的显示方法所显示的画面示意图;
图3为本发明所提供的智能眼镜的显示方法的效果示意图;
图4为本发明所提供的智能眼镜的显示方法的流程示意图;
图5为本发明一优选实施例中所提供的智能眼镜的显示方法的原理示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图2和图4所示,本发明提供了一种智能眼镜的显示方式,这种显示方式可以让人眼观察自然视野和透过虚拟成像看到的对象比例为1:1,同时虚拟图像的位置也与自然视野的图像位置重合,来保证细节信息的准确显示;该显示方式主要包含以下实现步骤:S401调节并标定所述智能眼镜的显示屏上的显示区域,使所述显示区域与用户透过所述智能眼镜看到的外界区域一致;S402调整光学仪器于所述智能眼镜上的固定位置,使所述光学仪器所获取的第一图像数据与用户透过所述智能眼镜看到的第二图像数据大小一致;S403根据所述第二图像数据调整所述第一图像数据于所述显示区域内的显示位置,使所述第一图像数据与第二图像数据重叠并显示所述第一图像数据。
在上述步骤S401中的主要目的在于标定显示屏幕的显示区域大小,具体可通过观测距离所述显示屏外预定阈值的棋盘标定板,以棋盘标定法或靶形标定法标定所述显示屏上的显示区域;例如:进行显示区域的标定时,标定方法采用棋盘标定板,这里棋盘标定板的大小要根据显示器的显示视窗大小确定,大小可为显示视窗大小的20倍以下,尽可能接近20倍,超过20倍可能导致标定板显示不全,标定板太小则会增加标定误差。透过显示屏观察棋盘标定板,同时拉远标定板,距离越远越好,最少为人眼距离显示屏的距离e的20倍以上,一般情况下我们认为e=1cm,那么距离就应该20cm以上,这样误差保证在5%以下,同时如果标定板过远则标定板无法充满显示屏,无法实现标定目的,较好的是将整个标定板完全显示在透过的显示屏内,以此有效降低误差率。
在上述步骤S402中主要标定显示内容的大小,使该显示内容的大小比例与人员观察比例一致,以此便于后期图像的重合,使用户通过显示屏看到的显示出的对象的大小与人眼正常观察的实物大小一致;在该过程中可采用人眼直接进行标定,也可以使用摄像头采集数据代替人眼进行标定;前一种方法即人眼直接进行标定具体包含通过将第一图像数据显示在显示屏上,由用户观察的同时,自主进行图像显示比例及大小的调节,该过程主要藉由人眼去判断后由外部控制设备或其他手段去调整在显示屏上显示的第一图像数据;关于后一种以代替人眼的摄像头采集数据进行标定的方法主要为透过显示屏架设相机模拟人眼位置进行图像采集,采集到的图像可以认为是人眼看到的图像,调整显示内容大小比例一致的方法为,在不显示虚拟内容的情况下进行使用已有摄像头进行采样这个相机我们称之为采样相机是用于标定的,记录下被采样内容的大小(可以使用具体包含多少个像素来表示),再将显示屏进行遮挡,保证采样相机只能采集到显示屏的内容(该内容不包括任何透射的真实世界)并在显示屏上显示摄像头(设备相机)采集到的虚拟图像,同时对该图像逐步进行放大或者缩小,采样摄像机记录变换的过程,并将过程的数据与之前采集到的实物内容进行对比,记录像素数量最接近的图像所对应的放大缩小参数,并认为此时图像与人眼的实物大小一致,同时将像素变化范围在正负20%的区间保留供后续用户进行微调。上述两种方法可根据实际情况选择使用,当然调整显示内容的大小比例不仅仅为上述两种方法,上述方法仅为更清楚的说明本发明在使采集图像与人眼看到的图像一致化时可采取的流程方案,并不对其具体实施过程做任何限制。
在本发明一优选的实施例中,上述步骤S403还可包含:通过用户观察并调整所述第一图像数据的显示位置,使所述第一图像数据与第二图像数据重叠;或通过预先设置的采样光学设备模拟人眼视觉并将采样光学设备获得的第二图像数据与所述第一图像数据匹配重叠。其中采用光学设备模拟人眼的方式还包含:固定所述第二图像数据,将所述第一图像数据按预定像素单位进行横向移动或纵向移动,并记录移动后的所述第一图像数据与第二图像数据通过比对获得的两者之间的相似度值;通过多次横向移动或纵向移动所述第一图像数据,获得所述相似度值构成相似度矩阵;根据所述相似度矩阵,获得确定所述第一图像数据横向移动或纵向移动的移动距离;根据所述移动距离移动所述第一图像数据。具体的,实际使用时,首先由多次将第二图像与第一图像比较得到的相似度值构成相似度矩阵,如每次移动只会得到一个值,因此通过多次横纵方向的移动即可获得多个值,再由该值构成矩阵,最后以满足正态分布(一维)以及高斯分布(二维)为约束条件,求解该矩阵的高斯分布函数的极值作为最终的极值结果,并由该极值结果确定所述第一图像数据横向移动或纵向移动的移动距离。
在上述实施例中,所进行的后期图像重合即图像显示位置调节,所采用流程与步骤S402的校准流程类似,均可采用透过显示屏架设相机模拟人眼位置进行图像采集,采集到的图像可以认为是人眼看到的图像。此时将投影的图像与采样得到的真实图像进行对比,投影图像在真实图像的覆盖相似度值满足高斯分布(这里的相似度可以为面积重叠的值或者像素值得插值等等可以有很多种算法,本发明在此不再一一举例),此时可以求出高斯分布函数的对应极值,认为该极值点是与实际位置相互重叠的点,该点周围整体显示图像横向为宽度10%,纵向为高度10%作为供使用者微调的范围。
在本发明一优选的实施例中,所述显示所述第一图像数据之后还可对第一图像数据做进一步校准,以此使得用户在使用智能眼镜观测近距离物体时,显示数据能够更为清楚,本发明还提供以下处理方法:监测所述光学仪器的图像采集端距采集的实物之间的观察距离,当所述观察距离小于预定阈值时,根据预定比例放大或缩小于所述显示屏上显示的所述第一图像数据;其中,所述预定阈值可根据实际智能眼镜设备情况去设置,通常可设置为20倍人眼距显示屏的距离,当人眼或光学仪器近距离观测一景物时常伴有失焦等情况,此时根据预先设置的阈值范围调整光学仪器的显示数据可有效帮助用户更清楚的观测近距离实物;例如:实际观察近距离实物时,当智能眼镜检测到实物距离光学仪器采集端低于一阈值时,可以根据公式c=a(1+e/b)对图像进行补偿,此处人眼到成像的距离为a,人眼到实物的距离为b,摄像头到成像的距离为c,摄像头到实物的距离为d,人眼到显示屏的距离为e;e默认为常数,也就是说显示图像的大小只与b有关,则我们可以根据测定距离b对显示图片的大小进行调整,当b缩小的时候自动将图像进行放大这样可以保证图像显示的准确。举例说明,设备自身带有测距功能,也就是这里可以得到b值。如果设备有人眼侧的测距设备也就是e值也是已知的。那么c=a(1+e/b)中(1+e/b)可以得到具体数值m,也就是此时的c=am也就是说显示屏上的图像与实际图像的比例为m,假设之前校准得到的比例值为n那么所需要的缩放值就是m/n,也就是将现有图像缩小n倍再扩大m倍,实际操作往往是直接使用m/n这个具体值进行操作。如果人眼侧距离e未知的情况下,默认e为常数(该值一般情况下不发生变化),标准校准的n=(1+e/b)可以得到e值。对b的测距的最核心应用在与这个放大缩小的比例可以随被观测物体的远近而发生变化,从而避免失真的情况发生。
需要说明的是,一般情况下虚拟出的图像是与人眼透过晶体看到的图像完全重合的。但根据基于公式c=a(1+e/b)原理,只有当b足够大,e足够小的时候图像的匹配才能实现;因此如果智能眼镜自身并不具备测距功能,则需要将e限定一定的有效范围(0.5cm-2cm),也就是说人眼与显示屏之间的距离至少需要大于等于0.5厘米才能保证显示的效果。
在上述实施例中,要将光学仪器所拍摄到的图像数据显示为与人眼观测景物一致,势必需要对拍摄的图像数据做处理,其间需涉及人眼与显示屏的距离,摄像头与实物的距离等等参数,为更清楚说明本发明的流程及原理,以下通过图3所示,对本发明原理做更进一步解释;在使用智能眼镜的过程中,人眼透过晶片看到实物图像,如果要实现图像大小1:1,并且位置重合,则势必显示出的图像需要与透镜成像图像一致。也就是说人眼透过透镜观察到的物体图像应该与摄像头采集到并在显示器显示到的图像一致,当然摄像头采集到的图像是倒立实像,此处则将其等同与前方的正立虚像;在大多数情况下,摄像头采集到的图像并不与人眼看到的实物一致,因此为保证显示成像与人眼观察的实际物体比例一致,需进一步对其显示的图像进行校正;此过程中首先需要设置人眼302到成像3021的距离为a,人眼302到实物301的距离为b,摄像头303到成像3022的距离为c,摄像头303到实物301的距离为d;那么为了使摄像头成像大小与人眼观察透镜成像大小一致,必须满足公式a/b=c/d。这里通过对焦距和图像的放大缩小c是可变的。b和d满足关系d=b+e,假设摄像头303与人眼302和实物301在一条直线上,则e为b和d之间的距离。因此公式可以改为a/b=c/(b+e)。得到公式c=a(1+e/b)。这个公式中a是常量,因为人眼跟透镜成像的举例可以认为是不变的;e也是常量,因为摄像头303和人眼301之间的距离在佩带智能眼镜期间,也可以认为是不变的,当然一般摄像头都应该在人眼的前方,也就是d的举例应该小于b的举例,也就是说这里的e<0。这样我们就知道变量c仅与b存在一定关系切满足公式c=a(1+e/b),并且a,e为常量并且已知。这个公式也说明了如果观察对象无限远的情况下e/b接近于0,c=a因此摄像头拍摄到的图像与人眼观察到透镜成像应该是一致的。也就是说如果e足够小,b足够大的情况下,我们认为c=a,也就是摄像头成像的大小可以认为不用考虑人眼与对象之间的距离。在一般情况下,e的距离都小于等于1cm,也就是说如果对象在20cm的时候误差应该在5%左右。如果对象在50cm误差在2%,100cm以上误差小于1%。当然我们可以用公式得出准确的生成虚拟图像的大小,以此,通过上述方法,实际工作中通过智能眼镜自带的测距或其他测距方式了解对应参数b值后,可基于上述公式对图像进行适应性调整,从而保证c的显示的精确;也可以将测距功能限定到当对象物体距离近到一定程度再使用公式算法补偿,其他情况都认为c=a。
当然,在上述实施例中c的值虽然是可以通过调整相机的参数来改变,但是实际工作中无法直接设定c值,也相当于无法直接设定显示的图像的大小,因此,本发明可通过改变摄像头的参数或者显示图像的尺寸达到以上目的,基于该目的,在此就需要使用一定的校正方法来初始化显示的内容和相机拍摄到的内容的关系;为了保证校正的准确,可将目标对象(标定板,这里的标定板一般采用国际象棋棋盘类似的黑白格标定板)放置于1米外,透过显示晶片观察标定板上方格数量,移动标定板使得其在显示视窗获得的方格数量正好为整数(因为图像本身不存在变形的问题,所以选择横向或者纵向为整数即可);保持智能眼镜和标定板的位置不变,打开摄像头,将拍摄内容显示出来,调整显示内容为相同数量的方格,我们即可认为此时显示的图像比例与人眼观察到的图像比例为1比1;在此基础上对显示的图像进行平移或者水平移动操作,使其位置对齐,或者可以重新使用靶型标定板重新标定使得显示内容与人眼观察内容重合。
由于使用者本身的差异,导致a的距离很可能发生变化,同时由于佩戴的关系,人眼与显示晶片的相对位置并不跟标定时的位置相同,因此如果有必要,需要使用者在佩戴时进行二次调整,亦即进一步图像校准;本发明提供的智能眼镜的显示方法还包含:获取用户的眼镜与所述显示屏之间的观测距离,根据所述观测距离按预定参数调整所述第一图像数据的大小和/或显示位置后于所述显示屏上输出显示。以此通过该方案有效针对不同用户给予相同的观测体验,基于不同用户佩带智能眼镜时与显示屏的不同距离,有目的的调整所述第一图像数据,使其能准确和真实图像即第二图像数据完成重叠。
在上述实施例中,所述预定参数可以采用预先测试并记录不同观测距离,第一图像数据需要调整的参数量,以此在后续用户实际佩带智能眼镜时,根据观测距离对应调整所述第一图像数据的方式来获取,本发明在此不再详述;当然在调整第一图像数据时也可由用户自主调整,在本发明一优选实施例中还提供:监测用户输入的控制指令,根据所述控制指令调整所述第一图像数据后于所述显示屏上输出显示;也就是说用户可根据佩带时具体感受或预先知道的参数去自主调整第一图像数据;例如:智能眼镜在设置时,将人眼与显示屏的距离e设置为1cm,而某一用户的人眼与显示屏的距离为2cm,此时则可2cm所对应的参数量去调整第一图像数据,以此达到第一图像数据与第二图像数据重叠的目的;如用户无法得知上述参数量也无法准确判断人眼与显示屏的距离,此时,本发明还提供根据所述控制指令,监测所述智能眼镜的位移情况,根据所述位移情况放大或缩小所述第一图像数据后于所述显示屏上输出显示。例如:采用陀螺仪作为平移的输入设备,陀螺仪在智能眼镜中一般有集成,用来采集人头部的姿态,当需要校准的时候亦即收到所述控制指令时,首先记录当前的陀螺仪数据,使用者在显示晶片中观察到真实图像和虚拟图像后,沿着某个方向转动智能眼镜;例如:如果虚拟的图像与真实图像并未重合,虚拟图像在真实图像上方,则需要将虚拟图像整体下移,此时使用者需要做的操作就是低头,这样陀螺仪会记录到头部方向偏离水平向下,将这个信息反馈,将整体显示内容向下移动,其他方向的操作均类似;校准后,摄像头采集到并显示在显示器上的图像可以实现图2的效果,信息显示的更准确,保留了显示内容的细节。本领域相关技术人员当可知陀螺仪仅为本发明在此为更清楚解释用户调节第一图像数据所采用的一较佳技术方案,本发明并不限制用户自主调整第一图像数据时采用何种设备及方法。
在通过上述实物与图像对应显示的基础上,本发明还提供一优选实施例用以简单说明该显示方法的应用场景及实时流程,在完成第一图像数据和第二图像数据校准后,此时智能眼镜所显示的图像则于真实情况一致,此时智能眼镜进一步还监测所述第一图像数据中是否包含标定图像数据,如包含标定图像数据,则截取所述第一图像数据中包含标定图像数据的监测图片;根据所述控制指令将所述监测图片与数据库中模型图片进行比对,获得所述标定图像数据对应的标定模型;将所述标定模型添加入所述第一图像数据,并调整所述标定模型的大小及显示位置;将叠加有所述标定模型的所述第一图像数据于所述显示屏上输出显示。例如:用户可在外部实物上写下或其他标记方法标记一预定标识符,如文字,符号或图案等;当智能眼镜监测第一图像数据中包含有该标识信息时,将该图片截取并与云端数据库进行比对,判断用户所标定的物体种类,其关于图像识别判断的方法可采用现有技术实现,本发明在此并不做详细说明;当确定用户标定物体后,再于数据库中搜索该物体的模型等模型数据供用户确认,当用户确认后再将该模型数据叠加至所述第一图像数据显示供用户参考;在此过程中,所述模型数据可通过前期根据检测设备监测对应物体内部结构所构建,也可根据特定图纸或说明,于计算机等设备渲染构建而成,通过该方法用户可将需要参考的模型数据叠加至真实的显示界面中供参考判断,例如:在医生执行手术过程中,可于患者身体上标定指定符号,智能眼镜监测到该符号时,与数据库中获得对应人体的多类模型,有医生选择人体动脉透视模型或骨骼透视模型等图像,此时,智能眼镜根据实物比例对应调整该模型后并于第一图像数据中叠加显示,医生则可藉由该显示内容准确判断用户身体情况,提供更准确的手术等操作;亦或者说,当施工人员在对房屋进行装修等操作时,为保证动工不至于影响到房屋安全,破坏到承重墙、内部线路等情况发生,都必须要研究房屋的相关图纸等;通过上述实施例,藉由智能眼镜所叠加的房屋内部模型,即可在施工中准确且实时了解房屋的情况,大大节约了施工人员的时间和保证了施工过程中施工人员的人身安全;当然通过上述方法本发明可用于生活中许多场景中,本发明在此就不再一一举例说明。
请参考图5所示,在本发明一优选的实施例中,给出了实际使用本发明所提供的智能眼镜显示方法时呈现给用户的原理示意图,在图5中,用户于初始阶段,正常观察的景物为手掌,其后佩带所述智能眼镜进一步了解该手掌的骨骼情况,此时所述智能眼镜将前期通过CT拍摄获得的手掌骨骼透视图叠加至所述手掌上显示,此时用户所能看见的即为CT拍摄的手掌骨骼透视图,而原有的手掌即被覆盖不再显示;值得说明的是,本发明所提供的智能眼镜的显示方法中仅将需要改变的显示内容叠加至原实物上,并不对其他实物进行改变或干预;例如:当用户眼前的实物为整条手臂时,而用户又仅需了解手掌的骨骼情况,此时显示内容则在原手掌位置覆盖显示骨骼情况图,而不对手臂做任何改变;亦或者说,当房屋进行装修时,为更清楚的显示墙体内的线路情况,此刻用户通过智能眼镜所看到的则为墙体包含线路的位置显示有线路走势情况,而其他部分,例如墙体线路之外的地方则保持原状,正常显示。
本领域相关技术人员当可知,单眼观测的图像为平面图像,只有双眼观测才能获得景深,因此在用户佩带智能眼镜时,为保证用户观测的图像与真实图像一致,本发明以至少两个光学设备分别获取不同图像数据后在处理,其后分别于智能眼镜的左右显示屏上显示输出,以此后期用户查看智能眼镜时能获得较真实的使用体验。同时,本发明所提供的智能眼镜的显示屏为可显示画面的透明显示面板,以便于用户在使用或不使用智能眼镜时,都可通过智能眼镜观察到外部实际情况。
本发明所提供的智能眼镜的显示方法可以等比例对应位置的在智能眼镜上显示与实际场景对应的信息,这样不容易遮挡视野,不产生信息混淆,可以展示更多细节,保证信息显示的对应和准确;同时在测距功能的配合下,可以提供更好的补偿,保证在近距离时的使用效果,以及根据该对应关系使用户可通过智能眼镜获得更多实景与虚幻集合的全新体验。
本发明还提供一种智能眼镜的显示装置,所述显示装置包含标定模块、模型调整模块和位移调整模块;所述标定模块用于调节并标定所述智能眼镜的显示屏上的显示区域,使所述显示区域与用户透过所述智能眼镜看到的外界区域一致;所述模型调整模块用于根据光学仪器于所述智能眼镜上的不同固定位置,对应调整所述光学仪器获得的第一图像数据,使所述第一图像数据与用户透过所述智能眼镜看到的第二图像数据大小一致;所述位移调整模块用于根据所述第二图像数据调整所述第一图像数据于所述显示区域内的显示位置,使所述第一图像数据与第二图像数据重叠并显示所述第一图像数据。
在上述实施例中,本发明所提供的显示装置还可包含距离判定模块,所述距离判定模块用于获取用户的眼镜与所述显示屏之间的观测距离,以及采集所述光学仪器的图像采集端距采集的实物之间的观察距离,或根据所述第一图像数据判断所述光学仪器的图像采集端距采集的实物之间的观察距离;该距离判定模块通过准确获取各类距离参数,使后期所述智能眼镜能够依据该些参数更为准确有效的调整所述第一图像数据。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种智能眼镜的显示方法,其特征在于,所述方法包含:
调节并标定所述智能眼镜的显示屏上的显示区域,使所述显示区域与用户透过所述智能眼镜看到的外界区域一致;
调整光学仪器于所述智能眼镜上的固定位置,使所述光学仪器所获取的第一图像数据与用户透过所述智能眼镜看到的第二图像数据大小一致;
根据所述第二图像数据调整所述第一图像数据于所述显示区域内的显示位置,使所述第一图像数据与第二图像数据重叠并显示所述第一图像数据。
2.根据权利要求1所述的智能眼镜的显示方法,其特征在于,所述调节并标定所述智能眼镜的显示屏上的显示区域包含:通过观测距离所述显示屏外预定阈值的标定板,以棋盘标定法或靶形标定法标定所述显示屏上的显示区域。
3.根据权利要求1所述的智能眼镜的显示方法,其特征在于,所述显示所述第一图像数据之后还包含:监测所述光学仪器的图像采集端距采集的实物之间的观察距离,当所述观察距离小于预定阈值时,根据预定比例放大或缩小于所述显示屏上显示的所述第一图像数据。
4.根据权利要求1所述的智能眼镜的显示方法,其特征在于,所述使所述第一图像数据与第二图像数据重叠包含:
通过用户观察并调整所述第一图像数据的显示位置,使所述第一图像数据与第二图像数据重叠;
或,通过预先设置的采样光学设备模拟人眼视觉并将采样光学设备获得的第二图像数据与所述第一图像数据匹配重叠。
5.根据权利要求4所述的智能眼镜的显示方法,其特征在于,所述通过预先设置的采样光学设备模拟人眼视觉并将采样光学设备获得的第二图像数据与所述第一图像数据匹配重叠包含:
固定所述第二图像数据,将所述第一图像数据按预定像素单位进行横向移动或纵向移动,并记录移动后的所述第一图像数据与第二图像数据通过比对获得的两者之间的相似度值;
通过多次横向移动或纵向移动所述第一图像数据,获得所述相似度值构成相似度矩阵;
根据所述相似度矩阵,获得确定所述第一图像数据横向移动或纵向移动的移动距离;
根据所述移动距离移动所述第一图像数据。
6.根据权利要求1所述的智能眼镜的显示方法,其特征在于,所述显示所述第一图像数据之后还包含:获取用户的眼镜与所述显示屏之间的观测距离,根据所述观测距离按预定参数调整所述第一图像数据的大小和/或显示位置后于所述显示屏上输出显示。
7.根据权利要求1所述的智能眼镜的显示方法,其特征在于,所述显示所述第一图像数据之后还包含:监测用户输入的控制指令,根据所述控制指令调整所述第一图像数据后于所述显示屏上输出显示。
8.根据权利要求7所述的智能眼镜的显示方法,其特征在于,所述监测用户输入的控制指令,根据所述控制指令调整所述第一图像数据后于所述显示屏上输出显示包含:根据所述控制指令,监测所述智能眼镜的位移情况,根据所述位移情况放大或缩小所述第一图像数据后于所述显示屏上输出显示。
9.根据权利要求7所述的智能眼镜的显示方法,其特征在于,所述监测用户输入的控制指令,根据所述控制指令调整所述第一图像数据后于所述显示屏上输出显示还包含:
监测所述第一图像数据中是否包含标定图像数据,如包含标定图像数据,则截取所述第一图像数据中包含标定图像数据的监测图片;
根据所述控制指令将所述监测图片与数据库中模型图片进行比对,获得所述标定图像数据对应的标定模型;
将所述标定模型添加入所述第一图像数据,并调整所述标定模型的大小及显示位置;
将叠加有所述标定模型的所述第一图像数据于所述显示屏上输出显示。
10.根据权利要求1所述的智能眼镜的显示方法,其特征在于,所述用户的眼镜与所述显示屏之间的距离大于或等于0.5厘米。
11.一种智能眼镜的显示装置,其特征在于,所述显示装置包含标定模块、模型调整模块和位移调整模块;
所述标定模块用于调节并标定所述智能眼镜的显示屏上的显示区域,使所述显示区域与用户透过所述智能眼镜看到的外界区域一致;
所述模型调整模块用于根据光学仪器于所述智能眼镜上的不同固定位置,对应调整所述光学仪器获得的第一图像数据,使所述第一图像数据与用户透过所述智能眼镜看到的第二图像数据大小一致;
所述位移调整模块用于根据所述第二图像数据调整所述第一图像数据于所述显示区域内的显示位置,使所述第一图像数据与第二图像数据重叠并显示所述第一图像数据。
12.根据权利要求11所述的智能眼镜的显示装置,其特征在于,所述显示装置还包含距离判定模块,所述距离判定模块用于获取用户的眼镜与所述显示屏之间的观测距离,以及采集所述光学仪器的图像采集端距采集的实物之间的观察距离,或根据所述第一图像数据判断所述光学仪器的图像采集端距采集的实物之间的观察距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610712201.3A CN106204431B (zh) | 2016-08-24 | 2016-08-24 | 智能眼镜的显示方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610712201.3A CN106204431B (zh) | 2016-08-24 | 2016-08-24 | 智能眼镜的显示方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106204431A true CN106204431A (zh) | 2016-12-07 |
CN106204431B CN106204431B (zh) | 2019-08-16 |
Family
ID=57524466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610712201.3A Active CN106204431B (zh) | 2016-08-24 | 2016-08-24 | 智能眼镜的显示方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106204431B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106710002A (zh) * | 2016-12-29 | 2017-05-24 | 深圳迪乐普数码科技有限公司 | 基于观察者视角定位的ar实现方法及其*** |
WO2018035736A1 (zh) * | 2016-08-24 | 2018-03-01 | 中国科学院深圳先进技术研究院 | 智能眼镜的显示方法及装置 |
CN108877310A (zh) * | 2018-06-08 | 2018-11-23 | 河南大学 | 一种新型vr百科课堂 |
CN108957742A (zh) * | 2017-05-19 | 2018-12-07 | 深圳市易瞳科技有限公司 | 一种实现画面虚拟透明动态调节的增强现实头盔及方法 |
CN109445112A (zh) * | 2019-01-05 | 2019-03-08 | 西安维度视界科技有限公司 | 一种ar眼镜及基于ar眼镜的增强现实方法 |
CN110096926A (zh) * | 2018-01-30 | 2019-08-06 | 北京亮亮视野科技有限公司 | 一种放缩智能眼镜屏幕的方法与智能眼镜 |
CN110782499A (zh) * | 2019-10-23 | 2020-02-11 | Oppo广东移动通信有限公司 | 一种增强现实设备的标定方法、标定装置及终端设备 |
CN110880188A (zh) * | 2018-09-06 | 2020-03-13 | 舜宇光学(浙江)研究院有限公司 | 用于近眼显示光学***的标定方法、标定装置和标定*** |
CN111554223A (zh) * | 2020-04-22 | 2020-08-18 | 歌尔科技有限公司 | 显示设备的画面调节方法、显示设备及存储介质 |
WO2023082980A1 (zh) * | 2021-11-11 | 2023-05-19 | 华为技术有限公司 | 一种显示方法与电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101930125A (zh) * | 2009-06-22 | 2010-12-29 | 索尼公司 | 头戴型显示器以及头戴型显示器中的图像显示方法 |
CN103246350A (zh) * | 2013-05-14 | 2013-08-14 | 中国人民解放军海军航空工程学院 | 基于感兴趣区实现辅助信息提示的人机接口设备及方法 |
CN103558915A (zh) * | 2013-11-01 | 2014-02-05 | 王洪亮 | 人体耦合智能信息输入***及方法 |
CN103620600A (zh) * | 2011-05-13 | 2014-03-05 | 谷歌公司 | 用于实现虚拟标记的方法及设备 |
CN105137601A (zh) * | 2015-10-16 | 2015-12-09 | 上海斐讯数据通信技术有限公司 | 一种智能眼镜 |
CN105408801A (zh) * | 2013-06-25 | 2016-03-16 | 微软技术许可有限责任公司 | 用于头戴式显示器的眼睛跟踪*** |
-
2016
- 2016-08-24 CN CN201610712201.3A patent/CN106204431B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101930125A (zh) * | 2009-06-22 | 2010-12-29 | 索尼公司 | 头戴型显示器以及头戴型显示器中的图像显示方法 |
CN103620600A (zh) * | 2011-05-13 | 2014-03-05 | 谷歌公司 | 用于实现虚拟标记的方法及设备 |
CN103246350A (zh) * | 2013-05-14 | 2013-08-14 | 中国人民解放军海军航空工程学院 | 基于感兴趣区实现辅助信息提示的人机接口设备及方法 |
CN105408801A (zh) * | 2013-06-25 | 2016-03-16 | 微软技术许可有限责任公司 | 用于头戴式显示器的眼睛跟踪*** |
CN103558915A (zh) * | 2013-11-01 | 2014-02-05 | 王洪亮 | 人体耦合智能信息输入***及方法 |
CN105137601A (zh) * | 2015-10-16 | 2015-12-09 | 上海斐讯数据通信技术有限公司 | 一种智能眼镜 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018035736A1 (zh) * | 2016-08-24 | 2018-03-01 | 中国科学院深圳先进技术研究院 | 智能眼镜的显示方法及装置 |
CN106710002A (zh) * | 2016-12-29 | 2017-05-24 | 深圳迪乐普数码科技有限公司 | 基于观察者视角定位的ar实现方法及其*** |
CN108957742A (zh) * | 2017-05-19 | 2018-12-07 | 深圳市易瞳科技有限公司 | 一种实现画面虚拟透明动态调节的增强现实头盔及方法 |
CN110096926A (zh) * | 2018-01-30 | 2019-08-06 | 北京亮亮视野科技有限公司 | 一种放缩智能眼镜屏幕的方法与智能眼镜 |
CN108877310A (zh) * | 2018-06-08 | 2018-11-23 | 河南大学 | 一种新型vr百科课堂 |
CN110880188A (zh) * | 2018-09-06 | 2020-03-13 | 舜宇光学(浙江)研究院有限公司 | 用于近眼显示光学***的标定方法、标定装置和标定*** |
CN110880188B (zh) * | 2018-09-06 | 2022-07-01 | 舜宇光学(浙江)研究院有限公司 | 用于近眼显示光学***的标定方法、标定装置和标定*** |
CN109445112A (zh) * | 2019-01-05 | 2019-03-08 | 西安维度视界科技有限公司 | 一种ar眼镜及基于ar眼镜的增强现实方法 |
CN110782499A (zh) * | 2019-10-23 | 2020-02-11 | Oppo广东移动通信有限公司 | 一种增强现实设备的标定方法、标定装置及终端设备 |
CN111554223A (zh) * | 2020-04-22 | 2020-08-18 | 歌尔科技有限公司 | 显示设备的画面调节方法、显示设备及存储介质 |
CN111554223B (zh) * | 2020-04-22 | 2023-08-08 | 歌尔科技有限公司 | 显示设备的画面调节方法、显示设备及存储介质 |
WO2023082980A1 (zh) * | 2021-11-11 | 2023-05-19 | 华为技术有限公司 | 一种显示方法与电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN106204431B (zh) | 2019-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106204431A (zh) | 智能眼镜的显示方法及装置 | |
EP2966863B1 (en) | Hmd calibration with direct geometric modeling | |
CN111512574B (zh) | 用于校准增强现实设备的方法 | |
US20180332222A1 (en) | Method and apparatus for obtaining binocular panoramic image, and storage medium | |
WO2016115872A1 (zh) | 双目ar头戴显示设备及其信息显示方法 | |
EP3163535A1 (en) | Wide-area image acquisition method and device | |
CN108171673A (zh) | 图像处理方法、装置、车载抬头显示***及车辆 | |
AU2015265416A1 (en) | Method and system for image georegistration | |
US20210097767A1 (en) | Method for simulating natural perception in virtual and augmented reality scenes | |
US20140055580A1 (en) | Depth Of Field Maintaining Apparatus, 3D Display System And Display Method | |
JP2010259605A (ja) | 視線測定装置および視線測定プログラム | |
CN106056534A (zh) | 基于智能眼镜的遮挡物透视方法及装置 | |
US20190311199A1 (en) | Adaptive sampling of training views | |
JP2020526735A (ja) | 瞳孔距離測定方法、装着型眼用機器及び記憶媒体 | |
EP3726836A1 (en) | Wearable device testing method and system | |
CN103517060A (zh) | 一种终端设备的显示控制方法及装置 | |
CN104076481A (zh) | 自动聚焦方法及其设备 | |
US20180020203A1 (en) | Information processing apparatus, method for panoramic image display, and non-transitory computer-readable storage medium | |
CN108282650B (zh) | 一种裸眼立体显示方法、装置、***及存储介质 | |
Hu et al. | Alignment-free offline calibration of commercial optical see-through head-mounted displays with simplified procedures | |
CN105872527A (zh) | 双目ar头戴显示设备及其信息显示方法 | |
EP3238178A1 (en) | Methods and systems for producing a magnified 3d image | |
US20070263923A1 (en) | Method for Stereoscopic Measuring Image Points and Device for Carrying Out Said Method | |
US20240119610A1 (en) | Smooth and Jump-Free Rapid Target Acquisition | |
CN103543835B (zh) | 一种lcd显示视角的调节方法、装置和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |