CN110349271A - 透镜颜色调节方法、装置、存储介质及增强现实设备 - Google Patents
透镜颜色调节方法、装置、存储介质及增强现实设备 Download PDFInfo
- Publication number
- CN110349271A CN110349271A CN201910624830.4A CN201910624830A CN110349271A CN 110349271 A CN110349271 A CN 110349271A CN 201910624830 A CN201910624830 A CN 201910624830A CN 110349271 A CN110349271 A CN 110349271A
- Authority
- CN
- China
- Prior art keywords
- augmented reality
- scene
- lens
- image
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 220
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000006978 adaptation Effects 0.000 title abstract 3
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000002834 transmittance Methods 0.000 claims description 7
- 238000007654 immersion Methods 0.000 abstract description 6
- 210000001747 pupil Anatomy 0.000 description 29
- 239000011521 glass Substances 0.000 description 14
- 239000002609 medium Substances 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 9
- 239000000463 material Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 150000002500 ions Chemical class 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000010416 ion conductor Substances 0.000 description 2
- 238000006479 redox reaction Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- MHCFAGZWMAWTNR-UHFFFAOYSA-M lithium perchlorate Chemical compound [Li+].[O-]Cl(=O)(=O)=O MHCFAGZWMAWTNR-UHFFFAOYSA-M 0.000 description 1
- 229910001486 lithium perchlorate Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006722 reduction reaction Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- BAZAXWOYCMUHIX-UHFFFAOYSA-M sodium perchlorate Chemical compound [Na+].[O-]Cl(=O)(=O)=O BAZAXWOYCMUHIX-UHFFFAOYSA-M 0.000 description 1
- 229910001488 sodium perchlorate Inorganic materials 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000007784 solid electrolyte Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 229920001187 thermosetting polymer Polymers 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Architecture (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开了透镜颜色调节方法、装置、存储介质及增强现实设备,应用于增强现实设备,包括:确定当前增强现实图像的场景;确定与所述增强现实图像的场景相匹配的透镜颜色;根据所述透镜颜色调节所述透镜增强现实设备中透镜。本申请实施例通过采用上述技术方案,通过确定人眼看到的增强现实图像的场景,确定增强现实设备中透镜的颜色,并调节透镜的颜色,使得透镜颜色与增强现实图像的场景相匹配,提高增强现实图像的真实性,以及目标对象对增强现实图像的沉浸感。
Description
技术领域
本申请实施例涉及增强现实设备技术领域,尤其涉及一种透镜颜色调节方法、装换、存储介质及增强现实设备。
背景技术
随着增强现实技术的不断发展,诸如增强现实设备等的头戴增强现实设备被用户广泛接受和应用。
增强现实设备包括虚拟图像显示器和透光的透镜,虚拟图像显示器生成虚拟图像,虚拟图像的光线和透过透镜的环境光线同时进入人眼,使得佩戴增强现实设备的用户不仅能够看到现实的事物,还能够看到虚拟的图像,在人眼中形成增强现实图像。
目前的增强现实设备的透镜一般为固定颜色的透明或半透明透镜,一般外界环境中物体反射的光线通过透镜进入人眼,不受其他因素的影响,例如虚拟图像等变化时,进入人眼的现实物体的光线不变,无法自适应的调节人眼中形成的增强现实图像。
发明内容
本申请实施例提供一种透镜颜色调节方法、装置、存储介质及增强现实设备,提高增强现实设备的智能化,提高增强现实图像的可变性。
第一方面,本申请实施例提供了一种透镜颜色调节方法,应用于增强现实设备,包括:
确定当前增强现实图像的场景;
确定与所述增强现实图像的场景相匹配的透镜颜色;
根据所述透镜颜色调节所述透镜增强现实设备中透镜。
第二方面,本申请实施例提供了一种透镜颜色调节装置,包括:
场景确定模块,用于确定当前增强现实图像的场景;
透镜颜色确定模块,用于确定与所述增强现实图像的场景相匹配的透镜颜色;
透镜调节模块,用于根据所述透镜颜色调节所述透镜增强现实设备中透镜。
第三方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请实施例所述的透镜颜色调节方法。
第四方面,本申请实施例提供了一种增强现实设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本申请实施例所述的透镜颜色调节方法。
本申请实施例中提供的技术方案,通过确定人眼看到的增强现实图像的场景,确定增强现实设备中透镜的颜色,并调节透镜的颜色,使得透镜颜色与增强现实图像的场景相匹配,提高增强现实图像的真实性,以及目标对象对增强现实图像的沉浸感。
附图说明
图1A是本申请实施例提供的一种增强现实眼镜的结构示意图;
图1B是本申请实施例提供的增强现实眼镜的侧边框及内部部件剖视结构示意图;
图2为本申请实施例提供的一种透镜颜色调节方法流程示意图;
图3为本申请实施例提供的另一种透镜颜色调节方法的流程示意图;
图4为本申请实施例提供的另一种透镜颜色调节方法的流程示意图;
图5为本申请实施例提供的一种透镜颜色调节装置的结构示意图;
图6为本申请实施例提供的一种增强现实设备的结构示意图;
图7为本申请实施例提供的另一种增强现实设备的结构示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本申请的技术方案。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的增强现实设备包括但不限于增强现实眼镜、具有增强现实功能的手机、平板电脑等电子设备。以头戴增强现实设备(增强现实眼镜)为例,示例性的,参见图1A,图1A是本申请实施例提供的一种增强现实眼镜101的结构示意图,其中,增强现实眼镜101包括镜架104、左眼镜片、右眼镜片,分别设置在左眼镜片、右眼镜片上的左眼衍射整合器102、右眼衍射整合器103、处理单元105、现实信息采集器107、操作部件106,其中,左眼衍射整合器102和右眼衍射整合器103均为具有表面浮雕衍射光栅的紫外光固话/热固化树脂层构成,用于将虚拟图像反射入人眼。增强现实眼镜101还包括微显示器,微显示器可以是设置在镜腿上,用于输出虚拟图像,可以是与处理单元105电连接。现实信息采集器107、操作部件106分别与处理单元105电连接连接,其中,操作部件106可用于接收用户对增强现实眼镜101的输入操作,并将输入操作发送至处理单元105,操作部件106可以是由一个或多个按键组成。处理单元105用于接受操作部件106传输的操作指令,还用于控制现实信息采集器107获取现实信息,处理单元105还可以是通过无线传输等方式与其他设备108无线连接,其他设备108可以是但不限于手机、平板电脑等的移动设备,还可以是计算机、服务器等设备。
示例性的,参见图1B,图1B是本申请实施例提供的增强现实眼镜的侧边框及内部部件剖视结构示意图。图1B中,虚线表示由微显示器109发射的虚拟光信号,透过镜片的实线为现实光信号,虚拟光信号和现实光信号同时摄入目标瞳孔,在目标瞳孔中形成增强现实图像。其中,现实光信号为携带现实物体信息的光信息后,虚拟光信号为电信号转换得到的,携带虚拟图像信息的光信号,目标瞳孔可以是佩戴或者使用增强现实设备的用户的瞳孔。
图2为本申请实施例提供的一种透镜颜色调节方法的流程示意图,该方法可以由透镜颜色调节装置执行,其中该装置可由软件和/或硬件实现,一般可集成在增强现实设备中。如图2所示,该方法包括:
步骤201、确定当前增强现实图像的场景。
步骤202、确定与所述增强现实图像的场景相匹配的透镜颜色。
步骤203、根据所述透镜颜色调节所述透镜增强现实设备中透镜。
其中,增强现实图像为现实图像和虚拟图像共同形成的图像,同时包括目标对象视线范围内的现实物体,还包括进入目标对象瞳孔的虚拟图像中携带的虚拟物体。本实施例中,确定在人眼中形成的增强现实图像的场景,可以是根据目标对象视线范围内的现实物体和虚拟图像中的物体共同确定,具体的,可以是提取虚拟图像中的物体,以及获取目标对象视线范围内的现实物体,基于虚拟图像中的物体和现实物体,和/或,虚拟图像中的物体和现实物体相对位置关系确定增强现实图像的场景。示例性的,增强现实图像的场景可以包括但不限于浪漫场景、温馨场景、悲伤场景、明媚场景、昏暗场景等,增强现实图像的场景可以是预先设置的,还可以根据用户需要进行增加、删除和修改。
在上述实施例的基础上,确定与所述增强现实图像的场景相匹配的透镜颜色,包括:根据场景与颜色的映射关系,以及所述增强现实图像的场景确定透镜颜色。增强现实设备中存储有场景与颜色的映射关系,在确定增强现实图像的场景后,在场景与颜色的映射关系中确定与增强现实图像的场景相对应的透镜颜色。其中,场景与颜色的映射关系可以是一对一的映射关系,还可以是多个场景与一个透镜颜色相对应。
本实施例中,增强现实设备配置的透镜为电致变色透镜,该透镜与增强现实设备的供电模块电连接,可根据供电模块提供的电压调节透镜的颜色。可选的,透镜依次包括玻璃衬底、透明导电层、电致变色层、离子导体层、离子贮藏层、透明导电层、玻璃衬底,其中,透明导电层可以是与供电模块电连接。在两个透明导电层之间施加电压时,电致变色层在电压作用下发生氧化还原反应,颜色发生变化;离子导体层由特殊的导电材料组成,例如可以包括高氯酸锂、高氯酸纳等的溶液或固体电解质材料;离子贮藏层在电致变色材料发生氧化还原反应时起到储存相应的反离子,保持整个体系电荷平衡的作用,离子贮藏层也可以为一种与前面一层电致变色材料变色性能相反的电致变色材料,这样可以起到颜色叠加或互补的作用。示例性的,电致变色层的材料为阳极氧化变色材料,离子贮藏层可采用阴极还原变色材料。
其中,增强现实设备配置的透镜可根据施加的电压调节透镜的颜色,即不同的电压施加在透镜时,透镜颜色不同。可选的,根据所述透镜颜色调节所述透镜增强现实设备中透镜,包括:根据所述透镜颜色确定施加在所述透镜上的电压,将确定的电压施加到透镜。示例性的,若增强现实图像包括太阳、树木、花朵时,可确定增强现实图像的场景为明媚场景,透镜颜色可以是透明或暖色;若增强现实图像中包括挥手离别的人时,可确定增强现实图像的场景为送别场景,透镜颜色可以是灰色;当增强现实图像包括微笑的男人和女人时,可确定增强现实图像的场景为浪漫场景,透镜颜色可以是粉色;当增强现实图像包括正在玩耍的家长和儿童时,可确定增强现实图像的场景为温馨场景,透镜颜色可以是淡粉色。
本实施例中,通过调节透镜的颜色,使得透镜颜色与增强现实图像相匹配,避免现实光线与增强现实图像的场景相矛盾的问题,以提高用户对增强现实图像的沉浸感。示例性的,当虚拟图像中包括雨滴时,若现实环境中阳光明媚,则形成增强现实图像同时包括明媚的阳光和雨滴,增强现实图像与常规理论相矛盾。根据增强现实图像中的物体(雨滴)确定增强现实图像的场景为下雨场景,可确定增强现实设备的透镜颜色为灰度或者淡蓝色,基于透镜对投射入人眼的现实光线进行处理,使得在人眼中形成的增强现实图像的光线为灰色或者淡蓝色,符合下雨场景。
本申请实施例中提供的透镜颜色调节方法,通过确定人眼看到的增强现实图像的场景,确定增强现实设备中透镜的颜色,并调节透镜的颜色,使得透镜颜色与增强现实图像的场景相匹配,提高增强现实图像的真实性,以及目标对象对增强现实图像的沉浸感。
在上述实施例的基础上,透镜颜色调节还包括:采集环境光强度,根据所述环境光强度调节所述增强现实设备中透镜的透光率。当环境光强度较大时,易对人眼形成刺激,对人眼造成损伤,通过增强现实设备中配置的感光元件采集环境光强度,其中,现实信息采集器107中可以是包括感光元件。当环境光强度大于预设值时,降低透镜的透光率,其中,透镜的透光率与环境光强度负相关,即环境光强度越大,透镜的透光率越小,以保证透射至人眼的光强度在人眼的可接受范围内,降低强光对人眼的伤害,使得用户在强光下可观看增强现实图像。
图3为本申请实施例提供的另一种透镜颜色调节方法的流程示意图,参见图3,本实施例的方法包括如下步骤:
步骤301、采集现实图像,并确定当前虚拟图像。
步骤302、将所述现实图像和所述当前虚拟图像进行融合,得到增强现实图像,识别所述增强现实图像的场景。
步骤303、确定与所述增强现实图像的场景相匹配的透镜颜色。
步骤304、根据所述透镜颜色调节所述透镜增强现实设备中透镜。
本实施例中,通过增强现实设备中设置的摄像头采集现实图像,示例性的,现实信息采集器107中可以是包括摄像头。可选的,采集现实图像可以是对目标对象的进行瞳孔追踪,确定目标对象的瞳孔方向,根据所述目标对象的瞳孔方向调节所述摄像头的拍摄角度,控制所述摄像头在调节后的拍摄角度进行拍摄,生成现实图像。可选的,对瞳孔进行跟踪,确定瞳孔方向,包括:获取目标对象的眼部图像;对所述眼部图像进行边缘检测,确定眼部位置和瞳孔位置;根据所述瞳孔位置与所述眼部位置的相对关系确定目标对象的瞳孔方向。可选的,在增强现实眼镜的镜腿上设置跟踪摄像头,用于采集佩戴增强现实眼镜的目标对象的眼部图像。对采集的眼部图像进行边缘检测,将边缘检测结果与预设标准眼部图像和标准瞳孔图像进行匹配,确定眼部轮廓和瞳孔轮廓,将眼部轮廓坐在位置确定为眼部位置,瞳孔轮廓位置确定为瞳孔位置。可选的,对确定的眼部位置和瞳孔位置校验,其中,校验条件可以包括眼部和瞳孔的相对位置,瞳孔位于人眼内部;校验条件还可以包括眼部和瞳孔的尺寸和数量。根据瞳孔位置与眼部位置的相对关系确定瞳孔方向,进一步的,可以根据瞳孔中心位置与眼部中心位置的相对关系确定瞳孔方向,当瞳孔中心位置与眼部中心位置重合时,确定瞳孔方向为水平向前;当瞳孔中心位置与眼部中心位置存在间距时,确定瞳孔方向存在偏向角,例如,瞳孔中心位置在眼部中心位置的左方时,确定瞳孔方向向左,当瞳孔中心位置在眼部中心位置的下方时,确定瞳孔方向向下。确定瞳孔中心位置相对于眼部中心位置的方向和间距,确定瞳孔方向。
根据瞳孔方向中瞳孔中心位置相对于眼部中心位置的方向和间距确定摄像头的拍摄角度,其中,根据瞳孔中心位置相对于眼部中心位置的方向确定摄像头的调节方向,该调节方向与瞳孔中心位置相对于眼部中心位置的方向一致,根据瞳孔中心位置相对于眼部中心位置的间距确定摄像头的调节值,其中,可以是根据摄像头的调节值与间距的预设映射关系确定摄像头的调节值。
本实施例中,可以是从微显示器中提取当前虚拟图像,为了对现实图像和虚拟图像进行区别,在获取现实图像和虚拟图像后,对采集的现实图像和虚拟图像设置图像类型标识,其中,图像类型包括现实图像和虚拟图像,图像类型标识可以是数字、字符等,示例性的,现实图像的类型标识可以是1,虚拟图像可以是0。为了确定相匹配的现实图像和虚拟图像,在获取现实图像和虚拟图像后,对采集的现实图像和虚拟图像添加时间戳。
在一些实施例中,将所述现实图像和所述当前显示的虚拟图像进行融合,生成增强现实图像,包括:根据所述图像类型标识和时间戳确定相匹配的现实图像和虚拟图像;将所述相匹配的现实图像和虚拟图像进行融合,生成增强现实图像。示例性的,根据图像类型标识区分现实图像和虚拟图像,将具有相同时间戳的现实图像和虚拟图像确定为相匹配的现实图像和虚拟图像,对所述相匹配的现实图像和虚拟图像进行对齐,以保证进行融合的现实图像和虚拟图像符合用户观看角度,避免融合导致的误差。将对齐后的现实图像和虚拟图像进行融合,得到增强现实图像。示例性的,现实图像可以是用户A,虚拟图像为一顶帽子,经融合得到的增强现图像为待着帽子的用户A。可选的,当增强现实设备设置有两个摄像头(例如两个摄像头可以是分别设置在镜片上方的镜框中心)时,获得两个现实图像,基于两个现实图像得到具有深度信息的现实图像,并将具有深度信息的现实图像和对应的虚拟图像进行融合,得到具有深度信息的增强现实图像,提高了增强现实图像的立体感。
可选的,在生成增强现图像后,对增强现图像进行校验,判断增强现图像的融合状况,若存储融合误差,则调节现实图像和虚拟图像的相对位置,重新对调节后的现实图像和虚拟图像进行融合。示例性的,若融合后的增强现实图像中,帽子远离用户A的头部或者帽子对用户A的部分遮挡(例如遮盖了用户A的脸部),则确定该增加现实图像存在融合误差。根据该增强现实图像的误差确定现实图像和虚拟图像的调节值,该调节值包括水平移动距离和垂直移动距离,根据调节值调节现实图像或虚拟图像,生成新的增强现实图像。
需要说明的是,步骤302可以是由增强现实设备的处理单元105执行,还可以是由增强现实设备通过无线传输等方式与其他设备108,并控制其他设备108执行,接收其他设备108反馈的增强现实图像的场景,以减少增强现实设备的计算量,其中,其他设备108例如可以是手机、平板电脑或者计算机等移动终端。增强现实设备的处理单元105根据反馈的增强现实图像的场景调节透镜颜色。
本申请实施例中提供的透镜颜色调节方法,通过将采集的现实图像和虚拟图像进行融合,得到增强现实图像,根据增强现实图像的场景调节增强现实设备的透镜颜色,使得透镜颜色与增强现实图像的场景相匹配,提高增强现实图像的真实性,以及目标对象对增强现实图像的沉浸感。
图4为本申请实施例提供的另一种透镜颜色调节方法的流程示意图,本实施例是上述实施例的一个可选方案,相应的,如图4所示,本实施例的方法包括如下步骤:
步骤401、采集现实图像,并确定当前虚拟图像。
步骤402、分别确定现实图像的第一场景和所述当前虚拟图像的第二场景。
步骤403、根据所述第一场景和所述第二场景确定所述增强现实图像的场景。
步骤404、确定与所述增强现实图像的场景相匹配的透镜颜色。
步骤405、根据所述透镜颜色调节所述透镜增强现实设备中透镜。
本实施例中,在确定现实图像和当前虚拟图像后,分别对现实图像和当前虚拟图像进行场景识别,确定现实图像的第一场景和当前虚拟图像的第二场景,并进一步确定增强现实图像的场景,简化了增强现实图像的融合过程,减少了增强现实设备的计算量。其中,可以是分别将现实图像和当前虚拟图像输入至预先训练的场景识别模型中,根据场景识别模型的输出结果得到现实图像和当前虚拟图像的场景。场景识别模块为具有场景识别功能的机器学习模型,例如可以是神经网络模型等。
可选的,根据所述第一场景和所述第二场景确定所述增强现实图像的场景,包括:根据所述第一场景和所述第二场景的优先级确定所述增强现实图像的场景。其中,增强现实设备中可以是设置有场景优先级,例如浪漫场景、温馨场景、下雨场景的优先级依次下降,场景的优先级可以是根据用户需求设置,本实施例中不做限定。将第一场景和所述第二场景中优先级较高的场景确定为增强现实图像的场景,示例性的,若第一场景为浪漫场景,第二场景为下雨场景,第一场景的优先级高于第二场景的优先级,则确定增强现实图像的场景为浪漫场景。
可选的,根据所述第一场景和所述第二场景确定所述增强现实图像的场景,包括:根据预先设置的场景组合表,确定第一场景和第二场景的组合对应的增强现实图像的场景。其中,场景组合表中包括任意两种场景与目标场景的映射关系,目标场景为增强现实图像的场景。在确定第一场景和第二场景后,基于场景组合表可确定与第一场景和第二场景组合对应的目标场景,即增强现实图像的场景。需要说明的是,当第一场景和第二场景相同时,将第一场景或第二场景确定为增强现实图像的场景。
本实施例提供的透镜颜色调节方法,通过基于现实图像的第一场景和虚拟图像的第二图像确定增强现实图像的场景,简化了增强现实图像的融合过程,减少了增强现实设备的计算量。根据增强现实图像的场景调节增强现实设备的透镜颜色,使得透镜颜色与增强现实图像的场景相匹配,提高增强现实图像的真实性,以及目标对象对增强现实图像的沉浸感。
图5为本申请实施例提供的一种透镜颜色调节装置的结构框图,该装置可由软件和/或硬件实现,一般集成在增强现实设备中,可通过执行增强现实设备的透镜颜色调节方法来对增强现实设备的透镜颜色进行调节。如图5所示,该装置包括:场景确定模块501、透镜颜色确定模块502和透镜调节模块503。
场景确定模块501,用于确定当前增强现实图像的场景;
透镜颜色确定模块502,用于确定与所述增强现实图像的场景相匹配的透镜颜色;
透镜调节模块503,用于根据所述透镜颜色调节所述透镜增强现实设备中透镜。
本申请实施例中提供的透镜颜色调节装置,通过确定人眼看到的增强现实图像的场景,确定增强现实设备中透镜的颜色,并调节透镜的颜色,使得透镜颜色与增强现实图像的场景相匹配,提高增强现实图像的真实性,以及目标对象对增强现实图像的沉浸感。
在上述实施例的基础上,所述透镜为电致变色透镜。
在上述实施例的基础上,透镜调节模块503用于:
根据所述透镜颜色确定施加在所述透镜上的电压;
将确定的电压施加到透镜。
在上述实施例的基础上,场景确定模块501包括:
第一图像确定单元,用于采集现实图像,并确定当前虚拟图像;
增强现实图像确定单元,用于将所述现实图像和所述当前虚拟图像进行融合,得到增强现实图像;
第一场景识别单元,用于识别所述增强现实图像的场景。
在上述实施例的基础上,场景确定模块501包括:
第二图像确定模块,用于采集现实图像,并确定当前虚拟图像;
第二场景识别单元,用于分别确定现实图像的第一场景和所述当前虚拟图像的第二场景;
场景确定单元,用于根据所述第一场景和所述第二场景确定所述增强现实图像的场景。
在上述实施例的基础上,场景确定单元用于:
根据所述第一场景和所述第二场景的优先级确定所述增强现实图像的场景。
在上述实施例的基础上,场景确定单元用于:
根据预先设置的场景组合表,确定所述第一场景和第二场景的组合对应的增强现实图像的场景。
在上述实施例的基础上,透镜颜色确定模块502用于:
根据场景与颜色的映射关系,以及所述增强现实图像的场景确定透镜颜色。
在上述实施例的基础上,还包括:
光强度采集模块,用于采集环境光强度;
透光率调节模块,用于根据所述环境光强度调节所述增强现实设备中透镜的透光率。
本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行透镜颜色调节方法,该方法包括:
确定当前增强现实图像的场景;
确定与所述增强现实图像的场景相匹配的透镜颜色;
根据所述透镜颜色调节所述透镜增强现实设备中透镜。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机***存储器或随机存取存储器,诸如DRAM、DDRRAM、SRAM、EDORAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机***中,或者可以位于不同的第二计算机***中,第二计算机***通过网络(诸如因特网)连接到第一计算机***。第二计算机***可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机***中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的透镜颜色调节操作,还可以执行本申请任意实施例所提供的透镜颜色调节方法中的相关操作。
本申请实施例提供了一种增强现实设备,该增强现实设备中可集成本申请实施例提供的透镜颜色调节装置。图6为本申请实施例提供的一种增强现实设备的结构示意图。增强现实设备600可以包括:存储器601,处理器602及存储在存储器601上并可在处理器602运行的计算机程序,所述处理器602执行所述计算机程序时实现如本申请实施例所述的透镜颜色调节方法。
本申请实施例提供的增强现实设备,通过确定人眼看到的增强现实图像的场景,确定增强现实设备中透镜的颜色,并调节透镜的颜色,使得透镜颜色与增强现实图像的场景相匹配,提高增强现实图像的真实性,以及目标对象对增强现实图像的沉浸感。
图7为本申请实施例提供的另一种增强现实设备的结构示意图。该增强现实设备可以包括:壳体(图中未示出)、存储器701、中央处理器(central processing unit,CPU)702(又称处理器,以下简称CPU)、电路板(图中未示出)和电源电路(图中未示出)。所述电路板安置在所述壳体围成的空间内部;所述CPU702和所述存储器701设置在所述电路板上;所述电源电路,用于为所述增强现实设备的各个电路或器件供电;所述存储器701,用于存储可执行程序代码;所述CPU702通过读取所述存储器701中存储的可执行程序代码来运行与所述可执行程序代码对应的计算机程序,以实现以下步骤:
确定当前增强现实图像的场景;
确定与所述增强现实图像的场景相匹配的透镜颜色;
根据所述透镜颜色调节所述透镜增强现实设备中透镜。
所述增强现实设备还包括:外设接口703、RF(Radio Frequency,射频)电路705、音频电路706、扬声器711、电源管理芯片708、输入/输出(I/O)子***709、其他输入/控制设备710、触摸屏712、其他输入/控制设备710以及外部端口704,这些部件通过一个或多个通信总线或信号线707来通信。
应该理解的是,图示增强现实设备700仅仅是增强现实设备的一个范例,并且增强现实设备700可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
下面就本实施例提供的用于对透镜颜色调节操作的增强现实设备进行详细的描述,该增强现实设备以手机为例。
存储器701,所述存储器701可以被CPU702、外设接口703等访问,所述存储器701可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
外设接口703,所述外设接口703可以将设备的输入和输出外设连接到CPU702和存储器701。
I/O子***709,所述I/O子***709可以将设备上的输入输出外设,例如触摸屏712和其他输入/控制设备710,连接到外设接口703。I/O子***709可以包括显示控制器7091和用于控制其他输入/控制设备710的一个或多个输入控制器7092。其中,一个或多个输入控制器7092从其他输入/控制设备710接收电信号或者向其他输入/控制设备710发送电信号,其他输入/控制设备710可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮。值得说明的是,输入控制器7092可以与以下任一个连接:键盘、红外端口、USB接口以及诸如鼠标的指示设备。
触摸屏712,所述触摸屏712是用户增强现实设备与用户之间的输入接口和输出接口,将可视输出显示给用户,可视输出可以包括图形、文本、图标、视频等。
I/O子***709中的显示控制器7091从触摸屏712接收电信号或者向触摸屏712发送电信号。触摸屏712检测触摸屏上的接触,显示控制器7091将检测到的接触转换为与显示在触摸屏712上的用户界面对象的交互,即实现人机交互,显示在触摸屏712上的用户界面对象可以是运行游戏的图标、联网到相应网络的图标等。值得说明的是,设备还可以包括光鼠,光鼠是不显示可视输出的触摸敏感表面,或者是由触摸屏形成的触摸敏感表面的延伸。
RF电路705,主要用于建立手机与无线网络(即网络侧)的通信,实现手机与无线网络的数据接收和发送。例如收发短信息、电子邮件等。具体地,RF电路705接收并发送RF信号,RF信号也称为电磁信号,RF电路705将电信号转换为电磁信号或将电磁信号转换为电信号,并且通过该电磁信号与通信网络以及其他设备进行通信。RF电路705可以包括用于执行这些功能的已知电路,其包括但不限于天线***、RF收发机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC(COder-DECoder,编译码器)芯片组、用户标识模块(Subscriber Identity Module,SIM)等等。
音频电路706,主要用于从外设接口703接收音频数据,将该音频数据转换为电信号,并且将该电信号发送给扬声器711。
扬声器711,用于将手机通过RF电路705从无线网络接收的语音信号,还原为声音并向用户播放该声音。
电源管理芯片708,用于为CPU702、I/O子***及外设接口所连接的硬件进行供电及电源管理。
上述实施例中提供的透镜颜色调节装置、存储介质及增强现实设备可执行本申请任意实施例所提供的透镜颜色调节方法,具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的透镜颜色调节方法。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。
Claims (11)
1.一种透镜颜色调节方法,应用于增强现实设备,其特征在于,包括:
确定当前增强现实图像的场景;
确定与所述增强现实图像的场景相匹配的透镜颜色;
根据所述透镜颜色调节所述透镜增强现实设备中透镜。
2.根据权利要求1所述的方法,其特征在于,所述透镜为电致变色透镜。
3.根据权利要求2所述的方法,其特征在于,根据所述透镜颜色调节所述透镜增强现实设备中透镜,包括:
根据所述透镜颜色确定施加在所述透镜上的电压;
将确定的电压施加到透镜。
4.根据权利要求1所述的方法,其特征在于,确定当前增强现实图像的场景,包括:
采集现实图像,并确定当前虚拟图像;
将所述现实图像和所述当前虚拟图像进行融合,得到增强现实图像;
识别所述增强现实图像的场景。
5.根据权利要求1所述的方法,其特征在于,确定当前增强现实图像的场景,包括:
采集现实图像,并确定当前虚拟图像;
分别确定现实图像的第一场景和所述当前虚拟图像的第二场景;
根据所述第一场景和所述第二场景确定所述增强现实图像的场景。
6.根据权利要求5所述的方法,其特征在于,根据所述第一场景和所述第二场景确定所述增强现实图像的场景,包括:
根据所述第一场景和所述第二场景的优先级确定所述增强现实图像的场景;或者,
根据预先设置的场景组合表,确定所述第一场景和第二场景的组合对应的增强现实图像的场景。
7.根据权利要求1所述的方法,其特征在于,确定与所述增强现实图像的场景相匹配的透镜颜色,包括:
根据场景与颜色的映射关系,以及所述增强现实图像的场景确定透镜颜色。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
采集环境光强度;
根据所述环境光强度调节所述增强现实设备中透镜的透光率。
9.一种透镜颜色调节装置,其特征在于,包括:
场景确定模块,用于确定当前增强现实图像的场景;
透镜颜色确定模块,用于确定与所述增强现实图像的场景相匹配的透镜颜色;
透镜调节模块,用于根据所述透镜颜色调节所述透镜增强现实设备中透镜。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一所述的透镜颜色调节方法。
11.一种增强现实设备,其特征在于,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-8任一所述的透镜颜色调节方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910624830.4A CN110349271B (zh) | 2019-07-11 | 2019-07-11 | 透镜颜色调节方法、装置、存储介质及增强现实设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910624830.4A CN110349271B (zh) | 2019-07-11 | 2019-07-11 | 透镜颜色调节方法、装置、存储介质及增强现实设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110349271A true CN110349271A (zh) | 2019-10-18 |
CN110349271B CN110349271B (zh) | 2023-10-20 |
Family
ID=68175027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910624830.4A Active CN110349271B (zh) | 2019-07-11 | 2019-07-11 | 透镜颜色调节方法、装置、存储介质及增强现实设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110349271B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111830718A (zh) * | 2020-08-03 | 2020-10-27 | Oppo广东移动通信有限公司 | 增强现实设备 |
CN114554050A (zh) * | 2022-02-08 | 2022-05-27 | 维沃移动通信有限公司 | 图像处理方法、装置和设备 |
CN115248501A (zh) * | 2021-04-27 | 2022-10-28 | 广州视享科技有限公司 | 增强现实设备的显示方法、装置和增强现实设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104781853A (zh) * | 2012-11-13 | 2015-07-15 | 高通股份有限公司 | 修改虚拟对象显示性质以增加增强现实装置的电力性能 |
CN106373197A (zh) * | 2016-09-06 | 2017-02-01 | 广州视源电子科技股份有限公司 | 一种增强现实的方法及增强现实装置 |
CN109683707A (zh) * | 2018-12-13 | 2019-04-26 | 谷东科技有限公司 | 一种使ar眼镜投影颜色自适应的方法及*** |
CN109697738A (zh) * | 2018-12-28 | 2019-04-30 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端设备及存储介质 |
CN109905597A (zh) * | 2019-02-13 | 2019-06-18 | 深圳市欧蒂姆光学有限公司 | 眼镜镜片变色控制方法、装置、眼镜和可读存储介质 |
-
2019
- 2019-07-11 CN CN201910624830.4A patent/CN110349271B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104781853A (zh) * | 2012-11-13 | 2015-07-15 | 高通股份有限公司 | 修改虚拟对象显示性质以增加增强现实装置的电力性能 |
CN106373197A (zh) * | 2016-09-06 | 2017-02-01 | 广州视源电子科技股份有限公司 | 一种增强现实的方法及增强现实装置 |
CN109683707A (zh) * | 2018-12-13 | 2019-04-26 | 谷东科技有限公司 | 一种使ar眼镜投影颜色自适应的方法及*** |
CN109697738A (zh) * | 2018-12-28 | 2019-04-30 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端设备及存储介质 |
CN109905597A (zh) * | 2019-02-13 | 2019-06-18 | 深圳市欧蒂姆光学有限公司 | 眼镜镜片变色控制方法、装置、眼镜和可读存储介质 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111830718A (zh) * | 2020-08-03 | 2020-10-27 | Oppo广东移动通信有限公司 | 增强现实设备 |
CN111830718B (zh) * | 2020-08-03 | 2024-02-27 | Oppo广东移动通信有限公司 | 增强现实设备 |
CN115248501A (zh) * | 2021-04-27 | 2022-10-28 | 广州视享科技有限公司 | 增强现实设备的显示方法、装置和增强现实设备 |
CN115248501B (zh) * | 2021-04-27 | 2023-11-21 | 广州视享科技有限公司 | 增强现实设备的显示方法、装置和增强现实设备 |
CN114554050A (zh) * | 2022-02-08 | 2022-05-27 | 维沃移动通信有限公司 | 图像处理方法、装置和设备 |
CN114554050B (zh) * | 2022-02-08 | 2024-02-27 | 维沃移动通信有限公司 | 图像处理方法、装置和设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110349271B (zh) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110412765B (zh) | 增强现实图像拍摄方法、装置、存储介质及增强现实设备 | |
CN108399349B (zh) | 图像识别方法及装置 | |
US11189071B2 (en) | Electronic device for providing avatar animation and method thereof | |
CN110349271B (zh) | 透镜颜色调节方法、装置、存储介质及增强现实设备 | |
CN109348135A (zh) | 拍照方法、装置、存储介质及终端设备 | |
CN110349526A (zh) | 增强现实调节方法、装置、存储介质及增强现实设备 | |
CN112835445B (zh) | 虚拟现实场景中的交互方法、装置及*** | |
CN111445413A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
US11852820B2 (en) | Method and electronic device for changing setting of display | |
CN108491780B (zh) | 图像美化处理方法、装置、存储介质及终端设备 | |
CN107092359A (zh) | 虚拟现实视角重定位方法、装置及终端 | |
CN113741681A (zh) | 一种图像校正方法与电子设备 | |
CN111723803A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN113515987A (zh) | 掌纹识别方法、装置、计算机设备及存储介质 | |
CN108683858A (zh) | 拍照优化方法、装置、存储介质及终端设备 | |
CN110333785A (zh) | 信息处理方法、装置、存储介质及增强现实设备 | |
CN109561291A (zh) | 色温补偿方法、装置、存储介质及移动终端 | |
CN108921815A (zh) | 拍照交互方法、装置、存储介质及终端设备 | |
KR20220062938A (ko) | 가상현실 서비스를 제공하는 전자 장치 및 방법 | |
CN112989878A (zh) | 瞳孔检测方法及相关产品 | |
CN109040588A (zh) | 人脸图像的拍照方法、装置、存储介质及终端 | |
CN110362203B (zh) | 信息处理方法、装置、存储介质及增强现实设备 | |
CN108765321A (zh) | 拍照修复方法、装置、存储介质及终端设备 | |
CN116830065A (zh) | 用于跟踪用户注视并提供增强现实服务的电子装置及其方法 | |
KR20220039431A (ko) | 무선 통신을 이용한 촬영 방법 및 이를 지원하는 전자 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |