CN108427498A - 一种基于增强现实的交互方法和装置 - Google Patents
一种基于增强现实的交互方法和装置 Download PDFInfo
- Publication number
- CN108427498A CN108427498A CN201710078968.XA CN201710078968A CN108427498A CN 108427498 A CN108427498 A CN 108427498A CN 201710078968 A CN201710078968 A CN 201710078968A CN 108427498 A CN108427498 A CN 108427498A
- Authority
- CN
- China
- Prior art keywords
- commodity
- threedimensional model
- augmented reality
- objects
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 135
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000007613 environmental effect Effects 0.000 claims abstract description 50
- 230000010354 integration Effects 0.000 claims abstract description 13
- 230000002452 interceptive effect Effects 0.000 claims description 109
- 238000004891 communication Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 27
- 230000004044 response Effects 0.000 claims description 22
- 238000012795 verification Methods 0.000 claims description 13
- 230000009977 dual effect Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 22
- 230000006978 adaptation Effects 0.000 abstract description 5
- 210000001508 eye Anatomy 0.000 description 70
- 238000010586 diagram Methods 0.000 description 33
- 210000003128 head Anatomy 0.000 description 25
- 230000000007 visual effect Effects 0.000 description 19
- 230000015654 memory Effects 0.000 description 18
- 230000004438 eyesight Effects 0.000 description 15
- 238000012937 correction Methods 0.000 description 12
- 239000011521 glass Substances 0.000 description 12
- 230000003993 interaction Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 210000005252 bulbus oculi Anatomy 0.000 description 9
- 230000010287 polarization Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000002708 enhancing effect Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 239000011248 coating agent Substances 0.000 description 6
- 238000000576 coating method Methods 0.000 description 6
- 238000002310 reflectometry Methods 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 208000014733 refractive error Diseases 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000002513 implantation Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000002994 raw material Substances 0.000 description 2
- 238000009738 saturating Methods 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 241001481828 Glyptocephalus cynoglossus Species 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 241000914520 Staurastromyces oculus Species 0.000 description 1
- 241001122767 Theaceae Species 0.000 description 1
- 241001300078 Vitrea Species 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及增强现实技术领域，提供了一种基于增强现实的交互方法和装置。其中，获取现实环境中一个或者多个对象的相关信息，根据所述一个或者多个对象的相关信息建立现实环境的三维环境模型；根据选中的第一商品，获取第一商品的三维模型；根据选择放置的所述第一商品的三维模型的位置和所述三维环境模型，整合所述第一商品的三维模型到所述一个或者多个对象中；显示整合后的画面内容。本发明实施例提供了一种基于增强现实的交互方法，其中，商品能够根据现实环境中的一个或者多个对象的相关信息，完成三维模型的适配。从而能够展示该商品在融入用户的现实环境后的效果，给予用户评估是否购买、是否适合自身的现实环境提供了最有效的参考。
Description
【技术领域】
本发明涉及增强现实技术领域，特别是涉及一种基于增强现实的交互方法和装置。
【背景技术】
在电子商务平台发布商品的时候，除了对于商品的文字描述，往往都会加上图片，视频等多媒体描述来全面地介绍该商品。这些多媒体商品介绍的目的，是为了能够提高用户的购买欲望，提高从商品页面的点击到实际购买的转化率。
然后，这些普通的互联网商品描述，有其局限性：一般是2D的信息，用户只能从商家提供的有限的几个角度来观察商品。对于物品大小，用户只能根据其拍摄的实体场景以及网页中其给予的尺寸参数值推测其是否适合自己应用环境，这种方式不仅低效而且很可能带来交易的失败。
【发明内容】
本发明要解决的技术问题之一是现有技术中互联网商品描述方式单一，给用户选择适合其自身环境的目标商品带来一定的困难，容易因为商品的信息不足引发二次交易。
本发明采用如下技术方案：
第一方面，本发明实施例提供了一种基于增强现实的交互方法，所述方法包括：
获取现实环境中一个或者多个对象的相关信息，根据所述一个或者多个对象的相关信息建立现实环境的三维环境模型；
根据选中的第一商品，获取第一商品的三维模型；
根据选择放置的所述第一商品的三维模型的位置和所述三维环境模型，整合所述第一商品的三维模型到所述一个或者多个对象中；
显示整合后的画面内容。
可选的，所述相关信息包括尺寸大小、颜色、位置信息和环境信息中的一项或者多项，则所述获取现实环境中一个或者多个对象的相关信息，具体包括：
读取所述一个或者多个对象的二维码或者条形码，根据所述二维码或者条形码获取所述一个或者多个对象的相关信息；和/或，
所述一个或者多个对象的相关信息，由用户输入的方式获取；和/或，
图像识别所述一个或者多个对象，并通过图像识别结果搜索所述一个或者多个对象，获取搜索结果中所携带的相关信息；和/或，
根据放置在所述一个或者多个对象上的传感器，获得所述一个或者多个对象的尺寸大小；通过采集器获取所述一个或者多个对象的颜色、位置信息和/或环境信息；和/或，
根据双摄像头拍摄的一个或者多个对象，解析得到所述一个或者多个对象的相关信息。
可选的，所述三维环境模型由所述一个或者多个对象的三维模型构成，则所述根据选择放置的所述第一商品的三维模型的位置和所述三维环境模型，整合所述第一商品的三维模型到所述一个或者多个对象中，具体包括：
根据所述第一商品的三维模型放置在所述三维环境模型中的位置，确定所述商品的三维模型相对于所述一个或者多个对象的三维模型的偏移量；
根据所述商品的尺寸大小和所述一个或者多个对象的尺寸大小的比值、采集器获取的所述对象的虚拟尺寸，以及所述偏移量调整所述第一商品的三维模型，以便所述第一商品的三维模型的比例匹配于当前场景的显示。
可选的，所述方法还包括：
根据所述一个或者多个对象的三维模型与所述第一对象的三维模型的相对位置信息，确定所述第一对象的三维模型中的被遮挡区域；
将所述第一对象的三维模型中被遮挡区域作透视显示，将所述第一对象的三维模型的其它区域按照生成的三维模型内容显示。
可选的，可供选择的商品的型号包括至少两套，所述方法还包括：
接收调整商品型号的操作请求；
根据操作请求中携带的型号标识，获取第二商品的三维模型；
根据所述第二商品的三维模型，更新画面内容中的所述第一商品的三维模型。
可选的，所述方法还包括：
发送交易请求消息，所述交易请求消息中携带所述商品的标识和商品的参数值；
接收验证请求；
返回验证消息，所述验证消息中携带密码、扫描的二维码、扫描的虹膜、掌纹信息、手势信息和人脸信息中的一项或者多项。
可选的，所述方法还包括：
选择指定用户，发送共享请求；
在接收到同意共享的响应消息后，发送携带所述三维环境模型和第一商品三维模型的分享消息给所述指定用户的终端。
第二方面，本发明实施例还提供了一种基于增强现实的交互装置，所述交互装置包括佩戴架、处理器、镜片显示屏、摄像头、投影装置和通讯模块，所述处理器、镜片显示屏、摄像头和通讯模块固定在所述佩戴架上，其中，所述处理器连接所述镜片显示屏、所述摄像头、所述投影装置和通讯模块：
所述摄像头包括第一摄像头和第二摄像头，其中，所述第一摄像头和第二摄像头固定在所述佩戴架上；
所述投影装置固定在支架上，所述支架连接所述佩戴架。
可选的，所述镜片显示屏为双模式屏幕，所述双模式包括半透镜模式和全反射模式。
可选的，所述交互装置还包括虹膜采集装置，具体的：
所述虹膜采集装置设置在佩戴架位于人眼前方位置。
可选的，所述交互装置还包括指纹识别器，所述指纹识别器设置在佩戴架的耳拖位置。
可选的，所述通讯模块具体为蓝牙模块，所述交互装置还包括一个或者多个输入设备；所述一个或者多个输入设备通过所述蓝牙模块与所述交互装置建立连接；所述输入设备包括：键盘、鼠标和/或摇杆手柄。
可选的，所述通讯模块具体为无线数据模块，其中，所述无线数据模块在植入运营商的客户识别模块后，可连接到无线数据网络。
可选的，所述通讯模块具体为串口通讯模块，所述交互装置还包括一个或者多个输入设备，其中，串口通讯模块利用串口线与所述一个或者多个输入设备建立数据链路。
可选的，所述交互装置还包括陀螺仪，所述陀螺仪连接所述处理器。
可选的，所述交互装置还包括红外距离传感器，所述红外距离传感器连接所述处理器。
第三方面，本发明实施例还提供了一种基于增强现实的交互装置，所述交互装置包括三维环境建立模块、处理模块和显示模块，其中，三维环境建立模块和显示模块分别连接所述处理模块，具体的
所述三维环境建立模块，用于获取现实环境中一个或者多个对象的相关信息，根据所述一个或者多个对象的相关信息建立现实环境的三维环境模型；
所述处理模块，用于根据选中的第一商品，获取第一商品的三维模型；根据选择放置的所述第一商品的三维模型的位置和所述三维环境模型，整合所述第一商品的三维模型到所述一个或者多个对象中；
所述显示模块，用于显示整合后的画面内容。
第四方面，本发明实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述存储器存储有可被所述至少一个处理器执行的指令程序，所述指令被程序设置为执行第一方面所提出的任意一项所述的基于增强现实的交互方法步骤。
本发明实施例提供了一种基于增强现实的交互方法，其中，商品能够根据现实环境中的一个或者多个对象的相关信息，完成三维模型的适配。从而能够展示该商品在融入用户的现实环境后的效果，给予用户评估是否购买、是否适合自身的现实环境提供了最有效的参考。提高了商品买卖的成交效率，减小了由于商品尺寸不合适、商品搭配现实环境不和谐带来的退货或者置换，节约了相关资源。
【附图说明】
图1是本发明实施例提供的现有的一种增强现实实现原理示意图；
图2是本发明实施例提供的一种基于增强现实的交互方法流程图；
图3是本发明实施例提供的一种基于增强现实的交互示意图；
图4是本发明实施例提供的一种现实环境对象标定的示意图；
图5是本发明实施例提供的一种三维环境模型示意图；
图6是本发明实施例提供的一种匹配商品三维模型和对象的效果示意图；
图7是本发明实施例提供的另一种匹配商品三维模型和对象的效果示意图；
图8是本发明实施例提供的一种基于增强现实的交互装置的结构示意图；
图9是本发明实施例提供的一种增强现实现实的原理图；
图10是本发明实施例提供的一种基于增强现实的交互方法的流程图；
图11是本发明实施例提供的一种基于增强现实的交互界面示意图；
图12是本发明实施例提供的另一种基于增强现实的交互界面示意图；
图13是本发明实施例提供的一种基于增强现实的交互方法的流程图；
图14是本发明实施例提供的一种基于增强现实的交易媒介示意图；
图15是本发明实施例提供的一种基于增强现实的交互方法的流程图；
图16是本发明实施例提供的一种基于增强现实的交互装置的结构示意图；
图17是本发明实施例提供的一种基于增强现实的交互装置的结构示意图；
图18是本发明实施例提供的一种基于增强现实的交互装置的结构示意图；
图19是本发明实施例提供的一种基于增强现实的交互装置的结构示意图；
图20是本发明实施例提供的一种基于增强现实的交互装置的结构示意图；
图21是本发明实施例提供的一种增强现实的交互装置的结构示意图；
图22是图21所示的透视型导光元件设置在头戴框架上时的示意图；
图22a是图21所示的显示模块的侧视角度与显示亮度之间的第一关系图；
图22b是图21所示的显示模块的侧视角度与显示亮度之间的第二关系图；
图22c是图21所示的显示模块的侧视角度与显示亮度之间的第三关系图；
图23是佩戴图21所示的增强现实的交互装置时显示模块与用户脸部的位置关系示意图；
图24是旋转图21所示的显示模块的示意图；
图25是图21所示的增强现实的交互装置的成像原理示意图；
图26是图21所示的增强现实的交互装置设置屈光度矫正镜片时的示意图；
图27是图21所示的增强现实的交互装置对角线视场区域与头部框架的最远端到用户头部最前端的距离关系的示意图；
图28是图21所示的增强现实的交互装置连接外接设备工作时的示意图；
图29是本发明实施例提供的一种增强现实的交互装置的结构示意图；
图30是图29所示的增强现实的交互装置连接外接设备工作时的示意图；
图31是图29所示的增强现实的交互装置连接外接设备工作时的又一示意图；
图32是图29所示的增强现实的交互装置工作时的示意图；
图33是本发明实施例提供的一种基于增强现实的电子设备的结构示意图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不应当理解为对本发明的限制。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1:
本发明实施例1提供了一种基于增强现实的交互方法，所述方法可以应用于场景一：具有增强现实显示的多功能眼镜上；也可以适用于场景二：配置有摄像头的电脑或者笔记本；还可以适用于场景三：智能终端上,例如:智能手机、平板电脑；还可以适用于场景四：建立有通讯链路的智能终端和家庭电视，其中，智能终端作为采集和处理侧，而家庭电视作为显示侧。在本发明各实施例中，用于运行所述实施例1所描述的方法的主体均称为设备；而运行所述实施例1所描述的方法的软件侧又被称为***。如图2所示，所述方法包括以下执行步骤：
在步骤201中，获取现实环境中一个或者多个对象的相关信息，根据所述一个或者多个对象的相关信息建立现实环境的三维环境模型。
所述相关信息包括对象的尺寸大小、颜色、位置信息和环境信息中的一项或者多项。所述环境信息包括对象所处的周边环境，例如：对象离墙壁的距离、对象与对象之间的距离、环境的亮度等等。
所述对象根据应用的场合不同而指代不同的对象，例如：当应用的场合是在家庭时，所述对象可以是茶几、餐桌、椅子、沙发等等；当应用的场合是工厂时，所述对象可以是架子、集装箱、升降机等等；当应用的场合是小区健身场所时，所述对象可以是各种锻炼器材。
其中，所述三维环境模型包括所述一个或者多个对象的三维模型，并按照现实环境中所述各对象的布局方式(即各对象的环境信息)组合所述一个或者多个对象的三维模型。
在步骤202中，根据选中的第一商品，获取第一商品的三维模型。
第一商品根据上述介绍的不同场合可以是不同的对象，例如：在家庭场合下，所述第一商品可以是花瓶、桌椅、水瓶、饮水机等等，其它场合中的第一商品还可以是健身器材、中央空调、置物架等等。
其中，获取第一商品的三维模型可以是由设备向提供第一商品浏览的服务器获取。优选的，服务器对应于第一商品存储有三维模型，所述第一对象的三维模型中包含第一商品的实际尺寸大小、颜色、型号等等。
在步骤203中，根据选择放置的所述第一商品的三维模型的位置和所述三维环境模型，整合所述第一商品的三维模型到所述一个或者多个对象中。
在获取一个或者多个对象的相关信息时，除了得到所述一个或者多个对象的尺寸大小外，还会确认采集到的所述一个或者多个对象的虚拟尺寸，所述虚拟尺寸可以用像素点的个数表达。所述整合过程会参考所述一个或者多个对象的尺寸大小和采集到的对象的像素信息之间的比例关系，并根据第一商品的尺寸大小调整其三维模型的虚拟尺寸，使其符合用户视角中由所述一个或者多个对象构成的环境。
在步骤204中，显示整合后的画面内容。
对应上述不同的场景，所述显示整合后的画面内容对象可以是增强现实显示的眼镜中的镜片，如图3所示，提供了一种基于增强现实眼镜的镜片所能展示的商品三维模型和现实环境下的桌椅(对象)的效果示意图，其中，虚线右侧呈现的内容是用户所佩戴的增强现实眼镜中镜片所呈现的内容；可以是电脑的显示屏幕；也可以是智能终端的屏幕；还可以是家庭电视的显示屏。
本发明实施例提供了一种基于增强现实的交互方法，其中，商品能够根据现实环境中的一个或者多个对象的相关信息，完成三维模型的适配。从而能够展示该商品在融入用户的现实环境后的效果，给予用户评估是否购买、是否适合自身的现实环境提供了最有效的参考。提高了商品买卖的成交效率，减小了由于商品尺寸不合适、商品搭配现实环境不和谐带来的退货或者置换，节约了相关资源。
在本发明实施例具体实现过程中，对于步骤201中涉及的获取现实环境中一个或者多个对象的相关信息的操作，提供了以下可选的具体实现方式：
1)、读取所述一个或者多个对象的二维码或者条形码，根据所述二维码或者条形码获取所述一个或者多个对象的相关信息。
该方式1)适用于实施例1中各场景，而其实现的必备条件是现实环境中的一个或者多个对象上具有唯一标识其产品型号的二维码或者条形码，并且设备上具备有扫描的模块(例如：摄像头)。通过所述方式1)所获取到的对象的相关信息，包括对象的尺寸大小和颜色。在读取所述一个或者多个对象的二维码或者条形码后，便可根据读取到的二维码或者条形码信息到服务器中查找该对象尺寸大小和颜色，甚至还可以向所述服务器获取所述一个或者多个对象的三维模型。其中，设备与服务器之间由互联网络建立通讯连接。
2)、所述一个或者多个对象的相关信息，由用户输入的方式获取。
其中，用户输入的方式可以是通过用户输入对象的型号后，通过查找获取对象的相关信息。还可以是由用户直接选择场景中的对象，并输入相关参数给予标定，如图4所示，用户可以通过设定对象中的指定点，并通过一个或者多个指定点之间的距离标注，来完成对象的相关信息中尺寸大小的输入。当然，所述方式的成立，要建立于设备已经采集完所述一个或者多个对象的图片或者视频，并初步建立完成对象的三维模型。所述初步建立完成对象的三维模型是指建立了三维模型的形状、逻辑大小和颜色，但是，还未给予各逻辑距离相应尺寸大小(特指现实尺寸)的标定。
3)、图像识别所述一个或者多个对象，并通过图像识别结果搜索所述一个或者多个对象，获取搜索结果中所携带的相关信息。
图像识别和图像搜索，作为当前热门的技术手段，同样可以结合到本发明实施例中作为可选的附加手段来执行。优选的，服务器中存储有相关图片库，而所述图片库的积累，可以是运营方通过奖励方式或者作为用户加入使用实施例1所述方法的先决条件方式，促使用户在使用所述实施例1方法前，完成其现实环境中各对象的相关参数的输入。
4)、根据放置在所述一个或者多个对象上的传感器，获得所述一个或者多个对象的尺寸大小；通过采集器(例如：摄像头)获取所述一个或者多个对象的颜色、位置信息和/或环境信息。
所述方式精确度没有上述方式1)-3)的高，但是，执行起来方便有效，即利用距离传感器(可以是基于声波、红外或者蓝牙实现的传感器)测量对象上参考点的实际距离，并在采集的包含所述对象的图片或者视频内容中标注出相应参考点。设备根据所述距离传感器测量的实际距离和标注出的虚拟距离，完成采集的各对象的尺寸计算。其中，虚拟距离可以通过图片或者视频内容中参考点之间的像素点个数进行标定。所述采集器具体为摄像头，例如：场景一中多功能眼镜中的摄像头、场景二中连接电脑的摄像头、场景三和场景四中智能手机的摄像头。
5)、根据双摄像头拍摄的一个或者多个对象，解析得到所述一个或者多个对象的相关信息。
具体可以是场景一中拥有双摄像头的多功能眼镜或者场景三中拥有双摄像头的智能手机，还可以是场景二中连接有双摄像头的电脑。其中，双摄像头可以通过透视算法计算出对象的尺寸大小、位置信息和环境信息，并通过采集的图片或者视频内容获取对象的颜色。
上述5中方式中，部分的方式(例如：方式1-3)仅能获取对象的相关信息中对象自身的参数内容，例如对象的尺寸和颜色；而对于对象的相关信息中的位置信息和环境信息通常需要配合采集器来获取(例如：方式4和方式5，其中双摄像头为采集器的一种，所述采集器还可以是单摄像头)。在具体实现过程中，上述5种方式通常不会作为单一选择存在，而是可以根据实际环境组合上述5中方式来完成现实环境中一个或者多个对象的相关信息的获取，最简单的组合方式便是给予设定一个优先级，由***根据自身设备的硬件能力判断后，给予最优选的获取方式，若最优选的不成功，再选择次之的获取方式。
实施例2:
在现有技术中，增强现实领域最难实现的是如何将第一商品的三维模型如同现实中的一个或者多个对象一般，使其在整合后呈现时拥有视距感、拥有空间占据感。在本发明实施例中提供了一种具体实现方式，用于具体阐述实施例1中步骤203中涉及的整合所述第一商品的三维模型到所述一个或者多个对象中，如何基于该整合过程克服上述现有技术中的难点。在本发明实施例，具体实现如下：
根据所述第一商品的三维模型放置在所述三维环境模型中的位置，确定所述商品的三维模型相对于所述一个或者多个对象的三维模型的偏移量。根据所述商品的尺寸大小和所述一个或者多个对象的尺寸大小的比值、采集器获取的所述对象的虚拟尺寸，以及所述偏移量调整所述第一商品的三维模型，以便所述第一商品的三维模型的比例匹配于当前场景的显示。
其中，所述偏移量由X轴、Y轴和Z轴三个方向的子偏移量构成，该坐标***由三维环境模型建立时生成，如图5所示，每一个三维模型均拥有其在坐标***中的标识点(优选的采用三维模型底部中心作为标识点，方便在三维环境模型中依据所述标志点设置第一商品的三维模型的位置)，用户可以通过拖动该标识点完成三维模型的位置的调整(该拖动操作适用于第一商品的三维模型和对象的三维模型)。利用采集器获取的所述对象的虚拟尺寸，并结合获取的对象的三维模型，便可完成当前视角的确认的，这是因为虚拟尺寸是由采集器拍摄得到的图片或者视频内容中，对象内容所对应的像素点计算得到，而虚拟尺寸通常会受到采集视角的影响而发生形变(形变的内容包括对象中边与边的夹角，以及各边的边长)。此时，通过对比三维模型中的尺寸大小，便可快速的计算出当前的观察视角(当采用类似增强现实眼镜这种穿戴式设备时，观察视角和采集视角是一个概念)，并根据所述观察视角调整第一商品三维模型的展示角度。并根据所述偏移量，调整第一商品三维模型的显示比例。
在实现时，为了达到更逼真的展示效果，体现第一商品与现实场景中的一个或者多个对象的层次感，结合本发明实施例，存在一种可选的实现方案，具体的：
根据所述一个或者多个对象的三维模型与所述第一对象的三维模型的相对位置信息，确定所述第一对象的三维模型中的被遮挡区域；将所述第一对象的三维模型中被遮挡区域作透视显示，将所述第一对象的三维模型的其它区域按照生成的三维模型内容显示。如图6所示，为现实场景中椅子(对象)处于桌子三维模型(第一商品)两个桌角之间的效果示意图；如图7所示，为桌子三维模型(第一商品)的一个桌角处于现实场景中椅子(对象)的两个椅脚之间的效果示意图。
实施例3:
本发明实施例针对实施例1中如何显示整合后的画面内容，给予了可行的几种实现方式。其中，可实现的显示方式包括但不局限于以下几种方式：
方式一：
整合后的画面内容中包含根据所述一个或者多个对象的相关信息建立现实环境的三维环境模型，以及所述第一商品的三维模型，将所述整合后的画面内容通过显示屏显示。
在方式一中，显示屏中显示的有关现实环境中的对象，被获取的对象的三维模型所替代，此时设备的显示屏为幕布工作模式或者全视频展示模式。其中，幕布工作模式如图1所示，显示屏幕作为投影装置的幕布，并将投影的内容呈现给用户。全视频展示模式，即由显示屏将整合后的视频内容进行播放，此时显示屏具体可以是液晶显示屏，例如：以手机呈现的VR眼镜，如图8所示，用户完成佩戴后，手机的摄像头就成为了采集器，而手机屏幕则成为本发明实施例中提出的显示屏，手机显示屏用于显示经采集器采集的现实环境中的一个或者多个对象(例如：暴风魔镜)；除了如图8所示的，需要手机组合实现的VR眼镜外，还可以是用专用的显示屏组件构的一体式的VR眼镜。
方式二：
整合后的画面内容中包含所述第一商品的三维模型，将所述画面内容呈现在光学透视屏中，所述光学透视屏还透视所述一个或者多个对象。方式二从实现原理来说和背景技术中介绍的光学透视式(如图1所示)一样，其原理实现原理可参考图9所示示意图，在此不一一赘述。
基于上述方式一和方式二的基础上，本发明实施例还提供了一种可切换模式的显示方式三，具体的：
在所述方式三中，控制液晶屏在光学透视屏和投影反射屏(或者全视频展示模式)之间进行切换，其中，所述投影反射屏适用于方式一中的沉浸式的内容显示。
其中，方式一具有更灵活的展现方式，例如：用户可以根据三维环境模型中提供的各对象的三维模型轻松的完成虚拟对象的位置调整，从而结合第一商品的三维模型得到不同的组合效果。而方式二，则具有更真实的带入感，由于各对象均通过光学透视屏直接被用户接受，因此，真实还原性更高。可以通过显示的效果，弥补生成的对象三维模型和第一商品的三维模型匹配过程中的精确度偏差。
实施例4:
通常情况下，一件商品的型号可以包括多个，而其中不同型号的商品不仅可以拥有不同的外形或者颜色，还可以拥有不同的尺寸。因此，结合本发明实施例1，以及上述各具体展开阐述的实施例2和/或3，还存在一种可选的实现方式，在本发明实施例中，可供选择的商品的型号包括至少两套，则所述方法还包括步骤205-207，所述步骤205-207可以是延续实施例中步骤204之后进行的，如图10所示，具体为：
在步骤205中，接收调整商品型号的操作请求。
触发所述步骤205发生的情况，可能是用户观看整合了第一商品的画面内容后，不满意第一商品在所述包括一个或者多个对象的现实环境中的效果，则用户通过交互界面选择商品的另一型号(即第二商品)。
在步骤206中，根据操作请求中携带的型号标识，获取第二商品的三维模型。
和选中第一商品后获取第一商品的三维模型类似，由设备向提供第一商品浏览的服务器获取。
在步骤207中，根据所述第二商品的三维模型，更新画面内容中的所述第一商品的三维模型。
为了进一步提高更换商品三维模型后的展示效果，在本发明实施例中，存在一种优选的实现方案。设备记录历史上，用户对于第一商品的三维模型的调整记录，例如：在环境三维模型中放置所述第一商品的三维模型的一个或者多个位置。并且，可以通过设置切换的模式，让用户可以将所述第二商品的三维模型分别在所述调整记录的位置(例如：对应实施例2中所述的标识点记录的一个或者多个位置)呈现。如图11所示，历史用户调整第一商品的三维模型的调整记录历史可以呈现在界面右侧的菜单中。***可以根据停留在特定状态下的时间长度，来判断是否生成一个调整记录历史的记录点。如图12所示，当用户选中调整记录历史栏的第二记录点时，显示屏中的显示内容将会切换为该记录点的三维模型布局状态。
实施例5:
结合本发明实施例1，以及上述各具体展开阐述的实施例2、3和/或4，还存在一种可选的实现方式，用于完成用户与选中商品的交易过程。如图13所示，具体包括：
在步骤208中，发送交易请求消息，所述交易请求消息中携带所述商品的标识和商品的参数值。
所述商品的参数值包括实施例4中所述的商品的型号，除此以外，还可以包括商品的尺寸大小、颜色等；例如：同一型号的桌子(商品)拥有多个尺寸型号，并且还拥有不同颜色供用户选择。则商品的参数值优选的包括用户所选择的尺寸大小和颜色。
在步骤209中，接收验证请求。
所述验证请求由服务器发送，请求消息中携带第一商品的相关订单信息，可供用户输入验证内容时确定。若用户根据第一商品的相关订单信息确认自身的选择有误，则可以终止当前的交易。
在步骤210中，返回验证消息，所述验证消息中携带密码、扫描的二维码、扫描的虹膜、掌纹信息、手势信息和人脸信息中的一项或者多项。
其中，完成交易的验证内容可以是所述密码、扫描的二维码、扫描的虹膜、掌纹信息、手势信息和人脸信息中的一种或者多种。例如：当前设备通过蓝牙或者红外连接有外部输入设备(例如鼠标、键盘或者手写板)时，则可以通过外部输入设备完成密码的输入；倘若设备具备动作捕捉和虚拟输入设备生成能力时，还可以通过捕捉用户手在虚拟输入设备上的操作动作完成所述密码的输入。若支付方为第三方，例如：支付宝，则可以利用扫描支付宝提供的扫码支付功能，通过扫描智能手机界面的二维码完成上述支付。若设备还具备虹膜采集功能，例如增强现实眼镜上配备有虹膜采集器，则可以通过所述虹膜采集器直接采集用户的虹膜作为验证的有效对象，发送给服务器来完成上述支付。除此以外，现有技术中常规的网上银行(可以涉及U盾)、银行卡等也可以通过在设备中设计相应支持的外设，完成上述支付，在此不一一赘述。
实施例6:
本发明实施例中还提供了一种可扩展的实现方案，用于解决现有技术中商品交互仅能通过将商品所在网络链接或者商品图片发送给用户的朋友来实现，而用户的朋友却并不能了解用户所要安置所述商品的环境信息，以至于仅能通过商品自身的外观或者参数来判断，造成用户朋友所给予的意见可能存在片面性。基于本发明实施例1所述交互方法，为用户提供了一种可行且高效的交流方式，如图15所示，具体包括：
在步骤301中，选择指定用户，发送共享请求。
所述指定用户可以是用户好友列表中的一位，也可以是用户通过搜索方式临时查找到的用户，还可以是通过第三方通讯软件授权后获取的联系方式。由于，本发明实施例1所提供的设备自身的显示方式就至少存在两种，因此，在发送共享请求时会携带针对所述指定用户所拥有的设备参数查询标识，以便所述指定用户的设备在接收到所述共享请求时，能够将自身的设备参数携带在后续的响应消息中发送给用户的设备。
在步骤302中，在接收到同意共享的响应消息后，发送携带所述三维环境模型和第一商品三维模型的分享消息给所述指定用户的终端。
具体实现过程中，所述响应消息中还携带所述指定用户(为方便描述，后续称呼为好友)所拥有的设备的参数信息，则用户的设备通过所述参数信息确认好友的设备所能支持的播放内容格式后，将相应格式的画面内容发送给所述好友的设备。例如：好友和所述用户拥有相同功能的设备，则用户的设备可以将第一商品的三维模型和现实环境中一个或者多个对象的三维模型，以及各三维模型(包括商品和对象的)之间的位置关系发送给好友的设备，以便所述好友的设备在接收到所述响应消息后可以重建用户侧的画面内容和操作体验，即好友可以利用自身的设备实现第一商品在三维环境模型中的调整。其中，好友还可以将调整后的布局方式或者商品的三维模型发送给用户，供所述用户参考。
实施例7:
发明人在研究了头戴式显示器(Head Mounted Display,简写为HMD)是近年来发展的一项新技术，具体的应用可以主要分为虚拟现实(Virtual Reality,简写为:VR)和增强现实(Augmented Reality,简写为:AR)两种。
第一种是虚拟现实。人类的3D视觉是通过双眼的协同工作实验的。当人看到一个实际的3D物体的时候，左眼看到的图像和右眼看到的图像，会有视角上的细微差别。人脑的视神经将左右两眼的图像进行混合处理，就可以形成3D的视觉。头戴式显示器通过在靠近眼前的显示屏上显示不同的图像，左眼只能看到左边显示区域，右眼只能看到右边显示区域，便可以模拟3D视觉。如果在这个过程中，头戴式显示器同时遮挡住外部区域的光线和图像，让人眼只能看到显示屏时，将会产生虚拟现实的效果。代表性的产品是，美国脸书公司的Oculus Rift(产品名)。
第二种是增强现实。增强现实的原理，是在通过头戴式显示器模拟虚拟视觉，叠加在用户正常的视觉上。
这两种视觉信息可以相互补充，从而使用户可以更方便的进行很多工作和娱乐休闲的活动。代表性的产品是美国谷歌公司的Google Glass(产品名)。如图1所示，是增强现实头戴式显示器的典型实现方式。
目前，增强现实头戴式显示器有光学透视式和视频透视式两种实现方式，其主要区别在于光学合成装置(Optical combiner)不同。
其中，对于光学透视式来说，这类头戴式显示器的光学合成装置是一面半透镜(如图1所示)，来自现实环境的光线部分通过半透镜，而虚拟的物件则通过显示器投影在半透镜上，通过半透镜表面反射到使用者眼中，从而合成真实和虚拟世界。
其中，对于视频透视式来说，这类头戴式显示器的光学合成通过摄像装置和显示屏幕实现。摄相装置拍摄现实环境，其视频数据与虚拟物件通过计算机处理叠加，通过显示屏幕呈现给用户。其***结构与虚拟现实头戴式显示器基本一致，仅需增加拍摄环境的摄像装置及处理真实、虚拟世界合成的软件模块。
相比这两类实现方式，光学透视式头戴式显示器由于使用者直接看到现实环境，临场感更好，具有更佳的用户体验。
因此，本发明实施例还提供了一种基于增强现实的交互装置，如图16和17所示，所述交互装置包括佩戴架1(在图16和图17中所述佩戴架1具体表现为眼镜架，而本发明实施例所保护的佩戴架1还可以是头戴式设备中的头盔)、处理器2、镜片显示屏3、摄像头4、投影装置5和通讯模块6，所述处理器2、镜片显示屏3、摄像头4和通讯模块6固定在所述佩戴架1上，其中，所述处理器2连接所述镜片显示屏3、所述摄像头4、所述投影装置5和通讯模块6：
所述摄像头4包括第一摄像头41和第二摄像头42，其中，所述第一摄像头41和第二摄像头42固定在所述佩戴架1上。
所述投影装置5固定在支架7上，所述支架7连接所述佩戴架1，其中，投影装置5和镜片显示屏3的中轴线满足预设的投影角度。
在本发明实施例中，所述通讯模块6为具体可以是WiFi模块，还可以是蓝牙模块，还可以是串口通讯模块，或者3G、4G数据通讯模块等等。
本发明实施例提供了一种基于增强现实的交互装置，其中，交互装置中的第一摄像头和第二摄像头能够采集现实环境中的一个或者多个对象，并获取所述一个或者多个对象的相关信息，从而帮助建立三维环境模型。通过投影装置呈现的商品的三维模型，并在用户选中某一商品后，完成商品的三维模型和所述三维环境模型的适配，具体是与一个或者多个对象的三维模型间的位置关系。从而能够展示该商品在融入用户的现实环境后的效果，给予用户评估是否购买、是否适合自身的现实环境提供了最有效的参考。提高了商品买卖的成交效率，减小了由于商品尺寸不合适、商品搭配现实环境不和谐带来的退货或者置换，节约了相关资源。
结合本发明实施例，存在一种可选的实现方式，所述镜片显示屏3为双模式屏幕，所述双模式包括半透镜模式和全反射模式。其中，半透镜模式具体指镜片显示屏本身是透光的，能够让用户通过所述镜片显示屏无障碍的看到现实环境中的一个或者多个对象；另一方面，所述投影装置5也能够通过所述镜片显示屏将其获取的商品的三维模型呈现在所述镜片显示屏中的指定区域。其中，全反射模式是指镜片显示屏自身不对显示场景透光(具体通过电控制液晶显示屏中晶体阵列的布局来完成)，此时，通过投影装置在所述镜片显示屏中呈现其生成的三维环境模型和商品的三维模型，其中，所述三维环境模型是根据摄像头拍摄得到的现实环境中一个或者多个对象后完成的。
为了进一步提高所述基于增强现实的交互装置在完成交易过程中的支付验证效率，结合本发明实施例存在一种可选的实现方式，所述交互装置还包括虹膜采集装置8，如图18所示，所述虹膜采集装置8设置在佩戴架的镜框上，所述镜框为佩戴架中用于固定镜片显示屏的区域。由于镜框的上侧到人眼虹膜之间，有眼皮和睫毛的干扰；而镜框的下侧到人眼虹膜之间，有眼睑的干扰；因此，优选的设置所述虹膜采集装置的位置位于镜框的两侧，并使其采集角度满足佩戴后对准人眼虹膜所在区域。
对于提高基于增强现实的交互装置在完成交易过程中的支付验证效率，除了上述在本实施例所述装置中增设虹膜采集装置外，还存在一种可选的实现方案，如图19所示，所述佩戴架1上还设置有指纹识别器9，所述指纹识别器位于所述处理器所在的PCB板上，其中，指纹识别器对外的传感器部分位于佩戴架的耳拖位置，如图19所示，佩戴后所述指纹识别器对外的传感器位于用户的耳垂背后区域。
结合本发明实施例，存在一种可选的实现方式，所述通讯模块具体为蓝牙模块，所述交互装置还包括一个或者多个输入设备；所述一个或者多个输入设备通过所述蓝牙模块与所述交互装置建立连接；所述输入设备包括：键盘、鼠标和/或摇杆手柄(如图14所示)。
所述通讯模块具体为无线数据模块，其中，所述无线数据模块在植入运营商的客户识别模块后，可连接到无线数据网络。
结合本发明实施例，存在一种可选的实现方式，所述通讯模块具体为串口通讯模块，所述交互装置还包括一个或者多个输入设备，其中，串口通讯模块利用串口线与所述一个或者多个输入设备建立数据链路。
结合本发明实施例，存在一种可选的实现方式，所述交互装置还包括陀螺仪，所述陀螺仪连接所述处理器。
结合本发明实施例，存在一种可选的实现方式，所述交互装置还包括红外距离传感器，所述红外距离传感器连接所述处理器。
实施例8:
本发明实施例还提供了一种基于增强现实的交互装置，所述交互装置可以用于运行实施例1-6任一所述的基于增强显示的交互方法。如图20所示，所述交互装置包括三维环境建立模块31、处理模块32和显示模块33，其中，三维环境建立模块和显示模块分别连接所述处理模块，具体的
所述三维环境建立模块31，用于获取现实环境中一个或者多个对象的相关信息，根据所述一个或者多个对象的相关信息建立现实环境的三维环境模型；
所述处理模块32，用于根据选中的第一商品，获取第一商品的三维模型；根据选择放置的所述第一商品的三维模型的位置和所述三维环境模型，整合所述第一商品的三维模型到所述一个或者多个对象中；
所述显示模块33，用于显示整合后的画面内容。
本发明实施例提供了一种基于增强现实的交互装置，其中，交互装置中的三维环境建立模块能够建立三维环境模型。通过显示模块呈现的商品的三维模型，并在用户选中某一商品后，由处理模块完成商品的三维模型和所述三维环境模型的适配，具体是与一个或者多个对象的三维模型间的位置关系。从而能够展示该商品在融入用户的现实环境后的效果，给予用户评估是否购买、是否适合自身的现实环境提供了最有效的参考。提高了商品买卖的成交效率，减小了由于商品尺寸不合适、商品搭配现实环境不和谐带来的退货或者置换，节约了相关资源。
结合本发明实施例，还存在一种可选的实现方式，其中，所述处理模块还用于根据所述第一商品的三维模型放置在所述三维环境模型中的位置，确定所述商品的三维模型相对于所述一个或者多个对象的三维模型的偏移量；根据所述商品的尺寸大小和所述一个或者多个对象的尺寸大小的比值、采集器获取的所述对象的虚拟尺寸，以及所述偏移量调整所述第一商品的三维模型，以便所述第一商品的三维模型的比例匹配于当前场景的显示。
结合本发明实施例，还存在一种可选的实现方式，其中，所述处理模块还用于根据所述一个或者多个对象的三维模型与所述第一对象的三维模型的相对位置信息，确定所述第一对象的三维模型中的被遮挡区域；
将所述第一对象的三维模型中被遮挡区域作透视显示，将所述第一对象的三维模型的其它区域按照生成的三维模型内容显示。
结合本发明实施例，还存在一种可选的实现方式，其中，可供选择的商品的型号包括至少两套，所述处理模块还用于：接收调整商品型号的操作请求；根据操作请求中携带的型号标识，获取第二商品的三维模型；根据所述第二商品的三维模型，更新画面内容中的所述第一商品的三维模型。
结合本发明实施例，还存在一种可选的实现方式，其中，所述处理模块还用于：
发送交易请求消息，所述交易请求消息中携带所述商品的标识和商品的参数值；接收验证请求；返回验证消息，所述验证消息中携带密码、扫描的二维码、扫描的虹膜、掌纹信息、手势信息和人脸信息中的一项或者多项。
结合本发明实施例，还存在一种可选的实现方式，其中，所述处理模块还用于：选择指定用户，发送共享请求；在接收到同意共享的响应消息后，发送携带所述三维环境模型和第一商品三维模型的分享消息给所述指定用户的终端。
实施例9：
参阅图21，本发明实施例提供的一种增强现实的交互装置，本发明实施例侧重从图像显示实现的角度阐述基于增强现实的交互装置的实现方式，在用于实现如实施例1-6所述方法交互方法时，还可以参考实施例7-8所述功能组件(例如实施例7中所述通讯模块6)，围绕处理器来实现如实施例1-6所述方法交互方法，在此不一一赘述。在本实施例中，所述增强现实的交互装置的总重量小于350克，其包括：头戴框架11、两个显示模块12、两个透视型导光元件13。其中，透视型导光元件13是一种部分透射、部分反射的光学合成装置。
所述显示模块12及透视形导光元件13皆设置在头戴框架11上，支架11将显示模块12及透视形导光元件13进行固定。显示模块12设置在透视形导光元件13的上侧，显示模块12发出的光线能够经过透视形导光元件13后发生反射。可选地，所述显示模块13还可位于所述透视型导光元件13的侧方。
所述增强现实的交互装置还包括：主板17，主板17设置在头戴框架11上，且位于二显示模块12之间。所述主板17上设置有处理器，所述处理器用于处理虚拟图像信号并将虚拟图像信息显示在显示模块12上。
本发明实施例中，头戴框架11用于佩戴在用户的头部，每一透视型导光元件13具有一凹面，凹面朝向用户的双眼设置。经由一透视型导光元件13的凹面反射的第一光线进入用户的左眼，以及经由另一透视型导光元件13的凹面反射的第二光线用户的右眼，以在用户的头脑中形成3D虚拟场景的视觉。其中，第一光线是由显示模块12发射的，且第一光线包含左眼虚拟图像信息，第二光线是由显示模块12发射的，且第二光线包含右眼虚拟图像信息。
参阅图22，两个透视型导光元件13设置在头戴框架11上，分别独立地嵌入到头戴框架11上。可选地，可在制作透视型导光元件的原材料上设置两个对应于用户左右眼的区域，所述区域的形状大小与上述的独立设置时的每一透视型导光元件13的形状大小相同；最终的效果为一块大的透视型导光元件上设置有两个对应于用户左右眼的区域。可以理解为在一块大的透视型导光元件的原材料上加工出两个与独立设置时的透视型导光元件13的形状大小相同的区域，即两个透视型导光元件13一体成型。所述设置有对应于用户左右眼区域的透视型导光元件嵌入到头戴框架11上。
需要说明的是，显示模块12可拆卸安装于头戴框架11上，比如，显示模块为手机、平板电脑等智能显示终端；或者，显示模块固定安装于头戴框架上，比如，显示模块与头戴框架集成设计。
头戴框架11上可以安装两个显示模块12，用户的左眼和右眼分别对应地设置一个显示模块12，例如，一个显示模块12用于发射包含左眼虚拟图像信息的第一光线，另一个显示模块12用于发射包含右眼虚拟图像信息的第二光线。两个显示模块12可以分别一一对应地位于两个透视型导光元件13的上方，当增强现实的交互装置佩戴在用户的头部时，两个显示模块12分别一一对应地位于用户的左眼和右眼的上方；显示模块12也可以位于透视型导光元件的侧方，即两个透视型导光元件位于两个显示模块之间，当增强现实的交互装置佩戴在用户的头部时，两个显示模块分别一一对应地位于用户的左眼和右眼的侧方。
头戴框架11上也可以安装单个显示模块12，该单个显示模块12上有两个显示区域，一个显示区域用于发射包含左眼虚拟图像信息的第一光线，另一个显示区域用于发射包含右眼虚拟图像信息的第二光线。
显示模块包括但不限于LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)、LCOS(Liquid Crystal On Silicon，硅基液晶)等类型的显示器。
参阅图22a，图中的横向轴标识侧视角度，纵向轴表示显示亮度。显示模块12为LCD时，显示模块12的亮度是随着观察者的角度来变化的。对于普通LCD，在显示亮度为50％时的侧观察角度θ一般都比较大。
LCD应用于对于基于增强现实的交互装置时，则比较适用于小的侧观察角度，这样的显示模块12的亮度就会集中在靠近中心的角度区域。因为基于增强现实的交互装置主要使用靠近中心的角度区域，这样的话投影到用户眼中的第一光线及第二光线的亮度会比较高。参阅图22b，应用于基于增强现实的交互装置中的LCD发出的第一光线及第二光线的亮度在显示亮度为50％时的侧观察角度θ一般都比较小。并且，应用于基于增强现实的交互装置中的LCD发出的第一光线及第二光线的亮度的分布关于0度侧视角左右对称，且侧视角度小于60度。即是，用户视角垂直于显示模块12时，显示模块12发出的第一光线及第二光线的亮度的显示亮度为最大，用户视角向两侧偏移时，显示亮度逐渐减小，在侧视角小于60度时，显示亮度为0。
可选地，参阅图22c，应用于基于增强现实的交互装置的LCD的发出的第一光线及第二光线的亮度的亮度分布可不关于0度侧视角对称，且显示亮度最亮时的侧视角度不为0度。
参阅图23，两个显示模块12分别一一对应地位于两个透视型导光元件13的上方，用户佩戴上所述增强现实的交互装置时，显示模块12与用户头部的正平面形成一夹角a，所述夹角a的角度为0度至180度，优选为钝角。同时，显示模块12在水平面上的投影与正平面垂直。
参阅图24，在某些实例中，透视形导光元件13的位置可以绕与水平面垂直的某一转轴旋转一定角度b，所述角度b的角度为0度至180度，优选为0度至90度。同时，对应左眼和右眼的透视型导光元件13可以通过头戴框架11上的机械结构调整间距，以适应不同用户的瞳距，保证使用时的舒适度和成像质量。所述两个透视型导光元件13的边缘之间的最远距离小于150毫米，即对应于左眼设置的透视型导光元件13的左边缘到对应于右眼设置的透视型导光元件13的右边缘的距离小于150毫米。相应的，显示模块12之间通过机械结构连接，所述显示模块12之间的距离也可以进行调整，或者通过调整显示内容在显示模块12上的位置达到同样的效果。
头戴框架11可以是用于挂在用户耳部和鼻梁部的眼镜式的框架结构，其上设置有鼻托111和镜腿112，通过鼻托111与镜腿112固定在用户的头部，所述镜腿112为可折叠结构，其中鼻托111对应固定在用户的鼻梁上，镜腿112对应固定在用户的耳朵上。进一步的，眼镜腿112之间还可以通过松紧带相连，佩戴时松紧带收紧眼镜腿，帮助框架在头部的固定。
可选地，鼻托111和镜腿112为可伸缩机构，可分别调整鼻托111的高度和镜腿112的伸缩长度。同样，鼻托111和镜腿112还可以为可拆卸结构，拆卸后可对鼻托111或者镜腿112进行更换。
可选地，头戴框架11可包括鼻托和伸缩皮筋，通过鼻托与伸缩皮筋固定在用户头部；或者仅包括伸缩皮筋，通过所述伸缩皮筋固定在用户头部。可选地，头戴框架11也可以是用于佩戴在用户头顶和鼻梁部的头盔式框架结构。本发明实施例中，由于头戴框架11的主要作用是用来佩戴在用户的头部以及为显示模块12、透视型导光元件13等光、电元器件提供支撑，头戴框架包括但不限于上述方式，在具备上述主要作用的前提下，本领域技术人员能够根据实际应用的需要对头戴框架作出若干变形。
参阅图25，显示模块12发射包含左眼虚拟图像信息的第一光线121，经由一透视型导光元件13的凹面131反射的第一光线121进入用户的左眼14；同理，显示模块发射包含右眼虚拟图像信息的第二光线，经由另一透视型导光元件的凹面反射的第二光线进入用户的右眼，从而在用户的大脑中形成3D虚拟场景的视觉感受，另外，不同于谷歌眼镜中通过在用户的右眼前直接设置一块小型显示屏的方式，导致视觉区域较小，本发明实施例中，通过两个透视型导光元件反射更多的显示模块发射的第一光线和第二光线分别进入用户的双眼，视觉区域较大。
在本发明实施例中，当增强现实的交互装置实现增强现实的功能，每一透视型导光元件13还具有一与凹面相背设置的凸面；经由透视型导光元件13的凸面和凹面透射的包含外界图像信息的第三光线进入用户的双眼，以形成混合3D虚拟场景和真实场景的视觉。再次参阅图X1，一透视型导光元件13还具有与凹面131相背设置的凸面132，经由透视型导光元件13的凸面132和凹面131透射的包含外界图像信息的第三光线151进入用户的左眼14，同理，另一透视型导光元件还具有与其凹面相背设置的凸面，经由该透视型导光元件的凸面和凹面透射的包含外界图像信息的第三光线进入用户的右眼，用户能够看到外界的真实场景，从而形成混合3D虚拟场景和真实场景的视觉感受。
参阅图26，可选地，在人眼与透视型导光元件13之间设置一屈光度矫正镜片16，所述屈光度矫正镜片16垂直于水平面设置。可选地，所述屈光度矫正镜片所在平面也可与水平面成30度到90度的夹角。可选地，可任意设置不同度数的屈光度矫正镜片。显示模块12发射包含左眼虚拟图像信息的第一光线121，经由透视型导光元件13的凹面131反射的第一光线121以及经由透视型导光元件13的凸面132和凹面131透射的包含外界图像信息的第三光线151进入用户的左眼14之前，先经过屈光矫正镜片16。所述屈光矫正镜片16为凹透镜，使经过其上的第一光线121以及第二光线151发散，使第一光线121以及第二光线151在左眼14上的焦点后移。同样，所述屈光矫正镜片16还可为凸透镜，使经过其上的第一光线121以及第二光线151汇聚，使第一光线121以及第二光线151在左眼14上的焦点前移。
同理，显示模块发射包含右眼虚拟图像信息的第二光线，经由另一透视型导光元件的凹面反射的第二光线以及经由该透视型导光元件的凸面和凹面透射的包含外界图像信息的第三光线进入用户的右眼之前，也先经过一屈光度矫正镜片。
参阅图27，增强现实的交互装置佩戴在用户头部上后，以用户的眼球为顶点，用户的眼球到通过所述透视型导光元件13看到的虚拟图像的虚拟显示区域的两侧边缘构成对角线视场区域。头部框架的最远端到与头部最前端接触位置的距离为c，可根据需要调节所述c的距离长度。所述对角线视场区域的角度大小与所述头部框架11的最远端到与头部最前端接触位置的距离成反比。优选地，在保证对角线视场区域大于55度的前提下，头部框架的最远端到与头部最前端接触位置的距离小于80mm。
参阅图28，二显示模块12通过电缆连接到主板17上。
主板17上还设置有视频接口以及电源接口。
所述视频接口用于连接计算机、手机、或其他设备接收视频信号。其中所述视频接口可以为：hmdi、display port、thunderbolt或usb type-c，micro usb,MHL(Mobile High-Definition Link)等接口。
所述处理器，用于解码视频信号传输并显示在显示模块12上。
电源接口，用于外接电源或电池供电。所述电源接口包括USB接口或者其他接口。
当增强现实的交互装置仅包括如上所述的头戴框架11、二显示模块12、两个透视型导光元件13及主板17时，所有的3D虚拟场景渲染、对应双眼的图像生成均在与增强现实的交互装置相连的外接设备中进行。所述外接设备包括：计算机、手机、平板电脑等。
具体的，增强现实的交互装置通过视频接口接收外接设备的视频信号，解码后在显示模块12上显示。同时，与用户的交互通过计算机、手机、平板电脑等外接设备上的应用软件进行，可通过使用外接设备上的鼠标键盘、触摸板或按钮与所述基于增强现实的交互装置进行交互。这种基本结构的应用实例包括但不限于大屏幕便携显示器。增强现实的交互装置可以将显示屏幕投射在用户视野内的某一固定位置。用户需要通过与增强现实的交互装置相连的设备上的软件进行调整投射屏幕的尺寸、位置等操作。
本发明实施例提供的一种增强现实的交互装置，通过两个透视型导光元件的凹面更多地将包含左眼虚拟图像信息的第一光线和包含右眼虚拟图像信息的第二光线分别反射进入用户的双眼，从而在用户的大脑中形成3D虚拟场景的视觉感受，视觉区域较大。
实施例10：
参阅图29，在实施例9中提供的一种增强现实的交互装置的基础上，设置多个传感器进行对周边环境进行感知。
本实施例提供的一种增强现实的交互装置，所述增强现实的交互装置的总重量小于350克，其包括：头戴框架21、二显示模块22、两个透视型导光元件23及主板24。
所述显示模块22、透视形导光元件23及主板24皆设置在头戴框架21上，头戴框架21将显示模块22、透视形导光元件23及主板24进行固定。显示模块22设置在透视形导光元件23的上侧，显示模块22发出的光线能够经过透视形导光元件23后发生反射。主板24，主板24位于二显示模块22之间，所述主板24上设置有处理器，所述处理器用于处理虚拟图像信号并将虚拟图像信息显示在显示模块22上。
头戴框架21、二显示模块22、两个透视型导光元件23、主板24与实施例9中所述的头戴框架11、二显示模块12、两个透视型导光元件13、主板17的具体功能、结构及位置关系相同，在此不进行赘述。
同样，在人眼与透视型导光元件23之间设置一屈光度矫正镜片，所述屈光度矫正镜片垂直于水平面设置。可选地，可任意设置不同度数的屈光度矫正镜片。
头部框架21上还设置有单目摄像头211、双目/多目摄像头212、眼球追踪摄像头213、陀螺仪214、加速度计215、磁场计216、景深传感器217、环境光传感器218和/或距离传感器219。
单目摄像头211、双目/多目摄像头212、眼球追踪摄像头213、陀螺仪214、加速度计215、磁场计216、景深传感器217、环境光传感器218和/或距离传感器219皆电连接在主板24上。
具体的，所述单目摄像头211为彩色单目摄像头，放置于头部框架21的前部。用户佩戴所述增强现实的交互装置时，单目摄像头211朝向相对于用户脸部的另一侧，可以使用该摄像头进行拍照。进一步的，还可以对使用该摄像头，运用计算机视觉技术检测环境中的位置已知的标记，帮助所述增强现实的交互装置进行定位。
所述单目摄像头211还可以为高分辨率的摄像头，用于拍照或者拍摄视频；拍摄所获得的视频还可以通过软件叠加用户所见的虚拟物体，复现用户通过增强现实的交互装置看到的内容。
所述双目/多目摄像头212可以是单色或彩色的摄像头，其设置在头戴框架21前部或侧面，且位于单目摄像头211的一侧、两侧或者四周。进一步的，所述双目/多目摄像头212可以带有红外滤光片。使用双目摄像头，可以在获得环境图像的基础上，进一步得到图像上的景深信息。使用多目摄像头，则可以进一步扩展相机的视角，获得更多的环境图像与景深信息。双/多目摄像头212捕获的环境图像和距离信息可被用于:(1)与陀螺仪214、加速度计215、磁场计216的数据相融合，计算增强现实的交互装置的姿态。(2)捕获用户手势、掌纹等用于人机交互。
可选地，上述的单目摄像头或双目/多目摄像头中的每一目均可是RGB摄像头、单色摄像头或红外摄像头中的一种。
所述眼球追踪摄像头213，设置在透视型导光元件23的一侧，用户佩戴所述增强现实的交互装置时，眼球追踪摄像头213朝向相对于用户脸部的一侧。所述眼球追踪摄像头213用于跟踪人眼焦点，对人眼所注视的虚拟物件或虚拟屏幕中的特定部位进行追踪和特殊处理。比如，在人眼所注视的物件旁边自动显示此物件的具体信息等。另外对人眼注视的区域可以显示高清晰度的虚拟物件图像，而对其他区域则只显示低清晰度图像即可，这样可以有效减少图像渲染的计算量，而不会影响用户体验。
陀螺仪214、加速度计215、磁场计216设置在二显示模块22之间。可以通过融合陀螺仪214、加速度计215和磁场计216的数据，得到用户头部与装置初始位置间相对姿态。这些传感器的原始数据可以进一步和双目/多目摄像头212的数据进行融合，得到增强现实的交互装置在固定环境中的位置和姿态。
所述景深传感器217设置在头戴框架21的前部，可以直接获得环境中的景深信息。与双/多目摄像头212相比，景深传感器可以获得更准确、分辨率更高的景深数据。类似的，使用这些数据可以：(1)与陀螺仪214、加速度计215、磁场计216的数据相融合，计算增强现实的交互装置的姿态。(2)捕获用户手势、掌纹等用与人机交互。(3)检测用户周围物体的三维信息。
所述环境光传感器218设置在头戴框架21上，可以实时监控环境光线的强弱。增强现实的交互装置根据环境光的变化实时的调整显示模块22的亮度，以保证显示效果在不同环境光下的一致性。
所述距离传感器219设置在增强现实的交互装置与用户面部接触的位置，用于检测增强现实的交互装置是否佩戴在用户头部。若用户摘下了增强现实的交互装置，则可以通过关闭显示模块22、处理器等方式节电。
可选地，所述增强现实的交互装置还包括：红外/近红外光LED，所述红外/近红外光LED电连接在主板24上，所述红外/近红外光LED用于为双目/多目摄像头212提供光源。具体为，所述红外/近红外LED发出红外线，在红外线到达通过双目/多目摄像头212获取的物体时，所述物体将红外线反射回去，双目/多目摄像头212上的感光元件接收反射回来的红外线并转换成电信号，接着在进行成像处理。
所述增强现实的交互装置在进行人机交互时，可进行的操作包括如下：
(1)增强现实的交互装置可以将显示屏幕投射在用户视野内的某一固定位置。用户可通过增强现实的交互装置上的传感器进行调整投射屏幕的尺寸、位置等操作。
(2)可以通过各类传感器进行手势、掌纹识别，用于人机交互。
(3)可以通过眼球追踪判断用户的意图，对人眼所观察虚拟物件或虚拟屏幕中的特定部位进行相应处理。
(4)还可以在支架上增加实体或触摸按钮、摇杆等，用于人机交互。
(5)可以配有遥控器，遥控器上有按钮、摇杆、触控板等，通过有线或无线的方式与增强现实的交互装置相连，作为人机交互界面。
(6)可以通过在主板上增加音频解码和功率放大芯片，集成耳塞插孔、耳塞、或喇叭等发生设备与麦克风，允许用户使用语音与增强现实的交互装置进行交互。
参阅图30，主板上设置有视频接口和处理器。
当增强现实的交互装置包括如上所述的头戴框架21、二显示模块22、两个透视型导光元件23、主板24以及如上所述的多个传感器时，所有的3D虚拟场景渲染、对应双眼的图像生成以及多个传感器获取的数据的处理均可在与增强现实的交互装置相连的外接设备中进行。所述外接设备包括：计算机、手机、平板电脑等。
具体的，增强现实的交互装置通过视频接口接收外接设备的视频信号，解码后在显示模块23上显示。外接设备接收增强现实的交互装置上的多个传感器获取的数据，进行处理后根据数据对双眼显示的图像进行调整，在显示模块23上显示的图像上进行体现。增强现实的交互装置上的处理器仅用于支持视频信号的传输与显示以及传感器数据的传递。
参阅图31，主板上设置有运算能力较强的处理器，将部分或全部计算机视觉算法在增强现实的交互装置内完成。
具体的，增强现实的交互装置通过视频接口接收外接设备的视频信号，解码后在显示模块23上显示。外接设备接收增强现实的交互装置上的部分传感器获取的数据，进行处理后根据传感器数据对双眼显示的图像进行调整，在显示模块23上显示的图像上进行体现。其余传感器获取的数据则在增强现实的交互装置上处理。例如，单目摄像头211、双目/多目摄像头212、陀螺仪214、加速度计215、磁场计216及景深传感器217获取的数据在增强现实的交互装置中处理。眼球追踪摄像头213、环境光传感器218及距离传感器219获取的数据在外接设备中处理。增强现实的交互装置上的处理器用于支持视频信号的传输与显示、部分传感器数据的处理以及其余传感器数据的传递。
参阅图32，主板上设置有高性能的处理器以及图像处理器，在增强现实的交互装置内完成所有的运算。在这种模式下，增强现实的交互装置无需连接外接设备，可作为一个独立的装置运行。
具体的，增强现实的交互装置将传感器获取的数据进行处理后,对双眼显示的图像进行调整,渲染后在显示模块23上显示。增强现实的交互装置上的处理器用于视频信号的解码处理与显示以及传感器数据的处理。
在实施例9及实施例10中所述的增强现实的交互装置实现增强现实的实际应用中，为了增加透视型导光元件的凹面对显示模块发射的第一光线和第二光线的反射率，例如，透视型导光元件的凹面镀有反射膜，较佳的，镀有反射膜的透视型导光元件的凹面的反射率是20％-80％。又如，若第一光线和第二光线是线偏振光，为了增加透视型导光元件的凹面的反射率，透视型导光元件的凹面镀有偏振反射膜，偏振反射膜的偏振方向与第一光线和第二光线的偏振方向之间的角度大于70°且小于等于90°，比如：偏振反射膜的偏振方向与第一光线和第二光线的偏振方向垂直，实现近乎为100％的反射率，另外，由于包含外界图像信息的第三光线是非偏振光，若透视型导光元件的凹面镀有偏振反射膜，当第三光线经由该偏振反射膜时，有近乎50％的第三光线进入用户的双眼，用户仍然能够看到外界的真实场景。为了更好地让包含外界图像信息的第三光线进入用户的双眼，透视型导光元件的凸面镀有增透膜。
在实施例9及实施例10中所述的增强现实的交互装置的实际应用中，为了实现透视型导光元件的凹面对显示模块发射的第一光线和第二光线的反射率的可控调节，透视型导光元件的凹面设有压敏反射膜，通过改变加载在压敏反射膜上的电压大小，能够调节压敏反射膜的反射率位于0至100％之间，当压敏反射膜的反射率为100％时，增强现实的交互装置可以实现虚拟现实的功能。
为了实现透视型导光元件的与凹面相背设置的另一表面对包含外界图像信息的第三光线的透光率的可控调节，透视型导光元件的与凹面相背设置的另一表面上设有压敏黑片，通过改变加载在压敏黑片上的电压大小，能够调节压敏黑片透光率的高低。
本发明实施例提供的一种增强现实的交互装置，通过两个透视型导光元件的凹面更多地将包含左眼虚拟图像信息的第一光线和包含右眼虚拟图像信息的第二光线分别反射进入用户的双眼，从而在用户的大脑中形成3D虚拟场景的视觉感受，视觉区域较大。同时在增强现实的交互装置上设置多个传感器，传感器感知周边的环境后，可将感知的结果在显示模块中显示的图像中进行体现，使得临场感受更好，用户体验更佳。
实施例11:
本发明实施例还提供了一种电子设备，用于实现实施例1-6任一所述的基于增强现实的交互方法步骤，如图33所示，包括：
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述存储器存储有可被所述至少一个处理器执行的指令程序，所述指令被程序设置为执行实施例1-6所提出的任意一项所述的基于增强现实的交互方法步骤。
其中，图33中以一个处理器为例，所述处理器和存储器可以通过总线或者其他方式连接，图33中以通过总线连接为例。
存储器作为一种基于增强现实的交互方法和装置非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如第1-6实施方式中的基于增强现实的交互方法以及对应的程序指令/模块(例如，图20所示的各个模块)。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行信息推送装置的各种功能应用以及数据处理，即实现第1-6实施方式的基于增强现实的交互方法以及第8实施方式的各个模块、单元的功能。
存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述程序指令/模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述第1-6实施方式中的基于增强现实的交互方法。
本发明实施方式的社交装置可以多种形式存在，在执行以上描述的图2所示的各个步骤；以及图20所述的各个模块、单元。
本发明实施例还提供了一种基于增强现实的交互方法和装置非易失性计算机存储介质，其中，所述计算机存储介质包括只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图33中的一个处理器，可使得上述一个或多个处理器可执行第1-6实施方式中的基于增强现实的交互方法。
值得说明的是，上述装置和***内的模块、单元之间的信息交互、执行过程等内容，由于与本发明的处理方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种基于增强现实的交互方法，其特征在于，所述方法包括：
获取现实环境中一个或者多个对象的相关信息，根据所述一个或者多个对象的相关信息建立现实环境的三维环境模型；
根据选中的第一商品，获取第一商品的三维模型；
根据选择放置的所述第一商品的三维模型的位置和所述三维环境模型，整合所述第一商品的三维模型到所述一个或者多个对象中；
显示整合后的画面内容。
2.根据权利要求1所述的基于增强现实的交互方法，其特征在于，所述相关信息包括尺寸大小、颜色、位置信息和环境信息中的一项或者多项，则所述获取现实环境中一个或者多个对象的相关信息，具体包括：
读取所述一个或者多个对象的二维码或者条形码，根据所述二维码或者条形码获取所述一个或者多个对象的相关信息；和/或，
所述一个或者多个对象的相关信息，由用户输入的方式获取；和/或，
图像识别所述一个或者多个对象，并通过图像识别结果搜索所述一个或者多个对象，获取搜索结果中所携带的相关信息；和/或，
根据放置在所述一个或者多个对象上的传感器，获得所述一个或者多个对象的尺寸大小；通过采集器获取所述一个或者多个对象的颜色、位置信息和/或环境信息；和/或，
根据双摄像头拍摄的一个或者多个对象，解析得到所述一个或者多个对象的相关信息。
3.根据权利要求1所述的基于增强现实的交互方法，其特征在于，所述三维环境模型由所述一个或者多个对象的三维模型构成，则所述根据选择放置的所述第一商品的三维模型的位置和所述三维环境模型，整合所述第一商品的三维模型到所述一个或者多个对象中，具体包括：
根据所述第一商品的三维模型放置在所述三维环境模型中的位置，确定所述商品的三维模型相对于所述一个或者多个对象的三维模型的偏移量；
根据所述商品的尺寸大小和所述一个或者多个对象的尺寸大小的比值、采集器获取的所述对象的虚拟尺寸，以及所述偏移量调整所述第一商品的三维模型，以便所述第一商品的三维模型的比例匹配于当前场景的显示。
4.根据权利要求3所述的基于增强现实的交互方法，其特征在于，所述方法还包括：
根据所述一个或者多个对象的三维模型与所述第一对象的三维模型的相对位置信息，确定所述第一对象的三维模型中的被遮挡区域；
将所述第一对象的三维模型中被遮挡区域作透视显示，将所述第一对象的三维模型的其它区域按照生成的三维模型内容显示。
5.根据权利要求1所述的基于增强现实的交互方法，其特征在于，可供选择的商品的型号包括至少两套，所述方法还包括：
接收调整商品型号的操作请求；
根据操作请求中携带的型号标识，获取第二商品的三维模型；
根据所述第二商品的三维模型，更新画面内容中的所述第一商品的三维模型。
6.根据权利要求1所述的基于增强现实的交互方法，其特征在于，所述方法还包括：
发送交易请求消息，所述交易请求消息中携带所述商品的标识和商品的参数值；
接收验证请求；
返回验证消息，所述验证消息中携带密码、扫描的二维码、扫描的虹膜、掌纹信息、手势信息和人脸信息中的一项或者多项。
7.根据权利要求1所述的基于增强现实的交互方法，其特征在于，所述方法还包括：
选择指定用户，发送共享请求；
在接收到同意共享的响应消息后，发送携带所述三维环境模型和第一商品三维模型的分享消息给所述指定用户的终端。
8.一种基于增强现实的交互装置，其特征在于，所述交互装置包括佩戴架、处理器、镜片显示屏、摄像头、投影装置和通讯模块，所述处理器、镜片显示屏、摄像头和通讯模块固定在所述佩戴架上，其中，所述处理器连接所述镜片显示屏、所述摄像头、所述投影装置和通讯模块：
所述摄像头包括第一摄像头和第二摄像头，其中，所述第一摄像头和第二摄像头固定在所述佩戴架上；
所述投影装置固定在支架上，所述支架连接所述佩戴架。
9.根据权利要求8所述的基于增强现实的交互装置，其特征在于，所述镜片显示屏为双模式屏幕，所述双模式包括半透镜模式和全反射模式。
10.一种基于增强现实的交互装置，其特征在于，所述交互装置包括三维环境建立模块、处理模块和显示模块，其中，三维环境建立模块和显示模块分别连接所述处理模块，具体的
所述三维环境建立模块，用于获取现实环境中一个或者多个对象的相关信息，根据所述一个或者多个对象的相关信息建立现实环境的三维环境模型；
所述处理模块，用于根据选中的第一商品，获取第一商品的三维模型；根据选择放置的所述第一商品的三维模型的位置和所述三维环境模型，整合所述第一商品的三维模型到所述一个或者多个对象中；
所述显示模块，用于显示整合后的画面内容。
11.根据权利要求10所述的基于增强现实的交互装置，其特征在于，所述基于增强现实的交互装置与外接设备相连时，可通过使用外接设备上的鼠标键盘、触摸板或按钮与所述基于增强现实的显示设备进行交互。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710078968.XA CN108427498A (zh) | 2017-02-14 | 2017-02-14 | 一种基于增强现实的交互方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710078968.XA CN108427498A (zh) | 2017-02-14 | 2017-02-14 | 一种基于增强现实的交互方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108427498A true CN108427498A (zh) | 2018-08-21 |
Family
ID=63155041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710078968.XA Pending CN108427498A (zh) | 2017-02-14 | 2017-02-14 | 一种基于增强现实的交互方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108427498A (zh) |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118682A (zh) * | 2018-08-30 | 2019-01-01 | 深圳市有钱科技有限公司 | 智能计数及结算方法和装置 |
| CN109214351A (zh) * | 2018-09-20 | 2019-01-15 | 太平洋未来科技（深圳）有限公司 | 一种ar成像方法、装置及电子设备 |
| CN109254406A (zh) * | 2018-11-07 | 2019-01-22 | 深圳市传智科技有限公司 | 一种多功能增强现实眼镜 |
| CN109545003A (zh) * | 2018-12-24 | 2019-03-29 | 北京卡路里信息技术有限公司 | 一种显示方法、装置、终端设备及存储介质 |
| CN109636917A (zh) * | 2018-11-02 | 2019-04-16 | 北京微播视界科技有限公司 | 三维模型的生成方法、装置、硬件装置 |
| CN109714589A (zh) * | 2019-02-22 | 2019-05-03 | 上海北冕信息科技有限公司 | 用于增强现实的输入输出装置、设备 |
| CN109919716A (zh) * | 2019-02-15 | 2019-06-21 | 上海扩博智能技术有限公司 | 基于增强现实的网购辅助方法、***、设备及存储介质 |
| CN109976690A (zh) * | 2019-03-27 | 2019-07-05 | 优奈柯恩(北京)科技有限公司 | Ar眼镜远程交互方法、装置和计算机可读介质 |
| CN110031909A (zh) * | 2019-04-18 | 2019-07-19 | 西安天和防务技术股份有限公司 | 安检***及安检方法 |
| CN110046967A (zh) * | 2019-04-19 | 2019-07-23 | 深圳格调网络运营有限公司 | 一种基于图片识别的虚拟店铺用图片分析*** |
| CN110177228A (zh) * | 2018-11-06 | 2019-08-27 | 广东小天才科技有限公司 | 一种基于可穿戴设备的视频录制方法及可穿戴设备 |
| CN110264320A (zh) * | 2019-06-27 | 2019-09-20 | 北京小米移动软件有限公司 | 基于现实增强设备的信息显示方法、装置以及存储介质 |
| CN110493729A (zh) * | 2019-08-19 | 2019-11-22 | 芋头科技（杭州）有限公司 | 增强现实设备的交互方法、设备、存储介质及程序产品 |
| CN110895433A (zh) * | 2018-09-12 | 2020-03-20 | 精工爱普生株式会社 | 用于增强现实中用户交互的方法和装置 |
| CN111028342A (zh) * | 2019-12-16 | 2020-04-17 | 国网北京市电力公司 | 一种基于ar技术的物资堆叠方式的预估方法及装置 |
| CN111028359A (zh) * | 2019-05-22 | 2020-04-17 | 珠海随变科技有限公司 | 增强现实服务配置、请求方法、装置、设备和介质 |
| CN111177525A (zh) * | 2018-11-09 | 2020-05-19 | 阿里巴巴集团控股有限公司 | 商品查找方法及装置 |
| CN111182278A (zh) * | 2018-11-09 | 2020-05-19 | 上海云绅智能科技有限公司 | 一种投影展示管理方法及*** |
| CN111859199A (zh) * | 2019-04-30 | 2020-10-30 | 苹果公司 | 在环境中定位内容 |
| CN112308980A (zh) * | 2020-10-30 | 2021-02-02 | 脸萌有限公司 | 增强现实交互显示方法及设备 |
| WO2021035891A1 (zh) * | 2019-08-29 | 2021-03-04 | 广景视睿科技（深圳）有限公司 | 基于增强现实技术的投影方法及投影设备 |
| US10969865B2 (en) | 2018-11-25 | 2021-04-06 | Htc Corporation | Method for transmission of eye tracking information, head mounted display and computer device |
| TWI724858B (zh) * | 2020-04-08 | 2021-04-11 | 國軍花蓮總醫院 | 基於手勢動作的混合實境評量系統 |
| TWI802826B (zh) * | 2020-02-19 | 2023-05-21 | 美商海思智財控股有限公司 | 顯示一個具有景深的物體的系統與方法 |
| TWI802909B (zh) * | 2021-06-15 | 2023-05-21 | 兆豐國際商業銀行股份有限公司 | 金融交易系統及其操作方法 |
| US11698535B2 (en) | 2020-08-14 | 2023-07-11 | Hes Ip Holdings, Llc | Systems and methods for superimposing virtual image on real-time image |
| US11774759B2 (en) | 2020-09-03 | 2023-10-03 | Hes Ip Holdings, Llc | Systems and methods for improving binocular vision |
| CN117522534A (zh) * | 2024-01-08 | 2024-02-06 | 深圳市卖点科技股份有限公司 | 一种基于物联网的商品智能展示方法及*** |
| US11953689B2 (en) | 2020-09-30 | 2024-04-09 | Hes Ip Holdings, Llc | Virtual image display system for virtual reality and augmented reality devices |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101923809A (zh) * | 2010-02-12 | 2010-12-22 | 黄振强 | 交互式增强现实点播机 |
| CN103366610A (zh) * | 2013-07-03 | 2013-10-23 | 熊剑明 | 基于增强现实的三维互动学习***及方法 |
| CN105378801A (zh) * | 2013-04-12 | 2016-03-02 | 微软技术许可有限责任公司 | 全息图快照网格 |
| US20160140553A1 (en) * | 2014-11-17 | 2016-05-19 | Visa International Service Association | Authentication and transactions in a three-dimensional image enhancing display device |
| CN106022866A (zh) * | 2016-05-10 | 2016-10-12 | 曹屹 | 一种购物平台搭建方法、装置及*** |
| CN106095089A (zh) * | 2016-06-06 | 2016-11-09 | 郑黎光 | 一种获取感兴趣目标信息的方法 |
| CN106127554A (zh) * | 2016-06-24 | 2016-11-16 | 张睿卿 | 基于虚拟现实、增强现实相结合的商业*** |
| CN205730323U (zh) * | 2016-05-27 | 2016-11-30 | 上海合昊机电科技有限公司 | 一种基于游乐乘骑项目的增强现实交互*** |
-
2017
- 2017-02-14 CN CN201710078968.XA patent/CN108427498A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101923809A (zh) * | 2010-02-12 | 2010-12-22 | 黄振强 | 交互式增强现实点播机 |
| CN105378801A (zh) * | 2013-04-12 | 2016-03-02 | 微软技术许可有限责任公司 | 全息图快照网格 |
| CN103366610A (zh) * | 2013-07-03 | 2013-10-23 | 熊剑明 | 基于增强现实的三维互动学习***及方法 |
| US20160140553A1 (en) * | 2014-11-17 | 2016-05-19 | Visa International Service Association | Authentication and transactions in a three-dimensional image enhancing display device |
| CN106022866A (zh) * | 2016-05-10 | 2016-10-12 | 曹屹 | 一种购物平台搭建方法、装置及*** |
| CN205730323U (zh) * | 2016-05-27 | 2016-11-30 | 上海合昊机电科技有限公司 | 一种基于游乐乘骑项目的增强现实交互*** |
| CN106095089A (zh) * | 2016-06-06 | 2016-11-09 | 郑黎光 | 一种获取感兴趣目标信息的方法 |
| CN106127554A (zh) * | 2016-06-24 | 2016-11-16 | 张睿卿 | 基于虚拟现实、增强现实相结合的商业*** |
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109118682A (zh) * | 2018-08-30 | 2019-01-01 | 深圳市有钱科技有限公司 | 智能计数及结算方法和装置 |
| CN110895433A (zh) * | 2018-09-12 | 2020-03-20 | 精工爱普生株式会社 | 用于增强现实中用户交互的方法和装置 |
| CN110895433B (zh) * | 2018-09-12 | 2023-12-26 | 精工爱普生株式会社 | 用于增强现实中用户交互的方法和装置 |
| CN109214351A (zh) * | 2018-09-20 | 2019-01-15 | 太平洋未来科技（深圳）有限公司 | 一种ar成像方法、装置及电子设备 |
| CN109636917A (zh) * | 2018-11-02 | 2019-04-16 | 北京微播视界科技有限公司 | 三维模型的生成方法、装置、硬件装置 |
| CN110177228A (zh) * | 2018-11-06 | 2019-08-27 | 广东小天才科技有限公司 | 一种基于可穿戴设备的视频录制方法及可穿戴设备 |
| CN109254406A (zh) * | 2018-11-07 | 2019-01-22 | 深圳市传智科技有限公司 | 一种多功能增强现实眼镜 |
| CN111177525B (zh) * | 2018-11-09 | 2023-04-18 | 阿里巴巴集团控股有限公司 | 商品查找方法及装置 |
| CN111177525A (zh) * | 2018-11-09 | 2020-05-19 | 阿里巴巴集团控股有限公司 | 商品查找方法及装置 |
| CN111182278A (zh) * | 2018-11-09 | 2020-05-19 | 上海云绅智能科技有限公司 | 一种投影展示管理方法及*** |
| TWI732342B (zh) * | 2018-11-25 | 2021-07-01 | 宏達國際電子股份有限公司 | 傳輸眼球追蹤資訊的方法、頭戴式顯示器及電腦裝置 |
| US10969865B2 (en) | 2018-11-25 | 2021-04-06 | Htc Corporation | Method for transmission of eye tracking information, head mounted display and computer device |
| CN109545003A (zh) * | 2018-12-24 | 2019-03-29 | 北京卡路里信息技术有限公司 | 一种显示方法、装置、终端设备及存储介质 |
| CN109919716A (zh) * | 2019-02-15 | 2019-06-21 | 上海扩博智能技术有限公司 | 基于增强现实的网购辅助方法、***、设备及存储介质 |
| CN109714589A (zh) * | 2019-02-22 | 2019-05-03 | 上海北冕信息科技有限公司 | 用于增强现实的输入输出装置、设备 |
| CN109976690A (zh) * | 2019-03-27 | 2019-07-05 | 优奈柯恩(北京)科技有限公司 | Ar眼镜远程交互方法、装置和计算机可读介质 |
| CN110031909A (zh) * | 2019-04-18 | 2019-07-19 | 西安天和防务技术股份有限公司 | 安检***及安检方法 |
| CN110046967A (zh) * | 2019-04-19 | 2019-07-23 | 深圳格调网络运营有限公司 | 一种基于图片识别的虚拟店铺用图片分析*** |
| CN111859199A (zh) * | 2019-04-30 | 2020-10-30 | 苹果公司 | 在环境中定位内容 |
| CN111028359A (zh) * | 2019-05-22 | 2020-04-17 | 珠海随变科技有限公司 | 增强现实服务配置、请求方法、装置、设备和介质 |
| CN110264320A (zh) * | 2019-06-27 | 2019-09-20 | 北京小米移动软件有限公司 | 基于现实增强设备的信息显示方法、装置以及存储介质 |
| CN110264320B (zh) * | 2019-06-27 | 2021-06-08 | 北京小米移动软件有限公司 | 基于现实增强设备的信息显示方法、装置以及存储介质 |
| CN110493729A (zh) * | 2019-08-19 | 2019-11-22 | 芋头科技（杭州）有限公司 | 增强现实设备的交互方法、设备、存储介质及程序产品 |
| WO2021035891A1 (zh) * | 2019-08-29 | 2021-03-04 | 广景视睿科技（深圳）有限公司 | 基于增强现实技术的投影方法及投影设备 |
| CN111028342B (zh) * | 2019-12-16 | 2023-11-21 | 国网北京市电力公司 | 一种基于ar技术的物资堆叠方式的预估方法及装置 |
| CN111028342A (zh) * | 2019-12-16 | 2020-04-17 | 国网北京市电力公司 | 一种基于ar技术的物资堆叠方式的预估方法及装置 |
| TWI802826B (zh) * | 2020-02-19 | 2023-05-21 | 美商海思智財控股有限公司 | 顯示一個具有景深的物體的系統與方法 |
| TWI724858B (zh) * | 2020-04-08 | 2021-04-11 | 國軍花蓮總醫院 | 基於手勢動作的混合實境評量系統 |
| US11698535B2 (en) | 2020-08-14 | 2023-07-11 | Hes Ip Holdings, Llc | Systems and methods for superimposing virtual image on real-time image |
| US11822089B2 (en) | 2020-08-14 | 2023-11-21 | Hes Ip Holdings, Llc | Head wearable virtual image module for superimposing virtual image on real-time image |
| US11774759B2 (en) | 2020-09-03 | 2023-10-03 | Hes Ip Holdings, Llc | Systems and methods for improving binocular vision |
| US11953689B2 (en) | 2020-09-30 | 2024-04-09 | Hes Ip Holdings, Llc | Virtual image display system for virtual reality and augmented reality devices |
| WO2022093110A1 (zh) * | 2020-10-30 | 2022-05-05 | 脸萌有限公司 | 增强现实交互显示方法及设备 |
| CN112308980A (zh) * | 2020-10-30 | 2021-02-02 | 脸萌有限公司 | 增强现实交互显示方法及设备 |
| CN112308980B (zh) * | 2020-10-30 | 2024-05-28 | 脸萌有限公司 | 增强现实交互显示方法及设备 |
| TWI802909B (zh) * | 2021-06-15 | 2023-05-21 | 兆豐國際商業銀行股份有限公司 | 金融交易系統及其操作方法 |
| CN117522534B (zh) * | 2024-01-08 | 2024-03-29 | 深圳市卖点科技股份有限公司 | 一种基于物联网的商品智能展示方法及*** |
| CN117522534A (zh) * | 2024-01-08 | 2024-02-06 | 深圳市卖点科技股份有限公司 | 一种基于物联网的商品智能展示方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108427498A (zh) | 一种基于增强现实的交互方法和装置 | |
| US11094127B2 (en) | Systems and methods for presenting perspective views of augmented reality virtual object | |
| CN106662989B (zh) | 3d全息图环境中的内容的管理 | |
| CN105431763B (zh) | 在佩戴移动设备时跟踪头部移动 | |
| CN104838326B (zh) | 可佩戴的食物营养反馈*** | |
| CN107209950B (zh) | 从现实世界材料自动生成虚拟材料 | |
| JP6023801B2 (ja) | シミュレーション装置 | |
| CN106415444A (zh) | 注视滑扫选择 | |
| CN105446474B (zh) | 可穿戴智能设备及其交互的方法、可穿戴智能设备*** | |
| JP6177872B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
| CN107037587A (zh) | 紧凑型增强现实/虚拟现实显示器 | |
| US20130083018A1 (en) | Personal audio/visual system with holographic objects | |
| US20170308157A1 (en) | Head-mounted display device, display system, control method for head-mounted display device, and computer program | |
| CN105934730A (zh) | 自动内容滚动 | |
| WO2014128752A1 (ja) | 表示制御装置、表示制御プログラム、および表示制御方法 | |
| CN105866955A (zh) | 智能眼镜 | |
| WO2014128751A1 (ja) | ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法 | |
| WO2018191784A1 (en) | Eyeglasses ordering system and digital interface therefor | |
| WO2018149267A1 (zh) | 一种基于增强现实的显示方法及设备 | |
| JP2017120329A (ja) | 調理用ヘッドマウントディスプレイおよび調理用ヘッドマウントディスプレイのプログラム | |
| WO2014128750A1 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
| CN103690171A (zh) | 眼镜测配装置、眼镜测配服务端和眼镜测配方法 | |
| KR20190045740A (ko) | 스마트 거울을 이용한 안경 피팅 시스템의 운영방법 | |
| CN208207369U (zh) | 翻转式混合虚拟现实显示装置 | |
| JP6784056B2 (ja) | 頭部装着型表示装置、表示システム、頭部装着型表示装置の制御方法、およびコンピュータープログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20191223 Address after: Room a-b102-1229, 198 Qidi Road, Xiaoshan Economic and Technological Development Zone, Xiaoshan District, Hangzhou City, Zhejiang Province Applicant after: Hangzhou rongmeng Intelligent Technology Co.,Ltd. Address before: 518000 Guangdong city of Shenzhen province Qianhai Shenzhen Hong Kong cooperation zone before Bay Road No. 1 building 201 room A (located in Shenzhen Qianhai business secretary Co. Ltd.) Applicant before: SHENZHEN DREAMWORLD SMART TECHNOLOGY Co.,Ltd. |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180821 |