CN108269310A - 一种交互展示***、方法及装置 - Google Patents

Abstract

一种交互展示***，该***包括：展示面，用于展示影像；至少一个感应线圈，贴合在所述展示面上的一个交互点，用于指示展示面交互点的坐标；服务器，用于产生用于展示的交互影像；交互控制盒，与感应线圈连接，判断接收感应线圈的坐标信号，并且将交互点信息发送至服务器，由服务器根据交互点信息产生影像。展示面以二维简单色彩线条构成，设有至少一个交互点区域，是预设的交互场景，作为常态静画面，起到了对交互者进行提示和引发交互的作用。

Description

一种交互展示***、方法及装置

技术领域

本发明涉及一种用于科普宣传教育领域的增强现实的交互展示***、方法及装置。

背景技术

近年来，在展览展示项目中，经常见到这样一种演绎方式，这种方式的基本展示方法是，利用一个水平或者垂直的投影面与参观者或者用户进行交互。这种基于增强虚拟现实的交互展示方式，非常适合用于科普宣传教育。为了实现这种可交互的展示方式，在技术上可以有较为成熟的以下几种实现方法。

一种实现技术是基于摄像头红外成像分析技术。红外成像模式是常用的技术，其原理是：使用不可见红外灯光照射交互区域，形成一层红外反射面，利用经过红外滤光处理的摄像头将交互人员遮挡后的影像进行分析处理。最新的分析技术是基于OpenCV技术的高速图像分析方法。以此获得经阻断的红外反射面图像中的阴影位置作为交互触发位置，并将之二维坐标传递给交互软件***，由后台交互管理***针对交互的二维坐标作出反馈，通过渲染***渲染出相应的影像进行交互展示。

红外成像分析技术的优势在于其实施成本较低，交互装置只需要红外灯和经过红外滤光改造的普通CCTV摄像机，配合安装在PC机上的图像捕捉接口和相关软件，即可实施。每平方米交互范围的交互装置费用在千元人民币级别。而缺点在于，由于摄像机的拍摄和红外灯照射角度问题，造成了装置的分辨率较低，只能对较大的遮挡体进行反馈。同时，由于需要进行大计算量的图像识别分析，所以交互延时较为严重。

另外一种实现方式是基于红外对射式交互技术。红外对射式交互技术也是一项成熟的技术，其起源于红外对射式传感器，原来应用于工业检测。在多媒体交互需求的发展中，红外对射式交互装置以其技术简单、价格低廉(相对于电容交互模式、等离子交互模式和声波交互模式)等特点曾一度占据触摸屏交互市场的90％以上份额。其技术的全名叫做“主动红外线阻断探测”，其基本的构造包括发射端、接收端、光束强度控制、光学透镜等。原理是利用红外发光二极管发射的红外射线，再经过光学透镜做聚焦处理，使光线传至很远距离，最后光线由接收端的光敏晶体管接收。当有物体挡住发射端发射的红外射线时，由于接收端无法接收到红外线，所以会发出触发信号。红外线是一种不可见光，而且会扩散，投射出去之后，在起始路径阶段会形成圆锥体光束，随着发射距离的增加，其理想强度与发射距离呈反平方衰减。当物体越过其探测区域时，遮断红外射束而引发触发信号。红外触摸屏就是在紧贴屏幕前密布X、Y方向上的红外线矩阵，通过不停的扫描是否有红外线被物体阻挡检测并定位用户的触摸。并根据红外线被遮挡的X、Y方向上的位置输出相应的二维坐标，并将之二维坐标传递给交互软件***，由后台交互管理***针对交互的二维坐标作出反馈，通过渲染***渲染出相应的影像进行交互展示。相似的技术还有声波对射阻断探测交互方式和等离子射线阻断探测交互技术，在此一起进行优缺点的分析，就不再复述了。

红外对射式交互技术的优势在于，相对于较小的展示面来说，其分辨率是相对较高的，其分辨率可以达到4096*4096DPI的交互分辨率。其稳定性也相对较高，由于其主要组成部分是红外二极管和光敏电阻，其工业化程度较高，使得其稳定性也达到了较高的水平。另外，由于这个方案的主要设备寿命取决于红外发光二极管的寿命，这也就赋予了这类交互装置具有长寿命，高耐久，不受电气干扰的特性。该方式的主要弱势在于，由于此类方案使用的是各种媒体的阻断测试来实现交互坐标判断的，也就相应会对同类的物质具有误判性，也就是存在红外设备针对强光具有弱抗性，声波设备对强噪音有弱抗性等，这样就限制了本类设备的使用范围。其次由于这类二维坐标定位设备感知范围大小就是探测矩阵的大小，当需要扩充感知交互范围的时候，只能简单的增加探测矩阵的大小，在大型交互项目中，按照平方计算的情况下，费用就会过大，本类交互装置的每平方米成本达到万元人民币以上，并且由于装置的安装是表面化的，需要安装在交互内容的上层，并且是对称直线式的，造成了交互内容的造型设计困难。

第三种方式是，激光雷达定位交互方式。激光雷达工作在红外和可见光波段的，以激光为工作光束。它由激光发射机、光学接收机、转台和信息处理***等组成，激光器将电脉冲变成光脉冲发射出去，光学接收机再把从目标反射回来的光脉冲还原成电脉冲，送到计算设备。激光雷达的作用是能精确测量目标位置(距离和角度)、运动状态(速度、振动和姿态)和形状，探测、识别、分辨和跟踪目标。激光雷达采用脉冲或连续波2种工作方式，探测方法按照探测的原理不同可以分为米散射、瑞利散射、拉曼散射、布里渊散射、荧光、多普勒等激光雷达。激光雷达是以发射激光束探测目标的位置、速度等特征量的雷达***。从工作原理上讲，与微波雷达没有根本的区别：向目标发射探测信号(激光束),然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较,作适当处理后,就可获得目标的有关信息,如目标距离、方位、高度、速度、姿态、甚至形状等参数。在交互方案中，激光雷达的作用是在交互表面形成一片距离交互面2mm-10mm左右的激光扫描光幕，通过对光幕中运动的交互体的位置和运动状态的探知，形成相对于激光发射点的二维坐标，以达到交互的作用。该雷达的优点是，体积小、质量轻、感应面积大、价格便宜。

但是，激光雷达的缺陷也是非常明显的，首先，工作时受环境和大气影响大。激光一般在晴朗的天气里衰减较小，传播距离较远。而在潮湿、浓烟、浓雾等坏天气里，衰减急剧加大，传播距离大受影响。如工作波长为10.6μm的 co2激光，是所有激光中大气传输性能较好的,在坏天气的衰减是晴天的6倍。而且，空气环流还会使激光光束发生畸变、抖动，直接影响激光雷达的测量精度。并且其精度较低，在正常情况下其分辨率只能达到厘米级别，所以精细的交互需求中是无法使用这类设备的。

第四种方式是纳米导电墨水交互方式。纳米导电墨水交互方式是2017年刚兴起的一种带有艺术感的新媒体交互方式，其原理是利用纳米级银和石墨材料的导电特性，通过人体接触，产生短路电流，以激发相应的交互动作。这种纳米材料原来的开发用途是应用于精细级的电路打印工艺，能够在多种材料上通过打印机进行电路的打印，这样就能够大大降低电路的制备工艺成本，甚至通过提高专业打印机的打印分别率，将电路制备等级轻易地提升到纳米级别。2017 年欧洲的某新媒体公司在展会上推出了以导电墨水打印成的展项，通过人体触摸，形成短路电流，以激发相应的投影影像，形成增强现实的展示效果，从此纳米导电墨水交互方式进入了交互展示行业。

纳米导电墨水方式的优点是，实施简单，只需要对展示图案进行计算机绘制，并根据展示交互所需触摸图案的情况进行间隔性的电路设置，然后直接通过打印机即可大面积打印实施，再通过导电胶粘连节点到信号收集装置，即可实施交互位置的确认，从而产生交互效果。而且由于导电墨水的打印材质可以是柔性材料，所以导电墨水交互方式有前面3个方式中所不可能实现的曲面交互的实现，为展示中的项目设计提供了更大的设计空间和显现方式。

导电墨水最大的缺陷在于，其必须是预制的。如果分块打印则需要在现场进行较为精密的线路粘接工作。所以目前来说，这类展项通常都是切割成较小交互块面，并按照交互块面进行交互的。同时由于成本的问题，在交互区块比较稀疏的大型展项上，这个交互方式还是存在实施成本过高的问题。

发明内容

本发明的实施例公开了一种交互展示***、方法和装置，针对科普宣传教育中使用的虚拟影像交互控制解决方案，目的是解决现有技术中存在的技术缺陷或者成本过高的问题。

本发明的实施例之一，一种交互展示***，该***包括：

展示面，用于展示影像；

至少一个感应线圈，贴合在所述展示面上的一个交互点，用于指示展示面交互点的坐标；

服务器，用于产生用于展示的交互影像；

交互控制盒，与感应线圈连接，判断接收感应线圈的坐标信号，并且将交互点信息发送至服务器，由服务器根据交互点信息产生影像。

其中，展示面以二维简单色彩线条构成，设有至少一个交互点区域，是预设的交互场景，作为常态静画面，起到了对交互者进行提示和引发交互的作用。

服务器包括以下模块，

控制模块，作用是接收交互控制盒发送的交互坐标信息，根据交互设计调用虚拟场景中的模型动画，然后反馈给投影融合设备，输出交互影像；

虚拟场景模块，是与展示面的二维场景相对应的虚拟三维场景，通过交互动作，控制虚拟摄像机，对场景交互对应空间中的虚拟三维动画进行提取编码，并将其发送至投影融合模块进行统一渲染展示；

投影融合模块，基于渲染服务器和矩阵服务器，将渲染***和矩阵视频融合合二为一，在输出场景渲染的前期就根据画面输出所需要用到的投影机的矩阵排列方式，进行分布式渲染，在场景渲染的同时对融合边缘进行融合光路衰减量计算，只需要一次渲染就可以同时解决场景和矩阵的需要。

本发明涉及一种基于增强虚拟现实的可用于科普宣传教育的交互展示***方法和装置，在增强虚拟现实交互展项中包括：展示面、交互控制装置、控制模块、虚拟场景模块、投影融合模块、投影机。基于虚拟现实的三大特点，即沉浸感、想象力和交互性，其中交互性是展项中最为重要的一个环节，针对于这个环节，本发明通过在展示面的交互控制点采用感应线圈的方式，将交互信号通过交互控制盒传输至服务器，触发调动服务器内的图像数据通过投影机投射至展示面，形成增强现实的展示效果。由此获得的有益效果包括：

1.极高的性价比。如果以展示面的交互点为实施单位进行核算，大大降低了大型交互展项的实施成本。

2.容易实施。利用简易工具，通过预制部件，现场以最少的人工，可快速完成实施。

3.很高的可靠性。可以采用能够量产的工业化部件，这样在保证了元器件价格优势的情况下又可以保证其稳定性。

4.有广泛的适用性。针对当前科普展示特点和Mopping多边形投影技术的普及，展示互动面将会向多变形化、非对称化、凹凸弧面化发展。针对这些需求，本发明将交互点做成一个模块化、可变性的构件，通过串联级通有(在额定功率)下无限扩展的可能性。并且可以根据现场情况进行弯折变形，以适合展项需求。安装采用胶连方式，通过≤2mm的双面胶进行直接粘贴，就可获得良好的交互触发性。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1是本发明一个实施例中交互展示装置交互控制原理示意图。

图2是本发明一个实施例中交互展示***组成示意图。

图3是本发明一个实施例中感应线圈的示意图。

图4是本发明一个实施例中触摸芯片连接电路示意图。

图5是本发明一个实施例中微处理器连接电路示意图。

图6是本发明一个实施例中通信接口芯片连接电路示意图。

图7是本发明一个实施例中交互影像处理流程示意图。

其中，1——感应线圈，2——触摸芯片，3——通信接口芯片，4——微处理器，5——电源芯片，6——控制盒，7——显示面，8——服务器，9——投影机。

具体实施方式

根据一个或多个实施例，如图2所示，一种交互展示***，该***包括：

展示面，用于展示影像。展示面以二维简单色彩线条构成，设有多个交互点区域，是预设的交互场景，作为常态静画面，起到了对交互者进行提示和引发交互的作用。

多个感应线圈，贴合在所述展示面上的一个交互点，用于指示展示面交互点的坐标。

服务器，用于产生用于展示的交互影像；

交互控制盒，与感应线圈连接，判断接收感应线圈的坐标信号，并且将交互点信息发送至服务器，由服务器根据交互点信息产生影像。交互控制是交互活动中的最重要环节，作用是当交互者触摸展示面上的相应位置时，按照交互触摸位置，发出经过编码的电讯号，向控制设备上层机标识触摸交互点相对于展示面的二维绝对坐标(红外、电容等触摸屏是产生相对坐标)，以便控制盒进行交互效果处理。该交互控制盒与上位机的通讯采用了通用串口通讯方式，支持PnP模式。

根据一个或多个实施例，如图7所示，所述服务器包括以下模块，

控制模块，是运行在计算机中的软件模块，作用是接收交互装置发送的交互坐标信号，根据交互设计调用虚拟场景中的模型动画，然后反馈给融合渲染设备，输出交互影像。

虚拟场景模块，用于产生与展示面的二维场景相对应的虚拟三维场景，通过交互动作，控制虚拟摄像机，对场景交互对应空间中的虚拟三维动画进行提取编码，并将其发送至投影融合模块进行统一渲染展示。

投影融合模块，是基于渲染服务器和矩阵服务器的一套软件***，不同于市场常见的独立的渲染***和矩阵视频融合***，该模块将两大***合二为一。这样的优势是在输出场景渲染的前期就根据画面输出所需要用到的投影机的矩阵排列方式，进行分布式渲染，在场景渲染的同时对融合边缘进行融合光路衰减量计算，这样只需要一次渲染就可以同时解决场景和矩阵的需要，大大节省了渲染资源。同时，通过NVIDIA GPU运算插件的应用，更好的解放了CPU 的运算能力，使得在大面积交互展项中控制更佳流畅，以目前的常用N卡配置，画面就能够达到16K以上，为科普展项节省了大量的渲染费用。

根据一个或多个实施例，交互展示***还包括投影机，服务器产生的交互影像通过投影机投射至展示面。投影机采用一体化的带有反射镜头的激光高清投影机，将经过渲染的场景动画，投影在展示面上交互的位置上。这种投影机具有高对比、高色彩解析的情况下，能够很好的适应各种科普场馆中的应用。投影机将经过渲染的场景动画，投影在交互的相关位置上，达到交互动作，科普学习的效果。

根据一个或多个实施例，所述交互展示***还包括控制电脑，控制模块装载在该控制电脑内，该控制电脑与交互控制盒连接，接收交互控制盒发送的交互坐标信息，根据交互设计调用虚拟场景中的模型动画，然后反馈给服务器，输出交互影像。交互控制盒按照交互点位置，发出经过编码的电讯号，控制电脑标识触摸交互点相对于展示面的二维绝对坐标，以便控制模块进行交互效果处理，并且支持通过USB Hub对多个交互控制盒进行多台并联使用。

根据一个或多个实施例，如图2和图7所示，一种交互展示方法，包括以下步骤：

设置一个展示面，用于展示影像；

将至少一个感应线圈贴合在所述展示面上的一个交互点，用于指示展示面交互点的坐标；

设置服务器，用于产生用于展示的交互影像；

设置一个交互控制盒，该交互控制盒与感应线圈连接，判断接收感应线圈的坐标信号，并且将交互点信息发送至服务器，由服务器根据交互点信息产生影像。

服务器包括以下模块，

控制模块，作用是接收交互控制盒发送的交互坐标信息，根据交互设计调用虚拟场景中的模型动画，然后反馈给投影融合设备，输出交互影像；

虚拟场景模块，是与展示面的二维场景相对应的虚拟三维场景，通过交互动作，控制虚拟摄像机，对场景交互对应空间中的虚拟三维动画进行提取编码，并将其发送至投影融合模块进行统一渲染展示；

投影融合模块，基于渲染服务器和矩阵服务器，将渲染***和矩阵视频融合合二为一，在输出场景渲染的前期就根据画面输出所需要用到的投影机的矩阵排列方式，进行分布式渲染，在场景渲染的同时对融合边缘进行融合光路衰减量计算，只需要一次渲染就可以同时解决场景和矩阵的需要。

根据一个或多个实施例，如图1所示，用于增强现实的交互展示装置包括：

展示面，用于展示影像或者图像；

多个感应线圈，感应线圈贴合在所述展示面的某一个交互点上；

多个触摸芯片，每个触摸芯片与对应的感应线圈连接；

微处理器，该微处理器除了与所述触摸芯片连接外，还与一个通信接口芯片连接；

电源芯片，为所述微处理器、触摸芯片和通信接口芯片供电。

所述触摸芯片、微处理器、通信接口芯片和电源芯片被集成在一个交互控制盒内的电路板上。

根据一个或多个实施例，如图2所示，交互展示装置包括展示面、交互控制盒、服务器和投影机。服务器与交互控制盒内的通信接口芯片连接，服务器与投影机连接。展示面是预设的交互场景，以二维简单色彩线条构成，作为常态静画面，起到了对交互者进行提示和引发交互的作用。

当交互者接触了展示面上的交互点感应线圈的区域时，由于感应线圈的容抗发生变化，交互控制盒接收判断交互点感应线圈对应的的展示面上交互坐标信息，然后反馈给服务器，通过投影机输出交互影像。服务器配置有多块GPU 卡，可以适应投影图像的渲染和融合计算需要。投影机是带有反射镜头的激光高清投影机，具有高对比、高色彩解析的情况下，能够很好的适应各种科普场馆中的应用。

根据一个或多个实施例，如图3所示，感应线圈的螺旋图形，感应线圈的线径为0.3毫米，用双面胶直接粘合在展示面的交互点上。

根据一个或多个实施例，如图4所示，触摸芯片采用SGL8022，该芯片的 T1管脚连接所述的感应线圈，SO管脚通过一个NPN三极管8050连接微处理器的IO口。该芯片还采用一个7805芯片给予连接供电。

根据一个或多个实施例，如图5所示，微处理器采用ATmega328P，微处理器的端口上连接2个LED，用于指示交互控制盒的工作状态。

根据一个或多个实施例，如图6所示，通信接口芯片采串口CH341T，用于与服务器的通信连接。

值得说明的是，虽然前述内容已经参考若干具体实施方式描述了本发明创造的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (15)

1.一种交互展示***，其特征在于，该***包括：

展示面，用于展示影像；

至少一个感应线圈，贴合在所述展示面上的一个交互点，用于指示展示面交互点的坐标；

服务器，用于产生用于展示的交互影像；

交互控制盒，与感应线圈连接，判断接收感应线圈的坐标信号，并且将交互点信息发送至服务器，由服务器根据交互点信息产生影像。

2.如权利要求1所述的交互展示***，其特征在于，展示面以二维简单色彩线条构成，设有至少一个交互点区域，是预设的交互场景，作为常态静画面，起到了对交互者进行提示和引发交互的作用。

3.如权利要求1所述的交互展示***，其特征在于，所述服务器包括以下模块，

控制模块，作用是接收交互控制盒发送的交互坐标信息，根据交互设计调用虚拟场景中的模型动画，然后反馈给投影融合设备，输出交互影像；

虚拟场景模块，是与展示面的二维场景相对应的虚拟三维场景，通过交互动作，控制虚拟摄像机，对场景交互对应空间中的虚拟三维动画进行提取编码，并将其发送至投影融合模块进行统一渲染展示；

投影融合模块，基于渲染服务器和矩阵服务器，将渲染***和矩阵视频融合合二为一，在输出场景渲染的前期就根据画面输出所需要用到的投影机的矩阵排列方式，进行分布式渲染，在场景渲染的同时对融合边缘进行融合光路衰减量计算，只需要一次渲染就可以同时解决场景和矩阵的需要。

4.如权利要求3所述的交互展示***，其特征在于，所述服务器通过GPU运算插件，释放CPU的运算能力。

5.如权利要求1所述的交互展示***，其特征在于，所述交互展示***还包括投影机，服务器产生的交互影像通过投影机投射至展示面。

6.如权利要求5所述的交互展示***，其特征在于，所述投影机采用一体化的带有反射镜头的激光高清投影机，将经过渲染的场景动画，投影在展示面上交互的位置上。

7.如权利要求3所述的交互展示***，其特征在于，所述交互展示***还包括控制电脑，控制模块装载在该控制电脑内，该控制电脑与交互控制盒连接，接收交互控制盒发送的交互坐标信息，根据交互设计调用虚拟场景中的模型动画，然后反馈给服务器，输出交互影像。

8.如权利要求7所述的交互展示***，其特征在于，交互控制盒按照交互点位置，发出经过编码的电讯号，控制电脑标识触摸交互点相对于展示面的二维绝对坐标，以便控制模块进行交互效果处理，并且支持通过USB Hub对多个交互控制盒进行多台并联使用。

9.如权利要求1所述的交互展示***，其特征在于，所述交互控制盒的电路包括：

至少一个触摸芯片，该触摸芯片与对应的感应线圈连接；

微处理器，该微处理器除了与所述触摸芯片连接外，还与一个通信接口芯片连接；

电源芯片，为所述微处理器、触摸芯片和通信接口芯片供电。

10.一种交互展示方法，其特征在于，包括以下步骤：

设置一个展示面，用于展示影像；

将至少一个感应线圈贴合在所述展示面上的一个交互点，用于指示展示面交互点的坐标；

设置服务器，用于产生用于展示的交互影像；

设置一个交互控制盒，该交互控制盒与感应线圈连接，判断接收感应线圈的坐标信号，并且将交互点信息发送至服务器，由服务器根据交互点信息产生影像。

11.如权利要求10所述的交互展示方法，其特征在于，展示面以二维简单色彩线条构成，设有至少一个交互点区域，是预设的交互场景，作为常态静画面，起到了对交互者进行提示和引发交互的作用。

12.如权利要求10所述的交互展示方法，其特征在于，所述服务器包括以下模块，

控制模块，作用是接收交互控制盒发送的交互坐标信息，根据交互设计调用虚拟场景中的模型动画，然后反馈给投影融合设备，输出交互影像；

虚拟场景模块，是与展示面的二维场景相对应的虚拟三维场景，通过交互动作，控制虚拟摄像机，对场景交互对应空间中的虚拟三维动画进行提取编码，并将其发送至投影融合模块进行统一渲染展示；

投影融合模块，基于渲染服务器和矩阵服务器，将渲染***和矩阵视频融合合二为一，在输出场景渲染的前期就根据画面输出所需要用到的投影机的矩阵排列方式，进行分布式渲染，在场景渲染的同时对融合边缘进行融合光路衰减量计算，只需要一次渲染就可以同时解决场景和矩阵的需要。

13.一种交互展示装置，用于增强现实的交互展示，其特征在于，该交互展示装置包括：

展示面，用于展示影像；

至少一个感应线圈，该感应线圈贴合在所述展示面的一个交互点上；

至少一个触摸芯片，该触摸芯片与对应的感应线圈连接；

微处理器，该微处理器除了与所述触摸芯片连接外，还与一个通信接口芯片连接；

电源芯片，为所述微处理器、触摸芯片和通信接口芯片供电；

所述触摸芯片、微处理器、通信接口芯片和电源芯片被集成在一个交互控制盒内。

14.如权利要求13所述的交互展示装置，其特征在于，所述交互展示装置还包括服务器和投影机，

所述服务器与所述交互控制盒内的通信连接，所述服务器与投影机连接。

15.如权利要求14所述的交互展示装置，其特征在于，所述交互展示装置还包括控制电脑，该控制电脑与交互控制盒通信连接，接收交互控制盒发送的交互坐标信息，根据交互设计调用虚拟场景中的模型动画，然后反馈给服务器，输出交互影像。