CN111580713A - 一种显示交互*** - Google Patents

Abstract

本发明实施例公开了一种显示交互***，其包括主显示设备、副显示设备和处理器，主显示设备中设置有主显控器，副显示设备中设置有副显控器；主显控器和副显控器分别对应主显示设备和副显示设备进行显示和交互检测，处理器根据交互检测得到的操作信号进行白板应用对应的显示响应，并将对应生成的显示信号发送到主显示设备和副显示设备中进行显示。通过在主显示设备和副显示设备对白板应用的显示画面进行多路或同路显示，并根据对白板应用界面相关的子窗口画面的移动操作，将子窗口画面在不同之间的显示区域进行显示切换，调整多路和同路显示的切换，从而可以根据实际交互需求进行分区操作，实现多显示屏组合的智能交互平板的多人协同操作。

Description

一种显示交互***

技术领域

本发明实施例涉及交互技术领域，尤其涉及一种显示交互***。

背景技术

随着智能化技术的发展，日常生活中人们接触的电子产品种类日益丰富，其中基于触控技术实现的交互类电子产品，因为良好的人机交互体验呈现越来全面的功能集成趋势。智能交互平板是其中一种具有代表性的一体化设备，适应于会议、教学、商业展示等群体交互场合，这种设备集成了投影机、视频会议等多种功能。

基于智能交互平板在不同的应用场景下有各种丰富的应用开发，其中白板应用是智能交互平板上一种使用频率相当高的应用，本申请将白板应用使用过程中呈现的用户界面称为白板应用界面，白板应用可以用于获取用户的手指或书写笔在白板应用界面上的操作，并根据用户的操作获取多个触摸点，根据触摸点生成用户的书写笔迹，也可以在白板应用界面上***图形、图片、表格等其他多媒体元素。

为满足越来越丰富的应用场景，智能交互平板开始通过多个显示屏组合的方式获得更好的应用效果，但是发明人在多显示屏组合的智能交互平板中使用白板应用时，白板应用只能以一个显示屏为主进行显示交互，其他显示屏只能进行屏幕的重复显示或者显示其它应用，在使用白板应用的过程中缺少基于多个显示屏的多人协同操作。

发明内容

本发明提供了一种显示交互***，以解决现有技术在多显示屏组合的智能交互平板使用白板应用缺少基于多个显示屏的多人协同操作的技术问题。

第一方面，本发明实施例提供了一种显示交互***，包括主显示设备、副显示设备和处理器，所述主显示设备中设置有主显控器，所述副显示设备中设置有副显控器；

所述处理器根据白板应用的运行，生成第一主显示信号和第一副显示信号，或生成第二主显示信号和第二副显示信号；所述第一主显示信号和第二主显示信号携带有所述白板应用的主窗口画面，所述第一副显示信号和第二主显示信号携带有所述白板应用的子窗口画面；

所述处理器将所述第一主显示信号或第二主显示信号传输至所述主显控器，将所述第一副显示信号或第二副显示信号传输至所述副显控器；

所述主显控器用于控制所述主显示设备根据所述第一主显示信号或第二主显示信号进行显示；所述副显控器用于控制所述副显示设备根据所述第一副显示信号或第二副显示信号进行显示；

所述主显控器接收作用于主显示设备的主操作信号，并将所述主操作信号发送到所述处理器；所述副显控器接收作用于副显示设备的副操作信号，并将所述副操作信号发送到所述处理器；

所述处理器根据所述主操作信号或副操作信号确认所述白板应用的运行。

上述显示交互***，包括主显示设备、副显示设备和处理器，所述主显示设备中设置有主显控器，所述副显示设备中设置有副显控器；所述处理器根据白板应用的运行，生成第一主显示信号和第一副显示信号，或生成第二主显示信号和第二副显示信号；所述第一主显示信号和第二主显示信号携带有所述白板应用的主窗口画面，所述第一副显示信号和第二主显示信号携带有所述白板应用的子窗口画面；所述处理器将所述第一主显示信号或第二主显示信号传输至所述主显控器，将所述第一副显示信号或第二副显示信号传输至所述副显控器；所述主显控器用于控制所述主显示设备根据所述第一主显示信号或第二主显示信号进行显示；所述副显控器用于控制所述副显示设备根据所述第一副显示信号或第二副显示信号进行显示；所述主显控器接收作用于主显示设备的主操作信号，并将所述主操作信号发送到所述处理器；所述副显控器接收作用于副显示设备的副操作信号，并将所述副操作信号发送到所述处理器；所述处理器根据所述主操作信号或副操作信号确认所述白板应用的运行。通过对白板应用界面相关的子窗口画面的移动操作，将子窗口画面在不同之间的显示屏之间进行显示切换，从而可以根据实际交互需求在不同的显示屏对白板应用界面进行分区操作，实现多显示屏组合的智能交互平板的多人协同操作。

附图说明

图1为本发明实施例一提供的一种显示交互***的结构示意图；

图2为本发明实施例一提供的一种显示交互***的触控输入的界面示意图；

图3为本发明实施例一提供的一种显示交互***的交互过程的流程图；

图4和图5为本发明实施例提供的子窗口画面显示内容的示意图；

图6-图13为本发明实施例提供的智能交互***的实施交互时的界面变化示意图；

图14为本发明实施例二提供的一种交互装置的结构示意图；

图15为本发明实施例三提供的一种终端设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

需要注意的是，由于篇幅所限，本申请说明书没有穷举所有可选的实施方式，本领域技术人员在阅读本申请说明书后，应该能够想到，只要技术特征不互相矛盾，那么技术特征的任意组合均可以构成可选的实施方式。

例如，在实施例一的一个实施方式中，记载了一个技术特征：子窗口画面的移动操作通过对子窗口画面的设定区域触发，在实施例一的另一个实施方式中，记载了另一个技术特征：窗口甩动过程中接触到第二类边界时以反射的方式进行速度变化。由于以上两个技术特征不互相矛盾，本领域技术人员在阅读本申请说明书后，应该能够想到，同时具有这两个特征的实施方式也是一种可选的实施方式，即对子窗口画面的设定区域触发子窗口画面的移动操作之后，在该移动操作为窗口甩动操作时，接触到第二类边界时以反射的方式进行速度变化。

另外需要注意的是，本方案的实施形态也不是实施例一中记载的所有技术特征的集合，其中某些技术特征的描述是为了方案的优化实现，实施例一中记载的若干技术特征的组合如果可以实现本方案的设计初衷，其即可作为一种未独立的实施方式，当然也可以作为一种具体的产品形态。

下面对各实施例进行详细说明。

实施例一

图1为本发明实施例一提供的一种显示交互***的结构示意图。如图1所示，该显示交互***，包括主显示设备21、副显示设备22和处理器23，所述主显示设备21中设置有主显控器211，所述副显示设备22中设置有副显控器221；

所述处理器23根据白板应用的运行，生成第一主显示信号和第一副显示信号，或生成第二主显示信号和第二副显示信号；所述第一主显示信号和第二主显示信号携带有所述白板应用的主窗口画面，所述第一副显示信号和第二主显示信号携带有所述白板应用的子窗口画面；

所述处理器23将所述第一主显示信号或第二主显示信号传输至所述主显控器211，将所述第一副显示信号或第二副显示信号传输至所述副显控器221；

所述主显控器211用于控制所述主显示设备21根据所述第一主显示信号或第二主显示信号进行显示；所述副显控器221用于控制所述副显示设备22根据所述第一副显示信号或第二副显示信号进行显示；

所述主显控器211接收作用于主显示设备21的主操作信号，并将所述主操作信号发送到所述处理器23；所述副显控器221接收作用于副显示设备22的副操作信号，并将所述副操作信号发送到所述处理器23；

所述处理器23根据所述主操作信号或副操作信号确认所述白板应用的运行。

实施例中提供的显示交互***可以由智能交互平板作为一种具体的产品形态。为了便于理解，实施例中以智能交互平板为实际载体，示例性描述该显示交互***对白板应用界面生成的子窗口画面进行移动操作、确认最终显示位置、对子窗口画面进行操作等交互实现时的详细过程。其中，智能交互平板可以是通过触控技术对显示在显示平板上的内容进行操控和实现人机交互操作的一体化设备，其集成了投影机、电子白板、幕布、音响、电视机以及视频会议终端等一种或多种功能。

在图1所示的显示交互***中，处理器23安装于主显示设备21，但是在实际操作中，主显示设备21和副显示设备22及其对应的主显控器211和副显控器221本身并没有硬件上的区别，作为两个相同的显示设备，处理器23从中选择一个实现物理结构上安装即可。主显示设备21是指显示白板应用的主窗口画面的那个显示设备，在白板应用的使用过程中，用户可以根据自身的使用习惯和具体场景从两个显示设备中选择一个进行主窗口画面的显示，显示主窗口画面的显示设备即为主显示设备21，另一个显示设备为副显示设备22。如果在使用过程中对主窗口画面的显示主体进行切换，当前主显示设备21和副显示设备22也对应进行切换。整体而言，主显示设备21和副显示设备22不是对两个显示设备完全固定的定义，而是根据其显示内容的实时定义(显示白板应用的主窗口画面的显示设备为主显示设备)。

在上述实施例的基础上，所述主操作信号为所述子窗口画面从主显示设备移动到所述副显示设备的操作信号时，所述处理器生成第一主显示信号和第一副显示信号。

此外，所述副操作信号为所述子窗口画面从副显示设备移动到所述主显示设备的操作信号时，所述处理器生成第二主显示信号和第二副显示信号。

当在主显示设备检测到子窗口画面从主显示设备移动到副显示设备的操作信号，或者在副显示设备检测到子窗口画面从副显示设备移动到主显示设备的操作信号，表示子窗口画面的显示主体需要发生变化，此时处理器作为对白板应用的操作的响应，根据显示主体的变化重新生成对应的显示信号，显示信号中的主要变化在于将子窗口画面显示于副显示设备(主窗口画面和子窗口画面在不同显示设备中显示)，或者将子窗口画面显示于主显示设备(主窗口画面和子窗口画面在同一显示设备中显示)。

在另一种操作中，所述主操作信号为所述子窗口画面在所述主显示设备中的主移动操作信号时，所述处理器根据所述主移动操作信号更新所述子窗口画面在所述主显示设备中的显示位置，并对应更新所述第二主显示信号。

此外，所述副操作信号为所述子窗口画面在所述副显示设备中的副移动操作信号时，所述处理器根据所述副移动操作信号更新所述子窗口画面在所述副显示设备中的显示位置，并对应更新所述第一副显示信号。

在子窗口画面的显示主体发生切换时，显示信号需要进行对应的变化，而子窗口画面检测到显示主体内部的移动操作信号时，显示信号同样需要根据对应操作进行更新，更新的主要内容在于子窗口画面在显示主体中的显示位置。当然还有其它对主窗口画面和子窗口画面中的内容更新，也会导致显示信号的更新，内容更新过程不是本方案的重点，在此不单独阐述。

在具体的移动过程，所述主操作信号或副操作信号对应的末端移动速度大于预设的门限值时，所述处理器基于所述末端移动速度和预设的加速度持续更新所述子窗口画面的显示位置。在本方案中的显示交互***中，在末端移动速度大于预设的门限值，即在甩动速度范围内，则确认该移动操作为窗口甩动操作，在操作信号对应的触控操作结束之后，依然按设定的加速度控制持续子窗口画面减速移动，直至移动速度为零。

在减速移动过程中，为保证子窗口画面在主显示设备或副显示设备中的完整显示，当所述子窗口画面接触到所述主显示设备或副显示设备的边界，且移动方向没有副显示设备或主显示设备时，以所述边界为反射面改变所述子窗口画面的移动方向。

在具体的显示过程中，因为主窗口画面全屏显示，为了保证子窗口画面的正常显示，所述子窗口画面在所述主显示设备置顶显示。

此外，为了保证子窗口画面在副显示设备中显示时，其它应用界面的正常显示，所述子窗口画面在所述副显示设备与其他应用界面的显示优先级相同。

在子窗口画面的显示过程，所述处理器还用于接收子窗口调整操作，并根据所述子窗口操作对所述子窗口画面的显示状态和/或显示内容进行调整。

以下是针对具体的设备和应用场景，对本方案中显示交互***的综合描述。如图2所示，本申请中主要针对由至少两块显示屏组成的智能交互平板1。在本方案的实施例中主要基于两块显示屏(第一显示屏11和第二显示屏12)进行描述，在后续的描述中，第一显示屏11作为主显示设备，第二显示屏12作为副显示设备。智能交互平板1配置有两块具有触摸功能的显示屏，且该显示屏可以是电容屏、电阻屏或者电磁屏。在本实施例中提供的智能交互平板，进一步的，用户可以通过手指或触控笔触控显示屏的方式实现触控操作，相应的，智能交互平板1检测触控位置，并根据触控位置进行响应，以实现触控功能。典型的，智能交互平板1安装有至少一种操作***，其中，操作***包括但不限定于安卓***、Linux***及Windows***。进一步的，智能交互平板1可以安装至少一个具有书写功能的应用程序。其中，该应用程序可以为操作***自带的应用程序，同时，也安装有从第三方设备或者服务器中下载的应用程序。可选的，应用程序除具备书写功能外，还具有其他编辑功能，如***表格、***图片、插图图形、绘制表格、绘制图形等功能。其中，绘制得到的表格或图形为计算机绘制标准元素。计算机绘制标准元素可以理解为由智能交互平板绘制的印刷体标准元素，其区别于用户书写的元素。

在电子白板、电子黑板、数位板、智能会议平板等智能手写设备配置的触摸屏上，设置有用于响应用户的书写操作来显示输入内容的书写区域，在该书写区域进行书写时，如通过触控笔或手指接触触摸屏，触摸屏可以感应到电流的变化、电压的变化或磁通量的变化(对应于电容式触摸屏、电阻式触摸屏或电磁式触摸屏的具体设置类型)，得到含有触摸位置的坐标的触摸信号以及该触摸信号的触发时间，根据触摸位置的坐标以及触摸信号的触发时间，可以得到触控笔或用户手指每次按下书写至抬起停止书写过程中输入的书写轨迹的轨迹数据，根据轨迹数据在触摸屏的书写区域实时显示用户输入的书写轨迹。当然，书写过程不限于写字，在智能手写设备的触摸屏实现的任何用于显示操作轨迹的录入过程均可视为书写过程。此外根据触摸操作的发生位置的显示元素的不同，触摸操作可以响应为用户的点击、拖拽等操作。这些不同的响应方式在底层的坐标处理方式是相同的。通常来说，触摸书写发生的区域与显示所在的区域重合。基于触摸和显示等基本功能的硬件实现，在智能交互平板上进一步可以实现白板应用的功能，本方案各实施例即为前文所述的显示交互***中白板应用的方案实现。

本方案进一步是在多显示屏组成的智能交互平板中实现白板应用时的交互方案，具体来说，智能交互平板的至少两个显示屏中的一个显示屏全屏显示有白板应用界面(即主窗口画面)，所述至少两个显示屏中的一个显示屏显示有所述白板应用界面生成的子窗口画面。

应用界面指一个应用用于接收和/或展示信息的交互界面，例如视频播放类的应用，其交互界面主要用于展示变化的视频画面；实时通信类的应用，其交互界面主要用于接收近端用户输入的内容和展示远端用户输入的内容；文件编辑类的应用，其交互界面主要用于接收用户输入的内容并进行展示；浏览器类的应用，其交互界面主要用于接收用户输入的关键字并展示基于该关键字得到的网页内容。

在本实施例中，具体针对的应用界面是指白板应用使用过程中呈现的用户界面，即白板应用界面。如前所述，白板应用指供用户进行书写、展示等操作的应用，可以用于根据用户在白板应用界面上的书写轨迹生成书写笔迹，也可以用于在白板应用界面上***图形、图片、表格等其他多媒体元素。在白板应用界面中，用户可以实现与实体黑板类似的写、画、擦除等操作，并进一步有更好的移动、保存、缩放、***图片、颜色调整、笔画粗细设置等数字化功能。在白板应用中基于书写的操作是现有技术的成熟实现，在本方案中不做详细说明。在实际应用中，白板应用也可以命名为书写应用、电子白板应用、协同白板应用等名称，不管名称如何改变，只要用于实现上述功能的应用，均等同于本申请的白板应用。

在使用白板应用的过程中，白板应用通常在一个显示屏中全屏显示，本实施例中白板应用在第一显示屏11中显示。请参考图2，在白板应用界面中显示的内容除了使用过程中书写添加的内容和***显示的内容(图2中未示出)，还有对应各种对以上的内容进行操作的工具控件，这些工具控件在白板应用界面中常态显示在工具栏111，本方案的示例描述中，工具栏111显示在白板应用界面的底部，在实际布局时也可以在左侧和/或右侧，甚至是左侧、右侧和底部的综合显示。工具栏111中有些工具控件对应实体黑板功能的数字化实现，例如书写、擦除、翻页(部分实体黑板才有)等，还有些工具控件是在白板应用基础上实现的功能补充控件，例如取消输入、还原输入、笔迹选中、***等。为实现多人协调操作，在第二显示屏12的底部也设置有工具栏121，相比于第一显示屏11作为白板应用界面的显示主体，第二显示屏12需要执行的操作相对较少，其工具栏121中的控件也会相对少一些。

子窗口画面是白板应用界面上的一个显示区域，在该显示区域可以显示不同的内容。如图4所示，在子窗口画面112中显示的是通过白板应用界面中的文件展示操作选中的一个文件；如图5所示，在子窗口画面115中显示的是通过元素选择操作从白板应用界面中当前显示的显示元素113和显示元素114中选中的显示元素114，当然，元素选择操作也可以从白板应用界面选中多个元素；此外，子窗口画面还可以显示白板应用界面的一整个页面等。在白板应用界面中较少对文件进行正式修改，更多实现的是内容展示、实时批注和记录沟通内容，因此，在子窗口画面中可以只保留实现内容展示、实时批注和记录沟通内容的基本控件。适应于各种不同的显示内容(进一步还有文件类型的不同)，不同的显示内容对应的子窗口画面只是基本的设计风格相同，在具体的实现上，有多种对应不同显示内容的底层实现和基本控件的区别，例如文档文件对应的子窗口画面，其核心封装的是图片浏览控件(以单页截图的方式在子窗口画面中逐页显示文档文件)，基本控件对应有翻页等；网页文件对应的文件展示窗口，其核心封装的是网页浏览器控件，基本控件对应有网址输入框等。以上关于白板应用交互过程中的画面生成均通过显示交互***的处理器完成，并最终发送到对应的显示屏进行显示。

具体的，参考图3，在该显示交互***中实现的白板应用的交互方法具体包括：

步骤S101：接收在所述子窗口画面上的窗口移动操作。

在触摸设备中的操作大多通过触控操作实现，本方案中的窗口移动操作通过对子窗口画面的设定区域(例如顶部一定宽度范围内、角落的某个区域)的直接触控或对子窗口画面中任意位置的长按触控(例如1S)触发，即在以上位置检测到对应的触控起始动作，则确认触发窗口移动操作，并根据窗口移动操作的移动轨迹和触控参数对子窗口画面的显示位置进行响应。在本实施例的具体描述中，结合附图以对顶部的直接触控进行子窗口画面的位置变化的详细说明。窗口移动操作通过主显控器或副显控器检测，具体通过主显控器还是副显控器由子窗口画面的显示位置确认，即子窗口画面显示于主显示设备，则对应由主显控器检测触控操作得到主操作信号，子窗口画面显示于副显示设备，则对应由副显控器检测触控操作得到副操作信号。主操作信号和副操作信号都发送到处理器进行对应响应。

步骤S102：跟随所述窗口移动操作调整所述子窗口画面的显示位置。

窗口移动操作从移动范围来说主要有两类，一类是跨显示屏的移动，另一类是显示屏内的移动。

窗口移动操作的移动轨迹实质是触摸点位置变化路线，在窗口移动操作触发时，触摸点即与子窗口画面建立位置上的关联关系，根据触摸点的位置变化趋势，子窗口画面的显示位置做对应的平移，即完成子窗口画面的显示位置的调整过程。

触摸点的位置可以在一个显示屏内自由变化，但是在本方案的使用场景(多显示屏拼接的智能交互平板)中，子窗口画面的移动过程收到该使用场景下的交互需求的约束。具体而言，在子窗口画面与显示屏的边界没有接触时，子窗口画面跟随触摸点的位置变化自由移动，在子窗口画面与显示屏的边界有接触时，子窗口画面根据边界的类型进行与触摸点的移动做不完全一致的位置调整。

具体来说，如果子窗口画面在位置调整过程中发生与显示屏的边界的接触，需要判断接触的类型，并对应有以下两种移动方式：

确认所述子窗口画面在跟随调整过程中与所述智能交互平板的第一类边界接触，响应于垂直朝向所述第一类边界的方向上的移动分量，所述子窗口画面跨显示屏显示；

确认所述子窗口画面在跟随调整过程中与所述智能交互平板的第二类边界接触，停止响应所述窗口移动操作在垂直朝向所述第二类边界的方向上的移动分量；

所述第一类边界为两个所述显示屏相邻的公共侧边所确定的边界，所述第二类边界为所述公共侧边相邻和相对的侧边所确定的边界。

当所述子窗口画面接触到所述主显示设备或副显示设备的边界，且移动方向没有副显示设备或主显示设备时，以所述边界为反射面改变所述子窗口画面的移动方向。对于多显示屏组成的智能交互平板而言，存在显示屏相邻的情况，两个显示屏相邻的两条侧边定义为公共侧边，子窗口画面在接触到公共侧边之后，可以继续移动进入相邻的显示屏，在显示屏中，公共侧边确定的显示边界为第一类边界；子窗口在某些移动方向可能不存在相邻的显示屏，在这个方向上接触到侧边之后，无法在保持前行状态的同时保持完整显示，这一类不与其它显示屏相邻的侧边确定的显示边界为第二类边界，一个显示屏中的侧边不是第一类边界即为第二类边界。对于一个多显示屏组成的智能交互平板而言，其中位于智能交互平板外周的显示屏都存在不与其它显示屏相邻的侧边，即这一类智能交互平板都存在第一类边界和第二类边界，而对于四周均存在相邻显示屏的显示屏而言，其每条侧边均为公共侧边，即该显示屏的边界均为第一类边界。所以对于一个智能交互平板而言，其每个显示屏均存在第二类边界，但是有可能部分显示屏不存在第二类边界。当然，如果要出现不存在第二类边界的显示屏，该智能交互平板至少包括9(3×3)个显示屏，在单一显示屏的尺寸越来越大的趋势下，这种设计对智能交互平板所针对的应用场景下的显示和交互已经不太合适，通常不会有这种布局的智能交互平板进行白板应用的展示。

如果子窗口画面在跟随移动过程中接触到第一类边界，则用户有控制该子窗口画面向相邻的显示屏移动的趋势，响应于该趋势，将子窗口画面逐步移动到相邻的显示屏进行显示，开始逐步实现子窗口画面的跨屏。如果子窗口画面在跟随移动过程中接触到第二类边界，在窗口移动操作保持该移动趋势下控制子窗口画面继续响应移动将会导致部分从显示屏中消失，此时停止响应所述窗口移动操作在垂直朝向所述第二类边界的方向上的移动分量，也就是说将窗口移动操作分解为垂直该第二类边界的移动分量和平行于第二类边界的移动分量，其中垂直于第二类边界的移动分量不予响应，只响应平行与第二类边界的移动分量做贴着第二类边界的移动。

步骤S103：在所述窗口移动操作的目标位置显示所述子窗口画面，所述子窗口画面完整显示于所述至少两个显示屏中的一个显示屏。

在多显示屏组成的智能交互平板的应用场景下，显示屏受先天结构影响，结构上的侧边带来的显示屏内的显示边界暂时不可消除，触控操作也很难跨显示屏执行，为保证显示和交互效果以及后续的协同操作，子窗口画面应该在一个显示屏内完整显示。如果子窗口画面在窗口移动操作后直接确定的位置显示是在一个显示屏内完整显示，则该位置为目标位置，直接显示于此即可；如果子窗口画面在窗口移动操作后直接确定的位置显示是跨显示屏显示，则由子窗口画面在不同显示屏内的显示比例确认调整到哪个显示屏显示，即窗口移动操作的目标位置需要根据显示比例重新确认。

根据窗口移动操作的触控参数(尤其是末端移动速度)的不同，可以将窗口移动操作的移动类型进一步细分为两类，即窗口拖拽操作和窗口甩动操作。对于窗口拖拽操作，操作停止即为跟随移动的过程停止，并以此时子窗口画面是否整体在一个显示屏内判断是否需要对子窗口画面的位置进行调整。对于窗口甩动操作，操作停止之后子窗口画面会有一个跟随触摸移动结束时触摸点的移动方向进行减速运动的过程，直到速度降为零，以子窗口画面在速度降到零时是否整体在一个显示屏内判断是否需要对子窗口画面的位置进行调整。因为多显示屏组成的智能交互平板的尺寸通常会比较大，通过窗口甩动操作可以通过较小的动作实现较大的距离的移动，简化交互动作。

对应于末端移动速度在预设的拖拽速度范围内的窗口移动操作，确认为窗口拖拽操作；

对应的，所述在所述窗口移动操作的目标位置显示所述子窗口画面，包括：

若所述窗口移动操作结束时，所述子窗口画面完整显示于一个显示屏，则保持所述子窗口画面的显示位置；

若所述窗口移动操作结束时，所述子窗口画面跨显示屏显示，则将所述子窗口画面整体平移到显示比例最大的显示屏中显示。

对应于末端移动速度在预设的甩动速度范围内的窗口移动操作，确认为窗口甩动操作；

对应的，所述在所述窗口移动操作的目标位置显示所述子窗口画面，包括：

基于所述末端移动速度按预设的加速度继续移动所述子窗口画面；

如果继续移动过程中所述子窗口画面与所述第二类边界接触，则以所述第二类边界为反射面改变所述子窗口画面的移动方向；

若所述子窗口画面的移动速度为零时，所述子窗口画面完整显示于一个显示屏，则保持所述子窗口画面的显示位置；

若所述子窗口画面的移动速度为零时，所述子窗口画面跨显示屏显示，则将所述子窗口画面整体平移到显示比例最大的显示屏中显示。

对于窗口拖拽动作和窗口甩动操作，二者的主要区别在于触摸点消失之后是否有继续的移动，而是否有继续移动则有触摸点消失时的移动速度确认，如果移动速度在拖拽速度范围内，则没有继续的移动，如果移动速度在甩动速度范围内，则有继续的移动，二者可以通过一个速度门限值进行判断，从交互习惯考虑，拖拽速度小于甩动速度。至于所有的移动结束之后目标位置的确认机制相同，即如果完整显示于一个显示屏，则保持这一显示状态；如果跨屏显示，则调整到显示屏比例最大的显示屏中做整体显示。

关于窗口甩动操作的继续移动过程，根据触摸点消失时的运动速度和预设的加速度进行控制，其中主要考虑移动过程中与第二类边界接触的情况，此时可以以第二类边界为反射面改变速度的方向，保留速度的值。具体来说基于子窗口画面与第二类边界的接触点构建法线，速度改变前后位于法线的两侧且与法线的夹角相同，子窗口画面以改变后的速度和加速度继续做减速运动，直至速度为零。

在上述实施例的基础上，若所述子窗口画面与所述白板应用界面显示于同一显示屏，所述子窗口画面在所述白板应用界面上显示；

若所述子窗口画面与所述白板应用界面显示于不同的显示屏，所述子窗口画面与所在显示屏中显示的应用界面的显示优先级相同。

对于子窗口画面而言，在白板应用界面可以进一步将其显示层级固定为置顶显示。具体来说，在白板应用界面之上显示的子窗口画面，不会因为对其它显示于子窗口画面之外的显示元素的操作，而导致子窗口画面改变显示层级，使得子窗口画面在其存在周期内，只能被其它子窗口画面遮挡，而不会被子窗口画面之外的其他类(例如书写轨迹、***的图片、***的表格)显示元素影响其显示。如果子窗口画面与白板应用界面显示于不同的显示屏，则子窗口画面与显示屏中显示的应用界面的显示优先级相同，即哪个(子窗口画面或应用界面)作为当前的操作焦点，哪个显示于最上层，当前显示于最上层的关闭之后，前一个作为操作焦点的显示于最上层。

在上述实施例的基础上，该交互方法，还包括：

接收在所述子窗口画面的调整操作，对所述子窗口画面的显示状态和/显示内容进行调整。

在子窗口画面的调整操作可以细分为状态调整操作和内容调整操作。状态调整操作主要包括窗口最大化、窗口最小化、窗口还原、窗口关闭等；内容调整操作主要包括添加书写笔迹、删除书写笔迹等。

进一步以图6所示的显示状态为基础，结合图7-图13对本方案做示例性说明。在图6中，子窗口画面116显示于第一显示屏11，基于工具栏111可以确认白板应用界面也显示于第一显示屏11。

在图6基础上结合图7和图8，是窗口拖拽操作的一次实现过程。在图7中，子窗口画面116响应于窗口移动操作进行移动，当触摸点消失时，检测到触摸点的速度在拖拽速度范围内，确认该窗口移动操作为窗口拖拽操作。子窗口画面116d处于跨屏显示状态并且不需继续运动，此时子窗口画面116d的40％显示于第一显示屏11，60％显示于第二显示屏12，此时第二显示屏12中的显示比例最大，由此如图8所示，子窗口画面116e整体显示到第二显示屏12中。

在图6基础上结合图9和图10，是窗口甩动操作的一次实现过程。在图9中，子窗口画面116响应于窗口移动操作进行移动，当触摸点消失时，检测到触摸点的速度在甩动速度范围内，确认该窗口移动操作为窗口甩动操作。子窗口画面116f跨屏显示并且需要继续运动，子窗口画面116g停下来时，子窗口画面116g的55％显示于第一显示屏11，45％显示于第二显示屏12，此时第一显示屏11中的显示比例最大，由此如图10所示，子窗口画面116h整体显示到第一显示屏11中。

在图6基础上结合图11，是窗口拖拽操作的一次常规实现过程，子窗口画面116响应于窗口拖拽操作，移动得到子窗口画面116a。在子窗口画面116跟随移动过程接触到第二类边界时，贴着第二类边界进行移动即可，如果窗口拖拽操作存在远离第二类边界的分量，则向第一显示屏11的中心移动。

在5的基础上结合图12和图13，是窗口甩动操作的又一实现过程。子窗口画面116响应于窗口移动操作进行跟随移动，得到子窗口画面116b之后触摸点消失，当触摸点消失时，检测到触摸点的速度在甩动速度范围内，确认该窗口移动操作为窗口甩动操作。子窗口画面116b完整显示于第一显示屏11，并且需要继续移动，在继续移动过程中接触到第二类边界之后，以第二类边界为反射面进行速度变化，并以变化后的速度继续做减速运动，直到速度为零得到子窗口画面116c。上述速度变化过程可以参考图13，子窗口画面与第二类边界的接触点为A，v1为接触时的速度，v2为变化后的速度，变化前后的速度位于法线的两侧，并且与法线的夹角均为α。

在本实施例中的描述是针对一次实施过程中尽可能多的操作，而不是一个唯一的实施方案的描述。在一次实施过程，可能只应对一个需求进行操作和响应，例如跨屏甩动；也可能应对多个需求进行操作和响应，并且顺序并不一定与方案中的描述相同，在不脱离本方案核心设计思想的情况下，均可视为本方案的实施。例如将子窗口画面从其他显示屏移动到白板应用界面所在的显示屏。

在现有技术中，触控操作的检测和画面的显示是成熟的技术，在本方案中未特别阐述。前文所述操作类型的判断、响应、画面的生成等，均是通过处理器实现，即具体实现过程更多是基于处理器角度的操作信号接收、响应和画面生成过程。

上述显示交互***，包括主显示设备、副显示设备和处理器，所述主显示设备中设置有主显控器，所述副显示设备中设置有副显控器；所述处理器根据白板应用的运行，生成第一主显示信号和第一副显示信号，或生成第二主显示信号和第二副显示信号；所述第一主显示信号和第二主显示信号携带有所述白板应用的主窗口画面，所述第一副显示信号和第二主显示信号携带有所述白板应用的子窗口画面；所述处理器将所述第一主显示信号或第二主显示信号传输至所述主显控器，将所述第一副显示信号或第二副显示信号传输至所述副显控器；所述主显控器用于控制所述主显示设备根据所述第一主显示信号或第二主显示信号进行显示；所述副显控器用于控制所述副显示设备根据所述第一副显示信号或第二副显示信号进行显示；所述主显控器接收作用于主显示设备的主操作信号，并将所述主操作信号发送到所述处理器；所述副显控器接收作用于副显示设备的副操作信号，并将所述副操作信号发送到所述处理器；所述处理器根据所述主操作信号或副操作信号确认所述白板应用的运行。通过对白板应用界面相关的子窗口画面的移动操作，将子窗口画面在不同之间的显示屏之间进行显示切换，从而可以根据实际交互需求在不同的显示屏对白板应用界面进行分区操作，实现多显示屏组合的智能交互平板的多人协同操作。

实施例二

图14为本发明实施例二提供的一种显示交互装置的结构示意图。参考图14，该显示交互装置包括：移动接收单元201、跟随显示单元202和目标显示单元203。

其中，所述智能交互平板包括至少两个显示屏，所述至少两个显示屏中的一个显示屏全屏显示有白板应用界面，所述至少两个显示屏中的一个显示屏显示有所述白板应用界面生成的子窗口画面；在所述交互装置中，移动接收单元201，用于接收在所述子窗口画面上的窗口移动操作；跟随显示单元202，用于跟随所述窗口移动操作调整所述子窗口画面的显示位置；目标显示单元203，用于在所述窗口移动操作的目标位置显示所述子窗口画面，所述子窗口画面完整显示于所述至少两个显示屏中的一个显示屏。

在上述实施例的基础上，所述跟随显示单元202，包括：

第一跟随模块，用于确认所述子窗口画面在跟随调整过程中与所述智能交互平板的第一类边界接触，响应于垂直朝向所述第一类边界的方向上的移动分量，所述子窗口画面跨显示屏显示；

第二确认模块，用于确认所述子窗口画面在跟随调整过程中与所述智能交互平板的第二类边界接触，停止响应所述窗口移动操作在垂直朝向所述第二类边界的方向上的移动分量；

所述第一类边界为两个所述显示屏相邻的公共侧边所确定的边界，所述第二类边界为所述公共侧边相邻和相对的侧边所确定的边界。

在上述实施例的基础上，所述窗口移动操作包括窗口拖拽操作，所述窗口拖拽操作的末端移动速度在预设的拖拽速度范围内；

对应的，所述目标显示单元203，包括：

第一显示模块，用于若所述窗口移动操作结束时，所述子窗口画面完整显示于一个显示屏，则保持所述子窗口画面的显示位置；

第二显示模块，用于若所述窗口移动操作结束时，所述子窗口画面跨显示屏显示，则将所述子窗口画面整体平移到显示比例最大的显示屏中显示。

在上述实施例的基础上，所述窗口移动操作包括窗口甩动操作，所述窗口甩动操作的末端移动速度在预设的甩动速度范围内；

对应的，所述目标显示单元203，包括：

减速移动模块，用于基于所述末端移动速度按预设的加速度继续移动所述子窗口画面；

第三显示模块，用于若所述子窗口画面的移动速度为零时，所述子窗口画面完整显示于一个显示屏，则保持所述子窗口画面的显示位置；

第四显示模块，用于若所述子窗口画面的移动速度为零时，所述子窗口画面跨显示屏显示，则将所述子窗口画面整体平移到显示比例最大的显示屏中显示。

在上述实施例的基础上，所述减速移动模块，包括：

反射变向子模块，用于如果继续移动过程中所述子窗口画面与所述第二类边界接触，则以所述第二类边界为反射面改变所述子窗口画面的移动方向。

在上述实施例的基础上，所述显示交互装置，还包括：

置顶显示单元，用于若所述子窗口画面与所述白板应用界面显示于同一显示屏，所述子窗口画面在所述白板应用界面上显示；

同级显示单元，用于若所述子窗口画面与所述白板应用界面显示于不同的显示屏，所述子窗口画面与所在显示屏中显示的应用界面的显示优先级相同。

在上述实施例的基础上，所述显示交互装置，还包括：

窗口调整单元，用于接收在所述子窗口画面的调整操作，对所述子窗口画面的显示状态和/显示内容进行调整。

本发明实施例提供的显示交互装置由处理器运行，且可用于执行上述实施例一中提供的任一显示交互方法，具备相应的功能和有益效果。

实施例三

图15为本发明实施例三提供的一种终端设备的结构示意图，该终端设备是前文所述显示交互***的一种具体的硬件呈现方案。如图15所示，该终端设备包括处理器310、存储器320、输入装置330、输出装置340以及通信装置350；终端设备中处理器310的数量可以是一个或多个，图15中以一个处理器310为例；终端设备中的处理器310、存储器320、输入装置330、输出装置340以及通信装置350可以通过总线或其他方式连接，图15中以通过总线连接为例。

存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的显示交互方法对应的程序指令/模块(例如，显示交互装置中的移动接收单元201、跟随显示单元202和目标显示单元203)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述的显示交互方法。

存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置330可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。

上述终端设备包含显示交互装置，可以用于执行***示交互方法，具备相应的功能和有益效果。

实施例四

本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本申请任意实施例中提供的显示交互方法中的相关操作，且具备相应的功能和有益效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。

因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种显示交互***，其特征在于，包括主显示设备、副显示设备和处理器，所述主显示设备中设置有主显控器，所述副显示设备中设置有副显控器；

所述处理器根据白板应用的运行，生成第一主显示信号和第一副显示信号，或生成第二主显示信号和第二副显示信号；所述第一主显示信号和第二主显示信号携带有所述白板应用的主窗口画面，所述第一副显示信号和第二主显示信号携带有所述白板应用的子窗口画面；

所述处理器将所述第一主显示信号或第二主显示信号传输至所述主显控器，将所述第一副显示信号或第二副显示信号传输至所述副显控器；

所述主显控器用于控制所述主显示设备根据所述第一主显示信号或第二主显示信号进行显示；所述副显控器用于控制所述副显示设备根据所述第一副显示信号或第二副显示信号进行显示；

所述主显控器接收作用于主显示设备的主操作信号，并将所述主操作信号发送到所述处理器；所述副显控器接收作用于副显示设备的副操作信号，并将所述副操作信号发送到所述处理器；

所述处理器根据所述主操作信号或副操作信号确认所述白板应用的运行。

2.根据权利要求1所述的显示交互***，其特征在于，所述主操作信号为所述子窗口画面从主显示设备移动到所述副显示设备的操作信号时，所述处理器生成第一主显示信号和第一副显示信号。

3.根据权利要求1所述的显示交互***，其特征在于，所述副操作信号为所述子窗口画面从副显示设备移动到所述主显示设备的操作信号时，所述处理器生成第二主显示信号和第二副显示信号。

4.根据权利要求1所述的显示交互***，其特征在于，所述主操作信号为所述子窗口画面在所述主显示设备中的主移动操作信号时，所述处理器根据所述主移动操作信号更新所述子窗口画面在所述主显示设备中的显示位置，并对应更新所述第二主显示信号。

5.根据权利要求1所述的显示交互***，其特征在于，所述副操作信号为所述子窗口画面在所述副显示设备中的副移动操作信号时，所述处理器根据所述副移动操作信号更新所述子窗口画面在所述副显示设备中的显示位置，并对应更新所述第一副显示信号。

6.根据权利要求1所述的显示交互***，其特征在于，所述主操作信号或副操作信号对应的末端移动速度大于预设的门限值时，所述处理器基于所述末端移动速度和预设的加速度持续更新所述子窗口画面的显示位置。

7.根据权利要求6所述的显示交互***，其特征在于，当所述子窗口画面接触到所述主显示设备或副显示设备的边界，且移动方向没有副显示设备或主显示设备时，以所述边界为反射面改变所述子窗口画面的移动方向。

8.根据权利要求1所述的显示交互***，其特征在于，所述子窗口画面在所述主显示设备置顶显示。

9.根据权利要求1所述的显示交互***，其特征在于，所述子窗口画面在所述副显示设备与其他应用界面的显示优先级相同。

10.根据权利要求1所述的显示交互***，其特征在于，所述处理器还用于接收子窗口调整操作，并根据所述子窗口操作对所述子窗口画面的显示状态和/或显示内容进行调整。

Images