CN113253965A

CN113253965A - 海量数据多视口可视化交互方法、***、设备及存储介质

Info

Publication number: CN113253965A
Application number: CN202110707389.3A
Authority: CN
Inventors: 陈呈; 王昉; 赵丹; 邓亮; 杨超; 胡言
Original assignee: Computational Aerodynamics Institute of China Aerodynamics Research and Development Center
Current assignee: Computational Aerodynamics Institute of China Aerodynamics Research and Development Center
Priority date: 2021-06-25
Filing date: 2021-06-25
Publication date: 2021-08-13
Anticipated expiration: 2041-06-25
Also published as: CN113253965B

Abstract

本发明公开了一种海量数据多视口可视化交互方法、***、设备及存储介质，该方法包括：S1：根据鼠标的操作对渲染器进行同步；S2：根据可视分析需求创建并显示视口；S3：对视口进行布局；S4：根据视***跃状态切换视口。本发明能够充分利用当前超级计算机体系结构，实现多视口图像服务器端并行绘制和客户端与服务器端同步绘制，使得海量数据可视化在多视口情况下能够保持实时交互效率。

Description

海量数据多视口可视化交互方法、***、设备及存储介质

技术领域

本发明属于科学可视化技术领域，尤其涉及海量数据多视口可视化交互方法、***、设备及存储介质。

背景技术

随着巨型计算机技术的不断发展，科学数值模拟的计算精度不断提高、网格规模不断增大，所产生的科学数据量已经达到了PB甚至EB量级，如何能够有效的分析与理解这些大规模科学数据已经成为目前科学家们所面临的一个重要难题。科学计算可视化是帮助科学家们分析与理解大规模科学数据的有效方法之一，它是指运用计算机图形学和图像处理技术，将科学计算的输出数据和一些其它领域通过观察测试生成的数据转换为图形和图像，最终在屏幕上显示出来并进行交互处理的理论、方法和技术。而对于这些大规模科学计算数据的可视化处理，仅仅依赖单台计算机本身存储空间的扩大、计算速度的提升，不能够满足大规模数科学数据可视化的应用需求。因此，利用高性能并行计算机***进行并行可视化处理已成为目前大规模科学数据分析的有效手段。

“视口”是指以不同形式显示视图的区域。对一些场景比较宏大、目标模型繁多、关注对象多变的***进行显示时，用单视口方式对全景及单个目标模型进行漫游式观察已远远不能满足用户的需求。多个视口可显示图形的不同部分，也可在一个视口中显示完整图形。多视口功能是在显示程序框架中构建多个视图区域，从而可以将不同模型或是模型的不同部分同时在不同的视图区域中进行显示，实现多个模型同时观察的目的。在大型或复杂图形中，用多视口显示不同的视图，可随时缩放进行绘制、编辑图形，可以缩短在单一视口中存在的缩放或平移图形的时长。

人和显示设备的局限性导致无法一次性显示所有数据信息。一副静态的图像只能显示数据一部分特征，这就需要一定的交互手段支持选择不同的区域、显示的信息以及显示的方式等。而且一般可视化的结果是通过屏幕显示的二维图片，丢失了重要的深度信息，这使得用户观察三维数据结构变得不直观，且容易导致认知错误。这就需要交互手段支持用户从任意角度观察数据，形成准确的认识，从而进一步分析数据。因此，交互也被普遍认为是科学可视化过程中必不可少的组成部分。在海量数据探索式交互过程中，需要大量人的参与。如何通过一定的优化技术为用户提供流畅的交互反馈，是海量数据高效可视化的关键问题之一。

现有方案中，针对大规模复杂场景绘制的应用需求，专利CN 101986710 A中提出一种基于sort-last体系结构的并行绘制***，该***由PC集群***构成，包括一个融合节点和若干绘制节点，节点间通过局域网相连，绘制节点负责各自场景的绘制，融合节点负责汇总各绘制节点形成的场景和相应的像素深度图像，并依据图像深度信息最终融合形成最终图像输出。专利CN 101789132 A提供了一种单视图多OpenGL视口显示的方法，包括设置多个OpenGL视口，确定各自在视图中所处的位置及大小，并对每个OpenGL视口使用独立的正投影矩阵，将模型坐标经过变换后分别显示在对应的视口中，最后，当鼠标操作时，检测鼠标当前位置，判断发生操作响应的视口和操作类型，并作出响应。

上述方案与本发明的技术较为接近，专利CN 101986710 A解决了海量数据可视化的绘制问题，然而并没有解决海量流场可视化的交互问题。专利CN 101789132 A解决了多视口显示问题，能有效解决同一时间内只能查看一个视口细节的问题，然而并没有解决因视口太多造成的绘制开销大造成交互响应延迟等问题，而且该方法不能适用于在高性能计算机体系架构。

综上，现有技术的显示方法都不能完成在高性能计算机***上显示多个部件、进行流畅交互功能。

发明内容

本发明的目的在于，为克服现有技术缺陷，提供了一种海量数据多视口可视化交互方法、***、设备及存储介质,该方法能够充分利用当前超级计算机体系结构，实现多视口图像服务器端并行绘制和客户端与服务器端同步绘制，使得海量数据可视化在多视口情况下能够保持实时交互效率。

本发明目的通过下述技术方案来实现：

海量数据多视口可视化交互方法，包括：

S1：根据鼠标的操作对渲染器进行同步；

S2：根据可视分析需求创建并显示视口；

S3：对视口进行布局；

S4：根据视***跃状态切换视口。

进一步的，步骤S1包括以下子步骤：

S11：当客户端发生鼠标操作时，判断鼠标操作类型，在客户端创建该操作的变换矩阵；

S12：将变换矩阵发送至服务器主进程，服务器主进程广播此矩阵到所有计算进程上，各个计算进程根据该矩阵重新绘制图像，并将最终绘制结果在主进程上合成为新的图形图像；

S13：服务器主进程将绘制结果发送到客户端。

进一步的，步骤S2包括以下子步骤：

S21：在客户端和服务器主进程同时创建窗口渲染器；

S22：根据可视分析需求创建一个或多个视口；

S23：服务器根据活跃视口信息开始并行绘制；

S24：服务器主进程通过同步窗口渲染器绘制图像，把绘制结果进行压缩传输到客户端显示。

进一步的，步骤S22具体包括以下子步骤：

S221：在客户端接收到创建一个或多个视口的命令时，在客户端创建一个或多个渲染器，同时创建与渲染器相同数量的同步渲染器；

S222：确定新建的视口为活跃，客户端通过socket发远程过程调用，将当前交互视口信息到服务器端；

S223：服务器端接收到新建视口消息后，同时创建与客户端创建的渲染器及同步渲染器数量相同的渲染器及同步渲染器。

进一步的，步骤S4包括以下子步骤：

S41：客户端检测活跃视口变化；

S42：确定当前活跃视口和非活跃视口,客户端更新活跃渲染器；

S43：若视口为非活跃视口，保留当前视口图像，断开与服务器的连接，关闭同步渲染器，保持当前图像显示状态；若视口为活跃视口，删除当前视口图像，连接服务器，打开同步渲染器，根据活跃视口的交互信息进行即时并行渲染和同步渲染。

另一方面，本发明还提供了海量数据多视口可视化交互***，包括用于实现海量数据多视口可视化交互的客户端及服务器，所述客户端与服务器之间还创建有同步渲染器；

所述客户端包括矩阵创建单元、客户端视口单元、客户端渲染单元和视***跃检测单元；其中，

矩阵创建单元，用于根据鼠标操作类型创建该操作的变换矩阵；

客户端视口单元，用于管理客户端的视口；

客户端渲染单元，用于管理客户端渲染窗口及渲染器；

视***跃检测单元，用于检测客户端活跃视口变化；

所述服务器包括广播单元、服务器渲染单元、服务器视口单元；其中，

广播单元，用于将接受自客户端创建的变换矩阵广播至所有计算进程；

服务器渲染单元，用于管理服务器渲染窗口及渲染器；

服务器视口单元，用于管理服务器的视口。

另一方面，本发明还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述任一种海量数据多视口可视化交互方法。

另一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述任一种海量数据多视口可视化交互方法。

本发明的有益效果在于：

通过根据鼠标的操作对渲染器进行同步来实现客户端交互，再根据用户需求创建视口并进行视口布局，最后根据活跃视口变化进行视口切换，实现多视口图像服务器端并行绘制和客户端与服务器端同步绘制，使得海量数据可视化在多视口情况下能够保持实时交互效率。

附图说明

图1是本发明提供的海量数据多视口可视化交互方法流程框图；

图2是执行本发明实施例1提供的海量数据多视口可视化交互方法的超算***结构示意图；

图3是本发明实施例1提供的海量数据多视口可视化交互方法多视口创建流程框图；

图4是本发明实施例1提供的海量数据多视口可视化交互方法多视口快速布局单视口示意图；

图5是本发明实施例1提供的海量数据多视口可视化交互方法多视口快速布局4等分视口示意图；

图6是本发明实施例1提供的海量数据多视口可视化交互方法多视口快速布局大小视口嵌套示意图；

图7是本发明实施例1提供的海量数据多视口可视化交互方法多视口快速布局左右平分视口示意图；

图8是本发明实施例1提供的海量数据多视口可视化交互方法多视口快速布局上下平分视口示意图；

图9是本发明实施例1提供的海量数据多视口可视化交互方法活跃视口切换方法示意图；

图10是本发明实施例2提供的海量数据多视口可视化交互***架构图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，为使本发明实施例的目的、技术方案和优点更加清楚，下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

因此，以下对本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如附图1所示，是本实施例提供的海量数据多视口可视化交互方法流程框图，该方法具体包括以下步骤：

步骤1、同步渲染器实现客户端交互功能。目前实现的动作包括，如平移、旋转、放大等。

同步渲染器具体包括以下子步骤：

步骤1.1当客户端发生鼠标操作时，根据鼠标的动作判断操作类型，如鼠标滚轮滚动表示放大或缩小物体等，在客户端创建该操作的变换矩阵。

步骤1.2将该变换矩阵发送到服务器主进程，服务器主进程接着广播此矩阵到所有计算进程上，各个计算进程根据该矩阵重新绘制图像，并将最终绘制结果在主进程上合成为新的图形图像。

步骤1.3 服务器主进程将绘制结果发送到客户端，即得到交互后的最新状态。

步骤2、多视口创建：

本实施例提供的多视口创建过程如附图3所示。本方法运行在客户端/服务端架构，因此，需要考虑服务端绘制结果传输到客户端等问题。

多视口创建具体包括以下步骤：

步骤2.1在客户端和服务器主进程同时创建窗口渲染器。

窗口渲染用户放置视口，默认情况下只存在一个视口，视口大小为客户端的窗口大小。

步骤2.2 用户根据可视分析需求创建一个或多个视口。

每个视口都对应一个渲染器和同步渲染器。在客户端接收到创建一个或多个视口的命令时，在客户端创建一个或多个渲染器和一个或多个同步渲染器，渲染器用于显示结果，而同步渲染器用于对该视口的交互控制。确定该新建的视口为活跃，客户端通过socket发远程过程调用，将当前交互视口信息到服务器端，服务器端接收到新建视口消息后，同时创建一个或多个渲染器和一个或多个同步渲染器，此时服务器和客户端上的渲染器和同步渲染器一一对应。

步骤2.3 服务器根据活跃视口信息开始并行绘制。

步骤2.4 服务器主进程通过同步窗口渲染器绘制图像，把绘制结果进行压缩传输到客户端显示。

步骤3、多视口快速布局设置：

本实施例提供的多视口快速布局如附图4-8所示。当用户需要观察视图的整体效果，而单一的视口无法满足需求时，可使用视口功能将绘图区域拆分成一个或多个相邻的矩形视图。目前提供的快速布局包括：单视口、大小视口嵌套、上下（左右）平分，4等分,附图4为单视口示意图，附图5为4等分视口示意图，附图6为大小视口嵌套示意图，附图7为左右平分视口示意图，附图8为上下平分视口示意图。

多视口快速布局具体包括以下子步骤：

步骤3.1 根据视口在布局中的优先级来进行布局设置。

已选中参与布局视口优先级最高，其次是未选中的视口，在未选中视口中已显示的视口优先级高于隐藏的视口，若还未满足布局数量，最后会创建新的视口。

步骤3.2 将参与布局的视口执行显示操作，未参与布局的视口执行隐藏操作。

步骤3.3 将参与布局的视口连接同步渲染器，执行一次绘制操作操作。

步骤4、视口切换：

用户交互过程中，根据分析需求，查看某些关键部分，此时会切换视口，为提供视口切换和交互效率，本方法实现了基于图像的数据降维显示交互方法。

如附图9所示，是本实施例提供的视口切换流程框图，视口切换具体包括以下子步骤：

步骤4.1 客户端检测到活跃视口变化。

步骤4.2 确定当前活跃视口和非活跃视口,客户端更新活跃渲染器。

步骤4.4 遍历所有视口。对于非活跃视口，保留当前视口图像，断开与服务器的连接，关闭同步渲染器，保持当前图像显示状态；对于活跃视口，删除当前视口图像，连接服务器，打开同步渲染器，根据活跃视口的交互信息进行即时并行渲染和同步渲染。

如附图2所示，是执行本发明实施例1提供的海量数据多视口可视化交互方法的超算***结构示意图，其中用户终端用于用户查询***情况、提交计算作业、查看计算结果等；服务处理***包含管理节点和服务节点，管理节点驻留资源管理、作业加载管理、用户管理等***服务，服务节点提供登录服务、编程和编译服务，提供符合标准的用户运行环境；计算处理***由计算节点组成，所有提交的作业将运行与计算节点上；资源管理***可根据用户应用需求灵活地实施作业调度，并进行分区管理；全局存储分***主要承担计算机***中数据的存储、管理和并行I/O服务。在使用过程中，一般采用客户端在用户终端通过远程发送作业的方式启动计算处理***的计算任务，同时，在用户终端使用客户端接收、查看计算结果。

本实施例提供的海量数据多视口可视化交互方法，通过根据鼠标的操作对渲染器进行同步来实现客户端交互，再根据用户需求创建视口并进行视口布局，最后根据活跃视口变化进行视口切换，实现多视口图像服务器端并行绘制和客户端与服务器端同步绘制，使得海量数据可视化在多视口情况下能够保持实时交互效率。

实施例2

如附图10所示是本实施例提供的海量数据多视口可视化交互***的***架构图，用户使用PC或工作站上运行的客户端程序，以IP地址和端口连接到服务器程序。用户通过客户端对绘制结果进行交互操作，这些操作被封装成命令和参数传递到服务器执行，执行结果以绘制的图像返回到客户端的界面进行显示。服务器图像并行绘制采用像素合成方式。为实现多视口功能，在客户端和服务器对每个视口新建一个绘制渲染器，而且在前客户端和服务器端渲染器之间创建一个同步渲染器，以保证服务器能够快速响应客户端的交互操作，并把刷新后的绘制结果传送到客户端。

客户端包括矩阵创建单元、客户端视口单元、客户端渲染单元和视***跃检测单元。其中，矩阵创建单元，用于根据鼠标操作类型创建该操作的变换矩阵。客户端视口单元，用于管理客户端的视口。客户端渲染单元，用于管理客户端渲染窗口及渲染器。视***跃检测单元，用于检测客户端活跃视口变化。

服务器包括广播单元、服务器渲染单元、服务器视口单元。其中，广播单元，用于将接受自客户端创建的变换矩阵广播至所有计算进程。服务器渲染单元，用于管理服务器渲染窗口及渲染器。服务器视口单元，用于管理服务器的视口。

本实施例提供的海量数据多视口可视化交互***包括服务器和客户端，通过在客户端和服务器对每个视口新建一个绘制渲染器，而且在前客户端和服务器端渲染器之间创建一个同步渲染器，实现了多视口可视化功能，并通过在服务器和客户端之间创建同步渲染器，以保证服务器能够快速响应客户端的交互操作，并能够把刷新后的绘制结果传送到客户端。

实施例3

本优选实施例提供了一种计算机设备，该计算机设备可以实现本申请实施例所提供的海量数据多视口可视化交互方法任一实施例中的步骤，因此，可以实现本申请实施例所提供的海量数据多视口可视化交互方法的有益效果，详见前面的实施例，在此不再赘述。

实施例4

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的海量数据多视口可视化交互方法中任一实施例的步骤。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一海量数据多视口可视化交互方法实施例中的步骤，因此，可以实现本发明实施例所提供的任一海量数据多视口可视化交互方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.海量数据多视口可视化交互方法，其特征在于，包括：

S1：根据鼠标的操作对渲染器进行同步；

S2：根据可视分析需求创建并显示视口；

S3：对视口进行布局；

S4：根据视***跃状态切换视口。

2.如权利要求1所述的海量数据多视口可视化交互方法，其特征在于，步骤S1包括以下子步骤：

S13：服务器主进程将绘制结果发送到客户端。

3.如权利要求1所述的海量数据多视口可视化交互方法，其特征在于，步骤S2包括以下子步骤：

S21：在客户端和服务器主进程同时创建窗口渲染器；

S22：根据可视分析需求创建一个或多个视口；

S23：服务器根据活跃视口信息开始并行绘制；

4.如权利要求3所述的海量数据多视口可视化交互方法，其特征在于，步骤S22具体包括以下子步骤：

5.如权利要求1所述的海量数据多视口可视化交互方法，其特征在于，步骤S4包括以下子步骤：

S41：客户端检测活跃视口变化；

6.海量数据多视口可视化交互***，其特征在于，包括用于实现海量数据多视口可视化交互的客户端及服务器，所述客户端与服务器之间还创建有同步渲染器；

客户端视口单元，用于管理客户端的视口；

客户端渲染单元，用于管理客户端渲染窗口及渲染器；

视***跃检测单元，用于检测客户端活跃视口变化；

服务器渲染单元，用于管理服务器渲染窗口及渲染器；

服务器视口单元，用于管理服务器的视口。

7.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至5任一项所述的海量数据多视口可视化交互方法。

8.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至5任一项所述的海量数据多视口可视化交互方法。