CN115168928A - 一种机床的智能视窗***和构建方法 - Google Patents

Abstract

本发明提供一种机床的智能视窗***和构建方法，所述的智能视窗***包括位于物理层的智能视窗物理***，位于中间层的网络通信、数据处理和分析***，以及位于服务层的智能视窗三维虚拟场景、直播视频、增强现实和运行状态看板展示***。所述的智能视窗***服务层的构建方法包括如下步骤：(1)收集数据；(2)几何造型；(3)人机界面；(4)场景构建；(5)场景模型；(6)场景优化。通过本发明提供的智能视窗***，机床的使用者可以实时监控机床内部的生产运行状况，查看实时生产信息和生产统计数据，提高机床设置调整、工艺优化、故障诊断和新工件试生产的工作效率，尤其适用于经常面临产品频繁更换和小批量生产的机床上运行。

Description

一种机床的智能视窗***和构建方法

技术领域

本发明涉及一种面向机床生产加工领域的数字孪生技术，具体涉及一种机床的智能视窗***和构建方法。

背景技术

在机床上加工制造新产品或变更订单时，机床的使用者，如工艺设计、操作、维护和管理等人员需要查看机床内部的工作状态，以便对机床中的生产部件进行正确组合，比如原材料、夹紧装置、定位点、刀具、数控加工程序等。因为机床必须配备适合产品订单的原材料、夹紧装置和数控加工程序，必须在机床中设置合适的定位点、刀具组等，所以机床的使用者在更换产品型号时，必须处理复杂范围的任务。在可预见的未来，这些机床中的参数、工件、刀具等设置、工艺调整与优化、故障诊断等大多数任务将由相关人员手动执行。尽管过去人们在这方面开展的辅助工作取得了进展，并且还在进行进一步的开发，但是在机床上手动执行的步骤是不可避免的。鉴于企业在市场竞争中面临的交货期要求越来越短，同时客户对产品的复杂性和灵活性要求也越来越高，机床的使用者必须在相同或更短的时间内处理更复杂的任务。因而在机床类加工设备不是完全自动化的情况下，为了增强企业的市场竞争力，人们需要采用更有效的手段支持机床的使用者进行手动操作过程。

为了支持机床使用者的手动操作过程，一方面，从机床制造商的角度来看，机床加工设备一般都配置有观察窗，作为机床运行中保护使用者的隔离装置，还可以用于使用者监控机床的生产过程。当机床开始一个新的加工过程时，其工作区域的能见度是机床使用者监控生产过程需要的一个重要指标。为了提供加工情况的良好概览，一般机床都配置了尽可能大的可视窗口。然而，在机床加工过程中，冷却润滑剂损害工件可见性的情况并不少见。尤其是在远高于10bar的高压下加工时，刀具上直接加工过程的可见性会因为机床喷洒冷却润滑剂，或形成的雾气而严重受损。即使在干式加工中，当有较长的加工过程时，也会形成切屑堆，从而导致刀具切削刃处的加工能见度降低。

另一方面，目前在生产加工类企业的机床工作环境中有使用智能手机、平板电脑、工业计算机或其它类型屏幕的趋势，用于辅助机床使用者核对生产计划、工艺参数等相关***的信息，比如将刀具数据与ERP***同步或从MES数据库中获取工艺数据等，以便机床使用者相应地调整设备。这种趋势因当前此类智能设备(平板电脑、智能手机等)的普及而得到加强，但它们展示的信息并不是全面且实时更新的，比如机床加工剩余运行时间、工件计数器、加工过程仿真等，因而显示机床使用者需求信息的同时也增加了这些分布式显示器的数量。这些众多显示方法中的每一种都试图使支持机床使用者的工作流程更高效。然而，与此同时，也给机床使用者带来了负担。因为机床使用者必须将注意力分散到额外的屏幕，而且这些屏幕还不能提供持续的用户操作指导信息。如果机床使用者不再通过需要菜单驱动的操作界面进行导航，而是利用数字孪生领域的增强现实技术直接查看，则可以在软件操作和从数字虚拟世界认知、获取信息方面获得更高的效率。

数字孪生技术能够将机床工作过程中物理世界所有相关的实体对象与数字世界的虚拟对象信息对称映射，实现二者状态数据的实时交互。通过为机床观察窗提供自动化透明屏幕，并结合数字孪生技术能够为机床使用者整合手动操作的屏幕界面，从而减轻机床使用者手动操作机床时分散到其它屏幕的多重负担。将机床观察窗用作屏幕后，就能允许机床加工准备过程中，以及运行时所需的特定功能软件***以绑定方式显示在机床的可视窗口上，使之成为所述的智能视窗***的屏幕。

还有一些配置特殊观察窗的机床，比如一体式车铣床，因为这种机床的特点是车削操作也可以在铣削中心上进行，所以安装适合职业安全的观察窗是一项成本高昂的工作。这导致了安全考虑情形发生变化，从而需要使用夹层安全玻璃作为观察窗。在这种情况下，采用智能视窗的机床可以不必设置复杂而昂贵的观察窗，而是直接使用机床的钣金外壳作为智能视窗的屏幕载体，通过增强现实技术来展示机床内部整个工作区域的工作状态。利用增强现实技术，智能视窗***能够提供加工过程中的工件状态实时三维视图显示，这既可以提高加工过程的可见性，且不受冷却润滑剂或切屑堆的影响，甚至也不需要在机床上设置观察窗口。

其它独立的软件***，例如订单管理信息等，也可以在机床的智能视窗屏幕中展示并与加工过程互锁。有多种方法可以让机床使用者更轻松地比较订单数据，例如，与机床的参数设置情况或实际生产过程进行比较。而且在智能视窗***的屏幕中显示叠加在机床实际运行过程之上的仿真加工过程，使得机床使用者可以一目了然地检查当前使用的刀具是否与计划刀具一致。通过将数控加工过程仿真与智能视窗***上的屏幕显示相结合，还可以实时评估机床控制***可用的有关机床实际状态的信息，比如实时观察并预测刀具运动过程中的碰撞检测、断刀风险等。并且一旦机床发生异常时，机床使用者可以调取、比对数控加工过程仿真与机床的运动历史记录，有助于分析、诊断、评估机床发生问题的原因，从而快速解决问题，恢复机床正常运行。

发明内容

本发明的目的是为了克服现有技术不足之处，提供一种机床的智能视窗***和构建方法，该智能视窗***可以很好地解决上述问题。

为实现上述目的，本发明采取的技术方案是：提供一种机床的智能视窗***和构建方法，所述的智能视窗***包括三部分：(1)位于物理层模块的智能视窗物理***，是一种灵活的，适应不同机床观察窗配置要求的自动化信息显示和控制***，可以在更换相应的显示器等硬件和控制软件模块后用于不同类型的机床。(2)位于中间层模块的网络通信、数据处理和分析***，用于实现智能视窗***的数据采集、处理、存储和分析过程。(3)位于服务层模块的机床加工制造三维虚拟场景、直播视频、增强现实和状态看板展示***，能够为机床的实时生产监控、设置调整、工艺优化、故障诊断和新工件的试生产带来附加值，尤其适用于经常面临产品频繁更换和小批量生产的机床上运行。

所述的机床的智能视窗***构建方法，包括如下步骤：

步骤1，收集数据模块：将机床运行过程中的实体对象和虚拟对象的所有数据信息汇总后分为非模型驱动数据和模型驱动数据。非模型驱动数据是静态类型数据，以表格形式在物联网平台工具中存储和展示。模型驱动数据是动态数据，使用WebSocket协议将数据发送到物联网平台工具进行存储，并以JSON字符串格式传递给三维可视化引擎进行数据链接和绑定。收集数据模块汇总后的数据经过步骤2和步骤3分别提供给几何造型和人机界面模块；

步骤2，几何造型模块：根据实体对象的几何尺寸采用三维建模软件构建出数字模型，添加必要的灯光、材质、纹理渲染模型和特效，使三维模型具有真实质感、更加逼真。为了降低硬件的运行压力，要对模型进行适当地简化处理，并导出为轻量化格式文件，在步骤4中将该文件导入到场景构建模块中；

步骤3，人机界面模块：包括人机交互设计、外部输入事件响应等功能，旨在实现在三维虚拟环境中的场景漫游，使用户有身临其境的直观体验。在三维建模软件环境中将实现人机界面模块功能的文件导出为轻量化格式文件，在步骤4中将该文件导入到场景构建模块中；

步骤4，场景构建模块：在三维可视化引擎开发工具中对几何造型模块及人机界面模块功能文件进一步完善，即将人机界面模块的设计效果与几何造型模块的模型文件合并到一个场景中，进行场景管理、场景漫游、用户界面设计、性能优化等并导出为轻量化格式文件，在步骤5中将该文件导入到场景模型模块中；

步骤5，场景模型模块：在三维可视化引擎开发工具中将物联网平台开发工具以JSON字符串格式提供的信息进行数据绑定，实现基于所述的物理层模块中实体对象的实时数据驱动的虚拟场景、状态看板、直播视频和增强现实功能模块的状态信息实时更新，对这些功能模块进行运行测试并将测试结果在步骤6中反馈到场景优化模块；

步骤6，场景优化模块：将场景模型模块测试运行的结果反馈到几何造型和人机界面模块，在这两个模块中分别进行设计优化，经过迭代以后在三维可视化引擎开发工具中将虚拟场景模块的模型文件发布为WebGL格式，并集成到物联网平台工具中。

所述的物联网平台工具采用ThingsBoard，三维可视化引擎采用Unreal，三维建模软件包括Blender、Siemens NX及Unreal，轻量化格式文件为.FBX文件。

本发明基于数字孪生技术，通过构建机床手动和自动运行过程中的物理对象***和虚拟对象***，进而描述机床的智能视窗***构建流程及其实现方法。该智能视窗***的有益效果在于：

本发明通过为机床观察窗提供数字透明屏幕，并结合数字孪生技术能够为机床使用者整合手动操作时需要的多种屏幕界面，从而减轻机床使用者手动操作机床时分散到其它屏幕的负担。通过增强现实技术，智能视窗***能够提供机床自动加工过程中其内部工作部件状态的实时三维场景显示，这既可以提高机床内部工作部件的可见性，而不受冷却润滑剂或切屑堆的影响，甚至在某些有特殊安全要求的机床上也不需要设置原始的观察窗口，从而实现了兼顾机床安全性和其工作部件可见性的双重目标。其它独立的软件***，例如ERP中的订单管理信息和MES中的刀具设置、配方设置、工艺参数等数据，也可以在机床的智能视窗屏幕中展示，并与加工过程互锁。

本发明还可以包括数控仿真等增值服务，即将数控加工过程仿真与智能视窗***上的屏幕显示相结合，在智能视窗***的屏幕中显示叠加在机床实际运行过程之上的仿真加工过程，从而实时评估机床控制***可用的有关机床实际状态的信息，比如实时观察并预测机床中刀具运动时的断刀风险，以及辅助机床使用者一目了然地检查当前使用的刀具是否与计划刀具一致等功能。并且一旦机床发生异常时，机床使用者可以调取、比对数控加工过程仿真与机床的运动历史记录，有助于分析、诊断、评估机床发生问题的原因，从而快速解决问题，恢复机床正常运行。所以本发明的智能视窗***能够为机床使用者进行实时生产监控、设置调整、工艺优化、故障诊断和新工件的试生产带来附加值，尤其适用于经常面临产品频繁更换和小批量生产的机床上运行。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示意性地示出了根据本申请一个实施例的机床的智能视窗***总体架构示意图。

图2示意性地示出了根据本申请一个实施例的机床的智能视窗***物理层结构布置示意图。

图3示意性地示出了根据本申请一个实施例的机床的智能视窗***数据挖掘与网络通信结构示意图。

图4示意性地示出了根据本申请一个实施例的机床的智能视窗虚拟***构建流程示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，以下结合附图及具体实施例对本申请作进一步地详细说明。

为了提供对这些实施例的简要描述，可能未在本说明中描述实际实施例的所有特征。应当可以理解，在任何此类实际实现的开发中，例如在任何工程或设计项目中，都必须做出许多特定于实现的决策，以实现开发者特定的目标，例如遵守与***相关和与业务相关的规定，可能因具体实现而异。

在以下描述中，对“一个实施例”、“实施例”、“一个示例”、“示例”等等的引用表明如此描述的实施例或示例可以包括特定特征、结构、特性、性质、元素或限度，但并非每个实施例或示例都必然包括特定特征、结构、特性、性质、元素或限度。另外，重复使用短语“根据本申请的一个实施例”虽然有可能是指代相同实施例，但并非必然指代相同的实施例。

为简单起见，以下描述中省略了本领域技术人员公知的某些技术特征。

当介绍本发明的各种实施例的部件时，数词“一”，“一个”，代词“该”和“所述”旨在表示存在一个或多个元件。术语“包含”，“包括”，“和”具有包容性，表示除所列要素外可能还有其他要素。

根据本申请的一个实施例，如图1所示，机床的智能视窗***的总体架构10是三层结构，包括：(1)位于物理层模块100的智能视窗物理***，是一种灵活的，适应不同机床观察窗配置要求的自动化信息显示和控制***，可以在更换相应的显示器等硬件和控制软件模块后用于不同类型的机床；(2)位于中间层模块200的网络通信、数据处理和分析***，用于实现智能视窗***的数据采集、处理、存储和分析过程；(3)位于服务层模块300的机床生产加工三维虚拟场景、直播视频、增强现实和运行状态看板展示***。物理层模块100中的机床运行时实物对象数据信息经过中间层模块200的数据处理和转换，实时映射到服务层模块300的虚拟空间中的仿真对象上。服务层模块300中的虚拟对象与物理层模块100中的实体对象动态、静态信息完全对应，二者成为智能视窗***的虚实孪生体。

(1)机床的智能视窗***的物理层构建方法

物理层模块100是智能视窗***的物理空间中的实体对象，由跟踪***105、背光照明110、机床主体115、摄像机120和显示器125五个部分组成。

跟踪***105是为了记录机床主体115上机床使用者的确切位置来模拟机床使用者的视角，以便在显示器125上相对于机床使用者以透视方式显示机床内部的场景状态。在本申请的一个实施例中，如图2中所示，在机床门外部1155的显示器125上方安装一套跟踪***105，用于跟踪机床使用者相对于显示器125站在不同角度时的观察位置，使显示器125都能呈现机床门内部1150状态的透视表示，无论是纯虚拟的还是虚实叠加的状态。

机床使用者的位置可以通过使用跟踪机床使用者头部或眼睛的跟踪***105来检测。这种跟踪***105可在市场上买到，并且具有不同的特性，比如微软的无标记***Kinect，该***不仅可以记录人的身体和头部，还可以完全无标记地记录人的眼睛、嘴巴和鼻子等面部特征。

根据所使用的跟踪***105，眼睛位置可以直接确定(眼睛跟踪)，也可以通过记录机床使用者的头部位置(头部跟踪)来确定。每个跟踪***105都以相同的数据输出格式提供当前机床使用者的眼睛位置EP0，并将位置数据EP0通过中间层模块200的网络通信链路215发送到数据处理***220。

数据处理***220对跟踪***105提供的机床使用者位置数据EP0做进一步处理，比如使用平均值滤波器对接收到的数据EP0进行平滑处理，以去除头部跟踪***记录的机床使用者姿势的噪声影响。然后数据处理***220将处理后的机床使用者位置数据EP0通过网络通信链路225传送到数据分析***230中进行存储和分析。

数据分析***230通过考虑机床使用者的视角，可以使用传统显示器125和机床门内部1150实物对象的计算机数字模型来仿真任意数量、尺寸的显示器125的屏幕效果，并在显示器125的屏幕上用虚拟内容覆盖机床门内部1150的实物对象。这样，机床就可以用金属外壳完全封闭起来，保护机床使用者；所使用的显示器125则可以采用不同数量、尺寸的屏幕，安装在机床外壳上便于机床使用者查看的任意位置，即使机床上的部件会限制机床使用者的视野。

如图2所示，在机床门内部1150中安装有多台摄像机120，其负责采集实物对象状态的图像并对图像预处理，然后通过中间层模块200的网络通信链路215将预处理后的图像发送到数据处理***220。数据处理***220负责对摄像机120提供的图像做进一步数据处理和校准，并将处理后的图像数据CD0通过网络通信链路225传送到数据分析***230中进行存储和分析。数据分析***230基于摄像机120提供的图像数据CD0，一方面对机床门内部1150中的实物对象进行三维重建，形成虚拟的计算机数字模型；另一方面又结合摄像机120所提供的实物图像，采用虚实图像叠加的方式实现了机床门内部1150场景的完全覆盖。

除了使用计算机数字模型的纯虚拟可视化和基于摄像机120的机床门内部1150场景完全覆盖之外，还可以使用透明显示器对机床门内部1150场景的透视覆盖。在具体的实施例中，显示器125可以采用两种技术对机床门内部1150进行透视覆盖，即液晶显示器(LCD)和基于有机发光二极管的显示器(OLED)。

传统的LCD可以拆解以后转换为透明显示器，比如从液晶层移除后面板、电子设备和照明所需的背光，然后将电子设备和液晶层并排安装在一个新的外壳中，形成透明的LCD。然后如图2中所示，将LCD装在机床门外部1155现有观察窗口的前面，作为背光照明110的背光灯则安放在机床门内部1150中观察窗口对面的墙壁上。有机发光二极管(OLED)显示器具有自发光特性，因此不需要额外的背光照明110。OLED显示器在透明度和对比度方面也拥有更好的光学特性。因而在具体的实施例中，可以根据机床客户的具体需求，在显示器125上选用透明LCD或者OLED两种方案之一，或者混合使用这两种方案。

在显示器125上可以看到机床门内部1150中实物对象的仿真模型，它根据实体对象的位置设定值PS0与真实机床同时移动。除了静态和动态的机床部件外，仿真模型还包含主轴115A和刀库中的刀具115B，以及夹紧装置115C和工件115D。在仿真模型中，换刀过程与在真实机床主体115上一样进行，因为仿真模型接收相同的控制信号(例如旋转刀库、更换刀具115B、在主轴115A中夹紧刀具115B等)。通过仿真材料去除，机床使用者还可以在显示器125上看到实时、详细的加工进度。

中间层模块200实现智能视窗***的数据采集、处理、存储和分析过程，包括网络通信链路210、215、225、235，网络通信***205，数据处理***220和数据分析***230三个功能模块。网络通信链路210、215、225、235分布于网络通信***205，数据处理***220，数据分析***230，物理层模块100以及服务层模块300之间。智能视窗***中物理对象的实时数据信息经过网络通信链路210、215以及网络通信***205后到达数据处理***220。数据处理***220按照服务层模块300的应用需求，将这些实时数据信息分类、转换后通过网络通信链路225传送到数据分析***230中存储和分析。数据分析***230再根据服务层模块300中特定应用业务的请求信息，经过网络通信链路235将数据分析结果反馈到服务层模块300中。

服务层模块300是智能视窗***的虚拟空间中的仿真对象，通过三维建模后的模型和数据信息展示工具与物理空间中的实体对象相对应，负责向物理层提供特定于应用程序的服务。服务层模块300包括状态看板305，虚拟场景310，直播视频320和增强现实325共4个功能模块。

状态看板305的显示效果虽然没有三维模型那么直接，但在统计信息属性(时间、文本、数量等)方面起到了不可替代的作用，可以实时显示每个工件115D的统计信息和详细的生产资源状态。在本申请的一个实施例中，状态看板305将物理层模块100中实物对象的实时状态以及数据处理***220产生的历史数据以不同的形式展现出来，如文本、数字、表格、点图、折线图、仪表板等，同时还有以不同周期汇总数据的功能(比如按照秒、分钟、小时、天、周、月等显示)。三维虚拟场景模块310是主要的监控模式，该模块结合直播视频模块320，通过对机床主体115的内部部件，如刀具115B、夹紧装置115C和所加工的工件115D等进行实时监控和数控加工过程仿真，实现机床设置调整、工艺优化、故障诊断和新工件的试生产等过程的三维可视化管控。直播视频模块320通过机床门内部1150中布置的多台工业摄像机120实现对机床调整、加工过程关键环节的实时生产状态直观监控。增强现实模块325综合利用三维建模、实时跟踪配准、智能交互、跟踪***105和摄像机120等技术手段，将虚拟对象的信息叠加在机床主体115中的真实物理对象上，增强了实物对象的内在数据信息展示能力，比如通过检测刀具115B将要移动到的目标路径和区域上是否有夹紧装置115C所附带的挡块等障碍物，智能视窗***可以警示机床使用者有撞刀、断刀风险，及时停止刀具115B移动。

根据本申请的一个实施例，该机床的智能视窗***除了物理层模块100所包括的跟踪***105、背光照明110、机床主体115、摄像机120、显示器125这些实体对象外，还包括如下软、硬件构成：(1)在产品设计办公室配备较高图形处理性能的工作站电脑，运行计算机数字建模、仿真软件***；(2)在生产车间配备较高数据处理和分析能力的服务器，运行数据处理和分析功能的物联网平台***；(3)在生产车间和生产调度室安装可视化电子看板，以及较高图形处理性能的终端电脑，运行机床生产加工过程的三维场景可视化***；(4)各***间通过工业以太网互通互联。机床的生产管理、工艺、维护和设计等人员可以在调度室、办公室像置身生产车间现场一样，实时掌握机床的运行状态、产量统计信息、进度信息和关键数据历史曲线等。

可视化电子看板采用高分辨率拼接大屏，包括矩阵式多块拼接屏、大屏控制器、多路转接器、三维可视化服务器、视频交换机等，其中三维可视化服务器用于安装和部署机床的智能视窗***服务应用程序，大屏控制器用于接收来自三维可视化服务器以及视频交换机的多路视频信号，并对视频信号进行处理、部署和矩阵映射，显示到拼接屏的不同区域。

(2)机床的智能视窗***的中间层构建方法

机床主体115在调整状态或者生产加工时，其附属部件如刀具115B、夹紧装置115C以及所加工工件115D等物理实体对象的实时运行状态数据，以及跟踪***105和摄像机120捕捉到的图像数据CD1，都要经过网络通信链路215到达中间层模块200，以便进行数据格式转换、存储和分析。如图3所示，网络通信***205是实现智能视窗***中数据信息互联的重要环节，包括总线数据205A和离散数据205B两个功能模块。这两个通信模块负责将物理层模块100的实时数据传送到数据处理***220中。数据处理***220包括四个功能模块：数据采集软件220A、数据采集工具220B、数据集中器220C和数据处理服务器220D。有些数据经过数据处理***220后，可以由以太网通信链路315直接传送给服务层模块300的具体应用；还有些数据需要传送到数据分析***230中进一步分析。数据分析***230包括实时数据库230A、历史数据库230B和数据分析服务器230C共三个功能模块，根据服务层模块300的具体应用需求，完成数据分析、挖掘和准备，并通过与数据处理***220统一的接口提供给服务层模块300。

由于机床主体115的制造厂商众多，机床自动化***的通信协议有众多的标准，因此需要采用灵活的方式整合不同厂商的软硬件数据通信。OPC UA是一套集成信息模型定义、服务和通信标准的标准化技术框架。OPC UA服务器可以通过工业以太网与绝大多数机床厂商的可编程控制设备、智能仪表等现场设备连接，因而在本申请的一个实施例中，总线数据模块205A采用OPC UA协议从机床主体115的控制***OPC UA服务器中获取传感器、执行器和控制器等的数据信息，并经过网络通信链路210、215将数据传送到数据采集软件模块220A中。数据采集软件模块220A采用OPC UA客户端，将从总线数据模块205A获取的数据信息经过网络通信链路210传送到数据处理服务器模块220D中。

物理层模块100中有些实体对象不支持OPC UA协议，但是支持其它现场总线通信协议，比如在本申请的一个实施例中，跟踪***105和摄像机120分别采用通用串行总线USB和千兆以太网GbE两种接口类型的相机，则总线数据模块205A可以采用USB和GbE两种总线协议通信方式，经过网络通信链路210、215将图像数据从跟踪***105和摄像机120传送到数据采集工具模块220B中。数据采集工具220B模块采用与总线数据模块205A对应的USB和GbE通信协议，将获取的图像数据经过网络通信链路210传送到数据处理服务器模块220D中。

物理层模块100中还有些实体对象不支持工业现场总线通信方式，比如机床主体115上有些仪表的0～10V状态信号、冷却润滑剂的温控器4～20mA输出信号，或者一些开关量信号等，因而需要在离散数据模块205B中，将这些数据信号经过网络通信链路210、215从物理层模块100的实体对象，传送到数据集中器模块220C中。数据集中器模块220C将获取的离散数据经过网络通信链路210传送到数据处理服务器模块220D中。

物理层模块100中代表机床使用者观察位置以及机床主体115真实、完整运行状态的孪生数据是异构、多源的数据流，需要在数据处理服务器模块220D中进行分类汇总、统一表征等处理，然后将结果数据经过以太网链路225传送到数据分析***模块230中，进一步对数据进行分析，以便为服务层300的应用程序提供数据支撑。

根据服务层模块300的具体应用需求，有些数据经过数据处理服务器模块220D后，由以太网通信链路315直接传送给服务层模块300的特定应用；还有些数据需要由以太网通信链路225传送到实时数据库230A和历史数据库230B，再由以太网通信链路225传送到数据分析服务器模块230C中，进一步按照服务层模块300的具体应用需求进行数据分析、挖掘和准备，并通过与数据处理***220统一的接口由以太网通信链路315提供给服务层模块300。

在本申请的一个实施例中，中间层基于物联网平台工具ThingsBoard强大的泛在网络连接、灵活的数据管理和快速的应用开发能力，实现设备连接、数据采集、数据存储、数据分析、应用服务开发和Web前端***集成。

在本申请的一个实施例中，网络通信***205采用网络交换机、有线和无线路由器等；数据处理***220采用个人计算机PC，Raspberry Pi和Arduino等小型边缘计算设备；数据分析***230采用商用工作站计算机，基于CentOS7.0、PostgreSQL和TimescaleDB时序数据库构成的数据管理引擎，实现机床数据的分区选择、存储、编目、索引；最后，基于Restful架构的Get接口方式，实现服务层应用与工业物联网平台的信息交互。

(3)机床的智能视窗***的服务层构建方法

通过构建机床的智能视窗***与三维场景数据处理技术研究，对机床加工工件115D的工作过程进行运动仿真、机床运行状态实时分析和优化，提升机床工作运转时的柔性化、智能化能力。同时对机床运转过程中的关键工作区域进行实景视频监控，并结合增强现实技术应用，从而实时展现机床生产过程动态信息、机床内部状况和历史动作过程，及时响应生产现场异常情况，如冷却润滑剂温度异常、主轴115A电机电流异常、扭矩过大、刀具115B断刀等生产突发状况。

机床的智能视窗***除了通过显示器125辅助机床使用者手动工作之外，这包括机床加工时的准备、设置、监控和优化工作，还通过服务层模块300所展示的内容呈现给机床用户更多的、机床开发时不具备的增值服务辅助功能。比如有两种准备加工工件115D时运行的机床数控程序(G代码)的方法，一种是在工艺准备部门使用CAD和CAM软件创建，另一种是由机床使用者通过查看图纸直接在机床上编程。

在第一种情况下，机床使用者以“黑盒”的形式接收数控程序，此时机床使用者几乎不了解其工作内容，刀具115B的路径、移动轨迹和工作步骤不明显；可能的碰撞(例如刀具115B与夹紧装置115C之间发生碰撞)无法提前推导出和可视化检查；也无法对照目标工件检查所使用的原始工件115D是否正确。在第二种情况下，机床使用者需要直接在机床上编程，将图纸中的几何信息转换为程序代码。此任务不直观且容易出错，而刀具115B的仿真运动、可视化碰撞、切割深度和进给对机床使用者会很有帮助，另外机床使用者还需要机床程序优化功能(例如快速移动)。

因此，需要在服务层模块300中为机床使用者提供适应上述任务的增值服务辅助功能。构建服务层模块300是一项多软件协同开发、多功能模块相互协作的***工程。在本申请的一个实施例中，以ThingsBoard等物联网平台为数据应用总线，利用Blender、Siemens NX、Unreal多软件协同建模设计开发服务层模块300。如图4所示，服务层模块300的构建流程主要由收集数据3105，几何造型3120，场景优化3140，人机界面3145，场景构建3160和场景模型3170共6个功能模块组成。

为了构建三维虚拟场景，首先在收集数据3105模块中汇总物理层模块100的实体对象以及服务层模块300的虚拟对象的所有数据信息，这些数据既有静态类型，比如机床主体115中刀具115B、工件115D的几何尺寸GS0、机械特性MP0、物理属性PP0、加工指标TS0等，机床主体115***的通信地址CA0及所传输数据的类型DT0、数量DQ0、频率DF0，跟踪***105和摄像机120的通信地址CA1及通信协议CP0，状态看板305和增强现实325所展示的图表类型CT0、数据类型DT1和数量DQ1等；又有动态类型，比如机床主体115的自动、手动、停止运行等状态信息IS0、报警信息IA0、工件115D的加工计数WC0、节拍数据CT1，以及机床主体115运行过程中的主轴115A电机状态数据MS0、冷却润滑***温度状态TS0等数据。

收集数据模块3105要将所有数据分为非模型驱动数据和模型驱动数据。非模型驱动数据是静态类型数据，以表格形式在ThingsBoard中存储和展示。模型驱动数据是动态数据，在数据处理***模块220中使用WebSocket协议将数据发送到ThingsBoard等物联网平台进行存储，并以JSON字符串格式传递给Unreal等实时三维引擎进行数据链接和绑定。收集数据模块3105汇总后的数据分别经过步骤3115和3110将信息提供给几何造型模块3120及人机界面模块3145。

几何造型模块3120是虚拟场景构建的基础，根据物理层模块100中实体对象的几何尺寸用三维建模软件Blender等构建出数字模型，添加必要的灯光、材质、纹理渲染模型和特效，使三维模型具有真实质感、更加逼真。为了降低硬件的运行压力，要对模型进行适当地简化处理，并导出为.FBX等轻量化格式文件。在步骤3125中将模型文件导入到场景构建模块3160中。

人机界面模块3145包括人机交互设计、外部输入事件响应等功能，旨在实现在三维虚拟环境中的场景漫游，使用户有身临其境的直观体验。在Blender等三维建模软件环境中将实现人机界面模块3145功能的文件导出为.FBX等轻量化格式，并在步骤3155中导入到场景构建模块3160中。

场景构建模块3160是在Unreal等实时三维引擎中对几何造型模块3120及人机界面模块3145功能的进一步完善，即将人机界面模块3145的设计效果与几何造型模块3120的模型文件合并到一个场景中，进行场景管理、场景漫游、人机界面设计、性能优化等。然后在步骤3165中将场景构建模块3160输出的结果文件导入到场景模型模块3170中。

场景模型模块3170是在Unreal等实时三维引擎中将ThingsBoard等物联网平台以JSON字符串格式提供的信息进行数据绑定，实现基于物理层模块100实体对象的实时数据驱动的状态看板305、虚拟场景310、直播视频320和增强现实325模块状态信息的实时更新。为了平衡虚拟场景渲染的复杂度和实时渲染之间的矛盾，保证***在大规模场景下的流畅性，需要对虚拟场景进行运行测试和优化，所以场景模型模块3170将测试运行的结果在步骤3140中反馈到场景优化模块3135。

场景优化模块3135在步骤3130和3150中将场景模型模块3170测试运行的结果反馈到几何造型3120和人机界面3145模块，在这两个模块中分别进行设计优化，经过迭代以后在Unreal等实时三维引擎中将场景模型模块3170的模型文件发布为WebGL格式，并集成到ThingsBoard等物联网平台中。

以上所述实施例仅表示本发明的几种实施方式，其描述较为具体和详细，但并不能理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明保护范围。因此本发明的保护范围应该以所述权利要求为准。

Claims (10)

1.一种机床的智能视窗***和构建方法，其特征在于，包括：

物理层模块，是智能视窗***的物理空间中的实体对象，用于构建灵活的，适应不同机床观察窗配置要求的自动化信息显示和控制***，可以在更换相应的显示器等硬件和控制软件模块后用于不同类型的机床；

中间层模块，用于构建物理层模块与服务层模块通信的网络***，实现智能视窗***的数据采集、处理、存储和分析过程，快速建立机床生产加工运行时的实时数据库和专家知识库；

服务层模块，是智能视窗***的虚拟空间中的仿真对象，通过三维建模后的模型和数据信息展示工具与物理空间中的实体对象相对应，负责向机床使用者提供特定于应用程序的服务。

2.根据权利要求1所述的一种机床的智能视窗***和构建方法，其特征在于：

所述的机床的智能视窗***物理层模块的实体对象包括跟踪***、背光照明、机床主体、摄像机和显示器；

所述的机床主体内部包括主轴，刀具，夹紧装置，工件以及机床使用者所关注的其它机床部件。

3.根据权利要求2所述的一种机床的智能视窗***和构建方法，其特征在于：所述的跟踪***通过使用跟踪机床使用者头部或眼睛等的传感器来检测机床使用者的位置。

4.根据权利要求2所述的一种机床的智能视窗***和构建方法，其特征在于：

所述的背光照明适配于传统的液晶显示器(LCD)拆解以后转换而成的透明显示器；

所述的背光照明安放在所述的机床门内部、观察窗口对面的墙壁上。

5.根据权利要求2所述的一种机床的智能视窗***和构建方法，其特征在于：所述的机床主体是带有不同尺寸观察窗的机器、设备，或者是没有观察窗，而是外壳完全封闭以保护机床使用者的机器、设备。

6.根据权利要求2所述的一种机床的智能视窗***和构建方法，其特征在于：所述的摄像机安装在机床主体内部，负责采集机床主体内部的实物对象状态图像，并对图像预处理，实现机床主体内部场景的完全覆盖。

7.根据权利要求2所述的一种机床的智能视窗***和构建方法，其特征在于：所述的显示器可采用不同数量、尺寸的屏幕，安装在机床主体的外壳上、便于机床使用者查看的任意位置，即使机床主体的机器部件会限制机床使用者的视野。

8.根据权利要求1所述的一种机床的智能视窗***和构建方法，其特征在于：所述的中间层模块包括网络通信链路，网络通信***，数据处理***和数据分析***。

9.根据权利要求1所述的一种机床的智能视窗***和构建方法，其特征在于：所述的机床的智能视窗***基于机床调整状态和生产加工的实际业务流程，其构建流程包括收集数据，几何造型，场景优化，人机界面，场景构建和场景模型共6个功能模块以及这些模块之间的6个步骤过程。

10.根据权利要求9所述的一种机床的智能视窗***和构建方法，其特征在于，包括如下步骤：

步骤1，所述的收集数据模块将机床运行时的实体对象和虚拟对象的所有数据信息汇总后分为非模型驱动数据和模型驱动数据。非模型驱动数据是静态类型数据，以表格形式在物联网平台工具中存储和展示。模型驱动数据是动态数据，使用WebSocket协议将数据发送到物联网平台工具进行存储，并以JSON字符串格式传递给三维可视化引擎进行数据链接和绑定。收集数据模块汇总后的数据经过步骤2和步骤3分别提供给几何造型和人机界面模块；

步骤2，所述的几何造型模块根据实体对象的几何尺寸采用三维建模软件构建出数字模型，添加必要的灯光、材质、纹理渲染模型和特效，使三维模型具有真实质感、更加逼真。为了降低硬件的运行压力，要对模型进行适当地简化处理，并导出为轻量化格式文件，在步骤4中将该文件导入到场景构建模块中；

步骤3，所述的人机界面模块包括人机交互设计、外部输入事件响应等功能，旨在实现在三维虚拟环境中的场景漫游，使用户有身临其境的直观体验。在三维建模软件环境中将实现人机界面模块功能的文件导出为轻量化格式文件，在步骤4中将该文件导入到场景构建模块中；

步骤4，所述的场景构建模块是在三维可视化引擎开发工具中对几何造型模块及人机界面模块功能文件的进一步完善，即将人机界面模块的设计效果与几何造型模块的模型文件合并到一个场景中，进行场景管理、场景漫游、用户接口界面设计、性能优化等，在步骤5中将该文件导入到场景模型模块中；

步骤5，所述的场景模型模块是在三维可视化引擎开发工具中将物联网平台开发工具以JSON字符串格式提供的信息进行数据绑定，实现基于所述的物理层模块中实体对象的实时数据驱动的虚拟场景、状态看板、直播视频和增强现实模块状态信息的实时更新，对这些模块进行运行测试并将测试结果在步骤6中反馈到场景优化模块中；

步骤6，所述的场景优化模块将步骤5中的场景模型模块测试运行的结果反馈到几何造型和人机界面模块，在这两个模块中分别进行设计优化，经过迭代以后在三维可视化引擎开发工具中将虚拟场景模块的模型文件发布为WebGL格式，并集成到物联网平台工具中。

Images