CN112166389A - 混合渲染hmi终端装置 - Google Patents

混合渲染hmi终端装置 Download PDF

Info

Publication number
CN112166389A
CN112166389A CN201880093940.6A CN201880093940A CN112166389A CN 112166389 A CN112166389 A CN 112166389A CN 201880093940 A CN201880093940 A CN 201880093940A CN 112166389 A CN112166389 A CN 112166389A
Authority
CN
China
Prior art keywords
data
rendering
component
hmi
svg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880093940.6A
Other languages
English (en)
Inventor
藤枝宏之
清水伸夫
野岛章
三宅恭平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Mitsubishi Electric Industrial Systems Corp
Original Assignee
Toshiba Mitsubishi Electric Industrial Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Mitsubishi Electric Industrial Systems Corp filed Critical Toshiba Mitsubishi Electric Industrial Systems Corp
Publication of CN112166389A publication Critical patent/CN112166389A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/058—Safety, monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/10—Plc systems
    • G05B2219/13—Plc programming
    • G05B2219/13144—GUI graphical user interface, icon, function bloc editor, OI operator interface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/10—Plc systems
    • G05B2219/14—Plc safety
    • G05B2219/14006—Safety, monitoring in general
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/06—Use of more than one graphics processor to process data before displaying to one or more screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/027—Arrangements and methods specific for the display of internet documents
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Programmable Controllers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Digital Computer Display Output (AREA)

Abstract

混合渲染HMI终端装置(32)具备Web浏览器(321)、HMI Web运行时(322)。Web浏览器(321)显示配置有表示监视对象装置(7)的状态的第1部件及第2部件的HMI画面。WebGL渲染处理部(322i)在来自监视对象装置(7)的信号数据是模拟数值数据的情况下，通过WebGL渲染绘制与该信号数据相关联的所述第1部件。SVG渲染处理部(322h)在来自监视对象装置(7)的信号数据是模拟数值数据以外的数据的情况下，通过SVG渲染绘制与该信号数据相关联的所述第2部件。

Description

混合渲染HMI终端装置
技术领域
本发明涉及在Web浏览器上使SCADA HMI动作的混合渲染(hybrid rendering)HMI终端装置。
背景技术
SCADA(Supervisory Control And Data Acquisition，数据采集与监控***)作为对社会基础设施***进行监视控制的结构被熟知。社会基础设施***是钢铁轧制***、电力送变电***、上下水道处理***、楼宇管理***、道路***等。
SCADA是产业控制***的一种，进行基于计算机的***监视和过程控制。在SCADA中，需要与***的处理性能匹配的即时响应性(实时性)。
SCADA通常由以下这样的子***构成。
(1)HMI(Human Machine Interface，人机接口)
HMI是将对象过程(监视对象装置)的数据向操作者提示，使得操作者能够监视并控制过程的机构。例如在专利文献1中，公开了具备在SCADA客户端上动作的HMI画面的SCADA HMI。
(2)监视控制***
监视控制***收集过程上的信号数据，对过程发送控制命令。由PLC(Programmable Logic Controller，可编程逻辑控制器)等构成。
(3)远程输入输出装置(Remote Input Output：RIO)
远程输入输出装置与在过程内设置的传感器连接，将传感器的信号转换为数字的数据，将该数字数据向监视控制***发送。
(4)通信基础设备
通信基础设备将监视控制***与远程输入输出装置连接。
现有技术文献
专利文献
专利文献1：日本特开2017－27211号公报
发明内容
发明要解决的课题
在Web浏览器上构建使HMI画面动作的SCADA HMI的情况下，HMI画面的SVG形式的图被Web浏览器管理的DOM读取而显示。在为了改变HMI画面上的部件的颜色而进行了DOM内的svg元素的变更的情况下，Web浏览器检测该变更，将HMI画面更新。这样的SVG渲染的绘制性能是低速的，容易发生DOM GC(Garbage Collection，垃圾回收)，此时产生显示延迟。
作为SCADA的监视对象的装置有时高速地动作、变化。在这样的***的SCADA HMI中，需要高速地显示来自监视对象装置的信号数据。但是，通过上述的SVG渲染方式不能应对该要求。
本发明是为了解决上述那样的问题而提出的，目的是提供一种能够将在Web浏览器上动作的HMI画面无延迟地显示的混合渲染HMI终端装置。
用来解决课题的手段
为了达成上述目的，有关本发明的混合渲染HMI终端装置如以下这样构成。
有关本发明的混合渲染HMI终端装置具备Web浏览器、WebGL(Web GraphicsLibrary，Web图形库)渲染处理部和SVG渲染处理部。
Web浏览器显示配置有表示监视对象装置的状态的第1部件及第2部件的HMI画面。第1部件是显示模拟数值数据的部件。第2部件是显示模拟数值数据以外的数据的部件。
WebGL渲染处理部在来自监视对象装置的信号数据是模拟数值数据的情况下，通过WebGL渲染绘制与该信号数据相关联的第1部件。优选的是，WebGL渲染在offcanvas区域(主存储器区域)中预先绘制数值数据的字符串表现所需要的字体。并且，通过使用WebGL的纹理映射功能，从offcanvas区域(上述主存储器区域)将表现模拟数值数据的字符串向canvas区域(GPU存储器区域)转送，由此绘制第1部件。
SVG渲染处理部在来自监视对象装置的信号数据是模拟数值数据以外的数据的情况下，通过SVG渲染绘制与该信号数据相关联的第2部件。SVG渲染通过更新Web浏览器管理的DOM内的svg元素而绘制第2部件。
发明效果
根据本发明，通过采用发挥高绘制性能的WebGL渲染和有利于HMI的开发成本降低的SVG渲染的混合渲染方式，能够对在Web浏览器上动作的HMI画面无延迟地进行显示，并且高效地开发SCADA HMI。
附图说明
图1是表示SCADA的***结构的图。
图2是对SVG渲染与WebGL渲染的显示方式进行比较的图。
图3是用来说明混合渲染方式的HMI终端装置的概要的图。
图4是用来对在HMI终端装置的Web浏览器上动作的HMI Web运行时(runtime)的结构进行说明的图。
图5是用来对WebGL渲染处理部的字体属性的管理进行说明的图。
图6是表示SCADA Web HMI***具有的硬件结构例的框图。
具体实施方式
以下，参照附图对本发明的实施方式详细地进行说明。但是，在以下所示的实施方式中，在涉及各要素的个数、数量、量、范围等数量的情况下，除了特别写明的情况或在原理上明显确定为该数量的情况以外，本发明并不限定于该涉及的数量。此外，在以下所示的实施方式中说明的构造等除了特别写明的情况或在原理上明显确定的情况以外，对于本发明并不一定是必须的。另外，对于在各图中共同的要素赋予相同的标号而省略重复的说明。
实施方式1.
<整体***>
图1是表示SCADA的***结构的图。SCADA具备HMI 3、监视控制***4、通信基础设备5、RIO 6作为子***，与监视对象装置7连接。在本说明书中，包括作为SCADA HMI执行环境的HMI 3和作为SCADA HMI开发环境的图制作装置1，称作SCADA Web HMI***。
关于监视控制***4、通信基础设备5、RIO 6的说明如背景技术所述，因此省略。监视对象装置7是构成监视控制对象的工厂的传感器、致动器等。
图制作装置1具备图编辑器11。作为开发环境的图制作装置1通过图编辑器11生成HMI图数据2。HMI图数据2包括作为向量数据的SVG(Scalable Vector Graphics，可伸缩矢量图形)数据21和部件运行时属性数据22。
HMI 3(HMI子***)具备HMI服务器装置31和HMI终端装置32。作为执行环境的HMI3读取HMI图数据2，在Web浏览器321上动作的HMI Web运行时322(Web应用)与HMI Server运行时311协调，作为HMI子***动作。
<图制作装置>
图制作装置1具备的图编辑器11具有高级的图编辑功能和能够将图数据以SVG形式保存的功能。图编辑器11作为一例是Microsoft Visio(注册商标)。
在图制作装置1上动作的图编辑器11具备制图部12、部件运行时属性生成部13和HMI图数据输出部14。
制图部12在显示器1c(图6)上并列显示排列有制作图所需要的部件的模型(prototype)的模绘板区域和绘制图的制图区域。此外，制图部12能够使用输入输出接口1d(图6)将开发者选择的模绘板区域上的部件配置到制图区域的图上。
部件的种类例如有DI(Digital Input，数字输入)信号部件、AI(Analog Input，模拟输入)信号部件、DO(Digital Output，数字输出)信号部件、AO(Analog Output，模拟输出)信号部件等。
配置在制图区域的图上的任意的位置的部件具有颜色、形状、位置、大小等静态显示属性。
在制图区域的图上配置部件时，部件运行时属性生成部13自动生成该部件所固有的部件运行时属性数据。具体而言，当配置部件时，部件运行时属性生成部13自动生成部件运行时属性数据，部件运行时属性数据将固有的信号名称(项目)与该部件的动态的显示内容相关联，该固有的信号名称(项目)将该部件与监视对象装置7相关联，该部件的动态的显示内容对应于来自监视对象装置7的信号数据的变化。固有的信号名称是将画面ID、画面内的设备编号与部件种类组合而生成的。各部件经由固有的信号名称与信号数据、控制指令相关联。
例如，当配置DI信号部件时，部件运行时属性生成部13自动生成将固有的数字信号名称与在来自监视对象装置7的信号数据的值变化为OFF的情况下的该部件的显示颜色(颜色代码)相关联的部件运行时属性数据，其中该固有的数字信号名称将该部件与监视对象装置7相关联。
此外，当配置AI信号部件时，部件运行时属性生成部13自动生成将固有的模拟信号名称与用来显示来自监视对象装置7的信号数据的值的显示形态(例如“9999.99”)相关联的部件运行时属性数据，其中该固有的模拟信号名称将该部件与监视对象装置7相关联。
为了发挥HMI画面的监视控制功能，针对图上的各部件生成的部件运行时属性数据在HMI子***的执行时读取。
HMI图数据输出部14输出HMI图数据2，HMI图数据2包括配置有绘制在制图区域中的部件的图的SVG数据21和部件运行时属性数据22。SVG数据21包括配置的部件的静态显示属性(颜色、形状、位置、大小)作为svg元素的属性。
<混合渲染方式的HMI终端装置>
HMI终端装置32预先具备Web浏览器321、HMI Web运行时322和DOM(DocumentObject Model，文档对象模型)323。
Web浏览器321读取至少1个SVG数据21而显示HMI画面。HMI画面是组合多个由向量数据定义的图而构成的。SVG形式的图(SVG数据21)通过HMI Web运行时322被Web浏览器321管理的DOM(Document Object Model，文档对象模型)323读取并绘制。
图2是对SVG渲染与WebGL渲染的显示方式进行比较的图。在HMI Web运行时322为了改变HMI画面上的部件的颜色而进行了DOM 323内的svg元素的变更(例如，变更颜色属性的颜色代码)的情况下，Web浏览器321检测该变更，将HMI画面更新。这样的SVG渲染随着DOM内的信息量的增加绘制性能下降，此外，容易发生DOM GC(Garbage Collection，垃圾回收)，此时产生显示延迟。
将SCADA作为监视对象的监视对象装置7有时高速地动作而变化。在其HMI子***中，需要将监视对象装置7输出的信号的值高速地显示。但是，通过上述的SVG渲染方式，不能应对该要求。
在直接操作作为处理器32a之一的GPU(Graphics Processing Unit，图形处理器)而进行绘制的WebGL中，与SVG渲染方式相比高速地进行绘制。此外，也不发生DOM GC。因此，WebGL渲染方式适合于要求高速的绘制的情况。另一方面，拥有高级的图编辑功能的图编辑器11生成的SVG数据21复杂，难以将全部的部件通过Web渲染来进行绘制(花费开发成本)。
所以，在本实施方式的***中，采用将SVG渲染和WebGL渲染适当区分使用的混合渲染方式。
图3是用来说明混合渲染方式的HMI终端装置32的概要的图。需要在SCADA***中高速地变更的部件是显示模拟数值数据的AI信号部件。电压及电流等模拟数值数据总是在变动，将这样的变动实时地反映到画面上是重要的。仅将AI信号部件通过WebGL渲染进行绘制，这与HMI子***的要求规格吻合。
所以，在本实施方式中，在AI信号部件的显示更新时，通过WebGL渲染方式，使用DOM 323的canvas元素323b绘制AI信号部件。另一方面，在AI信号部件以外的部件的显示更新时，通过SVG渲染方式，更新DOM 323的svg元素323a的属性，绘制该部件。
图4是用来对在HMI终端装置32的Web浏览器321上动作的HMI Web运行时322的结构进行说明的图。首先，对用于WebGL渲染的事先处理进行说明。为了实现混合渲染，需要HMI Web运行时模块内的WebGL渲染处理部322i。
WebGL渲染处理部322i为了进行AI信号部件的显示，可以使用保存在SVG数据21内的AI信号部件元素，但访问保存在DOM内的信息在性能上并不优选。因此，将关于AI信号部件元素的信息事先从SVG数据21删除，转移至部件运行时属性数据22。WebGL渲染处理部322i从部件运行时属性数据22取得AI信号部件的绘制所需要的信息。
接着，对HMI Web运行时322进行说明。HMI Web运行时322将HMI图数据2作为设定参数读取，在Web浏览器321上动作。HMI Web运行时322是针对每个部件的种类预先设定了固有的处理内容的库，基于读取的设定参数，确定HMI画面上的1个部件，承担该部件的固有的处理。即，即使是同种部件，对各部件设定的设定参数(例如固有的信号名称)也不同，所以各部件的动作不同。
HMI Web运行时322通过设定参数将部件与监视对象装置7相关联，在经由监视控制***4从监视对象装置7接收到与固有的信号名称对应的信号数据时，在HMI画面上使与固有的信号名称对应的部件的显示变化。
更详细地说，HMI Web运行时322具备部件固有处理部322a、SVG数据读取处理部322c、信号数据接收部322d、图更新部322e、事件处理部322f、控制指令发送部322g。
SVG数据读取处理部322c读取SVG数据21。部件固有处理部322a将SVG数据21的静态显示属性包含在部件管理信息322b中。部件固有处理部322a针对SVG数据21所包含的每个部件，读取与其对应的部件运行时属性数据22，包含在部件管理信息322b中。
部件固有处理部322a对于针对每个部件的种类而预先设定了固有的处理内容的库(JavaScript(注册商标)程序)，应用部件管理信息322b作为设定参数，使HMI画面上的各个部件发挥功能。作为例子，对DI信号部件和AI信号部件的固有处理进行说明。
DI信号部件的固有处理经由监视控制***4从监视对象装置7接收数字信号数据，根据信号值使该部件的显示颜色、形状变化。运行时属性是数字信号名称、信号OFF时的显示颜色、形状。
AI信号部件的固有处理经由监视控制***4从监视对象装置7接收模拟信号数据(模拟数值数据)，根据信号值，按照数据显示形态的指定使该部件显示值。运行时属性是模拟信号名称、数据的显示形态(“9999.99”等)。
信号数据接收部322d经由HMI Server运行时311接收来自监视对象装置7的信号数据。部件固有处理部322a基于部件管理信息322b确定与接收到的信号数据对应的部件，决定图上的部件显示的更新指示。
例如，对于DI信号部件，在数字信号数据的值是OFF的情况下，发出将DOM内的svg元素的颜色属性值变更为OFF色的颜色代码的更新指示。对于AI信号部件，发出将模拟信号数据的值以指定的显示形态显示的更新指示。更新指示向图更新部322e发送。
图更新部322e具备SVG渲染处理部322h和WebGL渲染处理部322i。
SVG渲染处理部322h在来自监视对象装置7的信号数据是模拟数值数据以外的数据的情况下，通过SVG渲染绘制与该信号数据相关联的部件(例如DI信号部件)。SVG渲染对Web浏览器321管理的DOM 323内的svg元素323a进行更新，通过Web浏览器321检测其变更，绘制该部件。
WebGL渲染处理部322i在来自监视对象装置7的信号数据是模拟数值数据的情况下，通过WebGL渲染绘制与该信号数据相关联的AI信号部件。如图5所示，WebGL渲染在offcanvas区域(主存储器区域)中预先绘制数值数据的字符串表现所需要的字体。并且，通过使用WebGL的纹理映射(UV映射)功能，从offcanvas区域(主存储器区域)将表现模拟数值数据的字符串向canvas区域(GPU存储器区域)转送从而进行绘制。由此，能够实现高速的绘制。
这能够在绘制的内容限于数值数据的情况下利用。为了显示数值数据，只要准备0～9的数字、小数点、负号、空格等有限的字体即可，但如果考虑字体族(font family)、字体尺寸、文字颜色、背景颜色等的变化，则为offcanvas区域准备的字体数变多。所以，实现以下机制，管理在WebGL渲染处理部322i内使用的字体属性，动态地生成未使用的字体属性的offcanvas字体，将已使用的字体属性的offcanvas字体再利用。
在混合渲染中的WebGL渲染中，进行通过UV映射进行的主存储器上的container的更新、和通过render进行的GPU存储器上的view区域的更新的两阶段的更新处理。在图5的例子中，container的大小相对于物理屏幕的大小在纵、横都确保了5倍的大小。这是对HMI中的画面进行1倍～5倍的缩放(zooming)的情况。在以n倍以内进行的情况下，需要在纵向、横向上都确保n倍的大小。这是为了将包括缩放的情况的显示所需要的全部图像保持在存储器上。在设缩放的当前的缩放水平为p(1≤p≤n)的情况下，在通过render将container上的图像向CPU存储器上的view区域转送时，缩小为1/p而转送。
在Web GIS(例如，Google maps(注册商标))那样的不需要实时性的***中，不像这样将全部的图像保持在存储器上，而是在发生了缩放或平移(panning)的时刻进行再绘制。因此，在container中，仅确保与物理屏幕相同大小的存储器即可，但在缩放或平移时的再显示中产生延迟。
另一方面，在SCADA HMI那样的需要实时性的***中，由于不容许这样的延迟，所以在container上预先确保全图像，在缩放或平移时，再显示仅通过render的执行而完成。与通过UV映射将全文本数据的字体图像展开到container区域中相比，render的执行是高速的。也有在GPU存储器上确保container区域的方法，但在此情况下，由于需要GPU存储量大的高端的昂贵的图形处理器，所以在主存储器上确保container区域在成本性能方面有利。
回到图4，继续HMI Web运行时322的说明。事件处理部322f检测与各部件关联的键盘或鼠标事件。部件固有处理部322a基于部件管理信息322b，决定与检测到的事件对应的控制指令。控制指令发送部322g向HMI Server运行时311发送控制指令。
<HMI服务器装置>
HMI Server运行时311在HMI服务器装置31上动作。HMI Server运行时311的处理如下所述。
(1)内置应用服务器，对Web浏览器321供给HMI Web运行时内容。
(2)与监视控制***4通信，将来自监视对象装置7的信号数据向HMI Web运行时322发送，并将来自HMI Web运行时322的控制指令向监视控制***4发送。
如以上说明，根据本实施方式的混合渲染方式的HMI终端装置，关于需要高速绘制的信号数据，在offcanvas上将使用的全部的字体图像缓存，或在主存储器的container上保持考虑到缩放的全画面图像，从而实现高速绘制。在上述那样的地图服务中，由于不能对缩放水平或使用的字体的尺寸、种类设置限制，所以不能应用该方法。但是，在监视控制***的HMI中，工作的应用确定，由于能够将缩放水平及使用的字体的尺寸、种类限定在一定的范围中，所以能够实现该方式。
<硬件结构例>
参照图6对SCADA Web HMI***的主要部分的硬件结构进行说明。图6是表示SCADAWeb HMI***具有的硬件结构例的框图。
图1所示的图制作装置1的各部表示图制作装置1具有的功能的一部分，各功能由处理电路实现。处理电路是处理器1a、存储器1b、显示器1c和输入输出接口1d连接而构成的。输入输出接口1d是键盘、鼠标等输入设备、能够对HMI图数据2进行文件输出的设备。处理器1a通过执行存储在存储器1b中的各种程序，从而实现图制作装置1的各部的功能。
图1所示的HMI终端装置32的各部表示HMI终端装置32具有的功能的一部分，各功能由处理电路实现。处理电路是处理器32a、存储器32b、显示器32c和输入接口32d连接而构成的。处理器32a具备CPU和GPU。存储器32b具备主存储器和GPU存储器。另外，GPU和GPU存储器也可以配置在增设于外部插槽中的图形卡上。输入接口32d是键盘、鼠标等输入设备、能够将HMI图数据2读取的设备。此外，处理电路也具备能够与HMI服务器装置31连接而收发信号数据及控制指令的网络设备(图示省略)。处理器32a通过执行存储在存储器32b中的各种程序，从而实现HMI终端装置32的各部的功能。
图1所示的HMI服务器装置31的各部表示HMI服务器装置31具有的功能的一部分，各功能由处理电路实现。处理电路是处理器31a、存储器31b和网络接口31d连接而构成的。网络接口31d是与监视控制***4和HMI终端装置32连接、能够收发信号数据及控制指令的设备。处理器31a通过执行存储在存储器31b中的各种程序，从而实现HMI服务器装置31的各部的功能。
以上，对本发明的实施方式进行了说明，但本发明并不限定于上述的实施方式，能够在不脱离本发明的主旨的范围内进行各种变形来实施。
标号说明
1 图制作装置
11 图编辑器
12 制图部
13 部件运行时属性生成部
14 HMI图数据输出部
2 HMI图数据
21 SVG数据
22 部件运行时属性数据
3 HMI
31 HMI服务器装置
311 HMI Server运行时
32 HMI终端装置
321 Web浏览器
322 HMI Web运行时
323 DOM
323a svg元素
323b canvas元素
4 监视控制***
5 通信基础设备
6 RIO
7 监视对象装置
322a 部件固有处理部
322b 部件管理信息
322c SVG数据读取处理部
322d 信号数据接收部
322e 图更新部
322f 事件处理部
322g 控制指令发送部
322h SVG渲染处理部
322i WebGL渲染处理部
1a、31a、32a 处理器
1b、31b、32b 存储器
1c、32c 显示器
1d 输入输出接口
31d 网络接口
32d 输入接口

Claims (6)

1.一种混合渲染HMI终端装置，与监视对象装置连接，其特征在于，
具备：
Web浏览器，显示配置有表示所述监视对象装置的状态的第1部件及第2部件的HMI画面；
WebGL渲染处理部，在来自所述监视对象装置的信号数据是模拟数值数据的情况下，通过WebGL渲染绘制与该信号数据相关联的所述第1部件；以及
SVG渲染处理部，在来自所述监视对象装置的信号数据是模拟数值数据以外的数据的情况下，通过SVG渲染绘制与该信号数据相关联的所述第2部件。
2.如权利要求1所述的混合渲染HMI终端装置，其特征在于，
所述WebGL渲染在offcanvas区域中预先绘制数值数据的字符串表现所需要的字体，通过使用WebGL的纹理映射功能，从所述offcanvas区域将表现所述模拟数值数据的字符串向canvas区域转送，由此绘制所述第1部件；
所述SVG渲染通过更新所述Web浏览器管理的DOM内的svg元素而绘制所述第2部件。
3.如权利要求1或2所述的混合渲染HMI终端装置，其特征在于，
所述模拟数值数据是电压数据或电流数据。
4.一种混合渲染HMI终端装置，与监视对象装置连接，其特征在于，
具备：
显示器，显示Web浏览器；
处理器，执行程序；以及
存储器，存储程序；
如果所述处理器执行所述程序，则进行以下的处理：
将配置有表示所述监视对象装置的状态的第1部件及第2部件的HMI画面显示在所述Web浏览器上；
在来自所述监视对象装置的信号数据是模拟数值数据的情况下，通过WebGL渲染绘制与该信号数据相关联的所述第1部件；
在来自所述监视对象装置的信号数据是模拟数值数据以外的数据的情况下，通过SVG渲染绘制与该信号数据相关联的所述第2部件。
5.如权利要求4所述的混合渲染HMI终端装置，其特征在于，
所述存储器具备主存储器和GPU存储器；
所述WebGL渲染在所述主存储器上的区域预先绘制数值数据的字符串表现所需要的字体，通过使用WebGL的纹理映射功能，从所述区域将表现所述模拟数值数据的字符串向所述GPU存储器转送，由此绘制所述第1部件；
所述SVG渲染通过在所述主存储器上更新所述Web浏览器管理的DOM内的svg元素而绘制所述第2部件。
6.如权利要求4或5所述的混合渲染HMI终端装置，其特征在于，
所述模拟数值数据是电压数据或电流数据。
CN201880093940.6A 2018-10-31 2018-10-31 混合渲染hmi终端装置 Pending CN112166389A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/040489 WO2020090028A1 (ja) 2018-10-31 2018-10-31 ハイブリッドレンダリングｈｍｉ端末装置

Publications (1)

Publication Number Publication Date
CN112166389A true CN112166389A (zh) 2021-01-01

Family

ID=67473266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880093940.6A Pending CN112166389A (zh) 2018-10-31 2018-10-31 混合渲染hmi终端装置

Country Status (7)

Country Link
US (1) US11644810B2 (zh)
JP (1) JP6552775B1 (zh)
CN (1) CN112166389A (zh)
BR (1) BR112020022492A2 (zh)
PH (1) PH12020552040A1 (zh)
TW (1) TWI682645B (zh)
WO (1) WO2020090028A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112020014245A2 (pt) * 2018-10-31 2021-05-25 Toshiba Mitsubishi-Electric Industrial Systems Corporation sistema ihm web scada
JP7245741B2 (ja) * 2019-07-25 2023-03-24 東芝三菱電機産業システム株式会社 Ｓｃａｄａウェブｈｍｉサーバおよびｓｃａｄａウェブｈｍｉシステム
JP7131706B2 (ja) * 2019-11-26 2022-09-06 東芝三菱電機産業システム株式会社 Ｓｃａｄａウェブｈｍｉシステム
JP7148000B2 (ja) * 2020-06-01 2022-10-05 東芝三菱電機産業システム株式会社 Ｓｃａｄａウェブｈｍｉシステムおよびｈｍｉクライアント
CN114793451A (zh) * 2020-11-24 2022-07-26 东芝三菱电机产业***株式会社 成套设备监视控制***
CN113656736B (zh) * 2021-08-19 2024-07-23 上海哔哩哔哩科技有限公司 数据处理方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170032050A1 (en) * 2015-07-30 2017-02-02 Wix.Com Ltd. System integrating a mobile device application creation, editing and distribution system with a website design system
CN106709793A (zh) * 2017-01-26 2017-05-24 杭州纽带科技有限公司 一种在线3d打印定制***及方法
US20170186405A1 (en) * 2015-12-28 2017-06-29 Business Objects Software Limited Multi-Layer Rendering for Visualizations
CN106909640A (zh) * 2017-02-16 2017-06-30 杭州新迪数字工程***有限公司 基于webgl的三维模型轻量化展示技术
CN107209511A (zh) * 2015-02-24 2017-09-26 东芝三菱电机产业***株式会社 监视控制装置
CN107590194A (zh) * 2017-08-14 2018-01-16 彭志勇 超大图像的切割加载显示方法
US20180078146A1 (en) * 2016-09-21 2018-03-22 Analytics For Life Method and system for visualization of heart tissue at risk
CN107852524A (zh) * 2015-07-28 2018-03-27 谷歌有限责任公司 用于将视频与交互式动态渲染的视觉教具合成的***

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7925611B1 (en) * 2003-09-25 2011-04-12 Rockwell Automation Technologies, Inc. Graphical user interface
US7899777B2 (en) * 2007-09-27 2011-03-01 Rockwell Automation Technologies, Inc. Web-based visualization mash-ups for industrial automation
CN103313098A (zh) * 2009-05-08 2013-09-18 柯尔无限授权责任有限公司 用于配置业务指南演示的方法及装置
JP2012063274A (ja) * 2010-09-16 2012-03-29 Gnss Technologies Inc ナビゲーション信号送信装置および位置情報提供装置
US10475240B2 (en) 2010-11-19 2019-11-12 Fanuc Robotics America Corporation System, method, and apparatus to display three-dimensional robotic workcell data
US8817021B1 (en) * 2011-11-11 2014-08-26 Google Inc. System for writing, interpreting, and translating three-dimensional (3D) scenes
CN103678341A (zh) * 2012-09-07 2014-03-26 鸿富锦精密工业（深圳）有限公司 数据库交互***及方法
US9870545B2 (en) 2013-10-08 2018-01-16 General Electric Company System and method for providing user interface cards
CA2942532C (en) * 2014-03-14 2019-10-15 Atronix Engineering, Inc. Zooming user interface for a material handling control system
WO2015176163A1 (en) * 2014-05-21 2015-11-26 Millennium Three Technologies Inc Fiducial marker patterns, their automatic detection in images, and applications thereof
US10819957B2 (en) * 2015-07-07 2020-10-27 S2 Security, LLC Networked monitor remote
US10070657B1 (en) * 2015-07-14 2018-09-11 Hall Fabrication, Inc. Method and system for controlling a loin puller meat processing machine
JP6477319B2 (ja) 2015-07-17 2019-03-06 東芝三菱電機産業システム株式会社 プラント制御システム
US10019415B1 (en) * 2015-08-28 2018-07-10 Animoto Inc. System and method for consistent cross-platform text layout
US9583140B1 (en) * 2015-10-06 2017-02-28 Bruce Rady Real-time playback of an edited sequence of remote media and three-dimensional assets
US9923993B2 (en) * 2015-11-02 2018-03-20 Rockwell Automation Technologies, Inc. Self-describing diagnostic data for presentation on mobile devices

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209511A (zh) * 2015-02-24 2017-09-26 东芝三菱电机产业***株式会社 监视控制装置
CN107852524A (zh) * 2015-07-28 2018-03-27 谷歌有限责任公司 用于将视频与交互式动态渲染的视觉教具合成的***
US20170032050A1 (en) * 2015-07-30 2017-02-02 Wix.Com Ltd. System integrating a mobile device application creation, editing and distribution system with a website design system
US20170186405A1 (en) * 2015-12-28 2017-06-29 Business Objects Software Limited Multi-Layer Rendering for Visualizations
US20180078146A1 (en) * 2016-09-21 2018-03-22 Analytics For Life Method and system for visualization of heart tissue at risk
CN106709793A (zh) * 2017-01-26 2017-05-24 杭州纽带科技有限公司 一种在线3d打印定制***及方法
CN106909640A (zh) * 2017-02-16 2017-06-30 杭州新迪数字工程***有限公司 基于webgl的三维模型轻量化展示技术
CN107590194A (zh) * 2017-08-14 2018-01-16 彭志勇 超大图像的切割加载显示方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘志强: "虚拟现实（VR）技术与应用", 西安交通大学出版社, pages: 182 - 183 *
胡争光;高嵩;薛峰;于连庆;: "MICAPS4网络平台设计与实现", 应用气象学报, no. 01, 15 January 2018 (2018-01-15), pages 182 - 183 *

Also Published As

Publication number Publication date
US20210208562A1 (en) 2021-07-08
JPWO2020090028A1 (ja) 2021-02-15
TW202019129A (zh) 2020-05-16
WO2020090028A1 (ja) 2020-05-07
TWI682645B (zh) 2020-01-11
JP6552775B1 (ja) 2019-07-31
US11644810B2 (en) 2023-05-09
PH12020552040A1 (en) 2021-06-07
BR112020022492A2 (pt) 2021-02-09

Similar Documents

Publication Publication Date Title
CN112166389A (zh) 混合渲染hmi终端装置
CN107273007B (zh) 用于缩放可视化图像的***和非瞬时计算机可读介质
CN113095995B (zh) 网页水印添加方法、装置、电子设备及存储介质
US20090271012A1 (en) Method or System for Displaying an Internet Page on a Visualization Device of an Industrial Automation Device
CA2266724C (en) System for translating visual display object files and method of operation thereof
CN111459501B (zh) 基于SVG的Web组态画面存储与展示***和方法及介质
CN107391743A (zh) 一种基于动态地图符号的移动gis可视化方法
JP2014225085A (ja) 文書変換装置および文書変換方法
WO2021254246A1 (zh) 一种基于svg技术的实时监测工业数据的方法
CN114080593A (zh) Scada网页hmi***及hmi客户端
CN107203503B (zh) 一种应用于svg界面的实时监视表格的方法
CN111095136A (zh) 信息设备、终端装置以及程序
US20220057780A1 (en) Scada web hmi system
CN111801631B (zh) SCADA Web HMI***
KR101345726B1 (ko) 웹페이지 캡쳐 화면 인쇄 방법
CN102667652B (zh) 具有显示单元的现场装置和用于操作显示单元的方法
CN101364088B (zh) 工业人机界面变量访问方法及***
KR20160130560A (ko) Hmi 시스템
JPH02205976A (ja) プログラム生成装置
KR20100031784A (ko) 웹페이지 캡쳐 화면 인쇄 방법
CN117749644A (zh) 机电设备监控平台、监控方法及存储介质
CN117591203A (zh) 在过程自动化技术的测量变换器上创建菜单结构的方法
CN115686692A (zh) 桌面组件的渲染方法及***、电子设备及存储介质
JP2781411B2 (ja) グラフイックディスプレイ制御方法、及び計算機用ディスプレイ装置
CN117616740A (zh) Scada网页hmi***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination