WO2023070460A1 - 一种工业数据获取方法及装置 - Google Patents

一种工业数据获取方法及装置 Download PDF

Info

Publication number
WO2023070460A1
WO2023070460A1 PCT/CN2021/127159 CN2021127159W WO2023070460A1 WO 2023070460 A1 WO2023070460 A1 WO 2023070460A1 CN 2021127159 W CN2021127159 W CN 2021127159W WO 2023070460 A1 WO2023070460 A1 WO 2023070460A1
Authority
WO
WIPO (PCT)
Prior art keywords
industrial
cloud
industrial controller
display image
image
Prior art date
Application number
PCT/CN2021/127159
Other languages
English (en)
French (fr)
Inventor
金一泓
孙洪佳
朱俊丰
Original Assignee
西门子（中国）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 西门子（中国）有限公司 filed Critical 西门子（中国）有限公司
Priority to CN202180101634.4A priority Critical patent/CN117940860A/zh
Priority to PCT/CN2021/127159 priority patent/WO2023070460A1/zh
Publication of WO2023070460A1 publication Critical patent/WO2023070460A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]

Definitions

  • the present invention mainly relates to the field of industrial digitization, in particular to an industrial data acquisition method and device.
  • the factory's industrial controller is connected to the industrial equipment to control the industrial equipment. Due to limited computing resources and physical interfaces, outdated hardware and software configurations, and network security settings, old industrial equipment/industrial controllers (legacy industrial devices) usually cannot access databases or applications of old industrial equipment Interface (API), that is, the inability to connect to the modern industrial Internet network, making it very difficult to obtain data from such industrial equipment, which seriously affects the digitalization process of the factory.
  • API old industrial equipment Interface
  • the present invention provides a data acquisition method, device and system, so as to quickly and accurately acquire data of industrial equipment.
  • the present invention proposes an industrial data acquisition method, the method comprising: collecting the display image of the display panel of the industrial controller, the industrial controller is used to control at least one industrial device; The on-site edge computing device of the controller sends the display image to the cloud; image processing is performed on the display image in the cloud to obtain the operation data of the industrial equipment and output the operation data of the industrial equipment.
  • an edge computing device is set up on the site of the industrial controller.
  • the edge computing device obtains the display image on the display panel of the industrial controller, and analyzes and processes the display image in the cloud. Since the cloud has rich algorithms and powerful Computing power can improve the accuracy and efficiency of image processing, and at the same time reduce the computing power requirements for edge computing devices and reduce costs.
  • the method does not need to modify the hardware or software of the old industrial controller, and eliminates the problem of difficult data acquisition of the old industrial controller.
  • performing image processing on the display image on the cloud to obtain the operation data of the industrial equipment includes: segmenting an area of interest in the display image, where the area of interest includes icons and text; Perform color detection on the icons in the region of interest to obtain color information and shape information of the icons, and convert the color information and shape information into semantic information; and/or text in the region of interest Perform optical character recognition to obtain computer-readable text.
  • image processing can be implemented in the cloud and operating data of industrial equipment can be acquired.
  • collecting the display image of the display panel of the industrial controller includes: setting a splitter at the output end of the display panel, and collecting the display image of the display panel of the industrial controller through the splitter . For this reason, the display image of the display panel is collected through the splitter, without the need to modify the structure of the industrial controller.
  • the method further includes: sending the display image to a remote terminal through the cloud, and displaying the display image on the remote terminal.
  • the display image in the industrial controller can be displayed on the display unit of the personal computer or the mobile terminal, and the user can remotely browse the operating status of the industrial equipment.
  • the method further includes: receiving a control command at the remote terminal and sending the control command to the edge computing device through the cloud, and converting the control command into an analog input at the edge computing device signal and send the analog input signal to the industrial controller, so that the industrial controller executes an instruction corresponding to the analog input signal.
  • remote control of industrial equipment can be realized.
  • the present invention also proposes an industrial data acquisition device, which includes: a collection module, which collects the display image of the display panel of an industrial controller, and the industrial controller is used to control at least one industrial device; a sending module, which is located in the industrial The on-site edge computing device of the controller sends the display image to the cloud; the processing module performs image processing on the display image in the cloud to obtain the operation data of the industrial equipment and output the Operating data.
  • a collection module which collects the display image of the display panel of an industrial controller, and the industrial controller is used to control at least one industrial device
  • a sending module which is located in the industrial The on-site edge computing device of the controller sends the display image to the cloud
  • the processing module performs image processing on the display image in the cloud to obtain the operation data of the industrial equipment and output the Operating data.
  • the processing module performs image processing on the display image on the cloud, so as to obtain the operation data of the industrial equipment includes: segmenting out a region of interest in the display image, and the region of interest includes icons and text; color detection is performed on the icons in the region of interest to obtain the color information and shape information of the icons, and convert the color information and shape information into semantic information; and/or analyze the sense
  • the text in the region of interest is subjected to optical character recognition to obtain computer-readable text.
  • the collection module collecting the display image of the display panel of the industrial controller includes: setting a splitter at the output end of the display panel, and collecting the display image of the industrial controller through the splitter The display image of the panel.
  • the device further includes: sending the display image to a remote terminal through the cloud, and displaying the display image on the remote terminal.
  • the device further includes: receiving a control command at the remote terminal and sending the control command to the edge computing device through the cloud, and converting the control command into an analog input at the edge computing device signal and send the analog input signal to the industrial controller, so that the industrial controller executes an instruction corresponding to the analog input signal.
  • the present invention also proposes an electronic device (400), including a processor (410), a memory (420) and instructions stored in the memory (420), wherein when the instructions are executed by the processor (410) Implement the method as above.
  • the present invention also proposes a computer-readable storage medium on which computer instructions are stored, and the computer instructions execute the method as described above when executed.
  • Fig. 1 is a schematic diagram of an implementation environment for acquiring industrial data according to an embodiment of the present invention
  • Fig. 2 is a flow chart of a method for obtaining industrial data according to an embodiment of the present invention
  • Fig. 3 is a schematic diagram of an industrial data acquisition device according to an embodiment of the present invention.
  • Fig. 4 is a schematic diagram of an electronic device according to an embodiment of the present invention.
  • Fig. 1 is a schematic diagram of an implementation environment for acquiring industrial data according to an embodiment of the present invention.
  • the implementation environment includes a site A, a site B, and a cloud 130 , and each site includes an industrial controller 110 and an edge computing device 120 .
  • the implementation environment may also include other sites besides site A and site B.
  • the industrial controller 110 includes a display panel 111, a computing unit 113, and a control unit 114, wherein the display panel 111 can be a Human Machine Interface (Human Machine Interface, HMI), and site users can browse industrial information through the display panel 111.
  • the operating status of the device 120 can also be given a control command through the display panel 111 .
  • the industrial controller 110 is connected to the industrial equipment, and the industrial equipment will generate operating data during operation. These operating data are sent to the industrial controller 110 through the connection between the industrial equipment and the industrial controller 110, and are displayed on the industrial controller after analysis and processing. On the display panel 111 of 110, after receiving the control command input by the user, the display panel 111 controls the industrial equipment according to the control command, for example, stops the operation of some industrial equipment.
  • the edge computing device 120 and the industrial controller 110 are located at the same site, that is, the edge computing device 120 and the industrial controller 110 are adjacent in physical space.
  • the edge computing device 120 includes a video capture card 121 for capturing display images of the display panel 111 in the industrial controller 110 .
  • the edge computing device 120 may also include a communication unit and a processing unit (not shown in the figure), the communication unit is used for data communication with other entities, and the processing unit is used for processing (for example, data conversion) received data.
  • Fig. 2 is a flowchart of an industrial data acquisition method 200 according to an embodiment of the present invention. As shown in Fig. 2, the industrial data acquisition method 200 includes:
  • Step 210 collecting a display image of a display panel of an industrial controller, where the industrial controller is used to control at least one industrial device.
  • An industrial controller is connected to the industrial equipment for controlling at least one industrial equipment.
  • the industrial controller includes a display interface, which can display the running status of each industrial equipment, for example, the first industrial equipment is running, and the second industrial equipment is stopped.
  • the user can also control the running status of each industrial device through the display interface, for example, stop the running first industrial device, or start the running of the stopped second industrial device.
  • This step collects the display image of the display panel of the industrial controller.
  • the display images of the display panel of the industrial controller can be collected at a fixed sampling period (for example, 5 seconds), and these display images form time-sequential display images.
  • collecting the display image of the display panel of the industrial controller may include: setting a splitter at the output end of the display panel, and collecting the display image of the display panel of the industrial controller through the splitter.
  • a line splitter 112 is set at the output end of the display panel, and the line splitter 112 splits two images, one of which is sent to the calculation unit 113, and the control unit 114 controls the industrial equipment according to the output of the calculation unit 113.
  • the other image is sent to the video capture card 121. For this reason, the display image of the display panel is collected through the splitter, without modifying the structure of the industrial controller.
  • Step 220 sending the displayed image to the cloud through the edge computing device located on site of the industrial controller.
  • the video capture card 121 of the edge computing device 120 captures the display image of the display panel 111, that is, takes a screenshot of the display panel 111, and the video capture card 121 captures the display image with a fixed sampling period to reduce the number of samples of the display image and reduce the impact on the edge. Performance requirements of computing device 120 .
  • the display image can be stored in the cache of the edge computing device 120 , and the display image in the cache can be sent to the cloud 130 by using the device-cloud transmission protocol.
  • Step 230 image processing is performed on the displayed image in the cloud to obtain the operation data of the industrial equipment, and output the operation data of the industrial equipment.
  • Performing image processing on the display image at the cloud 130 to obtain the operating data of the industrial equipment may include: segmenting the region of interest in the display image, where the region of interest includes icons and text; performing color detection on the icons in the region of interest to obtain Obtain the color information and shape information of the icon, and convert the color information and shape information into semantic information; and/or perform optical character recognition on the text in the region of interest to obtain computer-readable text.
  • a region of interest refers to an area containing information about the operation of industrial equipment.
  • regions of interest can be cropped, straightened, and zoomed, and a neural network model can be trained to process real-world images using the trained neural network model.
  • the neural network model may be a convolutional neural network model (CNN).
  • CNN convolutional neural network model
  • the operation data of the industrial equipment is acquired, the operation data of the industrial equipment is output, and these operation data can be used for further processing, display or control.
  • the operating data may be structured data. Structured data can be in JSON, XML or CSV format.
  • the method 200 may further include: sending the display image to a remote terminal through the cloud 130, and displaying the display image on the remote terminal.
  • the remote terminal can be a personal computer or a mobile terminal, and the display image in the industrial controller 110 can be displayed on the display unit of the personal computer or mobile terminal, and the user can remotely browse the operating status of the industrial equipment.
  • the method 200 may further include: receiving a control command at the remote terminal and sending the control command to the edge computing device through the cloud, converting the control command into an analog input signal at the edge computing device and sending the analog input signal to
  • the industrial controller is used to execute instructions corresponding to the analog input signal on the industrial controller.
  • the user issues a control command through the remote terminal, such as stopping the operation of the first industrial equipment, and sends the control command to the edge computing device 120 through the cloud, and the edge computing device 120 sends the control command Converted to an analog input signal (such as a mouse and keyboard signal)
  • the industrial controller can identify the analog input signal and perform corresponding operations.
  • the edge computing device 120 may include a UART-HID bridge to convert UART protocol messages into HID protocol (human-machine interface protocol) messages. For this purpose, remote control of industrial equipment can be realized.
  • An embodiment of the present invention provides a method for acquiring industrial data.
  • An edge computing device is installed on the site of the industrial controller, and the edge computing device acquires the display image on the display panel of the industrial controller, and analyzes the display image in the cloud And processing, because the cloud has rich algorithms and powerful computing power, it can improve the accuracy and efficiency of image processing, and at the same time reduce the computing power requirements for edge computing devices and reduce costs.
  • the method does not need to modify the hardware or software of the old industrial controller, and eliminates the problem of difficult data acquisition of the old industrial controller.
  • FIG. 3 is a schematic diagram of an industrial data acquisition device 300 according to an embodiment of the present invention. As shown in FIG. 3 , the industrial data acquisition device 300 includes:
  • the collection module 310 collects the displayed image of the display panel of the industrial controller, and the industrial controller is used to control at least one industrial device.
  • the sending module 320 is configured to send the displayed image to the cloud through the edge computing device located on site of the industrial controller.
  • the processing module 330 performs image processing on the displayed image in the cloud to obtain the operation data of the industrial equipment and output the operation data of the industrial equipment.
  • the processing module 330 performs image processing on the displayed image in the cloud to obtain the operation data of the industrial equipment including:
  • the collection module 310 collecting the display image of the display panel of the industrial controller includes: setting a splitter at the output end of the display panel, and collecting the display image of the display panel of the industrial controller through the splitter.
  • the device 300 further includes: sending the display image to a remote terminal through the cloud, and displaying the display image on the remote terminal.
  • the device 300 further includes: receiving a control command at the remote terminal and sending the control command to the edge computing device through the cloud, converting the control command into an analog input signal at the edge computing device and sending the analog input signal to the industrial A controller to execute instructions corresponding to the analog input signal at the industrial controller.
  • FIG. 4 is a schematic diagram of an electronic device 400 according to an embodiment of the present invention.
  • the electronic device 400 includes a processor 410 and a memory 420 , and the memory 420 stores instructions, wherein the instructions are executed by the processor 410 to implement the method 200 as described above.
  • the present invention also proposes a computer-readable storage medium on which computer instructions are stored, and when executed, the computer instructions execute the method 200 as described above.
  • Some aspects of the method and apparatus of the present invention may be entirely implemented by hardware, may be entirely implemented by software (including firmware, resident software, microcode, etc.), or may be implemented by a combination of hardware and software.
  • the above hardware or software may be referred to as “block”, “module”, “engine”, “unit”, “component” or “system”.
  • the processor can be one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DAPDs), Programmable Logic Devices (PLCs), Field Programmable Gate Arrays (FPGAs), processors , a controller, a microcontroller, a microprocessor, or a combination thereof.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DAPDs Digital Signal Processing Devices
  • PLCs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • processors a controller, a microcontroller, a microprocessor, or a combination thereof.
  • aspects of the present invention may be embodied as a computer product comprising computer readable program code on one or more computer readable media.
  • computer-readable media may include, but are not limited to, magnetic storage devices (e.g., hard disk, floppy disk, magnetic tape, ...), optical disks (e.g., compact disk (CD), digital versatile disk (DVD) %), smart cards And flash memory devices (eg, cards, sticks, key drives).

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种工业数据获取方法及装置，方法包括：采集工业控制器（110）的显示面板（111）的显示图像，工业控制器（110）用于控制至少一个工业设备；通过位于工业控制器（110）的现场的边缘计算设备（120）将显示图像发送至云端（130）；在云端（130）对显示图像进行图像处理，以获取工业设备的运行数据，并输出工业设备的运行数据。可以提高图像处理的准确性和效率，同时可以降低对边缘计算设备（120）的要求，降低了成本。

Description

一种工业数据获取方法及装置 技术领域
本发明主要涉及工业数字化领域，尤其涉及一种工业数据获取方法及装置。
背景技术
工厂的工业控制器连接至工业设备，以对工业设备进行控制。老旧的工业设备/工业控制器(legacy industrial device)由于有限的计算资源和物理接口，老旧过时的软硬件配置，以及网络安全方面的设置，通常无法访问老旧工业设备的数据库或应用程序接口(API)，即无法连接至现代的工业互联网网络，导致此类工业设备的数据获取非常困难，严重影响工厂的数字化进程。
发明内容
为了解决上述技术问题，本发明提供一种数据获取方法、装置及***，以能够快速、准确地获取工业设备的数据。
为实现上述目的，本发明提出了一种工业数据获取方法，所述方法包括：采集工业控制器的显示面板的显示图像，所述工业控制器用于控制至少一个工业设备；通过位于所述工业控制器的现场的边缘计算设备将所述显示图像发送至云端；在所述云端对所述显示图像进行图像处理，以获取所述工业设备的运行数据，并输出所述工业设备的运行数据。为此，在工业控制器的现场设置了边缘计算设备，边缘计算设备获取工业控制器中显示面板上的显示图像，并在云端对显示图像进行分析和处理，由于云端具有丰富的算法和强大的算力，可以提高图像处理的准确性和效率，同时可以降低对边缘计算设备的算力要求，降低了成本。此外，该方法无需对老旧工业控制器进行硬件或软件上的改造，消除了老旧工业控制器数据获取困难的问题。
可选地，在所述云端对所述显示图像进行图像处理，以获取所述工业设备的运行数据包括：分割出所述显示图像中的感兴趣区域，所述感兴趣区域包括图标和文字；对所述感兴趣区域中的图标进行颜色检测，以获取所述图标的颜色信息和形状信息，并将所述颜色信息和形状信息转换为语义信息；和/或对所述感兴趣区域的文字进行光学字符识别，以获取计算机可读文字。为此，可以在云端实现图像处理，并获取工业设备的运行数据。
可选地，采集所述工业控制器的显示面板的显示图像包括：在所述显示面板的输出端设置一分线器，通过所述分线器采集所述工业控制器的显示面板的显示图像。为此，通过 分线器采集显示面板的显示图像，无需对工业控制器的结构进行改造。
可选地，所述方法还包括：通过云端将所述显示图像发送至一远程终端，并在所述远程终端上显示所述显示图像。为此，个人计算机或移动终端的显示单元上可以显示工业控制器中的显示图像，用户可以远程浏览工业设备的运行状态。
可选地，所述方法还包括：在所述远程终端接收一控制指令并将所述控制指令通过所述云端发送至所述边缘计算设备，在所述边缘计算设备将控制指令转换为模拟输入信号并将所述模拟输入信号发送至所述工业控制器，以在所述工业控制器执行与所述模拟输入信号对应的指令。为此，可以实现对工业设备的远程控制。
本发明还提出一种工业数据获取装置，所述装置包括：采集模块，采集工业控制器的显示面板的显示图像，所述工业控制器用于控制至少一个工业设备；发送模块，通过位于所述工业控制器的现场的边缘计算设备将所述显示图像发送至云端；处理模块，在所述云端对所述显示图像进行图像处理，以获取所述工业设备的运行数据，并输出所述工业设备的运行数据。
可选地，所述处理模块在所述云端对所述显示图像进行图像处理，以获取所述工业设备的运行数据包括：分割出所述显示图像中的感兴趣区域，所述感兴趣区域包括图标和文字；对所述感兴趣区域中的图标进行颜色检测，以获取所述图标的颜色信息和形状信息，并将所述颜色信息和形状信息转换为语义信息；和/或对所述感兴趣区域的文字进行光学字符识别，以获取计算机可读文字。
可选地，所述采集模块采集所述工业控制器的显示面板的显示图像包括：在所述显示面板的输出端设置一分线器，通过所述分线器采集所述工业控制器的显示面板的显示图像。
可选地，所述装置还包括：通过云端将所述显示图像发送至一远程终端，并在所述远程终端上显示所述显示图像。
可选地，所述装置还包括：在所述远程终端接收一控制指令并将所述控制指令通过所述云端发送至所述边缘计算设备，在所述边缘计算设备将控制指令转换为模拟输入信号并将所述模拟输入信号发送至所述工业控制器，以在所述工业控制器执行与所述模拟输入信号对应的指令。
本发明还提出一种电子设备(400)，包括处理器(410)、存储器(420)和存储在所述存储器(420)中的指令，其中所述指令被所述处理器(410)执行时实现如上所述的方法。
本发明还提出一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令在被运行时执行如上所述的方法。
附图说明
以下附图仅旨在于对本发明做示意性说明和解释，并不限定本发明的范围。其中，
图1是根据本发明的一实施例的一种获取工业数据的实施环境的示意图；
图2是根据本发明的一实施例的一种工业数据获取方法的流程图；
图3是根据本发明的一实施例的一种工业数据获取装置的示意图；
图4是根据本发明的一实施例的一种电子设备的示意图。
附图标记说明
110 工业控制器
111 显示单元
112 分线器
113 计算单元
114 控制单元
120 边缘计算设备
121 视频采集卡
200 工业数据获取方法
210-230 步骤
300 工业数据获取装置
310 采集模块
320 发送模块
330 处理模块
400 电子设备
410 处理器
420 存储器
A 现场
B 现场
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用 其它不同于在此描述的其它方式来实施，因此本发明不受下面公开的具体实施例的限制。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
图1是根据本发明的一实施例的一种获取工业数据的实施环境的示意图。
如图1所示，该实施环境包括现场A、现场B和云端130，各现场包括工业控制器110和边缘计算设备120。可以理解，实施环境还可以包括除现场A和现场B之外的其它现场。以现场A为例，工业控制器110包括显示面板111、计算单元113和控制单元114，其中显示面板111可以是人机交互界面(Human Machine Interface，HMI)，现场用户可以通过显示面板111浏览工业设备120的运行状态，也可以通过显示面板111下达控制指令。
工业控制器110连接至工业设备，工业设备在运行时会产生运行数据，这些运行数据通过工业设备和工业控制器110之间的连接发送至工业控制器110，经过分析处理之后显示在工业控制器110的显示面板111上，显示面板111在接收到用户输入的控制指令之后，根据控制指令对工业设备进行控制，例如使部分工业设备停止运行。
边缘计算设备120与工业控制器110位于相同的现场，即边缘计算设备120与工业控制器110在物理空间内相邻。边缘计算设备120包括视频采集卡121，用于采集工业控制器110中显示面板111的显示图像。边缘计算设备120还可以包括通信单元和处理单元(图中未示出)，通信单元用于与其它实体之间进行数据通信，处理单元用于对接收到的数据进行处理(例如数据转换)。
图2是根据本发明的一实施例的一种工业数据获取方法200的流程图，如图2所示，工业数据获取方法200包括：
步骤210，采集工业控制器的显示面板的显示图像，工业控制器用于控制至少一个工业设备。
工业控制器连接至工业设备，用于控制至少一个工业设备。工业控制器包括显示界面，显示界面上可以显示各工业设备的运行状态，例如第一工业设备正在运行，第二工业设备停止运行。用户还可以通过显示界面控制各工业设备的运行状态，例如可以使正在运行的第一工业设备停止运行，或使停止运行的第二工业设备开始运行。此步骤采集工业控制器的显示面板的显示图像。可以以固定采样周期(例如5秒)采集工业控制器的显示面板的显示图像，这些显示图像形成时序显示图像。
在一实施例中，采集工业控制器的显示面板的显示图像可以包括：在显示面板的输出 端设置一分线器，通过分线器采集工业控制器的显示面板的显示图像。如图1所示，在显示面板的输出端设置一分线器112，分线器112分出两路图像，其中一路图像发送至计算单元113，控制单元114根据计算单元113的输出对工业设备进行控制，另一路图像发送至视频采集卡121。为此，通过分线器采集显示面板的显示图像，无需对工业控制器的结构进行改造。
步骤220，通过位于工业控制器的现场的边缘计算设备将显示图像发送至云端。
边缘计算设备120的视频采集卡121采集显示面板111的显示图像，也就是对显示面板111进行截屏，视频采集卡121以固定的采样周期采集显示图像，以减少显示图像的采样数量，降低对边缘计算设备120的性能要求。边缘计算设备120的视频采集卡121之后，可以将显示图像存储至边缘计算设备120的缓存中，并采用端云传输协议将缓存中的显示图像发送至云端130。
步骤230，在云端对显示图像进行图像处理，以获取工业设备的运行数据，并输出工业设备的运行数据。
在云端130对显示图像进行图像处理，以获取工业设备的运行数据可以包括：分割出显示图像中的感兴趣区域，感兴趣区域包括图标和文字；对感兴趣区域中的图标进行颜色检测，以获取图标的颜色信息和形状信息，并将颜色信息和形状信息转换为语义信息；和/或对感兴趣区域的文字进行光学字符识别，以获取计算机可读文字。感兴趣区域指的是包含工业设备运行信息的区域。例如，可以对感兴趣区域进行裁剪、拉直和缩放处理，还可以训练神经网络模型，并使用经训练的神经网络模型对现实图像进行处理。示例性地，神经网络模型可以是卷积神经网络模型(CNN)。通过在云端对显示图像进行分析和处理，由于云端具有丰富的算法和强大的算力，可以提高图像处理的准确性和效率，同时可以降低对边缘计算设备的算力要求，降低了成本。
在获取工业设备的运行数据之后，输出工业设备的运行数据，这些运行数据可以用于进一步的处理、现实或控制。在一实施例中，运行数据可以为结构化数据。结构化数据可以为JSON，XML或CSV格式。
在一些实施例中，方法200还可以包括：通过云端130将显示图像发送至一远程终端，并在远程终端上显示显示图像。远程终端可以是个人计算机或移动终端，在个人计算机或移动终端的显示单元上可以显示工业控制器110中的显示图像，用户可以远程浏览工业设备的运行状态。
在一些实施例中，方法200还可以包括：在远程终端接收一控制指令并将控制指令通过云端发送至边缘计算设备，在边缘计算设备将控制指令转换为模拟输入信号并将模拟输 入信号发送至工业控制器，以在工业控制器执行与模拟输入信号对应的指令。具体地，用户在浏览工业设备的运行状态之后，通过远程终端下发一控制指令，例如使第一工业设备停止运行，该控制指令通过云端发送至边缘计算设备120，边缘计算设备120将控制指令转换为模拟输入信号(例如鼠标键盘信号)，工业控制器可以识别该模拟输入信号，并执行相应的操作。示例性地，边缘计算设备120可以包括UART-HID桥，以将UART协议消息转换为HID协议(人机接口协议)消息。为此，可以实现对工业设备的远程控制。
本发明的实施例提供了一种工业数据的获取方法，在工业控制器的现场设置了边缘计算设备，边缘计算设备获取工业控制器中显示面板上的显示图像，并在云端对显示图像进行分析和处理，由于云端具有丰富的算法和强大的算力，可以提高图像处理的准确性和效率，同时可以降低对边缘计算设备的算力要求，降低了成本。此外，该方法无需对老旧工业控制器进行硬件或软件上的改造，消除了老旧工业控制器数据获取困难的问题。
本发明还提出一种工业数据获取装置，图3是根据本发明的一实施例的一种工业数据获取装置300的示意图，如图3所示，工业数据获取装置300包括：
采集模块310，采集工业控制器的显示面板的显示图像，工业控制器用于控制至少一个工业设备。
发送模块320，通过位于工业控制器的现场的边缘计算设备将显示图像发送至云端。
处理模块330，在云端对显示图像进行图像处理，以获取工业设备的运行数据，并输出工业设备的运行数据。
在一些实施例中，处理模块330在云端对显示图像进行图像处理，以获取工业设备的运行数据包括：
分割出显示图像中的感兴趣区域，感兴趣区域包括图标和文字；
对感兴趣区域中的图标进行颜色检测，以获取图标的颜色信息和形状信息，并将颜色信息和形状信息转换为语义信息；和/或对感兴趣区域的文字进行光学字符识别，以获取计算机可读文字。
在一些实施例中，采集模块310采集工业控制器的显示面板的显示图像包括：在显示面板的输出端设置一分线器，通过分线器采集工业控制器的显示面板的显示图像。
在一些实施例中，装置300还包括：通过云端将显示图像发送至一远程终端，并在远程终端上显示显示图像。
在一些实施例中，装置300还包括：在远程终端接收一控制指令并将控制指令通过云端发送至边缘计算设备，在边缘计算设备将控制指令转换为模拟输入信号并将模拟输入信号发送至工业控制器，以在工业控制器执行与模拟输入信号对应的指令。
本发明还提出一种电子设备400。图4是根据本发明的一实施例的一种电子设备400的示意图。如图4所示，电子设备400包括处理器410和存储器420，存储器420存储中存储有指令，其中指令被处理器410执行时实现如上文所述的方法200。
本发明还提出一种计算机可读存储介质，其上存储有计算机指令，计算机指令在被运行时执行如上文所述的方法200。
本发明的方法和装置的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“***”。处理器可以是一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DAPD)、可编程逻辑器件(PLC)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器或者其组合。此外，本发明的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。例如，计算机可读介质可包括，但不限于，磁性存储设备(例如，硬盘、软盘、磁带……)、光盘(例如，压缩盘(CD)、数字多功能盘(DVD)……)、智能卡以及闪存设备(例如，卡、棒、键驱动器……)。
在此使用了流程图用来说明根据本申请的实施例的方法所执行的操作。应当理解的是，前面的操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
应当理解，虽然本说明书是按照各个实施例描述的，但并非每个实施例仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
以上所述仅为本发明示意性的具体实施方式，并非用以限定本发明的范围。任何本领域的技术人员，在不脱离本发明的构思和原则的前提下所作的等同变化、修改与结合，均应属于本发明保护的范围。

Claims (12)

  1. 一种工业数据获取方法(200)，其特征在于，所述方法(200)包括：
    采集工业控制器的显示面板的显示图像，所述工业控制器用于控制至少一个工业设备(210)；
    通过位于所述工业控制器的现场的边缘计算设备将所述显示图像发送至云端(220)；
    在所述云端对所述显示图像进行图像处理，以获取所述工业设备的运行数据，并输出所述工业设备的运行数据(230)。
  2. 根据权利要求1所述的方法(200)，其特征在于，在所述云端对所述显示图像进行图像处理，以获取所述工业设备的运行数据包括：
    分割出所述显示图像中的感兴趣区域，所述感兴趣区域包括图标和文字；
    对所述感兴趣区域中的图标进行颜色检测，以获取所述图标的颜色信息和形状信息，并将所述颜色信息和形状信息转换为语义信息；和/或对所述感兴趣区域的文字进行光学字符识别，以获取计算机可读文字。
  3. 根据权利要求1所述的方法(200)，其特征在于，采集所述工业控制器的显示面板的显示图像包括：在所述显示面板的输出端设置一分线器，通过所述分线器采集所述工业控制器的显示面板的显示图像。
  4. 根据权利要求1所述的方法(200)，其特征在于，所述方法(200)还包括：通过云端将所述显示图像发送至一远程终端，并在所述远程终端上显示所述显示图像。
  5. 根据权利要求4所述的方法(200)，其特征在于，所述方法(200)还包括：在所述远程终端接收一控制指令并将所述控制指令通过所述云端发送至所述边缘计算设备，在所述边缘计算设备将控制指令转换为模拟输入信号并将所述模拟输入信号发送至所述工业控制器，以在所述工业控制器执行与所述模拟输入信号对应的指令。
  6. 一种工业数据获取装置(300)，其特征在于，所述装置(300)包括：
    采集模块(310)，采集工业控制器的显示面板的显示图像，所述工业控制器用于控制至少一个工业设备；
    发送模块(320)，通过位于所述工业控制器的现场的边缘计算设备将所述显示图像发送至云端；
    处理模块(330)，在所述云端对所述显示图像进行图像处理，以获取所述工业设备的运行数据，并输出所述工业设备的运行数据。
  7. 根据权利要求6所述的装置(300)，其特征在于，所述处理模块(330)在所述云 端对所述显示图像进行图像处理，以获取所述工业设备的运行数据包括：
    分割出所述显示图像中的感兴趣区域，所述感兴趣区域包括图标和文字；
    对所述感兴趣区域中的图标进行颜色检测，以获取所述图标的颜色信息和形状信息，并将所述颜色信息和形状信息转换为语义信息；和/或对所述感兴趣区域的文字进行光学字符识别，以获取计算机可读文字。
  8. 根据权利要求6所述的装置(300)，其特征在于，所述采集模块(310)采集所述工业控制器的显示面板的显示图像包括：在所述显示面板的输出端设置一分线器，通过所述分线器采集所述工业控制器的显示面板的显示图像。
  9. 根据权利要求6所述的装置(300)，其特征在于，所述装置(300)还包括：通过云端将所述显示图像发送至一远程终端，并在所述远程终端上显示所述显示图像。
  10. 根据权利要求9所述的装置(300)，其特征在于，所述装置(300)还包括：在所述远程终端接收一控制指令并将所述控制指令通过所述云端发送至所述边缘计算设备，在所述边缘计算设备将控制指令转换为模拟输入信号并将所述模拟输入信号发送至所述工业控制器，以在所述工业控制器执行与所述模拟输入信号对应的指令。
  11. 一种电子设备(400)，包括处理器(410)、存储器(420)和存储在所述存储器(420)中的指令，其中所述指令被所述处理器(410)执行时实现如权利要求1-5任一项所述的方法。
  12. 一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令在被运行时执行根据权利要求1-5中任一项所述的方法。
PCT/CN2021/127159 2021-10-28 2021-10-28 一种工业数据获取方法及装置 WO2023070460A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180101634.4A CN117940860A (zh) 2021-10-28 2021-10-28 一种工业数据获取方法及装置
PCT/CN2021/127159 WO2023070460A1 (zh) 2021-10-28 2021-10-28 一种工业数据获取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/127159 WO2023070460A1 (zh) 2021-10-28 2021-10-28 一种工业数据获取方法及装置

Publications (1)

Publication Number Publication Date
WO2023070460A1 true WO2023070460A1 (zh) 2023-05-04

Family

ID=86160398

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/127159 WO2023070460A1 (zh) 2021-10-28 2021-10-28 一种工业数据获取方法及装置

Country Status (2)

Country Link
CN (1) CN117940860A (zh)
WO (1) WO2023070460A1 (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106444648A (zh) * 2016-06-27 2017-02-22 惠州市物联微电子有限公司 智能工厂中的生产设备数据采集装置及方法
CN107545240A (zh) * 2017-07-07 2018-01-05 杰为软件***(深圳)有限公司 一种工控设备显示屏输出画面采集***及方法
US20180068203A1 (en) * 2016-09-07 2018-03-08 Fanuc Corporation Server, method, non-transitory computer readable medium encoded with program, and system for recognizing individual identification information of machine
JP2018073185A (ja) * 2016-10-31 2018-05-10 株式会社小林製作所 記録システム、端末装置、サーバ装置、プログラムおよび方法
CN108416355A (zh) * 2018-03-09 2018-08-17 浙江大学 一种基于机器视觉的工业现场生产数据的采集方法
CN208732382U (zh) * 2018-06-26 2019-04-12 江苏瑞奇海力科技有限公司 电梯信号采集装置及***
CN110175648A (zh) * 2019-05-28 2019-08-27 东莞德福得精密五金制品有限公司 应用人工智能云计算对设备进行非侵入性的信息连通方法
US20200036844A1 (en) * 2018-07-27 2020-01-30 Kyocera Document Solutions Inc. Electronic device and image forming apparatus that take screenshot of image being displayed on display to thereby acquire the image
CN111045889A (zh) * 2019-11-30 2020-04-21 北京浪潮数据技术有限公司 封闭网络设备状态监测***、方法、装置及可读存储介质
CN112258777A (zh) * 2020-10-22 2021-01-22 深圳思麦杰科技有限公司 基于边缘计算的火警监测***
CN113009891A (zh) * 2021-02-03 2021-06-22 浙江富安莱科技有限公司 一种生产线数据采集***

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106444648A (zh) * 2016-06-27 2017-02-22 惠州市物联微电子有限公司 智能工厂中的生产设备数据采集装置及方法
US20180068203A1 (en) * 2016-09-07 2018-03-08 Fanuc Corporation Server, method, non-transitory computer readable medium encoded with program, and system for recognizing individual identification information of machine
JP2018073185A (ja) * 2016-10-31 2018-05-10 株式会社小林製作所 記録システム、端末装置、サーバ装置、プログラムおよび方法
CN107545240A (zh) * 2017-07-07 2018-01-05 杰为软件***(深圳)有限公司 一种工控设备显示屏输出画面采集***及方法
CN108416355A (zh) * 2018-03-09 2018-08-17 浙江大学 一种基于机器视觉的工业现场生产数据的采集方法
CN208732382U (zh) * 2018-06-26 2019-04-12 江苏瑞奇海力科技有限公司 电梯信号采集装置及***
US20200036844A1 (en) * 2018-07-27 2020-01-30 Kyocera Document Solutions Inc. Electronic device and image forming apparatus that take screenshot of image being displayed on display to thereby acquire the image
CN110175648A (zh) * 2019-05-28 2019-08-27 东莞德福得精密五金制品有限公司 应用人工智能云计算对设备进行非侵入性的信息连通方法
CN111045889A (zh) * 2019-11-30 2020-04-21 北京浪潮数据技术有限公司 封闭网络设备状态监测***、方法、装置及可读存储介质
CN112258777A (zh) * 2020-10-22 2021-01-22 深圳思麦杰科技有限公司 基于边缘计算的火警监测***
CN113009891A (zh) * 2021-02-03 2021-06-22 浙江富安莱科技有限公司 一种生产线数据采集***

Also Published As

Publication number Publication date
CN117940860A (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN104956339B (zh) 从视频生成软件测试脚本
JP6986187B2 (ja) 人物識別方法、装置、電子デバイス、記憶媒体、及びプログラム
WO2016019495A1 (zh) 终端、服务器及终端控制方法
KR101936839B1 (ko) 단말기 장치에서 스크린 캡처 서비스를 제공하는 방법, 장치, 저장 매체 및 기기
CN112382285B (zh) 语音控制方法、装置、电子设备和存储介质
CN101782852B (zh) 用于医疗管理的计算机屏幕信息提取方法
CN111752793A (zh) ***异常的监控方法、装置、计算机设备及存储介质
US20190051147A1 (en) Remote control method, apparatus, terminal device, and computer readable storage medium
US20220375460A1 (en) Method and apparatus for generating interaction record, and device and medium
WO2022017096A1 (zh) 屏幕录制方法、电子设备及计算机可读存储介质
US20210327427A1 (en) Method and apparatus for testing response speed of on-board equipment, device and storage medium
CN111709362B (zh) 用于确定重点学习内容的方法、装置、设备及存储介质
WO2013097429A1 (en) Method and apparatus for recognizing video captions
CN104298748A (zh) 一种用于视频中人脸检索的装置及方法
WO2021163880A1 (zh) 一种录屏方法、装置及计算机可读存储介质
CN112600631B (zh) 一种WiFi信号稳定性自动化测试方法及其相关组件
JP2019032719A (ja) 情報処理システム、情報処理方法及びプログラム
JP2022050309A (ja) 情報処理方法、装置、システム、電子機器、記憶媒体およびコンピュータプログラム
CN103034393A (zh) 利用图形用户接口影像的触碰处理方法及***
US11157549B2 (en) Emotional experience metadata on recorded images
WO2023070460A1 (zh) 一种工业数据获取方法及装置
CN112382292A (zh) 基于语音的控制方法和装置
TW202211077A (zh) 多國語言語音辨識及翻譯方法與相關的系統
WO2021163878A1 (zh) 一种录屏方法、装置及计算机可读存储介质
JP5266416B1 (ja) テストシステム及びテストプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21961826

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180101634.4

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE