CN103517037A - 用于提供图像的装置和方法 - Google Patents

Abstract

本公开涉及一种用于提供图像的装置和方法，以其提供由图像拍摄装置拍摄的实时图像数据，所述装置包括：接收实时图像数据的实时图像数据接收单元；对实时图像数据进行图像处理的实时图像数据滤波单元；存储经过图像处理的实时图像数据中的特定部分的实时图像数据的实时图像数据存储单元；以及显示实时图像数据的显示单元。

Description

用于提供图像的装置和方法

技术领域

本公开涉及一种用于提供图像的装置和方法。

背景技术

本实施例涉及一种用于在HMI（人机界面）***中实时显示具有改进的质量的图像的装置和方法。用于工业领域的自动化设备由具有继电器的机械设备构成。由于必须改变自动化设备的内部电路，所以改变由机械设备构成的自动化设备是非常困难的。为了克服这样的困难，使用了PLC。

一般来说，PLC具有计算机的功能。在PLC接收到来自设备的输出信号并根据PLC中编程的内容处理该信号之后，PLC将处理过的信号输出给设备。即，PLC的正常运行表明工厂里的该自动设备有效的运作。因此，需要不断监控PLC的运行。

通常采用连接到PLC的HMI（人机界面）***来监控PLC。此外，通过使用媒体装置，该HMI***可用于监控工业现场。该HMI***提供作为视觉信息的监控结果。

然而，由于HMI***只提供当前时间的监测结果，在需要当前时间之前的PLC运行或工业现场的监控结果的情况下，例如，当在工业现场已经发生意外事故从而需要在该意外事故之前的监测结果时，HMI***对使用监测结果存在限制，并且所提供的根据工业现场的环境的图像质量较差。

发明内容

本实施例提供了一种用于提供图像的装置和方法，其能够通过HMI***输出期望的时间点的图像数据。

本实施例提供了一种用于提供图像的装置和方法，其能够通过HMI***输出具有改进的质量的图像数据。

根据实施例，提供一种用于提供图像的装置，以其提供由图像拍摄装置拍摄的实时图像数据。所述装置包括接收实时图像数据的实时图像数据接收单元；对实时图像数据进行图像处理的实时图像数据滤波单元；存储来自经过图像处理的实时图像数据的特定部分的实时图像数据的实时图像数据存储单元；以及显示实时图像数据的显示单元。

根据实施例，提供一种用于提供图像的方法，以其提供由图像拍摄装置拍摄的实时图像数据。所述方法包括接收用户输入数据，该用户输入数据包括有关控制实时图像数据的图像亮度的请求信息、有关控制实时图像数据的图像尺寸的请求信息、有关在实时图像数据的特定时间点显示图像的请求信息和有关记录实时图像数据的请求信息中的至少其中一个；接收实时图像数据；根据有关控制实时图像数据的图像亮度的请求信息，增强实时图像数据的对比度；根据有关控制实时图像数据的图像尺寸的请求信息，对增强了对比度的实时图像数据进行内插；根据有关在实时图像数据的特定时间点显示图像的请求信息和有关记录实时图像数据的请求信息中的至少一个信息，存储来自经内插的实时图像数据中的特定部分的实时图像数据；及显示存储的实时图像数据。

根据实施例，期望的时间点的图像数据能够通过HMI***输出。

此外，根据实施例，具有改进质量的图像数据可通过HMI***输出。

附图说明

图1为示出了根据实施例的用于提供图像的装置的方框图；

图2为图示了根据实施例的用于处理图像的方法的流程图。

图3为图示了根据实施例的存储图像的方法的流程图。

图4为图示了根据实施例的对图像进行的伽马滤波过程的视图。

图5为图示了根据实施例的图像的插值滤波过程的视图。

具体实施方式

在下文中，将参照附图详细地描述实施例，以使本领域的技术人员可以很容易的实施本实施例。然而，本实施例可不限于下文描述的那些实施例，而是可包括各种修改。那些在附图中与本实施例的说明不相关的元件，为了方便或清楚的目的可以省略。在所有附图中相同的元件配以相同的附图标记。

在以下的说明书中，当一个部件被连接到其他部件，这些部件不仅仅是彼此直接地连接，同样可在另一部件***其间时彼此电连接。

在以下的说明书中，当预先确定的部件“包括”预先确定的组件，除非另有说明，否则该预先确定的部件不排除其他组件，而是可能进一步包括其他组件。

图1是示出了根据实施例的用于提供图像的装置的方框图。

参照图1，根据实施例的用于提供图像的装置100，包括数据接收单元101、数据处理单元107，显示单元113，实时PLC数据通信单元119，图像数据接收单元121，以及PLC数据和图像数据编辑单元123。通过使用用于提供图像的装置100，HMI***可提供给用户通过图像拍摄装置110拍摄的图像和从图像存储单元140传送的图像。此外，HMI***可在与PLC的通信中监控连接到该PLC的负载的运行。

数据接收单元101包括实时图像数据接收单元103和用户输入数据接收单元105。

实时图像数据接收单元103获得由图像拍摄装置110实时拍摄的图像的实时图像数据。

用户输入数据接收单元105获得通过用户输入装置120输入的用户输入数据。用户输入数据包括图像处理请求信息。例如，图像处理请求信息可包括图像亮度调节请求信息，图像放大或缩小请求信息，特定时间图像显示请求信息和记录请求信息，但实施例并不仅限于此。根据已获得的用户输入数据，通过数据处理单元107，用于提供图像的装置100可处理将被显示在显示单元113上的图像。

数据处理单元107包括数据滤波单元109和数据存储单元111。

数据滤波单元109可包括高斯滤波器，图像反相单元，伽马滤波器和双线性插值滤波器(未示出)。通过使用高斯滤波器，图像反相单元和伽马滤波器，数据滤波单元109可根据包括于用户输入数据中的图像亮度调节请求信息处理图像。如果监控区域的亮度太亮或太暗，很难识别其中的监控对象。其原因在于图像的亮度对比度较低从而很难相对地识别对象。在这种情况下，如果包括图像处理滤波器，在低对比度的部分期间增强对比度的数据滤波单元109处理实时图像数据，和实时图像的整个对比度，从而可在亮度对比度低的区域识别被监控的对象。

此外，通过使用双线性插值滤波器，数据滤波单元109可根据包括于用户输入数据中的图像尺寸调节请求信息来处理图像。例如，图像尺寸调节请求信息可包括请求放大已获得的图像的特定部分的信息，或者请求缩小整个图像的信息，以监控更大的区域。双线性插值滤波器是根据相邻像素之间的距离通过应用线性加权生成新的像素值的滤波器。例如，如果包括双线性插值滤波器的数据滤波单元109处理实时图像数据，当放大图像的特定部分时，生成用于空像素的新的像素值，从而提供更平滑、更清晰的图像。此外，数据滤波单元109可接收由图像数据接收单元221接收的图像数据，然后，可根据包括于用户输入数据中的图像亮度调节请求信息或图像尺寸调节请求信息来处理图像数据。

数据存储单元111包括第一缓冲区，第二缓冲区，和存储器(没有显示)。之后，数据存储单元111将实时图像数据的帧暂时并顺序的存储在第一缓冲区，数据存储单元111可有选择的将满足包括于用户输入数据中的特定时间点的图像显示请求信息的帧存储在第二缓冲区。此外，数据存储单元111可有选择地在存储器中存储帧，该帧是包括于用户输入数据中的记录请求信息的目标。存储于存储器的实时图像数据帧包括基于当前时间点的在先拍摄的图像数据帧。因此，当使用根据实施例的用于提供图像的装置100，即使在区域中有意外事故发生，仍可提供存储于数据存储单元111的图像数据，从而可获得在事故发生前的图像。

实时PLC数据通信单元119从PLC130接收实时PLC数据。例如，实时PLC数据可包括与连接到PLC130的负载有关的运行数据。

图像数据接收单元121接收除由实时图像数据接收单元103接收的实时图像数据之外的图像数据。图像数据接收单元121可获得存储于图像存储装置140的图像数据。

PLC数据和图像数据编辑单元123根据用户输入信息，编辑实时PLC数据通信单元119接收的实时PLC数据和图像数据接收单元121接收的图像数据。

显示单元113可包括实时图像显示单元115和图像显示单元117。实时图像显示单元115在屏幕上显示由数据处理单元107处理的实时图像数据。图像显示单元117在屏幕上显示实时PLC数据通信单元119接收的实时PLC数据和图像数据接收单元121接收的图像数据。在这种情况下，图像显示单元117可在屏幕上显示PLC数据和由图像数据编辑单元123编辑的数据。

图2为图示了根据实施例的用于处理图像的方法的流程图。

参照图2，根据从用户输入装置120获得的用户输入数据，数据滤波单元109对通过实时图像数据接收单元103获得的图像进行滤波。根据实施例，数据滤波单元109可执行实时图像数据的高斯滤波、反相和伽马滤波处理，以提高实时图像数据的质量。此外，数据滤波单元109可执行实时图像数据的双线性插值滤波处理，以保持预先确定的图像质量，而与图像尺寸的控制无关。

在步骤S201，实时图像数据接收单元103获得由图像拍摄装置110拍摄的实时图像。

然后，在步骤S203中，数据滤波单元109对已获得的实时图像数据进行高斯滤波。数据滤波单元109可通过高斯滤波处理使实时图像数据变得模糊。例如，数据滤波单元109以9×9规格的蒙版（mask）对实时图像数据进行高斯滤波。此外，数据滤波单元109可对在图像数据接收单元221处接收的图像数据进行高斯滤波。在下文中，由于处理图像数据的过程与处理实时图像数据的过程一样，详细描述将被省略。

然后，在步骤S205中，数据滤波单元109对经过高斯滤波后的实时图像数据进行反相。

然后，在步骤S207中，数据滤波单元109对反相后的实时图像数据进行伽马滤波。此时，例如，数据滤波单元109可通过使用由步骤S201获得的实时数据和由步骤S205反相后的实时数据来执行伽马滤波。实时图像的像素值I_out（x，y）表达为如下等式1，它是通过使用获得的实时图像的像素值I_in（x，y）和反相后的实时图像的像素值“mask”被伽马滤波得到的：

【等式1】

$l_{\mathrm{out}}(x,y)=255x{\left(\frac{l_{\mathrm{in}}(x,y)}{255}\right)}^{\left(2^{\left(\frac{128-\mathrm{mask}}{128}\right)}\right)}$

参照图4，其为关于伽马滤波器的全导数。当与伽马滤波处理之前的实时图像比较时，在伽马滤波后的实时图像中，亮的部分被处理为更暗，而暗的部分被处理为更亮。因此，当执行用于实时图像数据的伽马滤波处理，纵然工作环境整体上明亮或者黑暗，监控对象的颜色仍可区别于周围环境的颜色。

用户输入数据接收单元105从用户输入装置120取得用户输入数据。

在步骤S209中，数据滤波单元109确定是否有基于已取得的用户输入数据的放大伽马滤波后的实时图像的请求。

在步骤211中，如果有放大实时图像的请求，数据滤波单元109执行双线性插值滤波来对滤波后的实时图像数据进行滤波。双线性插值算法可表示为以下等式2：

【等式2】

$l_{\mathrm{out}}(x,y)=\frac{l_{\mathrm{in}}\left(Q_{11}\right)}{(x_2-x_1)(y_2-y_1)}(x_2-x)(y_2-y)$

$+\frac{{l_{\mathrm{in}}}^{\′}\left(Q_{21}\right)}{(x_2-x_1)(y_2-y_1)}(x-x_2)(y_2-y)$

$+\frac{{l_{\mathrm{in}}}^{\′}\left(Q_{12}\right)}{(x_2-x_1)(y_2-y_1)}(x_2-x)(y-y_1)$

$+\frac{{l_{\mathrm{in}}}^{\′}\left(Q_{22}\right)}{(x_2-x_1)(y_2-y_1)}(x-x_1)(y-y_1)$

（x₁，y₁），（x₂，y₂），（x₃，y₃）和（x₄，y₄）表示的像素坐标是已知的，I_in'（Q₁₁），I_in'（Q₁₂），I_in'（Q₂₁）和I_in'（Q₂₂）表示已知的像素坐标的像素值，I_out（x，y）表示待放大的像素坐标的像素值。当放大图像时，待放大的坐标的像素值是通过等式2计算的。用于双线性插值的坐标***参照图5。因此，如果执行对实时图像数据进行滤波的双线性插值处理，可能发生在尺寸调节过程中的图像失真现象将减少。

当用户输入数据不包括放大实时图像的请求，数据滤波单元109终止滤波处理。

图3为图示了根据实施例的存储图像的方法的流程图。

参照图3，数据存储单元111存储由数据滤波单元109滤波的图像，该图像是在特定时间点拍摄的。根据实施例，数据存储单元111可顺序存储在当前时间点之前拍摄的在先图像，可选择性地存储所顺序存储的在先图像的在先图像，该在先图像是在当前时间点之前一分钟拍摄的，也可选择性的存储所选择性存储的在先图像的在先图像，该在先图像与根据用户输入数据的图像记录请求相一致。

在步骤S301中，数据存储单元111获得在数据滤波单元109中滤波后的实时图像数据。数据存储单元111可以帧为单位接收滤波后的实时图像数据。

然后，在步骤S303中，数据存储单元111在第一缓冲区存储获得的帧。第一缓冲区是在删除图像帧之前，用于暂时存储已接收的实时图像数据帧的图像帧的空间，该图像帧是在当前时间点之前拍摄的。

然后，在步骤S305中，数据存储单元111确定被拍摄的存储于第一缓冲区的帧的时间点是否在特定时间段内。特定时间段不仅可包括根据HMI***的目的由用户设定的过去的特定时间点，也可包含过去的特定时间段。例如，数据存储单元111确定存储于第一缓冲区的帧是否是在当前时间前一分钟拍摄的。

此时，在步骤S307中，当存储在第一缓冲区的帧的时间点不在特定时间段内时，数据存储单元111删除相应的帧。在步骤S303中，删除帧之后，数据存储单元111在第一缓冲区存储新接收的帧。

相反，当存储在第一缓冲区的帧的时间点在特定时间段内时，数据存储单元111在第二缓冲区存储相应的帧。在步骤S309中，当第二缓冲区的帧存储空间不足时，例如，数据存储单元可从第二缓冲区删除最早的帧。然而，数据存储单元111可通过任何其他方案确保在第二缓冲区的帧的存储空间。然后，在步骤S311中，数据存储单元111在第二缓冲区存储相应的帧。

在步骤S313中，数据存储单元111确定用户输入数据是否包括有关记录实时图像数据的请求信息。

在步骤S315中，当用户输入数据包括有关记录实时图像数据的请求信息时，数据存储单元111在存储器中存储第二缓冲区所存储的帧。

相反，在步骤S303中，当用户输入数据不包括有关记录实时图像数据的请求信息时，数据存储单元111在第一缓冲区存储新接收的帧。

图4为图示了根据实施例的图像的伽马滤波过程的视图。

参照图4，描述了根据步骤S207中执行的伽马滤波过程的伽马滤波器的全导数的图表，x轴表示输入数据，y轴表示输出数据。在图表中，如果直线401表示在伽马滤波过程之前的原始图像数据，弧线402表示伽马滤波的图像数据。作为伽马滤波的结果，图像数据的暗的部分可被显示得更为亮，而图像数据的亮的部分可被显示得更暗。

图5为图示了根据实施例的图像的插值滤波过程的视图。

参照图5，描述了双线性插值坐标***，其中Q₁₁，Q₁₂，Q₂₁和Q₂₂表示已知坐标，P表示新生成的坐标。通过双线性插值方案生成的像素是由最相邻像素乘以通过线性方案和像素之间的距离的反比确定的加权所获得的总值。

上文所述实施例不仅可以通过装置和方法来实施，也可以通过执行与具体实施例的元件对应的功能的程序或记录有该程序的媒介实现。基于上述公开，本领域技术人员可轻松实施这样的实施方式。

尽管已经出于说明目的描述了本公开的最佳实施例，本领域技术人员将会理解不偏离公开在所附权利要求所的本发明的范围和精神的各种修改、添加和替换是可能的。

Claims (10)

1.一种用于提供图像的装置，以其提供由图像拍摄装置拍摄的实时图像数据，所述装置包括：

接收实时图像数据的实时图像数据接收单元；

对实时图像数据进行图像处理的实时图像数据滤波单元；

存储来自经过图像处理的实时图像数据的特定部分的实时图像数据的实时图像数据存储单元；以及

显示实时图像数据的显示单元。

2.根据权利要求1所述的装置，进一步包括：

接收用户输入数据的用户输入数据接收单元，该用户输入数据包括有关实时图像数据的图像处理的信息或者有关实时图像数据的特定部分的信息中的至少其中一个，以及

其中，实时图像数据滤波单元根据包括于用户输入数据中的有关实时图像数据的图像处理的信息来对实时图像数据进行图像处理，实时图像数据存储单元根据包括于用户输入数据中的有关实时图像数据的特定部分的信息来存储实时图像数据。

3.根据权利要求2所述的装置，其中有关实时图像数据的图像处理的信息包括有关控制实时图像数据的图像亮度的请求信息或者有关控制实时图像数据的图像尺寸的请求信息中的至少其中一个。

4.根据权利要求3所述的装置，其中所述实时图像数据滤波装置包括高斯滤波器、图像反相单元或伽马滤波器中的至少其中一个，以便根据有关控制实时图像数据的图像亮度的请求信息来对实时图像数据的亮度进行图像处理，以及

其中高斯滤波器用于模糊实时图像数据，

其中图像反相单元用于对实时图像数据进行反相，

其中伽马滤波器用于对实时图像数据进行伽马滤波。

5.根据权利要求3所述的装置，其中实时图像数据滤波单元包括双线性插值滤波器以根据有关控制实时图像数据的图像尺寸的请求信息来对实时图像数据的图像尺寸进行图像处理，以及

其中双线性插值滤波器根据相邻像素之间的距离通过应用线性加权生成新的像素值，以使实时图像数据的图像尺寸放大或缩小。

6.根据权利要求2所述的装置，其中有关实时图像数据的特定部分的信息包括有关在实时图像数据的特定时间点显示图像的请求信息或者有关记录实时图像数据的请求信息中的至少其中一个，

实时图像数据存储单元包括：

以预定时间段顺序存储经过图像处理后的实时图像数据的第一缓冲区；

根据有关在实时图像数据的特定时间点显示图像的请求信息而有选择地对存储在第一缓冲区中的实时图像数据进行存储的第二缓冲区；以及

根据有关记录实时图像数据的请求信息而对存储在第二缓冲区的实时图像数据进行存储的存储器。

7.根据权利要求1所述的装置，进一步包括：

在与PLC的通信中接收PLC数据的实时PLC数据通信单元；以及

接收由图像存储装置发送的图像数据的图像数据接收单元。

8.根据权利要求7所述的装置，进一步包括：

对PLC数据或者图像数据中的至少其中一个进行图像处理的实时PLC数据和图像数据编辑单元。

9.根据权利要求7所述的装置，其中所述显示单元包括：

显示存储在实时图像数据存储单元中的实时图像数据的实时图像显示单元；以及

显示PLC数据、图像数据、经过图像处理的PLC数据或者经过图像处理的图像数据中的至少其中一个的图像显示单元。

10.一种用于提供图像的方法，以其提供由图像拍摄装置拍摄的实时图像数据，所述方法包括：

接收用户输入数据，该用户输入数据包括有关控制实时图像数据的图像亮度的请求信息、有关控制实时图像数据的图像尺寸的请求信息、有关在实时图像数据的特定时间点显示图像的请求信息或者有关记录实时图像数据的请求信息中的至少其中一个；

接收实时图像数据；

根据有关控制实时图像数据的图像亮度的请求信息，增强实时图像数据的对比度；

根据有关控制实时图像数据的图像尺寸的请求信息，对增强了对比度的实时图像数据进行内插；

根据有关在实时图像数据的特定时间点显示图像的请求信息或者有关记录实时图像数据的请求信息中的至少一个信息，存储来自经内插的实时图像数据的特定部分的实时图像数据；及

显示存储的实时图像数据。

Images