CN112565614B - 一种信号处理模块及方法 - Google Patents

Abstract

本发明公开了一种信号处理模块，包括：对机载图像信号进行预处理后生成预处理图像信号发送至并口网络；将预处理图像信号进行镜像处理后生成镜像图像信号发送至并口网络；对预处理图像信号进行目标识别生成主识别图像信号，并对镜像图像信号进行目标识别生成次识别图像信号，发送至并口网络；对主识别图像信号进行编码生成第一图像信号发送至母板。本发明还公开了一种信号处理方法。本发明一种信号处理模块及方法，实现了在国产低频率处理器和国产低视野红外设备的前提下，保证红外图像中目标识别的即时性和准确性，为电子设备使用安全作出了重大贡献，并且有利于模块的小型化，减少了机载设备的占用空间。

Description

一种信号处理模块及方法

技术领域

本发明涉及图像信号处理技术，具体涉及一种信号处理模块及方法。

背景技术

随着红外技术的快速发展，红外成像识别技术已经开始大规模应用，无论是民用技术还是军用技术都开始使用红外成像识别作为目标识别的重要手段。

民用领域里，在大面积的森林中，火灾往往是由不明显的隐火引发的。这是毁灭性火灾的根源，用现有的普通方法，很难发现这种隐性火灾苗头。然而用飞机巡逻，采用红外热成像仪，则可以快速有效地发现这些隐火，把火灾消灭在最初。加拿大林业学院早在1975年就开始进行森林防火试验，从飞机上检查尚未起燃地潜在火源，加拿大森林研究中心利用直升飞机采用AGA750便携式热成像仪，在一个火灾季节中发现15次隐火。谷物粮仓往往会发生自燃现象，这种自燃现象往往时间长、来势猛、损失大。一般采用温度计测量其粮仓地温度变化加以防范。采用热像仪可以准确判定这些火灾的地点和范围，做到早知道早预防，早扑灭。采用热像仪方便简单，速度快，扑灭及时。而在军用领域中，红外成像技术成为全天候作战的重要依仗。

红外成像识别技术主要分为图像预处理、图像分割、图像特征提取、目标识别技术等等多种技术方向，目前对图像预处理、特征提取和目标识别等方向的内容技术已经发展的相对成熟，但是技术水平的提高也带来了运算复杂，对算力要求较高的问题。

发明内容

本发明所要解决的技术问题是红外成像识别技术水平的提高也带来了运算复杂，对算力要求较高的问题，目的在于提供一种信号处理模块及方法，解决上述问题。

本发明通过下述技术方案实现：

一种信号处理模块，用于进行机载图像信号处理，包括：

预处理器：用于从并口网络中接收机载图像信号，并对所述机载图像信号进行预处理后生成预处理图像信号，将所述预处理图像信号发送至并口网络；

第一主处理器：用于从并口网络中获取预处理图像信号，并将所述预处理图像信号进行镜像处理后生成镜像图像信号，将所述镜像图像信号发送至并口网络；进行镜像处理的预处理图像信号与镜像处理生成的镜像图像信号相对应；

第二主处理器：用于从并口网络中获取预处理图像信号和镜像图像信号，对所述预处理图像信号进行目标识别生成主识别图像信号，并对所述镜像图像信号进行目标识别生成次识别图像信号，将所述主识别图像信号和次识别图像信号发送至并口网络；所述主识别图像信号根据预处理图像信号和镜像图像信号的对应关系对应于次识别图像信号；

辅处理器：用于从并口网络中获取主识别图像信号和次识别图像信号；

所述辅处理器获取主识别图像信号时，对所述主识别图像信号进行编码生成第一图像信号发送至母板；

所述辅处理器获取次识别图像信号时，将所述次识别图像信号叠加至对应于该次识别图像信号的主识别图像信号后，将叠加后的图像编码生成第二图像信号发送至母板。

现有技术中，图像预处理、图像分割、图像特征提取、目标识别技术等技术日趋成熟，技术本身的发展也造成了对芯片算力的要求越来越高，同时为了准确进行红外成像识别，采集图像的分辨率和视野范围也在增大，这也给芯片算力带来的巨大压力。

国内的许多行业需要采用国产芯片和国产相关设备进行红外成像识别，尤其是在军用行业中，为了保证安全，也需要采用国产芯片和国产相关设备进行相关工作。但是国产芯片的运算能力相较于进口芯片运算能力较差，尤其是进口FPGA的运算能力非常强大，可以进行高频率的多线程运算，而国产芯片往往需要采用面积换算力的方式进行芯片布局，通过大量芯片进行算力堆积，这就造成了处理板面积增大，不利于小型化生产，同时国产设备采集图像的分辨率和视野范围的降低也容易造成目标发现的不及时。

本发明应用时，采用了一种全新的设计思路，首先接收机载图像信号，这里所称的机载图像信号就是一种红外成像信号，在本发明中预处理器、第一主处理器、第二主处理器和辅处理器均接入并口网络，并通过并口网络进行数据直接的交互。

同时第二主处理器也通过引脚直接连接预处理器、第一主处理器和辅处理器，通过IO接口等方式对预处理器、第一主处理器和辅处理器直接的工作进行协调，协调内容包括时钟信号和时序控制等。

预处理器进行预处理时，对图像进行降噪和灰度化等处理，这一处理过程在现有技术中是非常常见的，是非常成熟的技术，在此不多做复述。预处理器生成的预处理图像信号均放入并行网络中，便于其他芯片进行直接获取，这样设计可以减少IO接口，从而简化PCB板布线，实现小型化设计。

而第一主处理器则只负责镜像处理，这里说的镜像处理，是以图像边缘为对称轴进行图像镜像，镜像的原因主要在于，由于采用国产设备，所以采集图像的分辨率和视野范围都会降低，视野范围的降低容易造成目标无法准确识别，例如有的目标出现在图像的边缘处或者图像的角落处，只出现了部分被图像捕捉，这样通过图像识别算法是不会对这些目标进行识别的。而通过镜像处理后，出现在图像边缘处的目标实际增大了一倍，而图像角落处的目标实际增大两到三倍，这样目标就可以被图像识别算法所识别。

但是如果所有图像都经过镜像处理后才识别，也会造成识别延迟，所以在本发明中使用了两个主处理器，第一主处理器只做镜像处理，第二主处理器只做识别。同时第二主处理器的识别对象为两个，一个是镜像处理之前的图像，一个是镜像处理之后的图像，镜像处理之前的图像处理后由辅处理模块生成第一图像信号，第一图像信号发送到母板后，可以被直接用作图像显示或者火控***，这样就保证了时效性。而镜像处理之后的图像处理经过辅处理器叠加至对应于该次识别图像信号的主识别图像信号后编码生成第二图像信号发送至母板，在母板上其他模块使用时，将第二图像信号替换与之对应的第一图像信号，就可以保证图像识别的准确性。换而言之，就是先识别图像中准确的目标进行后续操作，再识别图像中不够准确的目标进行后续操作，由于镜像图像需要运算，所以第一图像信号的产生总是会早于第二图像信号，这就避免了辅处理器的逻辑错误，使得每一个第一图像信号总是会被与之对应的第二图像信号替换，而对于母板上的其他模块来说，第一图像信号上识别的目标也总是会出现在第二图像信号上，同样可以避免逻辑执行出现的问题，可以延续对第一图像信号上目标操作的后续操作。本发明通过设置上述模块，实现了在国产低频率处理器和国产低视野红外设备的前提下，保证红外图像中目标识别的即时性和准确性，为电子设备使用安全作出了重大贡献，并且有利于模块的小型化，减少了机载设备的占用空间。

进一步的，所述预处理器对机载图像信号的预处理包括降噪处理和灰度化处理。

进一步的，所述预处理图像信号为长方形图像；

所述第一主处理器对所述预处理图像信号进行镜像处理包括：

所述第一主处理器将长方形图像以所述长方形图像的四条边界为对称轴分别进行镜像处理。

本发明应用时，通过这种处理方式，可以增大图像边角处目标的面积，便于进行后续的目标识别。

进一步的，所述预处理器、第一主处理器、第二主处理器和辅处理器均采用国产芯片，且所述机载图像信号通过国产设备采集。

进一步的，所述预处理器采用LC4754处理器。

本发明应用时，LC4754是中电47所研制生产的专用器件。

进一步的，所述第一主处理器采用LC47324处理器。

本发明应用时，LC47324是中电47所研制生产的专用器件。

进一步的，所述第二主处理器采用HWD14288处理器。

本发明应用时，由于对第二主处理的运算能力要求相对较高，所以采用了成都华微的HWD14288处理器，其是一种CPLD器件。

进一步的，所述辅处理器采用SM9956处理器。

本发明应用时，SM9956是深圳国微的一种处理器。

.使用上述任意一项所述信号处理模块的信号处理方法，包括以下步骤：

S1：从并口网络中接收机载图像信号，并对所述机载图像信号进行预处理后生成预处理图像信号，将所述预处理图像信号发送至并口网络；

S2：从并口网络中获取预处理图像信号，并将所述预处理图像信号进行镜像处理后生成镜像图像信号，将所述镜像图像信号发送至并口网络；进行镜像处理的预处理图像信号与镜像处理生成的镜像图像信号相对应；

S3：从并口网络中获取预处理图像信号和镜像图像信号，对所述预处理图像信号进行目标识别生成主识别图像信号，并对所述镜像图像信号进行目标识别生成次识别图像信号，将所述主识别图像信号和次识别图像信号发送至并口网络；所述主识别图像信号根据预处理图像信号和镜像图像信号的对应关系对应于次识别图像信号；

S4：并口网络中获取主识别图像信号和次识别图像信号；

当获取主识别图像信号时，对所述主识别图像信号进行编码生成第一图像信号发送至母板；

当获取次识别图像信号时，将所述次识别图像信号叠加至对应于该次识别图像信号的主识别图像信号后，将叠加后的图像编码生成第二图像信号发送至母板。

进一步的，所述预处理图像信号为长方形图像；

步骤S2包括以下子步骤：

对所述预处理图像信号进行镜像处理包括：

将长方形图像以所述长方形图像的四条边界为对称轴分别进行镜像处理。

本发明与现有技术相比，具有如下的优点和有益效果：

本发明一种信号处理模块及方法，实现了在国产低频率处理器和国产低视野红外设备的前提下，保证红外图像中目标识别的即时性和准确性，为电子设备使用安全作出了重大贡献，并且有利于模块的小型化，减少了机载设备的占用空间。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明***结构示意图；

图2为本发明实施例示意图；

图3为本发明实施例示意图；

图4为本发明实施例示意图；

图5为本发明实施例示意图；

图6为本发明实施例示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例

如图1所示，本发明一种信号处理模块，用于进行机载图像信号处理，包括：

预处理器：用于从并口网络中接收机载图像信号，并对所述机载图像信号进行预处理后生成预处理图像信号，将所述预处理图像信号发送至并口网络；

第一主处理器：用于从并口网络中获取预处理图像信号，并将所述预处理图像信号进行镜像处理后生成镜像图像信号，将所述镜像图像信号发送至并口网络；进行镜像处理的预处理图像信号与镜像处理生成的镜像图像信号相对应；

第二主处理器：用于从并口网络中获取预处理图像信号和镜像图像信号，对所述预处理图像信号进行目标识别生成主识别图像信号，并对所述镜像图像信号进行目标识别生成次识别图像信号，将所述主识别图像信号和次识别图像信号发送至并口网络；所述主识别图像信号根据预处理图像信号和镜像图像信号的对应关系对应于次识别图像信号；

辅处理器：用于从并口网络中获取主识别图像信号和次识别图像信号；

所述辅处理器获取主识别图像信号时，对所述主识别图像信号进行编码生成第一图像信号发送至母板；

所述辅处理器获取次识别图像信号时，将所述次识别图像信号叠加至对应于该次识别图像信号的主识别图像信号后编码生成第二图像信号发送至母板。

现有技术中，图像预处理、图像分割、图像特征提取、目标识别技术等技术日趋成熟，技术本身的发展也造成了对芯片算力的要求越来越高，同时为了准确进行红外成像识别，采集图像的分辨率和视野范围也在增大，这也给芯片算力带来的巨大压力。

国内的许多行业需要采用国产芯片和国产相关设备进行红外成像识别，尤其是在军用行业中，为了保证安全，也需要采用国产芯片和国产相关设备进行相关工作。但是国产芯片的运算能力相较于进口芯片运算能力较差，尤其是进口FPGA的运算能力非常强大，可以进行高频率的多线程运算，而国产芯片往往需要采用面积换算力的方式进行芯片布局，通过大量芯片进行算力堆积，这就造成了处理板面积增大，不利于小型化生产，同时国产设备采集图像的分辨率和视野范围的降低也容易造成目标发现的不及时。

本实施例实施时，采用了一种全新的设计思路，首先接收机载图像信号，这里所称的机载图像信号就是一种红外成像信号，在本发明中预处理器、第一主处理器、第二主处理器和辅处理器均接入并口网络，并通过并口网络进行数据直接的交互。

同时第二主处理器也通过引脚直接连接预处理器、第一主处理器和辅处理器，通过IO接口等方式对预处理器、第一主处理器和辅处理器直接的工作进行协调，协调内容包括时钟信号和时序控制等。

预处理器进行预处理时，对图像进行降噪和灰度化等处理，这一处理过程在现有技术中是非常常见的，是非常成熟的技术，在此不多做复述。预处理器生成的预处理图像信号均放入并行网络中，便于其他芯片进行直接获取，这样设计可以减少IO接口，从而简化PCB板布线，实现小型化设计。

而第一主处理器则只负责镜像处理，这里说的镜像处理，是以图像边缘为对称轴进行图像镜像，镜像的原因主要在于，由于采用国产设备，所以采集图像的分辨率和视野范围都会降低，视野范围的降低容易造成目标无法准确识别，例如有的目标出现在图像的边缘处或者图像的角落处，只出现了部分被图像捕捉，这样通过图像识别算法是不会对这些目标进行识别的。而通过镜像处理后，出现在图像边缘处的目标实际增大了一倍，而图像角落处的目标实际增大两到三倍，这样目标就可以被图像识别算法所识别。

但是如果所有图像都经过镜像处理后才识别，也会造成识别延迟，所以在本发明中使用了两个主处理器，第一主处理器只做镜像处理，第二主处理器只做识别。同时第二主处理器的识别对象为两个，一个是镜像处理之前的图像，一个是镜像处理之后的图像，镜像处理之前的图像处理后由辅处理模块生成第一图像信号，第一图像信号发送到母板后，可以被直接用作图像显示或者火控***，这样就保证了时效性。而镜像处理之后的图像处理经过辅处理器叠加至对应于该次识别图像信号的主识别图像信号后编码生成第二图像信号发送至母板，在母板上其他模块使用时，将第二图像信号替换与之对应的第一图像信号，就可以保证图像识别的准确性。换而言之，就是先识别图像中准确的目标进行后续操作，再识别图像中不够准确的目标进行后续操作，由于镜像图像需要运算，所以第一图像信号的产生总是会早于第二图像信号，这就避免了辅处理器的逻辑错误，使得每一个第一图像信号总是会被与之对应的第二图像信号替换，而对于母板上的其他模块来说，第一图像信号上识别的目标也总是会出现在第二图像信号上，同样可以避免逻辑执行出现的问题，可以延续对第一图像信号上目标操作的后续操作。本发明通过设置上述模块，实现了在国产低频率处理器和国产低视野红外设备的前提下，保证红外图像中目标识别的即时性和准确性，为电子设备使用安全作出了重大贡献，并且有利于模块的小型化，减少了机载设备的占用空间。

为了进一步的说明本实施例的工作过程，所述预处理器对机载图像信号的预处理包括降噪处理和灰度化处理。

为了进一步的说明本实施例的工作过程，所述预处理图像信号为长方形图像；

所述第一主处理器对所述预处理图像信号进行镜像处理包括：

所述第一主处理器将长方形图像以所述长方形图像的四条边界为对称轴分别进行镜像处理。

本实施例实施时，通过这种处理方式，可以增大图像边角处目标的面积，便于进行后续的目标识别。

为了进一步的说明本实施例的工作过程，所述预处理器、第一主处理器、第二主处理器和辅处理器均采用国产芯片，且所述机载图像信号通过国产设备采集。

为了进一步的说明本实施例的工作过程，所述预处理器采用LC4754处理器。

本实施例实施时，LC4754是中电47所研制生产的专用器件。

为了进一步的说明本实施例的工作过程，所述第一主处理器采用LC47324处理器。

本实施例实施时，LC47324是中电47所研制生产的专用器件。

为了进一步的说明本实施例的工作过程，所述第二主处理器采用HWD14288处理器。

本实施例实施时，由于对第二主处理的运算能力要求相对较高，所以采用了成都华微的HWD14288处理器，其是一种CPLD器件。

为了进一步的说明本实施例的工作过程，所述辅处理器采用SM9956处理器。

本实施例实施时，SM9956是深圳国微的一种处理器。

.使用上述任意一项所述信号处理模块的信号处理方法，包括以下步骤：

S1：从并口网络中接收机载图像信号，并对所述机载图像信号进行预处理后生成预处理图像信号，将所述预处理图像信号发送至并口网络；

S2：从并口网络中获取预处理图像信号，并将所述预处理图像信号进行镜像处理后生成镜像图像信号，将所述镜像图像信号发送至并口网络；进行镜像处理的预处理图像信号与镜像处理生成的镜像图像信号相对应；

S3：从并口网络中获取预处理图像信号和镜像图像信号，对所述预处理图像信号进行目标识别生成主识别图像信号，并对所述镜像图像信号进行目标识别生成次识别图像信号，将所述主识别图像信号和次识别图像信号发送至并口网络；所述主识别图像信号根据预处理图像信号和镜像图像信号的对应关系对应于次识别图像信号；

S4：并口网络中获取主识别图像信号和次识别图像信号；

当获取主识别图像信号时，对所述主识别图像信号进行编码生成第一图像信号发送至母板；

当获取次识别图像信号时，将所述次识别图像信号叠加至对应于该次识别图像信号的主识别图像信号后编码生成第二图像信号发送至母板。

为了进一步的说明本实施例的工作过程，所述预处理图像信号为长方形图像；

步骤S2包括以下子步骤：

对所述预处理图像信号进行镜像处理包括：

将长方形图像以所述长方形图像的四条边界为对称轴分别进行镜像处理。

为了进一步的说明本实施例的工作过程，如图2~图6所示，图2为预处理后的，对应前文实施例中的预处理图像，可以看到边角处的车辆是不完整的，一般也无法对这些不完整的车辆进行目标识别；图3为进行识别后的图像，黑框中是识别以后的车辆，对其他不完整的车辆是没有识别到的，而图4为进行镜像处理后的图像，可以看到形成了五张拼在一起的图片，之前未被识别的不完整的车辆面积有明显增大，尤其是图2中右上角的车体，现在已经可以被识别了。图5为图4识别后的结果，图6为进行叠加以后的输出结果。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种信号处理模块，用于进行机载图像信号处理，其特征在于，包括：

预处理器：用于从并口网络中接收机载图像信号，并对所述机载图像信号进行预处理后生成预处理图像信号，将所述预处理图像信号发送至并口网络；

第一主处理器：用于从并口网络中获取预处理图像信号，并以所述预处理图像信号的图像边缘为对称轴进行镜像处理，得到镜像处理后的四张图像信号，将所述镜像处理后的四张图像信号在各自对应的图像边缘处与所述预处理图像信号进行拼接，生成镜像图像信号，将所述镜像图像信号发送至并口网络；进行镜像处理的预处理图像信号与镜像处理生成的镜像图像信号相对应；

第二主处理器：用于从并口网络中获取预处理图像信号和镜像图像信号，对所述预处理图像信号进行目标识别生成主识别图像信号，并对所述镜像图像信号进行目标识别生成次识别图像信号，将所述主识别图像信号和次识别图像信号发送至并口网络；所述主识别图像信号根据预处理图像信号和镜像图像信号的对应关系对应于次识别图像信号；

辅处理器：用于从并口网络中获取主识别图像信号和次识别图像信号；

所述辅处理器获取主识别图像信号时，对所述主识别图像信号进行编码生成第一图像信号发送至母板；

所述辅处理器获取次识别图像信号时，将所述次识别图像信号叠加至对应于该次识别图像信号的主识别图像信号后，将叠加后的图像编码生成第二图像信号发送至母板。

2.根据权利要求1所述的一种信号处理模块，其特征在于，所述预处理器还用于：

通过降噪处理和灰度化处理对机载图像信号的预处理。

3.根据权利要求1所述的一种信号处理模块，其特征在于，所述预处理图像信号为长方形图像；

所述第一主处理器还用于：

将长方形图像以所述长方形图像的四条边界为对称轴分别进行镜像处理。

4.根据权利要求1所述的一种信号处理模块，其特征在于，所述预处理器采用LC4754处理器。

5.根据权利要求1所述的一种信号处理模块，其特征在于，所述第一主处理器采用LC47324处理器。

6.根据权利要求1所述的一种信号处理模块，其特征在于，所述第二主处理器采用HWD14288处理器。

7.根据权利要求1所述的一种信号处理模块，其特征在于，所述辅处理器采用SM9956处理器。

8.一种信号处理方法，其特征在于，包括以下步骤：

S1：从并口网络中接收机载图像信号，并对所述机载图像信号进行预处理后生成预处理图像信号，将所述预处理图像信号发送至并口网络；

S2：从并口网络中获取预处理图像信号，并以所述预处理图像信号的图像边缘为对称轴进行镜像处理，得到镜像处理后的四张图像信号，将所述镜像处理后的四张图像信号在各自对应的图像边缘处与所述预处理图像信号进行拼接，生成镜像图像信号，将所述镜像图像信号发送至并口网络；进行镜像处理的预处理图像信号与镜像处理生成的镜像图像信号相对应；

S3：从并口网络中获取预处理图像信号和镜像图像信号，对所述预处理图像信号进行目标识别生成主识别图像信号，并对所述镜像图像信号进行目标识别生成次识别图像信号，将所述主识别图像信号和次识别图像信号发送至并口网络；所述主识别图像信号根据预处理图像信号和镜像图像信号的对应关系对应于次识别图像信号；

S4：并口网络中获取主识别图像信号和次识别图像信号；

当获取主识别图像信号时，对所述主识别图像信号进行编码生成第一图像信号发送至母板；

当获取次识别图像信号时，将所述次识别图像信号叠加至对应于该次识别图像信号的主识别图像信号后，将叠加后的图像编码生成第二图像信号发送至母板。

9.根据权利要求8所述的一种信号处理方法，其特征在于，所述预处理图像信号为长方形图像；

步骤S2包括以下子步骤：

对所述预处理图像信号进行镜像处理包括：

将长方形图像以所述长方形图像的四条边界为对称轴分别进行镜像处理。

Images