CN115393763A - 基于图像频域的行人入侵识别方法、***、介质及装置 - Google Patents

基于图像频域的行人入侵识别方法、***、介质及装置 Download PDF

Info

Publication number
CN115393763A
CN115393763A CN202211021763.5A CN202211021763A CN115393763A CN 115393763 A CN115393763 A CN 115393763A CN 202211021763 A CN202211021763 A CN 202211021763A CN 115393763 A CN115393763 A CN 115393763A
Authority
CN
China
Prior art keywords
frequency domain
image
pedestrian
classification
central region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211021763.5A
Other languages
English (en)
Inventor
崔龙
游浩泉
党毅飞
马卫民
韩宇露
袁德胜
林志强
王海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huike Cloud Shanghai Data Service Co ltd
Original Assignee
Huike Cloud Shanghai Data Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huike Cloud Shanghai Data Service Co ltd filed Critical Huike Cloud Shanghai Data Service Co ltd
Priority to CN202211021763.5A priority Critical patent/CN115393763A/zh
Publication of CN115393763A publication Critical patent/CN115393763A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于图像频域的行人入侵识别方法、***、介质及装置。包括：获取目标区域内的采集图像；获取所述采集图像的频域图；从所述频域图中选取中心区域频域图；基于分类识别网络判断所述中心区域频域图中是否有行人出现。本发明基于低算力的识别方法，通过降低分类识别输入图像的尺寸，对输入图像进行处理，然后选取中心区域，再通过分类网络对目标区域图像进行有无行人的二分类判断；极大地降低了计算量，有效地区分识别出画面中的目标种类，最终实现了对目标区域内是否有行人入侵的判断。

Description

基于图像频域的行人入侵识别方法、***、介质及装置
技术领域
本发明属于图像处理技术领域，涉及一种识别方法，特别是涉及一种基于图像频域的行人入侵识别方法、***、介质及装置。
背景技术
判断区域内有无行人，是安防和商业领域广泛且重要的一个领域，该功能的核心在于，判断静止摄像头画面中，指定区域内有行人或者无行人；但是，对行人的位置和数量并无要求。
目前，现有的识别方法主要有两种。一种是分别是基于运动差分法，一种是基于深度学习网络的目标检测法，或是两种方案结合使用。具体如下：
(1)基于运动差分法，也被称作背景差分法。该方法主要是利用多帧连续图像间的像素差异，将图像序列中的当前帧和已经确定好或实时获取的背景参考模型(背景图像)做减法，找不同，计算出与背景图像像素差异超过一定阈值的区域作为运动区域，从而来确定运动物***置、轮廓、大小等特征。此方法非常适用于摄像机静止的场景。但该方法对目标需要有运动要求；且因为光线阴影的问题，阈值较为难设置；另外，也难以区分运动物体的具体属性。
(2)基于深度学习的目标检测方法，其原理主要对图片数据进行标定，即：用矩形框在图片上标注出行人的位置；然后通过深度学习，获得一个行人检测功能的网络模型。在使用过程中，通过行人检测网络模型，获得画面中行人位置的矩形框，然后判断矩形框是否和摄像头划定区域有重叠，以此判断区域内是否有行人。该方法可以有效的排除非行人的目标，但网络本身具备目标位置和目标属性识别，为保证精度，在确定目标位置时，网络的输入图像需要一个较大的分辨率，同时网络也需要一定的深度。目标检测网络通常会有一个较大的运算量，需要具备较强算力的设备才可以支持。
因此，如何提供一种基于图像频域的行人入侵识别方法、***、介质及装置，以解决现有技术无法针对行人位置、光线等因素发生变化时进行识别的问题，以及行人识别网络无法对目标位置及属性进行高精度地识别，导致的运算量过大、对设备要求较高等缺陷，实已成为本领域技术人中亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于图像频域的行人入侵识别方法、***、介质及装置，用于解决现有技术无法针对行人位置、光线等因素发生变化时进行识别的问题，及行人识别网络无法对目标位置及属性进行高精度地识别，而导致运算量过大的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种基于图像频域的行人入侵识别方法，包括以下步骤：获取目标区域内的采集图像；获取所述采集图像的频域图；从所述频域图中选取中心区域频域图；基于分类识别网络判断所述中心区域频域图中是否有行人出现。
于本发明的一实施例中，获取所述采集图像的频域图包括以下步骤：对所述采集图像进行宽高等比例缩放，获取缩放图像；对所述缩放图像进行离散傅里叶变换，以获取所述缩放图像的频域图；将所述缩放图像的频域图的零频分量移动到中心位置，以获取所述采集图像的频域图。
于本发明的一实施例中，对所述缩放图像进行离散傅里叶变换采用公式：
Figure BDA0003814262220000021
其中，exi＝cos x+i sin x；F(x,y)为所述缩放图像第x行第y列的频域值，f(i,j)为所述缩放图像第i行第j列的时域值，x＝0,1,2,3,…M-1；y＝0,1,2,3,…N-1；N和M分别为所述缩放图像的列数和行数。
于本发明的一实施例中，从所述频域图中选取中心区域频域图包括以下步骤：在所述频域图的中心区域选取宽和高均为预设值的区域，以获取所述中心区域频域图。
于本发明的一实施例中，基于分类识别网络判断所述中心区域频域图中是否有行人出现包括以下步骤：获取训练好的分类识别网络；将所述中心区域频域图输入所述分类识别网络，获取所述分类识别网络输出的行人识别结果。
于本发明的一实施例中，所述分类识别网络包括输入层、卷积和池化层、全连接层；所述输入层用于输入所述中心区域频域图，所述卷积和池化层用于输出所述中心区域频域图的特征；所述全连接层用于获取所述特征的分类得分。
本发明另一方面提供一种基于图像频域的行人入侵识别***，包括：采集模块，用于获取目标区域内的采集图像；数据处理模块，用于对所述采集图像进行宽高等比例缩放，获取缩放图像，对所述缩放图像进行离散傅里叶变换，以获取所述缩放图像的频域图，将所述缩放图像的频域图的零频分量移动到中心位置，以获取所述采集图像的频域图；图像提取模块，用于从所述频域图中选取中心区域频域图；分类识别模块，用于基于分类识别网络判断所述中心区域频域图中是否有行人出现。
本发明又一方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述基于图像频域的行人入侵识别方法。
本发明再一方面提供一种基于图像频域的行人入侵识别装置，包括：处理器及存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述基于图像频域的行人入侵识别装置执行所述基于图像频域的行人入侵识别方法。
本发明最后一方面提供一种基本图像频域的行人入侵识别***，包括：所述基于图像频域的行人入侵识别装置和图像采集装置；所述图像采集装置用于采集目标区域内的采集图像，并发送至所述基于图像频域的行人入侵识别装置。
如上所述，本发明的基于图像频域的行人入侵识别方法、***、介质及装置，具有以下有益效果：
(1)本发明基于DFT(Discrete Fourier Transform，离散傅里叶变化)，对输入图像进行处理，然后选取中心区域，随后使用分类网络对区域图像进行有无行人的二分类判断；使用这种方法可以有效的缩小分类识别网络的输入，极大地降低了识别过程中的计算量，有效地区分识别区画面中目标种类。
(2)本发明所述基于图像频域的行人入侵识别方法在不需要对行人位置、光线等问题进行精准确认的情况下，能够有效地对行人进行分类识别。
(3)本发明所述基于图像频域的行人入侵识别方法，采用的模型结构是轻量化设计，对设备要求不高，适用性强。
附图说明
图1显示为本发明的基于图像频域的行人入侵识别方法于一实施例中的流程示意图。
图2显示为本发明的基于图像频域的行人入侵识别方法于应用场景中的实施示意图。
图3显示为本发明的基于图像频域的行人入侵识别方法中的S12的流程示意图。
图4显示为本发明的基于图像频域的行人入侵识别方法中的S14的流程示意图。
图5显示为本发明的基于图像频域的行人入侵识别方法于一实施例中的缩放图像的频域图。
图6显示为本发明的基于图像频域的行人入侵识别方法于一实施例中的重新排列后的频域图。
图7A显示为本发明的基于图像频域的行人入侵识别方法于一实施例中的采集图像的原图。
图7B显示为本发明的基于图像频域的行人入侵识别方法于一实施例中的对采集图像的缩小放大图。
图7C显示为本发明的基于图像频域的行人入侵识别方法于一实施例中的DFT低频区域IDFT图。
图8显示为本发明的基于图像频域的行人入侵识别***于一实施例中的原理结构示意图。
元件标号说明
81 采集模块
82 数据处理模块
83 图像提取模块
84 分类识别模块
S11～S14 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一
本实施例提供一种基于图像频域的行人入侵识别方法，包括以下步骤：
获取目标区域内的采集图像；
获取所述采集图像的频域图；
从所述频域图中选取中心区域频域图；
基于分类识别网络判断所述中心区域频域图中是否有行人出现。
以下将结合图示对本实施例所提供的基于图像频域的行人入侵识别方法进行详细描述。请参阅图1和图2，分别显示为本发明的基于图像频域的行人入侵识别方法于一实施例中的流程示意图和和基于图像频域的行人入侵识别方法于应用场景中的实施示意图。如图1和图2所示，所述基于图像频域的行人入侵识别方法具体包括以下步骤：
S11，获取目标区域内的采集图像。
请继续参阅图2。在本实施例中，通过静止摄像头对目标区域进行抓拍，从而获取目标区域内的采集图像。其中，抓拍条件可根据用户需求进行预先设定。
具体地，首先在目标区域设置若干摄像头，然后根据预设的抓拍条件对目标区域进行抓拍，获取抓拍的目标区域内的采集图像。本实施例中，可预先设定摄像头对目标区域进行每秒抓拍一次，从而得到目标区域在每一秒时刻下的采集图像。其中，所述采集图像为RGB图像，且RGB图像为时域图像。
S12，获取所述采集图像的频域图。所述频域图的信息包括：抓拍时间图片ID、图像描述信息等。
请参阅图3，显示为本发明的基于图像频域的行人入侵识别方法中S12的流程示意图。
如图3所示，所述S12包含以下步骤：
S121，对所述采集图像进行宽高等比例缩放，获取缩放图像。
完成抓拍后，对需要判断的采集图像，进行宽高等比例缩放。
具体地，获取的目标区域内采集图像的宽和高为(W,H)，按照等比例缩放的要求，将原采集图像的宽度缩放为416，根据图像缩放公式计算，得到与宽度416相对应的高度，最终得到所述采集图像的缩放图像。
其中，缩放公式如下：
Figure BDA0003814262220000051
其中，M表示缩放后的图像高度；H表示缩放前的图像的高度；W表示缩放前的图像的宽度。
例如：所述采集图像的宽度为2160，高度为3840，利用公式计算，可得到高度为740的图像，即：缩放的的图像宽高为(416，740)。
S122，对所述缩放图像进行离散傅里叶变换，以获取所述缩放图像的频域图。
本实施例中，根据傅里叶变换公式，对所述缩放图像进行离散傅里叶变换。傅里叶变换计算公式如下：
Figure BDA0003814262220000061
其中，exi＝cosx+isinx；F(x,y)为所述缩放图像第x行第y列的频域值，f(i,j)为所述缩放图像第i行第j列的时域值，x＝0,1,2,3,…M-1；y＝0,1,2,3,…N-1；N和M分别为所述缩放图像的列数和行数。
根据上述计算公式，得到所述缩放图像的频域图。
S123，将所述缩放图像的频域图的零频分量移动到中心位置，以获取所述采集图像的频域图。请参阅图5和图6，分别显示为本发明的基于图像频域的行人入侵识别方法于一实施例中的缩放图像的频域图和本发明的基于图像频域的行人入侵识别方法于一实施例中的重新排列后的频域图。
本实施例中，通过对所述缩放图像的频域图进行重新排列，即：将零频分量移动到中心位置，最终得到重新排列后的所述采集图像的频域图。
具体地，以fftshift为例进行说明。如图5所示，将缩放图像的频域图分成四等份，分别是：M元素、N元素、P元素、Q元素；其中，M元素的1号区域是M元素的零频区域，N元素的2号区域是N元素的零频区域，P元素的3号区域是P元素的零频区域，Q元素的4号区域是Q元素的零频区域。将M元素、N元素、P元素、Q元素进行重新排列。如图6所示，将M元素与Q元素的位置进行互换，将P元素与N元素的位置进行互换，且各区域互换时并不进行旋转，最终得到重新排列后的采集图像的频域图。
S13，从所述频域图中选取中心区域频域图。
在图像识别过程中，如果只是对采集图像进行简单缩放，行人目标相较于图像的比例不变，缩小后会导致视觉信息丧失，难以获取有效特征。请参阅图7A、7B、7C，分别显示为显示为本发明的基于图像频域的行人入侵识别方法于一实施例中的采集图像的原图、基于图像频域的行人入侵识别方法于一实施例中的对采集图像的缩小放大图、基于图像频域的行人入侵识别方法于一实施例中的DFT低频区域IDFT图。例如：当对所述频域图7A进行缩放时，缩小到宽高均为64后再重新放大得到图7B。同时，我们对图7A进行DFT，选取中心区域宽高同为64的频域图，进行IDFT(Inverse Discrete Fourier Transform，离散傅里叶逆变化)得到图7C。可以发现的是图7C依旧具备目标辨识度，可以判断出有无行人，而图7B无法辨识。因此，这里采用通过降低分类识别网络输入图像的尺寸的方法来处理图像，从而达到有效识别图像的效果。
本实施例中，在所述频域图的中心区域选取宽和高均为预设值的区域，以获取所述中心区域频域图。
具体地，将步骤S122中得到的频域图像为选取宽和高均为预设值的区域。例如，预先设定所述频域图像的宽和高均大于等于64，本实施例以所述频域图像的宽和高为64为例进行说明。
请继续参阅图6，在本实施例中，将重新排列后的频域图的中心区域进行选取，即：通过重新排列，分别将M元素、N元素、P元素、Q元素的零频分量进行汇聚至相邻区域范围内，并同时提取出Q元素的4号区域、P元素的3号区域、N元素的2号区域、M元素的1号区域，从而得到Q元素的4号区域、P元素的3号区域、N元素的2号区域、M元素的1号区域整合后的区域，该整合区域为所述缩放图像的中心区域频域图。
S14，基于分类识别网络判断所述中心区域频域图中是否有行人出现。请参阅图4，显示为本发明的基于图像频域的行人入侵识别方法中的S14的流程示意图。如图4所示，所述S14包括以下步骤：
S141，获取训练好的分类识别网络。
本实施例中，采用分类识别网络对中心区域频域图进行判断。所述分类识别网络包括：输入层、卷积和池化层、全连接层；所述输入层用于输入所述中心区域频域图，所述卷积和池化层用于输出所述中心区域频域图的特征；所述全连接层用于获取所述特征的分类得分。
具体地，将宽和高为预设值的中心区域频域图作为分类识别网络的输入，送入分类识别网络进行训练。本实施例优选宽和高均为64的中心区域频域图。所述分类网络包括但不限于VGG-16、ResNet、ShuffleNet等一种或多种方法组合。
S142，将所述中心区域频域图输入所述分类识别网络，获取所述分类识别网络输出的行人识别结果。
本实施例基于分类识别网络，将步骤S13中得到的中心区域频域图输入至分类识别网络，经过分类识别网络的卷积和池化层的处理，进而输出所述中心区域频域图的特征，再通过分类全连接，最终获得两个类别的得分。即：
[Swith,Swithout]＝Fmodel(X)
其中，类别Swith，表示为有行人出现；类别Swithout，表示为无行人出现。
根据上述计算公式，分别计算出两个类别的得分，从而判断该频域图中是否是有行人出现。
当类别Swith的值大于等于类别Swithout的值时，可判断为中心区域频域图为有人状态，从而可知，目标区域内有行人入侵；当类别Swith的值小于类别Swithout的值时，可判断为中心区域频域图为无行人状态，从而可知，目标区域内没有行人入侵。最终实现对目标区域内是否有行人入侵作出判断。
具体地，将中心区域频域图通过分类网络模型，输出所述中心区域频域图的特征，获得两个类别的得分，如：类别Swith的得分为400，类别Swithout的得分为100，由于Swith的值大于Swithout的值，此时，可判断目标区域内为有行人出现；从而可知，中心区域频域图为有行人出现，进而可判断出，目标区域内有行人入侵。
进一步地，由于在上述步骤实施过程中，最终得到的中心区域频域图清晰度不高。为了便于对中心区域频域图进行识别，并提高中心区域频域图的清晰度，对中心区域频域图进行进一步地处理。在本实施例中，当中心区域频域图通过分类识别网络，得到两个类别的得分后，将两个类别的得分进行归一化处理，使所有类别数值之和为1。
具体地，当中心区域频域图通过分类网络模型，输出所述中心区域频域图的特征，获得两个类别的得分，如，类别Swith的得分为400，类别Swithout的得分为100，根据归一化计算公式，得到类别Swith的得分为0.8，类别Swithout的得分为0.2，类别Swith的得分与类别Swithout的得分之和为1。其中，归一化计算公式为：
Figure BDA0003814262220000081
其中，Si为所述中心区域频域图的类别分数，Sj为所述中心区域频域图的所有类别的分数。
根据归一化计算公式得到两个类别的得分后，最终可判断在目标区域内，是否有行人入侵，并将识别结果及相关数据传输至外部设备，以便用户端辨别与操作。
本实施例另外还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述基于图像频域的行人入侵识别方法。
在任何可能的技术细节结合层面，本申请可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
实施例二
本实施例提供一种基于图像频域的行人入侵识别***，包括：
采集模块，用于获取目标区域内的采集图像；
数据处理模块，用于对所述采集图像进行宽高等比例缩放，获取缩放图像；对所述缩放图像进行离散傅里叶变换，以获取所述缩放图像的频域图；将所述缩放图像的频域图的零频分量移动到中心位置，以获取所述采集图像的频域图；
图像提取模块，用于从所述频域图中选取中心区域频域图；
分类识别模块，用于基于分类识别网络判断所述中心区域频域图中是否有行人出现。
以下将结合图示对本实施例所提供的基于图像频域的行人入侵识别***进行详细描述。请参阅图8显示为本发明的基于图像频域的行人入侵识别***于一实施例中的原理结构示意图。如图8所示，所述基于图像频域的行人入侵识别***包括：采集模块81、数据处理模块82、图像提取模块83、分类识别模块84。
所述采集模块81用于获取目标区域内的采集图像。具体地，通过静止摄像头对目标区域进行抓拍，从而获取目标区域内的采集图像。其中，抓拍条件可根据用户需求进行预先设定。
本实施例中，首先在目标区域设置若干摄像头，然后根据预设的抓拍条件对目标区域进行抓拍，获取抓拍的目标区域内的采集图像。可预先设定摄像头对目标区域进行每秒抓拍一次，从而得到目标区域在每一秒时刻下的采集图像。其中，图像采集所用的摄像头可以兼容灰度或彩色摄像头；所述采集图像为RGB图像，且RGB图像为时域图像。
所述数据处理模块82与所述采集模块81相连，用于对所述采集图像进行宽高等比例缩放，获取缩放图像；对所述缩放图像进行离散傅里叶变换，以获取所述缩放图像的频域图；将所述缩放图像的频域图的零频分量移动到中心位置，以获取所述采集图像的频域图。
所述数据处理模块82对所述采集图像进行宽高等比例缩放，获取缩放图像。具体地，在摄像头完成抓拍后，对需要判断的采集图像，进行宽高等比例缩放。
进一步地，所述数据处理模块82对所述缩放图像进行离散傅里叶变换，以获取所述缩放图像的频域图。
然后，所述数据处理模块82用于将所述缩放图像的频域图的零频分量移动到中心位置，以获取所述采集图像的频域图。
本实施例中，通过对所述缩放图像的频域图进行重新排列，即：将零频分量移动到中心位置，最终得到所述采集图像的频域图。具体地，将缩放图像的频域图分成四等份；然后将频域图的左上角的元素与右下角的元素互换，同时，把频域图右上角的元素与左下角的元素进行互换，但各元素在互换的过程中，不进行旋转；得到互换后的缩放图像的频域图，最终得到重新排列后的采集图像的频域图。
本实施例中采用的分类识别网络包括VGG-16、ResNet、ShuffleNet等算法，且上述算法能够在CPU，NPU或GPU等处理服务器或终端上运行。
所述图像提取模块83与所述图像处理模块82相连，用于从所述频域图中选取中心区域频域图。
具体地，所述图像提取模块83从所述频域图中选取中心区域频域图。在所述频域图的中心区域选取宽和高均为预设值的区域，以获取所述中心区域频域图。本实施例中，将得到的频域图像为选取宽和高均为预设值的区域，重新排列后的频域图的零频分量汇聚到中心位置，并将各元素的零频分量提取出来，得到图像的频谱中心区域，最终得到采集图像的中心区域频域图。
所述分类识别模块84与所述图像提取模块83相连，用于基于分类识别网络判断所述中心区域频域图中是否有行人出现。
首先，所述分类识别模块84获取训练好的分类识别网络。
本实施例中，采用分类识别网络对中心区域频域图进行判断。所述分类识别网络包括：输入层、卷积和池化层、全连接层；所述输入层用于输入所述中心区域频域图，所述卷积和池化层用于输出所述中心区域频域图的特征；所述全连接层用于获取所述特征的分类得分。
具体地，将宽和高为预设值的中心区域频域图作为分类识别网络的输入，送入分类识别网络进行训练。
进一步地，所述分类识别模块84将所述中心区域频域图输入所述分类识别网络，获取所述分类识别网络输出的行人识别结果。
本实施例基于分类识别网络，将中心区域频域图输入至分类识别网络，经过分类识别网络的卷积和池化层的处理，进而输出所述中心区域频域图的特征，再通过分类全连接，最终获得两个类别的得分。根据类别得分计算公式，分别计算出两个类别的得分，从而判断该频域图中是否是有行人状态。当判断为中心区域频域图为有行人状态时，则可知，目标区域内有行人入侵；当判断为中心区域频域图为无行人状态时，则可知，目标区域内没有行人入侵。最终实现对目标区域内是否有行人入侵作出判断。
进一步地，由于在上述步骤实施过程中，得到的中心区域频域图清晰度不够。为了便于对中心区域频域图进行识别，可以归一化处理方法，提高中心区域频域图的清晰度。
最后，数据传输模块用于将分类识别的结果上传至外部设备。
优选地，所述基于图像频域的行人入侵识别***还包括数据传输模块，用于将分类识别的结果上传至外部设备。具体地，基于识别网络得到两个类别的得分后，最终可判断在目标区域内，是否有行人入侵，并将识别结果及相关数据传输至外部设备，以便用户端辨别与操作。该模块通过有线或无线WIFI联网将判断结果上报至相关的外部设备，外部设备如：手机、手环、服务器等。
需要说明的是，应理解以上***的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述***的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述***的存储器中，由上述***的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)，或，一个或多个微处理器(digitalsingnalprocessor，简称DSP)，或，一个或者多个现场可编程门阵列(FieldProgrammableGateArray，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessingUnit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上***(system-on-a-chip，简称SOC)的形式实现。
实施例三
本实施例提供一种基于图像频域的行人入侵识别装置，所述基于图像频域的行人入侵识别装置包括：处理器、存储器、收发器、通信接口和***总线；存储器和通信接口通过***总线与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序，使基于图像频域的行人入侵识别装置执行如上所述基于图像频域的行人入侵识别方法的各个步骤。
上述提到的***总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该***总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(RandomAccess Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable GateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明所述的基于图像频域的行人入侵识别方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
综上所述，本发明提供的基于图像频域的行人入侵识别方法、***、介质及装置具有以下有益效果：
本发明基于DFT(Discrete Fourier Transform，离散傅里叶变化)，对输入图像进行处理，然后选取中心区域，即：截取频域特征的区域信息；随后使用分类网络对区域图像进行有无行人的二分类判断。本发明能够有效的缩小分类识别网络的输入，在保证可辨识信息的情况下，本发明通过降低分类识别网络输入图像的尺寸的方法，极大的降低了计算量，有效地区分识别区画面中目标种类，进而判断目标区域内是否有行人入侵。解决了现有技术无法针对行人位置、光线问题进行有效识别的问题，以及行人识别网络的无法对目标位置及属性的进行高精度地识别，导致运算量过大的问题。因此，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于图像频域的行人入侵识别方法，其特征在于，包括以下步骤：
获取目标区域内的采集图像；
获取所述采集图像的频域图；
从所述频域图中选取中心区域频域图；
基于分类识别网络判断所述中心区域频域图中是否有行人出现。
2.根据权利要求1所述的基于图像频域的行人入侵识别方法，其特征在于，获取所述采集图像的频域图包括以下步骤：
对所述采集图像进行宽高等比例缩放，获取缩放图像；
对所述缩放图像进行离散傅里叶变换，以获取所述缩放图像的频域图；
将所述缩放图像的频域图的零频分量移动到中心位置，以获取所述采集图像的频域图。
3.根据权利要求2所述的基于图像频域的行人入侵识别方法，其特征在于，对所述缩放图像进行离散傅里叶变换采用公式：
Figure FDA0003814262210000011
其中，exi＝cosx+isinx；F(x,y)为所述缩放图像第x行第y列的频域值，f(i,j)为所述缩放图像第i行第j列的时域值，x＝0,1,2,3,…M-1；y＝0,1,2,3,…N-1；N和M分别为所述缩放图像的列数和行数。
4.根据权利要求1所述的基于图像频域的行人入侵识别方法，其特征在于，从所述频域图中选取中心区域频域图包括以下步骤：
在所述频域图的中心区域选取宽和高均为预设值的区域，以获取所述中心区域频域图。
5.根据权利要求1所述的基于图像频域的行人入侵识别方法，其特征在于，基于分类识别网络判断所述中心区域频域图中是否有行人出现包括以下步骤：
获取训练好的分类识别网络；
将所述中心区域频域图输入所述分类识别网络，获取所述分类识别网络输出的行人识别结果。
6.根据权利要求5所述的基于图像频域的行人入侵识别方法，其特征在于，所述分类识别网络包括输入层、卷积和池化层、全连接层；所述输入层用于输入所述中心区域频域图，所述卷积和池化层用于输出所述中心区域频域图的特征；所述全连接层用于获取所述特征的分类得分。
7.一种基于图像频域的行人入侵识别***，其特征在于，包括：
采集模块，用于获取目标区域内的采集图像；
数据处理模块，用于对所述采集图像进行宽高等比例缩放，获取缩放图像；对所述缩放图像进行离散傅里叶变换，以获取所述缩放图像的频域图；将所述缩放图像的频域图的零频分量移动到中心位置，以获取所述采集图像的频域图；
图像提取模块，用于从所述频域图中选取中心区域频域图；
分类识别模块，用于基于分类识别网络判断所述中心区域频域图中是否有行人出现。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6中任一项所述基于图像频域的行人入侵识别方法。
9.一种基于图像频域的行人入侵识别装置，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述基于图像频域的行人入侵识别装置执行权利要求1至6中任一项所述基于图像频域的行人入侵识别方法。
10.一种基于图像频域的行人入侵识别***，其特征在于，包括：权利要求9所述的基于图像频域的行人入侵识别装置和图像采集装置；
所述图像采集装置用于采集目标区域内的采集图像，并发送至所述基于图像频域的行人入侵识别装置。
CN202211021763.5A 2022-08-24 2022-08-24 基于图像频域的行人入侵识别方法、***、介质及装置 Pending CN115393763A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211021763.5A CN115393763A (zh) 2022-08-24 2022-08-24 基于图像频域的行人入侵识别方法、***、介质及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211021763.5A CN115393763A (zh) 2022-08-24 2022-08-24 基于图像频域的行人入侵识别方法、***、介质及装置

Publications (1)

Publication Number Publication Date
CN115393763A true CN115393763A (zh) 2022-11-25

Family

ID=84122332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211021763.5A Pending CN115393763A (zh) 2022-08-24 2022-08-24 基于图像频域的行人入侵识别方法、***、介质及装置

Country Status (1)

Country Link
CN (1) CN115393763A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117994636A (zh) * 2024-04-03 2024-05-07 华中科技大学同济医学院附属协和医院 基于交互学习的穿刺目标识别方法、***及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117994636A (zh) * 2024-04-03 2024-05-07 华中科技大学同济医学院附属协和医院 基于交互学习的穿刺目标识别方法、***及存储介质

Similar Documents

Publication Publication Date Title
EP3806064B1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
US20190347767A1 (en) Image processing method and device
CN109165538B (zh) 基于深度神经网络的条形码检测方法及装置
CN109960742B (zh) 局部信息的搜索方法及装置
CN108305260B (zh) 一种图像中角点的检测方法、装置及设备
CN111950543A (zh) 一种目标检测方法和装置
CN111062400A (zh) 目标匹配方法及装置
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
CN115578616A (zh) 多尺度物体实例分割模型的训练方法、分割方法和装置
Feng et al. A novel saliency detection method for wild animal monitoring images with WMSN
CN110516731B (zh) 一种基于深度学习的视觉里程计特征点检测方法及***
CN115393763A (zh) 基于图像频域的行人入侵识别方法、***、介质及装置
CN110673607A (zh) 动态场景下的特征点提取方法、装置、及终端设备
CN109978855A (zh) 一种遥感图像变化检测方法及装置
CN111753775B (zh) 鱼的生长评估方法、装置、设备及存储介质
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
CN111860623A (zh) 基于改进ssd神经网络的统计树木数量的方法及***
CN114648736B (zh) 基于目标检测的鲁棒工程车辆识别方法及***
CN114419564B (zh) 车辆位姿检测方法、装置、设备、介质及自动驾驶车辆
CN116091998A (zh) 图像处理方法、装置、计算机设备和存储介质
Ke et al. Scale-aware dimension-wise attention network for small ship instance segmentation in synthetic aperture radar images
CN115861922A (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
CN113205059A (zh) 车位的检测方法、***、终端及计算机可读存储介质
US11797854B2 (en) Image processing device, image processing method and object recognition system
CN114463764A (zh) 表格线检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination