CN109101646A - 数据处理方法、装置、***及计算机可读介质 - Google Patents
数据处理方法、装置、***及计算机可读介质 Download PDFInfo
- Publication number
- CN109101646A CN109101646A CN201810957602.4A CN201810957602A CN109101646A CN 109101646 A CN109101646 A CN 109101646A CN 201810957602 A CN201810957602 A CN 201810957602A CN 109101646 A CN109101646 A CN 109101646A
- Authority
- CN
- China
- Prior art keywords
- block diagram
- image
- object block
- rectangle
- frame images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种数据处理方法、装置、***及计算机可读介质，方法应用于包含图像采集设备的边缘端，方法包括：获取图像采集设备采集的所在区域内的视频流；提取视频流每个单帧图像中的物体特征，得到特征图；对于每个特征图，利用预设分类神经网络确定与特征图对应的单帧图像中每个物体的矩形物体框图；追踪多个单帧图像中的物体，根据多个单帧图像中每个物体的矩形物体框图，确定每个物体的最优图像；发送每个物体的最优图像给服务器，缓解现有技术中存在的服务器接收到的图像质量低下的技术问题，达到了提高服务器接收到的图像的质量的技术效果。
Description
技术领域
本发明涉及数据处理技术领域，尤其是涉及一种数据处理方法、装置、***及计算机可读介质。
背景技术
现在图像采集设备无处不在，这些图像采集设备每秒钟产生的视频数据量是非常庞大的。这些视频数据要被发送到服务器。但是，由于存储空间和传输带宽的限制，视频数据在被发送给服务器之前，需要被大量压缩。视频数据被大量压缩以后，会造成视频数据中的图像模糊的问题。因此，导致服务器接收到的图像质量低下的问题。
发明内容
有鉴于此，本发明的目的在于提供一种数据处理方法、装置、***及计算机可读介质，以缓解现有技术中存在的服务器接收到的图像质量低下的技术问题。
第一方面，本发明实施例提供了一种数据处理方法，方法应用于包含图像采集设备的边缘端，所述方法包括：
获取所述图像采集设备采集的所在区域内的视频流；
提取所述视频流每个单帧图像中的物体特征，得到特征图；
对于每个所述特征图，利用预设分类神经网络确定与所述特征图对应的单帧图像中每个物体的矩形物体框图；
追踪多个所述单帧图像中的物体，根据多个所述单帧图像中每个物体的所述矩形物体框图，确定每个物体的最优图像；
发送每个物体的所述最优图像给服务器。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述利用预设分类神经网络确定与所述特征图对应的单帧图像中每个物体的矩形物体框图，包括：
生成与所述预设分类神经网络对应的特征表达函数；
获取所述特征图的每个像素点上的像素值；
对于每个所述像素点，将所述像素值代入所述特征表达函数，得到物体在所述单帧图像中的四点坐标位置；
根据所述四点坐标位置生成所述矩形物体框图。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述四点坐标位置包括：第一分坐标、第二分坐标、第三分坐标和第四分坐标，其中，所述第一分坐标和所述第二分坐标在同一水平线上，所述第三分坐标和所述第四分坐标在同一水平线上，所述第一分坐标和所述第三分坐标在同一垂直线上，所述第二分坐标和所述第四分坐标在同一垂直线上，所述根据所述四点坐标位置生成所述矩形物体框图，包括：
将所述第一分坐标上的点分别与所述第二分坐标上的点和所述第三分坐标上的点连接；
将所述第四分坐标的点分别与所述第二分坐标上的点和所述第三分坐标上的点连接；
得到所述矩形物体框图。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述追踪多个所述单帧图像中的物体，根据多个所述单帧图像中每个物体的所述矩形物体框图，确定每个物体的最优图像，包括：
在任意相邻的两个所述单帧图像中，为不同所述单帧图像中的同一个物体设置相同的编号；
在多个所述单帧图像中分别提取具有相同编号的物体的所述矩形物体框图，得到与所述编号对应的矩形物体框图集合；
针对每个所述矩形物体框图集合，对所述矩形物体框图集合中的矩形物体框图进行质量评估，得到满足预设质量要求的所述最优图像。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述在任意相邻的两个所述单帧图像中，为不同所述单帧图像中的同一个物体设置相同的编号，包括：
在任意相邻的两个所述单帧图像中，对于前一个单帧图像中的每个物体，获取物体的编号和所述矩形物体框图，将获取到的编号确定为第一编号，将获取到的所述矩形物体框图确定为第一矩形物体框图；
对于后一个单帧图像中的每个物体，获取物体的所述矩形物体框图，将获取的所述矩形物体框图确定为第二矩形物体框图；
分别确定所述第一矩形物体框图和多个所述第二矩形物体框图的重叠空间；
判断取值最大的重叠空间是否超过预设重叠阈值；
若取值最大的重叠空间超过所述预设重叠阈值，则确定与取值最大的重叠空间对应的第二矩形物体框图为目标矩形物体框图；
将所述第一编号设置为与所述目标矩形物体框图对应的物体的编号。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述针对每个所述矩形物体框图集合，对所述矩形物体框图集合中的矩形物体框图进行质量评估，得到满足预设质量要求的所述最优图像，包括：
获取每个所述矩形物体框图的图像尺寸、图像清晰度和图像成像角度；
对于每个所述矩形物体框图，将所述图像尺寸乘以预设图像尺寸权重，计算得到图像尺寸分量；
将所述图像清晰度乘以预设图像清晰度权重，计算得到图像清晰度分量；
将所述图像成像角度乘以预设图像成像角度权重，计算得到图像成像角度分量；
将所述图像尺寸分量、所述图像清晰度分量和所述图像成像角度分量相加，计算得到图像质量值；
确定与取值最大的图像质量值对应的矩形物体框图为所述最优图像。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述针对每个所述矩形物体框图集合，对所述矩形物体框图集合中的矩形物体框图进行质量评估，得到满足预设质量要求的所述最优图像，包括：
获取每个所述矩形物体框图的图像尺寸、图像清晰度和图像成像角度；
对所述矩形物体框图进行质量评估，选择图像尺寸大于预设图像尺寸阈值、图像清晰度大于预设图像清晰度阈值，且图像成像角度大于预设图像成像角度阈值的矩形物体框图作为最优图像输出，得到满足预设质量要求的所述最优图像。
第二方面，本发明实施例还提供一种数据处理装置，包括：获取模块、提取模块、确定模块、追踪模块和发送模块；
所述获取模块，用于获取图像采集设备采集的所在区域内的视频流；
所述提取模块，用于提取所述视频流每个单帧图像中的物体特征，得到特征图；
所述确定模块，用于对于每个所述特征图，利用预设分类神经网络确定与所述特征图对应的单帧图像中每个物体的矩形物体框图；
所述追踪模块，用于追踪多个所述单帧图像中的物体，根据多个所述单帧图像中每个物体的所述矩形物体框图，确定每个物体的最优图像；
所述发送模块，用于发送每个物体的所述最优图像给服务器。
第三方面，本发明实施例还提供一种数据处理***，包括：服务器和多个应用如第一方面任一所述方法的边缘端，所述服务器分别与多个所述边缘端通信。
第四方面，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行如第一方面任一所述方法。
本发明实施例带来了以下有益效果：本发明实施例提供的数据处理方法应用于包含图像采集设备的边缘端，所述方法包括：获取所述图像采集设备采集的所在区域内的视频流；提取所述视频流每个单帧图像中的物体特征，得到特征图；对于每个所述特征图，利用预设分类神经网络确定与所述特征图对应的单帧图像中每个物体的矩形物体框图；追踪多个所述单帧图像中的物体，根据多个所述单帧图像中每个物体的所述矩形物体框图，确定每个物体的最优图像；发送每个物体的所述最优图像给服务器。
所以，边缘端不需要把所有采集到的视频数据进行压缩，然后发送给服务器，只需要把每个物体的最优图像发送给服务器，这样可以避免由于视频数据被大量压缩而导致的图像模糊的问题，进而避免服务器接收到的图像质量低下的问题，因此，缓解了现有技术中存在的服务器接收到的图像质量低下的技术问题，达到了提高服务器接收到的图像的质量的技术效果。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的数据处理方法的流程图；
图2为图1中步骤S104的流程图；
图3为本发明实施例提供的数据处理装置的示意框图；
图4为本发明实施例提供的数据处理***的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，图像采集设备无处不在，这些图像采集设备每秒钟产生的视频数据量是非常庞大的。这些视频数据要被发送到服务器。但是，由于存储空间和传输带宽的限制，视频数据在被发送给服务器之前，需要被大量压缩。视频数据被大量压缩以后，会造成视频数据中的图像模糊的问题。因此，导致服务器接收到的图像质量低下的问题，基于此，本发明实施例提供的一种数据处理方法、装置、***及计算机可读介质，可以缓解现有技术中存在的服务器接收到的图像质量低下的技术问题，达到提高服务器接收到的图像的质量的技术效果。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种数据处理方法进行详细介绍，方法应用于包含图像采集设备的边缘端，如图1所示，所述数据处理方法可以包括以下步骤。
步骤S101，获取所述图像采集设备采集的所在区域内的视频流。
举例说明，图像采集设备可以为高清摄像机和智能摄像机等。
步骤S102，提取所述视频流每个单帧图像中的物体特征，得到特征图。
本发明实施例中，可以采用多个卷积层的神经网络算法对单帧图像进行物体特征的提取，得到特征图。
步骤S103，对于每个所述特征图，利用预设分类神经网络确定与所述特征图对应的单帧图像中每个物体的矩形物体框图。
其中，所述利用预设分类神经网络确定与所述特征图对应的单帧图像中每个物体的矩形物体框图，可以包括以下步骤：
(1)生成与所述预设分类神经网络对应的特征表达函数。
(2)获取所述特征图的每个像素点上的像素值。
示例性的，可以采用滑动窗的方式来获取所述特征图的每个像素点上的像素值。
(3)对于每个所述像素点，将所述像素值代入所述特征表达函数，得到物体在所述单帧图像中的四点坐标位置。
示例性的，四点坐标位置可以包括：第一分坐标、第二分坐标、第三分坐标和第四分坐标，其中，所述第一分坐标和所述第二分坐标在同一水平线上，所述第三分坐标和所述第四分坐标在同一水平线上，所述第一分坐标和所述第三分坐标在同一垂直线上，所述第二分坐标和所述第四分坐标在同一垂直线上。
(4)根据所述四点坐标位置生成所述矩形物体框图。
其中，所述根据所述四点坐标位置生成所述矩形物体框图，可以包括以下步骤：将所述第一分坐标上的点分别与所述第二分坐标上的点和所述第三分坐标上的点连接；将所述第四分坐标的点分别与所述第二分坐标上的点和所述第三分坐标上的点连接；得到所述矩形物体框图。
本发明实施例中，对于每个所述特征图，还可以利用预设分类神经网络确定与所述特征图对应的单帧图像中每个物体的物体类别和类别置信度。
示例性的，物体类别可以为：行人、自行车、两轮摩托车、三轮摩托车、三轮车、小汽车、面包车、卡车、大型客车或者公交车等。预设分类神经网络可以为Faster R-CNN神经网络模型、YOLO(You Only Look Once:Unified,Real-Time Object Detection)、R-FCN神经网络模型或者SSD神经网络模型。
步骤S104，追踪多个所述单帧图像中的物体，根据多个所述单帧图像中每个物体的所述矩形物体框图，确定每个物体的最优图像。
其中，可以采用光流跟踪算法或者SORT(SIMPLE ONLINE ANDREALTIME TRACKING)算法追踪多个所述单帧图像中的物体。
进一步的，如图2所示，步骤S104可以包括以下步骤。
步骤S201，在任意相邻的两个所述单帧图像中，为不同所述单帧图像中的同一个物体设置相同的编号。
其中，步骤S201可以包括以下步骤：
(1)在任意相邻的两个所述单帧图像中，对于前一个单帧图像中的每个物体，获取物体的编号和所述矩形物体框图，将获取到的编号确定为第一编号，将获取到的所述矩形物体框图确定为第一矩形物体框图。
(2)对于后一个单帧图像中的每个物体，获取物体的所述矩形物体框图，将获取的所述矩形物体框图确定为第二矩形物体框图。
(3)分别确定所述第一矩形物体框图和多个所述第二矩形物体框图的重叠空间。
(4)判断取值最大的重叠空间是否超过预设重叠阈值。
其中，预设重叠阈值可以根据实际业务需求来确定。
(5)若取值最大的重叠空间超过所述预设重叠阈值，则确定与取值最大的重叠空间对应的第二矩形物体框图为目标矩形物体框图。
(6)将所述第一编号设置为与所述目标矩形物体框图对应的物体的编号。
步骤S202，在多个所述单帧图像中分别提取具有相同编号的物体的所述矩形物体框图，得到与所述编号对应的矩形物体框图集合。
步骤S203，针对每个所述矩形物体框图集合，对所述矩形物体框图集合中的矩形物体框图进行质量评估，得到满足预设质量要求的所述最优图像。
其中，步骤S203的一种具体实施方式可以为：获取每个所述矩形物体框图的图像尺寸、图像清晰度和图像成像角度；对于每个所述矩形物体框图，将所述图像尺寸乘以预设图像尺寸权重，计算得到图像尺寸分量；将所述图像清晰度乘以预设图像清晰度权重，计算得到图像清晰度分量；将所述图像成像角度乘以预设图像成像角度权重，计算得到图像成像角度分量；将所述图像尺寸分量、所述图像清晰度分量和所述图像成像角度分量相加，计算得到图像质量值；确定与取值最大的图像质量值对应的矩形物体框图为所述最优图像。
示例性的，计算图像质量值的公式可以为：Z＝x1*ω1+x2*ω2+x3*ω3，其中，Z可以表示图像质量值，x1可以表示图像尺寸，ω1可以表示预设图像尺寸权重，x2可以表示图像清晰度，ω2可以表示预设图像清晰度权重，x3可以表示图像成像角度，ω3可以表示预设图像成像角度权重。每个所述矩形物体框图集合中的每张所述矩形物体框图均可以计算得到图像质量值。
值得注意的是，预设图像尺寸权重、预设图像清晰度权重和预设图像成像角度权重不是固定不变的。在不同的场景下，预设图像尺寸权重是不同的，预设图像清晰度权重是不同的，预设图像成像角度权重也是不同的。
进一步的，步骤S203的另一种具体实施方式可以为：获取每个所述矩形物体框图的图像尺寸、图像清晰度和图像成像角度；对所述矩形物体框图进行质量评估，选择图像尺寸大于预设图像尺寸阈值、图像清晰度大于预设图像清晰度阈值，且图像成像角度大于预设图像成像角度阈值的矩形物体框图作为最优图像输出，得到满足预设质量要求的所述最优图像。
示例性的，可以采用Brenner梯度法、Tenegrad梯度法、laplace梯度法、方差法或者能量梯度法来获取每个所述矩形物体框图的图像清晰度。可以采用VGG分类网络模型、ResNets(Residual Networks,残差网络)、GoogLeNet分类网络模型、MobileNet分类网络模型或者DenseNet分类网络模型来获取每个所述矩形物体框图的图像成像角度。
其中，预设图像尺寸阈值、预设图像清晰度阈值和预设图像成像角度阈值均可以根据实际业务需求来确定。
本发明实施例中，由于在边缘端中融合了数据采集过程和视频结构化过程，避免在视频结构化过程中使用经过压缩的模糊的图像，所以，能够提高最优图像的质量。当服务器利用最优图像进行物体识别时，可以降低物体识别的误差率，提高物体识别的概率。
步骤S105，发送每个物体的所述最优图像给服务器。
本发明实施例中，由于边缘端只发送最优图像给服务器，所以可以降低冗余数据的干扰，降低带宽的占用率，降低数据传输的成本，同时提高传输图像的质量，以便服务器利用高质量的最优图像来进行物体识别过程，提高物体识别概率。
本发明实施例中，边缘端还可以将每个物体的物体类别、物体编号、最优图像的图像质量值以及最优图像所在的单帧图像的图像帧号发送给服务器。
示例性的，边缘端可以采用UDP(User Datagram Protocol，用户数据报协议)将每个物体的所述最优图像、物体类别、物体编号、最优图像的图像质量值以及最优图像所在的单帧图像的图像帧号发送给服务器。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
本发明实施例中，本发明实施例提供的数据处理方法应用于包含图像采集设备的边缘端，所述方法包括：获取所述图像采集设备采集的所在区域内的视频流；提取所述视频流每个单帧图像中的物体特征，得到特征图；对于每个所述特征图，利用预设分类神经网络确定与所述特征图对应的单帧图像中每个物体的矩形物体框图；追踪多个所述单帧图像中的物体，根据多个所述单帧图像中每个物体的所述矩形物体框图，确定每个物体的最优图像；发送每个物体的所述最优图像给服务器。
所以，边缘端不需要把所有采集到的视频数据进行压缩，然后发送给服务器，只需要把每个物体的最优图像发送给服务器，这样既可以满足后续分析的需要，又可以避免由于视频数据被大量压缩而导致的图像模糊的问题，进而避免服务器接收到的图像质量低下的问题，因此，缓解了现有技术中存在的服务器接收到的图像质量低下的技术问题，达到了提高服务器接收到的图像的质量的技术效果。
在本发明的又一实施例中，对本发明实施例所公开的一种数据处理装置进行详细介绍，如图3所示，所述数据处理装置可以包括：获取模块31、提取模块32、确定模块33、追踪模块34和发送模块35。
所述获取模块31，用于获取图像采集设备采集的所在区域内的视频流。
所述提取模块32，用于提取所述视频流每个单帧图像中的物体特征，得到特征图。
所述确定模块33，用于对于每个所述特征图，利用预设分类神经网络确定与所述特征图对应的单帧图像中每个物体的矩形物体框图。
所述追踪模块34，用于追踪多个所述单帧图像中的物体，根据多个所述单帧图像中每个物体的所述矩形物体框图，确定每个物体的最优图像。
所述发送模块35，用于发送每个物体的所述最优图像给服务器。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
在本发明的又一实施例中，对本发明实施例所公开的一种数据处理***进行详细介绍，所述数据处理***可以包括：服务器和多个应用如上述实施例任一所述方法的边缘端，所述服务器分别与多个所述边缘端通信。
示例性的，以所述数据处理***包括服务器和四个边缘端为例进行说明。如图4所示，所述数据处理***包括服务器41和四个边缘端，四个边缘端分别为：边缘端42、边缘端43、边缘端44和边缘端45。服务器41分别与边缘端42、边缘端43、边缘端44和边缘端45通信。
其中，每个边缘端均可以包含图像采集设备。
本发明实施例中，由于每个边缘端只发送最优图像给服务器，降低了冗余数据的干扰，避免由于视频数据被大量压缩而导致的图像模糊的问题，这样不仅能够降低带宽的占用率，而且能够提高图像的质量。同时，还能够提高数据处理***的整体性能，降低数据处理***的使用成本，保证***的灵活性和可扩展性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明的又一实施例中，对本发明实施例所公开的一种具有处理器可执行的非易失的程序代码的计算机可读介质进行详细介绍，所述程序代码使所述处理器执行上述实施例任一所述方法。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明实施例所提供的进行数据处理方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种数据处理方法，其特征在于，方法应用于包含图像采集设备的边缘端，所述方法包括：
获取所述图像采集设备采集的所在区域内的视频流；
提取所述视频流每个单帧图像中的物体特征，得到特征图；
对于每个所述特征图，利用预设分类神经网络确定与所述特征图对应的单帧图像中每个物体的矩形物体框图；
追踪多个所述单帧图像中的物体，根据多个所述单帧图像中每个物体的所述矩形物体框图，确定每个物体的最优图像；
发送每个物体的所述最优图像给服务器。
2.根据权利要求1所述的数据处理方法，其特征在于，所述利用预设分类神经网络确定与所述特征图对应的单帧图像中每个物体的矩形物体框图，包括：
生成与所述预设分类神经网络对应的特征表达函数；
获取所述特征图的每个像素点上的像素值；
对于每个所述像素点，将所述像素值代入所述特征表达函数，得到物体在所述单帧图像中的四点坐标位置；
根据所述四点坐标位置生成所述矩形物体框图。
3.根据权利要求2所述的数据处理方法，其特征在于，所述四点坐标位置包括：第一分坐标、第二分坐标、第三分坐标和第四分坐标，其中，所述第一分坐标和所述第二分坐标在同一水平线上，所述第三分坐标和所述第四分坐标在同一水平线上，所述第一分坐标和所述第三分坐标在同一垂直线上，所述第二分坐标和所述第四分坐标在同一垂直线上，所述根据所述四点坐标位置生成所述矩形物体框图，包括：
将所述第一分坐标上的点分别与所述第二分坐标上的点和所述第三分坐标上的点连接；
将所述第四分坐标的点分别与所述第二分坐标上的点和所述第三分坐标上的点连接；
得到所述矩形物体框图。
4.根据权利要求1所述的数据处理方法，其特征在于，所述追踪多个所述单帧图像中的物体，根据多个所述单帧图像中每个物体的所述矩形物体框图，确定每个物体的最优图像，包括：
在任意相邻的两个所述单帧图像中，为不同所述单帧图像中的同一个物体设置相同的编号；
在多个所述单帧图像中分别提取具有相同编号的物体的所述矩形物体框图，得到与所述编号对应的矩形物体框图集合；
针对每个所述矩形物体框图集合，对所述矩形物体框图集合中的矩形物体框图进行质量评估，得到满足预设质量要求的所述最优图像。
5.根据权利要求4所述的数据处理方法，其特征在于，所述在任意相邻的两个所述单帧图像中，为不同所述单帧图像中的同一个物体设置相同的编号，包括：
在任意相邻的两个所述单帧图像中，对于前一个单帧图像中的每个物体，获取物体的编号和所述矩形物体框图，将获取到的编号确定为第一编号，将获取到的所述矩形物体框图确定为第一矩形物体框图；
对于后一个单帧图像中的每个物体，获取物体的所述矩形物体框图，将获取的所述矩形物体框图确定为第二矩形物体框图；
分别确定所述第一矩形物体框图和多个所述第二矩形物体框图的重叠空间；
判断取值最大的重叠空间是否超过预设重叠阈值；
若取值最大的重叠空间超过所述预设重叠阈值，则确定与取值最大的重叠空间对应的第二矩形物体框图为目标矩形物体框图；
将所述第一编号设置为与所述目标矩形物体框图对应的物体的编号。
6.根据权利要求4所述的数据处理方法，其特征在于，所述针对每个所述矩形物体框图集合，对所述矩形物体框图集合中的矩形物体框图进行质量评估，得到满足预设质量要求的所述最优图像，包括：
获取每个所述矩形物体框图的图像尺寸、图像清晰度和图像成像角度；
对于每个所述矩形物体框图，将所述图像尺寸乘以预设图像尺寸权重，计算得到图像尺寸分量；
将所述图像清晰度乘以预设图像清晰度权重，计算得到图像清晰度分量；
将所述图像成像角度乘以预设图像成像角度权重，计算得到图像成像角度分量；
将所述图像尺寸分量、所述图像清晰度分量和所述图像成像角度分量相加，计算得到图像质量值；
确定与取值最大的图像质量值对应的矩形物体框图为所述最优图像。
7.根据权利要求4所述的数据处理方法，其特征在于，所述针对每个所述矩形物体框图集合，对所述矩形物体框图集合中的矩形物体框图进行质量评估，得到满足预设质量要求的所述最优图像，包括：
获取每个所述矩形物体框图的图像尺寸、图像清晰度和图像成像角度；
对所述矩形物体框图进行质量评估，选择图像尺寸大于预设图像尺寸阈值、图像清晰度大于预设图像清晰度阈值，且图像成像角度大于预设图像成像角度阈值的矩形物体框图作为最优图像输出，得到满足预设质量要求的所述最优图像。
8.一种数据处理装置，其特征在于，包括：获取模块、提取模块、确定模块、追踪模块和发送模块；
所述获取模块，用于获取图像采集设备采集的所在区域内的视频流；
所述提取模块，用于提取所述视频流每个单帧图像中的物体特征，得到特征图；
所述确定模块，用于对于每个所述特征图，利用预设分类神经网络确定与所述特征图对应的单帧图像中每个物体的矩形物体框图；
所述追踪模块，用于追踪多个所述单帧图像中的物体，根据多个所述单帧图像中每个物体的所述矩形物体框图，确定每个物体的最优图像；
所述发送模块，用于发送每个物体的所述最优图像给服务器。
9.一种数据处理***，其特征在于，包括：服务器和多个应用如权利要求1-7任一所述方法的边缘端，所述服务器分别与多个所述边缘端通信。
10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1-7任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810957602.4A CN109101646B (zh) | 2018-08-21 | 2018-08-21 | 数据处理方法、装置、***及计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810957602.4A CN109101646B (zh) | 2018-08-21 | 2018-08-21 | 数据处理方法、装置、***及计算机可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109101646A true CN109101646A (zh) | 2018-12-28 |
| CN109101646B CN109101646B (zh) | 2020-12-18 |
Family
ID=64850636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810957602.4A Expired - Fee Related CN109101646B (zh) | 2018-08-21 | 2018-08-21 | 数据处理方法、装置、***及计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109101646B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114520890A (zh) * | 2020-11-19 | 2022-05-20 | 华为技术有限公司 | 图像处理方法及装置 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101329767A (zh) * | 2008-07-11 | 2008-12-24 | 西安交通大学 | 基于学习的视频中显著物体序列自动检测方法 |
| CN103914853A (zh) * | 2014-03-19 | 2014-07-09 | 华南理工大学 | 多车辆跟踪时目标粘连和***情况的处理方法 |
| CN104469547A (zh) * | 2014-12-10 | 2015-03-25 | 西安理工大学 | 一种基于树状运动目标轨迹的视频摘要生成方法 |
| CN105117705A (zh) * | 2015-08-26 | 2015-12-02 | 北京无线电计量测试研究所 | 一种虹膜图像质量级联式评价方法 |
| CN105740758A (zh) * | 2015-12-31 | 2016-07-06 | 上海极链网络科技有限公司 | 基于深度学习的互联网视频人脸识别方法 |
| CN105844665A (zh) * | 2016-03-21 | 2016-08-10 | 清华大学 | 视频对象追踪方法及装置 |
| CN106407978A (zh) * | 2016-09-24 | 2017-02-15 | 上海大学 | 一种结合似物度的无约束视频中显著物体检测方法 |
| CN106778645A (zh) * | 2016-12-24 | 2017-05-31 | 深圳云天励飞技术有限公司 | 一种图像处理方法及装置 |
| US20180068195A1 (en) * | 2016-09-07 | 2018-03-08 | Apple, Inc. | Multi-Dimensional Objective Metric Concentering |
| CN107918767A (zh) * | 2017-11-27 | 2018-04-17 | 北京旷视科技有限公司 | 目标检测方法、装置、电子设备及计算机可读介质 |
| CN108040244A (zh) * | 2017-12-11 | 2018-05-15 | 深圳云天励飞技术有限公司 | 基于光场视频流的抓拍方法及装置、存储介质 |
| CN108230293A (zh) * | 2017-05-31 | 2018-06-29 | 深圳市商汤科技有限公司 | 确定人脸图像质量的方法和装置、电子设备和计算机存储介质 |
| CN108269250A (zh) * | 2017-12-27 | 2018-07-10 | 武汉烽火众智数字技术有限责任公司 | 基于卷积神经网络评估人脸图像质量的方法和装置 |
| CN108280399A (zh) * | 2017-12-27 | 2018-07-13 | 武汉普利商用机器有限公司 | 一种场景自适应人脸识别方法 |
| CN108305240A (zh) * | 2017-05-22 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 图像质量检测方法及装置 |
-
2018
- 2018-08-21 CN CN201810957602.4A patent/CN109101646B/zh not_active Expired - Fee Related
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101329767A (zh) * | 2008-07-11 | 2008-12-24 | 西安交通大学 | 基于学习的视频中显著物体序列自动检测方法 |
| CN103914853A (zh) * | 2014-03-19 | 2014-07-09 | 华南理工大学 | 多车辆跟踪时目标粘连和***情况的处理方法 |
| CN104469547A (zh) * | 2014-12-10 | 2015-03-25 | 西安理工大学 | 一种基于树状运动目标轨迹的视频摘要生成方法 |
| CN105117705A (zh) * | 2015-08-26 | 2015-12-02 | 北京无线电计量测试研究所 | 一种虹膜图像质量级联式评价方法 |
| CN105740758A (zh) * | 2015-12-31 | 2016-07-06 | 上海极链网络科技有限公司 | 基于深度学习的互联网视频人脸识别方法 |
| CN105844665A (zh) * | 2016-03-21 | 2016-08-10 | 清华大学 | 视频对象追踪方法及装置 |
| US20180068195A1 (en) * | 2016-09-07 | 2018-03-08 | Apple, Inc. | Multi-Dimensional Objective Metric Concentering |
| CN106407978A (zh) * | 2016-09-24 | 2017-02-15 | 上海大学 | 一种结合似物度的无约束视频中显著物体检测方法 |
| CN106778645A (zh) * | 2016-12-24 | 2017-05-31 | 深圳云天励飞技术有限公司 | 一种图像处理方法及装置 |
| CN108305240A (zh) * | 2017-05-22 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 图像质量检测方法及装置 |
| CN108230293A (zh) * | 2017-05-31 | 2018-06-29 | 深圳市商汤科技有限公司 | 确定人脸图像质量的方法和装置、电子设备和计算机存储介质 |
| CN107918767A (zh) * | 2017-11-27 | 2018-04-17 | 北京旷视科技有限公司 | 目标检测方法、装置、电子设备及计算机可读介质 |
| CN108040244A (zh) * | 2017-12-11 | 2018-05-15 | 深圳云天励飞技术有限公司 | 基于光场视频流的抓拍方法及装置、存储介质 |
| CN108269250A (zh) * | 2017-12-27 | 2018-07-10 | 武汉烽火众智数字技术有限责任公司 | 基于卷积神经网络评估人脸图像质量的方法和装置 |
| CN108280399A (zh) * | 2017-12-27 | 2018-07-13 | 武汉普利商用机器有限公司 | 一种场景自适应人脸识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 何南南 等: ""图像质量评价综述"", 《北京印刷学院学报》 * |
| 王一丁 等: ""多参数融合的手背静脉图像质量评价"", 《小型微型计算机***》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114520890A (zh) * | 2020-11-19 | 2022-05-20 | 华为技术有限公司 | 图像处理方法及装置 |
| WO2022105757A1 (zh) * | 2020-11-19 | 2022-05-27 | 华为技术有限公司 | 图像处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109101646B (zh) | 2020-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108446698B (zh) | 在图像中检测文本的方法、装置、介质及电子设备 | |
| US9002060B2 (en) | Object retrieval in video data using complementary detectors | |
| Lyu et al. | Learning to segment 3d point clouds in 2d image space | |
| US9536136B2 (en) | Multi-layer skin detection and fused hand pose matching | |
| Yu et al. | Towards efficient and scale-robust ultra-high-definition image demoiréing | |
| CN112967341B (zh) | 基于实景图像的室内视觉定位方法、***、设备及存储介质 | |
| CN109190532A (zh) | 一种基于云边融合的人脸识别方法、装置及*** | |
| CN109934181A (zh) | 文本识别方法、装置、设备和计算机可读介质 | |
| CN110929639A (zh) | 用于确定图像中障碍物位置的方法、装置、设备和介质 | |
| US11967132B2 (en) | Lane marking detecting method, apparatus, electronic device, storage medium, and vehicle | |
| CN106845338B (zh) | 视频流中行人检测方法与*** | |
| CN109783680B (zh) | 图像推送方法、图像获取方法、装置及图像处理*** | |
| CN113505799B (zh) | 显著性检测方法及其模型的训练方法和装置、设备、介质 | |
| CN110288692A (zh) | 光照渲染方法和装置、存储介质及电子装置 | |
| CN109903315A (zh) | 用于光流预测的方法、装置、设备以及可读存储介质 | |
| CN109447117A (zh) | 双层车牌识别方法、装置、计算机设备及存储介质 | |
| CN109948624A (zh) | 特征提取的方法、装置、电子设备和计算机存储介质 | |
| CN115457208A (zh) | Mep设备的三维建模方法、装置、存储介质及电子装置 | |
| Wang et al. | Paul: Procrustean autoencoder for unsupervised lifting | |
| CN104765440A (zh) | 手检测方法和设备 | |
| JP2017045438A (ja) | 画像解析装置、画像解析方法、画像解析プログラム、および画像解析システム | |
| Yao et al. | Dynamicbev: Leveraging dynamic queries and temporal context for 3d object detection | |
| CN115100099A (zh) | 点云数据的处理方法、装置、设备及介质 | |
| CN109101646A (zh) | 数据处理方法、装置、***及计算机可读介质 | |
| Kryjak et al. | Real-time implementation of foreground object detection from a moving camera using the vibe algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201218 |