CN114095731A - 图像传输、目标识别方法及装置、存储介质、终端、服务器 - Google Patents

图像传输、目标识别方法及装置、存储介质、终端、服务器 Download PDF

Info

Publication number
CN114095731A
CN114095731A CN202010759773.3A CN202010759773A CN114095731A CN 114095731 A CN114095731 A CN 114095731A CN 202010759773 A CN202010759773 A CN 202010759773A CN 114095731 A CN114095731 A CN 114095731A
Authority
CN
China
Prior art keywords
image
residual
residual image
server
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010759773.3A
Other languages
English (en)
Inventor
周斌
朱曦
刘春雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai G2link Network Technology Co ltd
Original Assignee
Shanghai G2link Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai G2link Network Technology Co ltd filed Critical Shanghai G2link Network Technology Co ltd
Priority to CN202010759773.3A priority Critical patent/CN114095731A/zh
Publication of CN114095731A publication Critical patent/CN114095731A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种图像传输、目标识别方法及装置、存储介质、终端、服务器，所述图像传输方法包括：步骤A，从图像采集设备采集的视频流中获取参考图像，向服务器发送所述参考图像；步骤B，获取所述参考图像的下一帧图像作为当前图像；步骤C，计算所述当前图像与所述参考图像的之间的像素差，以得到残差图像；步骤D，判断所述残差图像是否满足第一预设更新条件，若满足，则发送所述残差图像至所述服务器，以使得所述服务器根据所述残差图像对所述参考图像进行更新以得到所述当前图像，并对当前图像进行目标识别；步骤E，继续获取所述当前图像的下一帧作为当前图像；重复所述步骤C、D和E。由此，能够节省图像传输时的带宽消耗。

Description

图像传输、目标识别方法及装置、存储介质、终端、服务器
技术领域
本发明涉及图像识别领域，具体地涉及一种图像传输、目标识别方法及装置、存储介质、终端、服务器。
背景技术
很多实际的云端部署的人工智能(Artificial Intelligence，简称AI)推理场景中，会将相机采集的视频传输到推理服务器进行推理运算。
通常是将监控相机采集的原始视频发送至推理服务器。然而监控相机在很多场景下的采集的视频中的图像在一定时间内变化相对较小，将原始视频直接传输至推理服务器进行处理时，传输的数据量很大，需要占用大量的带宽资源。
发明内容
本发明解决的技术问题是如何节省图像传输时的带宽资源。
为解决上述技术问题，本发明实施例提供一种图像传输方法，所述方法包括：步骤A，从图像采集设备采集的视频流中获取参考图像，向服务器发送所述参考图像；步骤B，获取所述参考图像的下一帧图像作为当前图像；步骤C，计算所述当前图像与所述参考图像的之间的像素差，以得到残差图像；步骤D，判断所述残差图像是否满足第一预设更新条件，若满足，则发送所述残差图像至所述服务器，以使得所述服务器根据所述残差图像对所述参考图像进行更新以得到所述当前图像，并对当前图像进行目标识别；步骤E，继续获取所述当前图像的下一帧作为当前图像；重复所述步骤C、D和E。
可选的，所述步骤D还包括：当残差图像满足第二预设更新条件时，将所述当前图像作为更新的参考图像，发送所述更新的参考图像至所述服务器；跳转至所述步骤B。
可选的，所述残差图像包括多个像素，当残差图像的像素数量与总像素数量的比值大于第一阈值、且小于第二阈值时，所述残差图像满足第一预设更新条件，其中，所述总像素数量为所述当前图像或所述参考图像的像素数量。
可选的，当残差图像的像素数量与总像素数量的比值大于所述第二阈值时，所述残差图像满足第二预设更新条件。
可选的，所述发送所述残差图像至所述服务器之前，还包括：对所述残差图像进行压缩，得到压缩后的残差图像；所述发送所述残差图像至所述服务器，包括：发送压缩后的残差图像至所述服务器，以使所述服务器对压缩后的残差图像解压缩得到所述残差图像。
可选的，采用离散余弦变换以及熵编码量化对所述残差图像进行压缩。
可选的，所述从图像采集设备采集的视频流中获取参考图像，包括：按照预设抽帧间隔从所述视频流中抽取部分图像；从抽取的部分图像中获取参考图像。
可选的，所述方法还包括：接收服务器发送的所述预设抽帧间隔，所述预设抽帧间隔由所述服务器基于目标识别的结果设定。
本发明实施例还提供一种目标识别方法，所述方法包括：接收发送参考图像，所述参考图像由终端从图像采集设备采集的视频流中获取；接收残差图像，所述残差图像由所述终端根据当前图像与所述参考图像的之间的像素差得到、且所述残差图像满足第一预设更新条件；根据所述残差图像对所述参考图像进行更新以得到所述当前图像；对当前图像进行目标识别。
可选的，所述方法还包括：接收更新的参考图像，所述更新的参考图像为在残差图像满足第二预设更新条件时的当前图像。
可选的，当残差图像的像素数量与总像素数量的比值大于第一阈值、且小于第二阈值时，所述残差图像满足第一预设更新条件，其中，所述总像素数量为所述当前图像或所述参考图像的像素数量。
可选的，当残差图像的像素数量与总像素数量的比值大于所述第二阈值时，所述残差图像满足第二预设更新条件。
可选的，所述接收残差图像包括：接收压缩后的残差图像，对压缩后的残差图像解压缩得到所述残差图像。
可选的，采用离散余弦变换以及熵编码量化对所述残差图像进行压缩。
可选的，所述方法还包括：根据目标识别的结果设定预设抽帧间隔，并将所述预设抽帧间隔发送至所述终端，以使所述终端按照预设抽帧间隔从所述视频流中抽取部分图像，并从抽取的部分图像中获取参考图像。
本发明实施例还提供一种图像传输装置，所述装置包括：参考图像获取模块，用于执行步骤A，从图像采集设备采集的视频流中获取参考图像，向服务器发送所述参考图像；当前图像获取模块，用于执行步骤B，获取所述参考图像的下一帧图像作为当前图像；残差图像获取模块，用于执行步骤C，计算所述当前图像与所述参考图像的之间的像素差，以得到残差图像；残差图像发送模块，用于执行步骤D，判断残差图像是否满足第一预设更新条件，若满足，则发送所述残差图像至所述服务器，以使得所述服务器根据所述残差图像对所述参考图像进行更新以得到所述当前图像，并对当前图像进行目标识别；当前图像更新模块，用于执行步骤E，继续获取所述当前图像的下一帧作为当前图像；重复执行模块，用于重复执行所述步骤C、D和E。
本发明实施例还提供一种目标识别装置，所述装置包括：参考图像接收模块，用于接收发送参考图像，所述参考图像由终端从图像采集设备采集的视频流中获取；残差图像接收模块，用于接收残差图像，所述残差图像由所述终端根据当前图像与所述参考图像的之间的像素差得到、且所述残差图像满足第一预设更新条件；当前图像恢复模块，用于根据所述残差图像对所述参考图像进行更新以得到所述当前图像；目标识别模块，用于对当前图像进行目标识别。
本发明实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述图像传输方法，或所述目标识别方法的步骤。
本发明实施例还提供一种终端，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述图像传输方法的步骤。
本发明实施例还提供一种服务器，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述目标识别方法的步骤。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
较之现有技术，本发明实施例提供的图像传输方法，在对多帧图像逐帧进行传输时，可仅传输各帧图像与参考图像之间的差异部分，也即残差图像，对于与参考图像无差异的图像可不进行传输，对于视频监控等图像变化在一定时间内变化相对较小的场景，能够有效降低图像传输中的数据量，从而节约传输的带宽消耗。
进一步地，当当前图像与参考图像差距过大时，将该当前图像作为更新后的参考图像，以便于对后续图像进行分析。每次更新参考图像时，将更新后的参考图像发送至服务器，保证服务器端的参考图像与终端的参考图像一致。
进一步地，对残差图片进行压缩在发送至服务器，能够进一步减小发送的数据量，提供传输效率。选用DCT与熵编码结合的方案，在残差图片上的压缩效果比较好，并且其对运算能力需求比较适合当前大部分相机设备。
进一步地，通过预设抽帧间隔从采集的视频流中挑选部分图像进行分析，减少图像分析和传输过程中的计算量，提高了分析效率。
附图说明
图1为本发明实施例的一种图像传输方法的流程示意图；
图2为本发明实施例的另一种目标识别方法的流程示意图；
图3为本发明实施例的一种目标识别方法的流程示意图；
图4为本发明实施例的一种图像传输装置的结构示意图；
图5是本发明实施例的一种目标识别装置的结构示意图。
具体实施方式
如背景技术所言，现有技术中将原始视频直接传输至推理服务器进行处理时，传输的数据量很大，需要占用大量的带宽资源。
为解决该问题，本发明实施例提供了一种图像传输方法，包括：所述方法包括：步骤A，从图像采集设备采集的视频流中获取参考图像，向服务器发送所述参考图像；步骤B，获取所述参考图像的下一帧图像作为当前图像；步骤C，计算所述当前图像与所述参考图像的之间的像素差，以得到残差图像；步骤D，判断所述残差图像是否满足预设更新条件，若满足，则发送所述残差图像至所述服务器，以使得所述服务器根据所述残差图像对所述参考图像进行更新以得到所述当前图像，并对当前图像进行目标识别；步骤E，继续获取所述当前图像的下一帧作为当前图像；重复执行所述步骤C、步骤D和步骤E。
通过上述方案，能够有效降低图像传输中的数据量，节约传输的带宽消耗。
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
请参见图1，本发明实施例提供一种图像传输方法，所述方法包括：
步骤A，从图像采集设备采集的视频流中获取参考图像，向服务器发送所述参考图像；
图像采集设备是对某一区域或某一人或物体进行图像采集的设备，例如相机、电脑、监控等设备。该设备对对某一区域或某一人或物体进行连续拍摄得到视频流，视频流中包含若干帧图像，该若干帧图像可以按照拍摄时间顺序排列。
参考图像为从视频流中选取的、用于与其他图像进行对比的一帧图像。在开始对视频流进行处理时，可获取拍摄效果较好的图像、或者视频流的第一帧图像作为参考图像。并比较下一帧图像与参考图像之间的差异，当差异较大时，则将此时获取的图像作为新的参考图像。在对视频流中的多帧图像逐帧分析时，参考图像也是持续变化的。
在获取到参考图像之后，缓存该参考图像，并将该参考图像发送至服务器端，以使服务器侧也存储该参考图像，以进行后续处理。
步骤B，获取所述参考图像的下一帧图像作为当前图像；
可选的，下一帧图像可以指图像队列里面的下一帧图像，图像队列中多帧图像的排列顺序可以按照拍摄时间顺序排列，也可以根据其他预设的排列规则进行排列。
在获取到参考图像之后，开始逐帧对视频流中的对象进行分析，分析时每次获取下一帧的图像作为当前图像。对于每一帧当前图像的分析流程请参见下述步骤C和步骤D。
步骤C，计算所述当前图像与所述参考图像的之间的像素差，以得到残差图像；
可对当前图像和参考图像这两帧图像中对应像素位置的像素值求差，以得到像素差，这两帧图像所有的像素差构成残差图像，也即这一帧当前图像对应的残差图像。残差图像包括多个像素位置的像素差。
可选的，此处说到的像素差，可以指一个像素位置处，两帧图像对应的像素值之间的差值，此时该像素位置的像素值为像素差值，此时残差图像为多个像素位置以及各个位置对应的像素差值的集合。
另外，像素差还可以指两帧图像不同时，当前图像在不同的像素位置处的像素值，也即残差图像为当前图像在多个像素位置的像素值的集合。
步骤D，判断所述残差图像是否满足第一预设更新条件，若满足，则发送所述残差图像至所述服务器，以使得所述服务器根据所述残差图像对所述参考图像进行更新以得到所述当前图像，并对当前图像进行目标识别；
其中，服务器可以根据光学字符识别(Optical Character Recognition，简称OCR)识别技术或根据大数据训练得到的目标识别模型对得到的多帧当前图像进行目标识别，识别的目标可以为人或物，如车辆、车牌等等。进行目标识别的服务器也可称为推理服务器。
第一预设更新条件是预设的、用于判断当前图像与参考图像之间是否存在差异、且该差异是否满足发送要求的条件。在当前图像的残差图像满足第一预设更新条件时，才向服务器发送残差图像，否则，则不进行图像传输。
可选的，第一预设更新条件可以为当前图像与参考图像不相同的像素数量大于等于第一预设值，也即，残差图像的像素数量大于等于第一预设值。此时，当当前图像与参考图像不相同的像素数量、或者残差图像的像素数量大于等于第一预设值时，则残差图像满足第一预设更新条件。
进一步，当残差图像的像素数量与总像素数量的比值大于第一阈值时，所述残差图像满足第一预设更新条件；其中，所述总像素数量为所述当前图像或所述参考图像的像素数量。
也即，以存在差异的像素数量占总像素数量的比值设定第一预设更新条件。通常情况下，同一图像采集设备采集的图像的像素数量相同，也即当前图像与参考图像的像素数量相同，都为总像素数量。可选的，当二者不同时，则可以其中一个的像素数量作为总像素数量。
可选的，第一预设更新条件还可以为当前图像与参考图像的像素差值大于第一预设值，也即，残差图像的总像素值大于等于第二预设值。此时，当当前图像与参考图像之间的像素差值、或者残差图像的总像素值大于等于第一预设值时，则残差图像满足第一预设更新条件。
需要说明的是，第一预设更新条件包括但不限于上述的示例，其他设定的、用于判断残差图像是否需要被发送至服务器的条件，都为本发明实施例的保护范围。
若当前图像对应的残差图像满足第一预设更新条件，则可判定该当前图像与参考图像之间存在部分差异，需要将该残差图像发送至服务器，由服务器根据其存储的参考图像以及接收的残差图像还原出当前图像。
可选的，当参差图像为多个像素位置以及各个位置对应的像素差值的集合时，服务器计算残差图像中各个像素位置的像素差值与参考图像在该像素位置的像素值之和，得到当前图像在该像素位置的像素值，继而还原出当前图像。
可选的，当残差图像为当前图像在多个像素位置的像素值的集合时，服务器直接用残差图像中各个像素位置的像素值替换参考图像在该像素位置的像素值，得到当前图像在该像素位置的像素值，继而还原出当前图像。
步骤E，继续获取所述当前图像的下一帧作为当前图像；
重复执行所述步骤C、步骤D和步骤E。
在完成对一帧当前图像的分析后，继续获取当前图像的下一帧作为当前图像，继续对下一帧的当前图像按照上述进程进行分析，直至图像传输方法执行结束。
可选的，当完成对视频流中所有图像的分析、或者接收到结束的控制指令时，图像传输方法执行结束。
图1所示的图像传输方法可由终端侧执行，图像采集设备可为终端内部的设备(如终端为智能相机或电脑等)，图像采集设备也可以为独立于终端之外的设备，图像采集设备与终端可以通过网络等方式通信。
图1所示的图像传输方法，在对多帧图像逐帧进行传输时，可仅传输各帧图像与参考图像之间的差异部分，也即残差图像，对于与参考图像无差异的图像可不进行传输，对于视频监控等图像变化在一定时间内变化相对较小的场景，能够有效降低图像传输中的数据量，从而节约传输的带宽消耗。
在一个实施例中，图1所述的图像传输方法还包括对参考图像进行更新的步骤，所述步骤D还包括：当残差图像满足第二预设更新条件时，将所述当前图像作为更新的参考图像，发送所述更新的参考图像至所述服务器；跳转至所述步骤B。
请参见图2，图2提供了另一种图像传输方法的流程示意图，相较于图1中的图像传输方法，步骤D可以包括：
步骤S201，判断所述残差图像是否满足第一预设更新条件或者第二预设更新条件；
当残差图像满足第一预设更新条件时，执行步骤S202，发送所述残差图像至所述服务器，以使得所述服务器根据所述残差图像对所述参考图像进行更新以得到所述当前图像，并对当前图像进行目标识别；继而执行步骤E。
当残差图像满足第二预设更新条件时，执行步骤S203，将所述当前图像作为更新的参考图像，发送所述更新的参考图像至所述服务器；跳转至步骤B。
第二预设更新条件是预设的、用于判断是否更新参考图像的条件。在当前图像的残差图像满足第二预设更新条件时，以当前图像作为更新后的参考图像，并向服务器发送更新后的参考图像。在当前图像不满足第二预设更新条件时，不对参考图像进行更新。
可选的，第二预设更新条件可以为当前图像与参考图像不相同的像素数量大于等于第二预设值，也即，残差图像的像素数量大于等于第二预设值。此时，当当前图像与参考图像不相同的像素数量、或者残差图像的像素数量大于等于第二预设值时，则残差图像满足第二预设更新条件。当残差图像的像素数量大于第一预设值且小于第二预设值时，残差图像满足第一预设更新条件；当残差图像的像素数量大于第二预设值时，残差图像满足第二预设更新条件。
进一步，当残差图像的像素数量与总像素数量的比值大于第二阈值时，所述残差图像满足第二预设更新条件；其中，所述总像素数量为所述当前图像或所述参考图像的像素数量。第二阈值大于第一阈值。当残差图像的像素数量与总像素数量的比值大于第一阈值、且小于第二阈值时，所述残差图像满足第一预设更新条件；当残差图像的像素数量与总像素数量的比值大于所述第二阈值时，所述残差图像满足第二预设更新条件。
可选的，第二预设更新条件还可以为当前图像与参考图像的像素差值大于第二预设值，也即，残差图像的总像素值大于等于第二预设值。此时，当当前图像与参考图像之间的像素差值、或者残差图像的总像素值大于等于第而预设值时，则残差图像满足第二预设更新条件。
图2中第二预设更新条件与图1所述的第一预设更新条件中可基于同一设定规则设定，此时基于同一设定规则设定的第二预设值大于第一预设值。
本实施例中，若当前图像与参考图像差距过大，将该当前图像作为更新后的参考图像，以便于对后续图像进行分析。每次更新参考图像时，将更新后的参考图像发送至服务器，保证服务器端的参考图像与终端的参考图像一致。
在一个实施例中，在图1和图2的步骤D中：发送所述残差图像至所述服务器之前，还可以包括：对所述残差图像进行压缩，得到压缩后的残差图像；发送压缩后的残差图像至所述服务器，以使所述服务器对压缩后的残差图像解压缩得到所述残差图像。
可选的，采用离散余弦变换(Discrete Cosine Transform，简称DCT)以及熵编码量化对所述残差图像进行压缩。对应地，服务器也需收到压缩数据后，需要对其进行反量化、逆离散余弦变换后，以得到残差图像。
可选的，终端与服务器之间其他的图像传输，如参考图像等，也可以采用该方式进行压缩。
以二维的残差图像为例，DCT的计算公式可以表示为：F(u,v)＝Af(x,y)AT；其中，f(x,y)为残差图像的二维坐标；F(u,v)为转换后的残差图像的二维坐标，A为离散余弦变换的系数矩阵，AT为系数矩阵A对应的转置矩阵。对应地，逆离散余弦变换的公式可以表示为f(x,y)＝ATF(u,v)A。
本实施例中，对残差图片进行压缩在发送至服务器，能够进一步减小发送的数据量，提供传输效率。选用DCT与熵编码结合的方案，在残差图片上的压缩效果比较好，并且其对运算能力需求比较适合当前大部分相机设备。
在一个实施例中，所述从图像采集设备采集的视频流中获取参考图像，包括：按照预设抽帧间隔从所述视频流中抽取部分图像；从抽取的部分图像中获取参考图像。
对于图像采集设备采集的视频流不全部进行分析，而是按照预设抽帧间隔从其中抽取部分分析。
该预设抽帧间隔可根据需要设定。预设抽帧间隔可以为一个固定的数值，例如，设定抽帧间隔为5帧或10帧。抽帧间隔还可以根据初始视频流的情况动态调整。也即设定的抽帧间隔为多个固定的数值，根据采集的视频流的情况从多个固定数值中选择一个作为预设的抽帧间隔。其中，视频流的情况可包括视频流中图像的清晰度等等。
可选的，所述方法还包括：接收服务器发送的所述预设抽帧间隔，所述预设抽帧间隔由所述服务器基于目标识别的结果设定。
也即预设抽帧间隔可以由服务器端根据其对接收的多帧当前图像进行目标识别后的识别结果设定，如，预设抽帧间隔可根据服务器识别到的目标的运动速度确定。
本实施例中，通过预设抽帧间隔从采集的视频流中挑选部分图像进行分析，减少图像分析和传输过程中的计算量，提高了分析效率。
本发明实施例还提供一种目标识别方法，请参见图3，所述方法包括：
步骤S301，接收发送参考图像，所述参考图像由终端从图像采集设备采集的视频流中获取；
步骤S302，接收残差图像，所述残差图像由所述终端根据当前图像与所述参考图像的之间的像素差得到、且所述残差图像满足第一预设更新条件；
步骤S303，根据所述残差图像对所述参考图像进行更新以得到所述当前图像；
步骤S304，对当前图像进行目标识别。
在一个实施例中，图3中的目标识别方法还包括：接收更新的参考图像，所述更新的参考图像为在残差图像满足第二预设更新条件时的当前图像。
可选的，当残差图像的像素数量与总像素数量的比值大于第一阈值、且小于第二阈值时，所述残差图像满足第一预设更新条件，其中，所述总像素数量为所述当前图像或所述参考图像的像素数量。
可选的，当残差图像的像素数量与总像素数量的比值大于所述第二阈值时，所述残差图像满足第二预设更新条件。
在一个实施例中，所述步骤S302接收残差图像可以包括：接收压缩后的残差图像，对压缩后的残差图像解压缩得到所述残差图像。
可选的，采用离散余弦变换以及熵编码量化对所述残差图像进行压缩。
在一个实施例中，图3中的目标识别方法还包括：根据目标识别的结果设定预设抽帧间隔，并将所述预设抽帧间隔发送至所述终端，以使所述终端按照预设抽帧间隔从所述视频流中抽取部分图像，并从抽取的部分图像中获取参考图像。
关于目标方法的工作原理、工作方式的更多内容，参照对于图像传输方法中关于服务器侧的相关描述，这里不再赘述。
本发明实施例还提供一种图像传输装置40，请参见图4，所述图像传输装置40包括：
参考图像获取模块401，用于执行步骤A，从图像采集设备采集的视频流中获取参考图像，向服务器发送所述参考图像；
当前图像获取模块402，用于执行步骤B，获取所述参考图像的下一帧图像作为当前图像；
残差图像获取模块403，用于执行步骤C，计算所述当前图像与所述参考图像的之间的像素差，以得到残差图像；
残差图像发送模块404，用于执行步骤D，判断残差图像是否满足第一预设更新条件，若满足，则发送所述残差图像至所述服务器，以使得所述服务器根据所述残差图像对所述参考图像进行更新以得到所述当前图像，并对当前图像进行目标识别；
当前图像更新模块405，用于执行步骤E，继续获取所述当前图像的下一帧作为当前图像；
重复执行模块406，用于重复执行所述步骤C、D和E。
在一个实施例中，图像传输装置40还可以包括：
参考图像更新模块，用于当残差图像满足第二预设更新条件时，将所述当前图像作为更新的参考图像，发送所述更新的参考图像至所述服务器；跳转至所述步骤B。
可选的，所述残差图像包括多个像素，当残差图像的像素数量与总像素数量的比值大于第一阈值、且小于第二阈值时，所述残差图像满足第一预设更新条件，其中，所述总像素数量为所述当前图像或所述参考图像的像素数量。
可选的，当残差图像的像素数量与总像素数量的比值大于所述第二阈值时，所述残差图像满足第二预设更新条件。
在一个实施例中，图像传输装置40还可以包括：
压缩模块，用于对所述残差图像进行压缩，得到压缩后的残差图像；
残差图像发送模块404，还用于发送压缩后的残差图像至所述服务器，以使所述服务器对压缩后的残差图像解压缩得到所述残差图像。
可选的，采用离散余弦变换以及熵编码量化对所述残差图像进行压缩。
在一个实施例中，参考图像获取模块401，还用于按照预设抽帧间隔从所述视频流中抽取部分图像；从抽取的部分图像中获取参考图像。
在一个实施例中，图像传输装置40还可以包括：
抽帧间隔接收模块，用于接收服务器发送的所述预设抽帧间隔，所述预设抽帧间隔由所述服务器基于目标识别的结果设定。
关于图像传输装置的工作原理、工作方式的更多内容，可以参照上述图1和图2中的对于图像传输方法的相关描述，这里不再赘述。
本发明实施例还提供一种目标识别装置50，请参见图5，所述目标识别装置50包括：
参考图像接收模块501，用于接收发送参考图像，所述参考图像由终端从图像采集设备采集的视频流中获取；
残差图像接收模块502，用于接收残差图像，所述残差图像由所述终端根据当前图像与所述参考图像的之间的像素差得到、且所述残差图像满足第一预设更新条件；
当前图像恢复模块503，用于根据所述残差图像对所述参考图像进行更新以得到所述当前图像；
目标识别模块504，用于对当前图像进行目标识别。
在一个实施例中，目标识别装置50还可以包括：
参考图像更新模块，用于接收更新的参考图像，所述更新的参考图像为在残差图像满足第二预设更新条件时的当前图像。
可选的，当残差图像的像素数量与总像素数量的比值大于第一阈值、且小于第二阈值时，所述残差图像满足第一预设更新条件，其中，所述总像素数量为所述当前图像或所述参考图像的像素数量。
可选的，当残差图像的像素数量与总像素数量的比值大于所述第二阈值时，所述残差图像满足第二预设更新条件。
在一个实施例中，残差图像接收模块502，还用于接收压缩后的残差图像，对压缩后的残差图像解压缩得到所述残差图像。
可选的，采用离散余弦变换以及熵编码量化对所述残差图像进行压缩。
在一个实施例中，目标识别装置50还可以包括：
抽帧间隔指示模块，用于根据目标识别的结果设定预设抽帧间隔，并将所述预设抽帧间隔发送至所述终端，以使所述终端按照预设抽帧间隔从所述视频流中抽取部分图像，并从抽取的部分图像中获取参考图像。
关于目标识别装置的工作原理、工作方式的更多内容，可以参照上述图3中的对于目标识别方法的相关描述，这里不再赘述。
进一步地，本发明实施例还公开一种存储介质，其上存储有计算机程序，计算机程序运行时执行上述图1和图2所示图像传输方法，或者图3所示目标识别的方法的技术方案。
进一步地，本发明实施例还公开一种计算机设备，也即实施例中的识别设备，该计算机设备包括存储器和处理器，存储器上存储有能够在处理器上运行的计算机程序，处理器运行计算机程序时执行上述图1和图2所示目标上内容的识别方法的技术方案。该终端可指手机、电脑、智能相机等终端。可以直接获取该终端采集的视频作为初始视频流或者对初始视频流抽帧得到的初始图像，并执行目标上内容的识别方法。
进一步地，本发明实施例还公开一种终端，包括存储器和处理器，存储器上存储有能够在处理器上运行的计算机程序，处理器运行计算机程序时执行上述图1和图2所示图像传输方法的技术方案。该计算机设备可指整合了执行图像传输方法的图像采集设备，如智能摄像头、智能相机等。也可指仅执行图像分析的终端设备，如电脑、服务器等，此时终端设备接收其他视频采集设备发送的视频流。
进一步地，本发明实施例还公开一种服务器，包括存储器和处理器，存储器上存储有能够在处理器上运行的计算机程序，处理器运行计算机程序时执行上述图3所示目标识别方法的技术方案。
具体地，在本发明实施例中，所述处理器可以为中央处理单元(centralprocessing unit，简称CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，简称DSP)、专用集成电路(application specificintegrated circuit，简称ASIC)、现成可编程门阵列(field programmable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，简称ROM)、可编程只读存储器(programmable ROM，简称PROM)、可擦除可编程只读存储器(erasable PROM，简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM，简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(random accessmemory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，简称RAM)可用，例如静态随机存取存储器(staticRAM，简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，简称DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，简称ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，简称DR RAM)。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。
本申请实施例中出现的“多个”是指两个或两个以上。
本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。
本申请实施例中出现的“连接”是指直接连接或者间接连接等各种连接方式，以实现设备间的通信，本申请实施例对此不做任何限定。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (20)

1.一种图像传输方法，其特征在于，所述方法包括：
步骤A，从图像采集设备采集的视频流中获取参考图像，向服务器发送所述参考图像；
步骤B，获取所述参考图像的下一帧图像作为当前图像；
步骤C，计算所述当前图像与所述参考图像的之间的像素差，以得到残差图像；
步骤D，判断所述残差图像是否满足第一预设更新条件，若满足，则发送所述残差图像至所述服务器，以使得所述服务器根据所述残差图像对所述参考图像进行更新以得到所述当前图像，并对当前图像进行目标识别；
步骤E，继续获取所述当前图像的下一帧作为当前图像；
重复执行所述步骤C、步骤D和步骤E。
2.根据权利要求1所述的方法，其特征在于，所述步骤D还包括：
当残差图像满足第二预设更新条件时，将所述当前图像作为更新的参考图像，发送所述更新的参考图像至所述服务器；
跳转至所述步骤B。
3.根据权利要求2所述的方法，其特征在于，所述残差图像包括多个像素，当残差图像的像素数量与总像素数量的比值大于第一阈值、且小于第二阈值时，所述残差图像满足第一预设更新条件，其中，所述总像素数量为所述当前图像或所述参考图像的像素数量。
4.根据权利要求3所述的方法，其特征在于，当残差图像的像素数量与总像素数量的比值大于所述第二阈值时，所述残差图像满足第二预设更新条件。
5.根据权利要求1所述的方法，其特征在于，所述发送所述残差图像至所述服务器之前，还包括：
对所述残差图像进行压缩，得到压缩后的残差图像；
所述发送所述残差图像至所述服务器，包括：
发送压缩后的残差图像至所述服务器，以使所述服务器对压缩后的残差图像解压缩得到所述残差图像。
6.根据权利要求5所述的方法，其特征在于，采用离散余弦变换以及熵编码量化对所述残差图像进行压缩。
7.根据权利要求1所述的方法，其特征在于，所述从图像采集设备采集的视频流中获取参考图像，包括：
按照预设抽帧间隔从所述视频流中抽取部分图像；
从抽取的部分图像中获取参考图像。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
接收服务器发送的所述预设抽帧间隔，所述预设抽帧间隔由所述服务器基于目标识别的结果设定。
9.一种目标识别方法，其特征在于，所述方法包括：
接收发送参考图像，所述参考图像由终端从图像采集设备采集的视频流中获取；
接收残差图像，所述残差图像由所述终端根据当前图像与所述参考图像的之间的像素差得到、且所述残差图像满足第一预设更新条件；
根据所述残差图像对所述参考图像进行更新以得到所述当前图像；
对当前图像进行目标识别。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
接收更新的参考图像，所述更新的参考图像为在残差图像满足第二预设更新条件时的当前图像。
11.根据权利要求10所述的方法，其特征在于，当残差图像的像素数量与总像素数量的比值大于第一阈值、且小于第二阈值时，所述残差图像满足第一预设更新条件，其中，所述总像素数量为所述当前图像或所述参考图像的像素数量。
12.根据权利要求11所述的方法，其特征在于，当残差图像的像素数量与总像素数量的比值大于所述第二阈值时，所述残差图像满足第二预设更新条件。
13.根据权利要求9所述的方法，其特征在于，所述接收残差图像包括：
接收压缩后的残差图像，对压缩后的残差图像解压缩得到所述残差图像。
14.根据权利要求13所述的方法，其特征在于，采用离散余弦变换以及熵编码量化对所述残差图像进行压缩。
15.根据权利要求9所述的方法，其特征在于，所述方法还包括：
根据目标识别的结果设定预设抽帧间隔，并将所述预设抽帧间隔发送至所述终端，以使所述终端按照预设抽帧间隔从所述视频流中抽取部分图像，并从抽取的部分图像中获取参考图像。
16.一种图像传输装置，其特征在于，所述装置包括：
参考图像获取模块，用于执行步骤A，从图像采集设备采集的视频流中获取参考图像，向服务器发送所述参考图像；
当前图像获取模块，用于执行步骤B，获取所述参考图像的下一帧图像作为当前图像；
残差图像获取模块，用于执行步骤C，计算所述当前图像与所述参考图像的之间的像素差，以得到残差图像；
残差图像发送模块，用于执行步骤D，判断残差图像是否满足第一预设更新条件，若满足，则发送所述残差图像至所述服务器，以使得所述服务器根据所述残差图像对所述参考图像进行更新以得到所述当前图像，并对当前图像进行目标识别；
当前图像更新模块，用于执行步骤E，继续获取所述当前图像的下一帧作为当前图像；
重复执行模块，用于重复执行所述步骤C、步骤D和步骤E。
17.一种目标识别装置，其特征在于，所述装置包括：
参考图像接收模块，用于接收发送参考图像，所述参考图像由终端从图像采集设备采集的视频流中获取；
残差图像接收模块，用于接收残差图像，所述残差图像由所述终端根据当前图像与所述参考图像的之间的像素差得到、且所述残差图像满足第一预设更新条件；
当前图像恢复模块，用于根据所述残差图像对所述参考图像进行更新以得到所述当前图像；
目标识别模块，用于对当前图像进行目标识别。
18.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述图像传输方法，或权利要求9至15任一项所述目标识别方法的步骤。
19.一种终端，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述图像传输方法的步骤。
20.一种服务器，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求9至15任一项所述目标识别方法的步骤。
CN202010759773.3A 2020-07-31 2020-07-31 图像传输、目标识别方法及装置、存储介质、终端、服务器 Pending CN114095731A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010759773.3A CN114095731A (zh) 2020-07-31 2020-07-31 图像传输、目标识别方法及装置、存储介质、终端、服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010759773.3A CN114095731A (zh) 2020-07-31 2020-07-31 图像传输、目标识别方法及装置、存储介质、终端、服务器

Publications (1)

Publication Number Publication Date
CN114095731A true CN114095731A (zh) 2022-02-25

Family

ID=80295093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010759773.3A Pending CN114095731A (zh) 2020-07-31 2020-07-31 图像传输、目标识别方法及装置、存储介质、终端、服务器

Country Status (1)

Country Link
CN (1) CN114095731A (zh)

Similar Documents

Publication Publication Date Title
CN108038422B (zh) 摄像装置、人脸识别的方法及计算机可读存储介质
US10896522B2 (en) Method and apparatus for compressing image
US10499056B2 (en) System and method for video processing based on quantization parameter
JP2020508010A (ja) 画像処理およびビデオ圧縮方法
CN111901604B (zh) 视频压缩、重构方法及对应装置、摄像头及视频处理设备
CN110830807B (zh) 图像压缩方法、装置及存储介质
CN110557633B (zh) 图像数据的压缩传输方法、***和计算机可读存储介质
CN113596442B (zh) 视频处理方法、装置、电子设备及存储介质
CN114679607A (zh) 一种视频帧率控制方法、装置、电子设备及存储介质
CN111445487A (zh) 图像分割方法、装置、计算机设备和存储介质
CN110853272A (zh) 公交车安全监测方法、装置、设备及存储介质
CN110650309B (zh) 视频会议视频图像传输方法、终端及可读存储介质
CN114095731A (zh) 图像传输、目标识别方法及装置、存储介质、终端、服务器
CN113810654A (zh) 图像视频的上传方法、装置、存储介质以及电子设备
CN116567246A (zh) Avc编码方法和装置
CN114926348B (zh) 一种去除低照度视频噪声的装置和方法
WO2023133888A1 (zh) 图像处理方法、装置、遥控设备、***及存储介质
CN112166598A (zh) 图像处理方法、***、可移动平台和存储介质
CN114584781A (zh) 视频压缩方法及装置、计算机可读存储介质
CN115294429A (zh) 一种基于特征域网络训练方法和装置
CN108933945B (zh) 一种gif图片的压缩方法、装置及存储介质
WO2023133889A1 (zh) 图像处理方法、装置、遥控设备、***及存储介质
Barannik et al. The Principles of Developing a Differential Video Controlling Scheme Based on the Use of Intelligent Agents
CN111885378B (zh) 多媒体数据编码方法、装置、设备以及介质
CN112887726B (zh) 图像处理方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination