CN112235598A - 一种视频结构化处理方法、装置及终端设备 - Google Patents

一种视频结构化处理方法、装置及终端设备 Download PDF

Info

Publication number
CN112235598A
CN112235598A CN202011038705.4A CN202011038705A CN112235598A CN 112235598 A CN112235598 A CN 112235598A CN 202011038705 A CN202011038705 A CN 202011038705A CN 112235598 A CN112235598 A CN 112235598A
Authority
CN
China
Prior art keywords
image
target
cache
frame
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011038705.4A
Other languages
English (en)
Other versions
CN112235598B (zh
Inventor
刘海军
顾鹏
苏岚
王成波
刘毛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN202011038705.4A priority Critical patent/CN112235598B/zh
Publication of CN112235598A publication Critical patent/CN112235598A/zh
Application granted granted Critical
Publication of CN112235598B publication Critical patent/CN112235598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23113—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving housekeeping operations for stored content, e.g. prioritizing content for deletion because of storage space restrictions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/2312—Data placement on disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4335—Housekeeping operations, e.g. prioritizing content for deletion because of storage space restrictions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于视频处理技术领域，提供了一种视频结构化处理方法、装置、终端设备及存储介质，其中，方法包括：分别将视频流的前N帧图像中的每帧图像缓存至一个缓存块，获取每帧图像在第一缓存区域的缓存地址；根据每帧图像在第一缓存区域的缓存地址，按预设帧号顺序依次从第一缓存区域读取图像并进行结构化处理；根据结构化处理进度，分别检测每个缓存块中缓存的图像是否失效；检测到失效的图像时，清除失效的图像，并在失效图像对应的缓存块中缓存一帧新的图像。本申请可在检测到失效的图像，清除失效的图像，可及时释放缓存，释放后可缓存一帧新的图像，从而提高了缓存的使用效率，不容易丢失图像，提高了视频结构化分析处理的效率。

Description

一种视频结构化处理方法、装置及终端设备
技术领域
本申请属于视频处理技术领域，尤其涉及一种视频结构化处理方法、装置及终端设备。
背景技术
视频结构化在视频监控中得到越来越广泛的应用，视频结构化是对视频进行分析处理，产生视频内容的语义结构化描述信息。视频结构化的视频信息在进行存储、传输和应用时，相对原始视频能极大的减少存储需求和传输带宽、丰富视频信息应用。
目前的视频结构化处理方式，对缓存的使用效率低，容易丢失图像，导致视频结构化分析处理的效率低。
发明内容
有鉴于此，本发明实施例提供了一种视频结构化处理方法、装置及终端设备，以解决现有技术中对视频结构化分析处理的效率低以及缓存的使用效率低的问题。
第一方面，本申请实施例提供了一种视频结构化处理方法，包括：
根据视频流的分辨率，将第一缓存区域划分成N个缓存块；其中，每个缓存块用于存储一帧图像，所述视频流包括至少N帧图像，每帧图像对应一个帧号，N大于或等于2；
分别将所述视频流的前N帧图像中的每帧图像缓存至一个所述缓存块，获取每帧图像在所述第一缓存区域的缓存地址；
根据每帧图像在所述第一缓存区域的缓存地址，按预设帧号顺序依次从所述第一缓存区域读取图像并进行结构化处理；
根据结构化处理进度，分别检测每个缓存块中缓存的图像是否失效；
检测到失效的图像时，清除所述失效的图像，并在所述失效图像对应的缓存块中缓存一帧新的图像；所述新的图像为所述视频流的前N帧图像之后的图像。
在一个实施例中，所述根据每帧图像在所述第一缓存区域的缓存地址，按预设帧号顺序依次从所述第一缓存区域读取图像并进行结构化处理，包括：
根据每帧图像在所述第一缓存区域的缓存地址，按帧号从小到大的顺序依次从所述第一缓存区域中读取图像进行目标识别，获得包含第一目标的所有第一图像；
从所述所有第一图像中筛选出满足预设条件的第二图像；
对所述第二图像中的第一目标进行结构化描述，获得所述第一目标的结构化描述信息并存储。
在一个实施例中，所述根据每帧图像在所述第一缓存区域的缓存地址，按帧号从小到大的顺序依次从所述第一缓存区域中读取图像进行目标识别，获得包含第一目标的所有第一图像，包括：
根据每帧图像在所述第一缓存区域的缓存地址，按帧号从小到大的顺序依次从所述第一缓存区域中读取图像，并通过预训练的网络模型进行目标识别，获得包含第一目标的所有第一图像。
在一个实施例中，所述从所述所有第一图像中筛选出满足预设条件的第二图像，包括：
按帧号从小到大的顺序，依次对每帧第一图像中的第一目标进行质量综合评分；
分别根据每帧第一图像中第一目标的质量综合评分结果，从所述所有第一图像中筛选出满足预设条件的第二图像。
在一个实施例中，所述按帧号从小到大的顺序，依次对每帧第一图像中的第一目标进行质量综合评分，包括：
按帧号从小到大的顺序，依次对每帧第一图像中的第一目标从J个维度进行评分；其中，所述J个维度包括第一目标的图像质量维度、尺寸维度、目标完整度维度、目标姿态维度中的一个或多个维度；
分别根据每帧第一图像中的第一目标在所述J个维度的评分值和预设权重因子，获取每帧第一图像中的第一目标的质量综合评分结果。
在一个实施例中，所述按帧号从小到大的顺序，依次对每帧第一图像中的第一目标进行质量综合评分，包括：
对第一子图像中的第一目标进行质量综合评分，得到第一分值；其中，所述第一子图像为帧号最小的第一图像；
在所述第一分值大于预设阈值时，将历史分值更新为所述第一分值；
在将所述历史分值更新为所述第一分值时，截取所述第一子图像中的第一目标图像，对所述第一子图像进行编码，并将所述第一目标图像和编码后的第一子图像缓存至第二缓存区域；
对第K子图像中的第一目标进行质量综合评分，得到第K分值；其中，所述第K子图像为帧号第K小的第一图像，K＝2,3,4…,M，M为所有第一图像的总数量；
在所述第K分值大于或等于所述历史分值与预设增长步长值之和时，将所述历史分值更新为所述第K分值；
在将所述历史分值更新为所述第K分值时，截取所述第K子图像中的第一目标图像，对所述第K子图像进行编码，并清除所述第二缓存区域中缓存的第一目标图像及编码后的第一图像，将所述第K子图像中的第一目标图像及编码后的第K子图像缓存至所述第二缓存区域；
所述根据每帧第一图像中第一目标的质量综合评分结果，从所述所有第一图像中筛选出满足预设条件的第二图像，包括：
在所述历史分值不再更新时，获取所有第一图像中与所述历史分值最后更新的分值对应的第二图像。
在一个实施例中，所述对所述第二图像中的第一目标进行结构化描述，获得所述第一目标的结构化描述信息并存储，包括：
从所述第二缓存区域中获取所述第二图像对应的第一目标图像和编码后的第二图像；
对所述第二图像对应的第一目标图像进行预设属性特征检测，确定所述第二图像对应的第一目标图像的属性信息，获得所述第二图像中第一目标的结构化描述信息；其中，所述第二图像中第一目标的结构化描述信息包括所述第二图像对应的第一目标图像、编码后的第二图像以及所述第二图像对应的第一目标图像的属性信息。
在一个实施例中，所述对所述第二图像中的第一目标进行结构化描述，获得所述第一目标的结构化描述信息并存储，包括：
从所述第二缓存区域中获取所述第二图像对应的第一目标图像和编码后的第二图像；
对所述第一目标图像进行编码，获得编码后的第一目标图像；
对所述第二图像对应的第一目标图像进行预设属性特征检测，确定所述第二图像对应的第一目标图像的属性信息，获得所述第二图像中第一目标的结构化描述信息；其中，所述第二图像中第一目标的结构化描述信息包括所述第二图像对应编码后的第一目标图像、编码后的第二图像以及所述第二图像对应的第一目标图像的属性信息。
在一个实施例中，每个缓存块中存储有一个预设标记；
所述根据结构化处理进度，分别检测每个缓存块中缓存的图像是否失效，包括：
将结构化处理未结束的图像对应缓存块中的预设标记设为有效缓存标记；
将结构化处理结束的图像对应缓存块中的预设标记设为失效缓存标记；
将检测到有效缓存标记的缓存块中缓存的图像判定为有效；
将检测到失效缓存标记的缓存块中缓存的图像判定为失效。
在一个实施例中，所述根据视频流的分辨率，将第一缓存区域划分成N个缓存块之前，包括：
检测视频流的场景信息，并获取与所述场景信息对应的第一缓存区域与第二缓存区域的容量比值；
根据所述容量比值设置所述第一缓存区域和第二缓存区域的容量。
在一个实施例中，所述检测视频流的场景信息，包括：对视频流中的图像进行特征检测，根据检测到的特征信息确定对应的场景信息。
在一个实施例中，所述根据视频流的分辨率，将第一缓存区域划分成N个缓存块，包括：根据视频流的分辨率，确定存储一帧图像的存储容量；
根据所述一帧图像的存储容量，将第一缓存区域划分成N个缓存块。
第二方面，本申请实施例提供了一种视频结构化处理装置，包括：
缓存划分模块，用于根据视频流的分辨率，将第一缓存区域划分成N个缓存块；其中，每个缓存块用于存储一帧图像，所述视频流包括至少N帧图像，每帧图像对应一个帧号，N大于或等于2；
获取模块，用于分别将所述视频流的前N帧图像中的每帧图像缓存至一个所述缓存块，获取每帧图像在所述第一缓存区域的缓存地址；
处理模块，用于根据每帧图像在所述第一缓存区域的缓存地址，按预设帧号顺序依次从所述第一缓存区域读取图像并进行结构化处理；
检测模块，用于根据结构化处理进度，分别检测每个缓存块中缓存的图像是否失效；
清除模块，用于检测到失效的图像时，清除所述失效的图像，并在所述失效图像对应的缓存块中缓存一帧新的图像；所述新的图像为所述视频流的前N帧图像之后的图像。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的视频结构化处理方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的视频结构化处理方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的视频结构化处理方法。
本申请实施例第一方面与现有技术相比存在的有益效果是：
本申请实施例由于可根据结构化处理进度，检测每个缓存块中缓存的图像是否失效，并在检测到失效的图像，清除失效的图像，可及时释放缓存，释放后可缓存一帧新的图像，从而提高了缓存的使用效率，不容易丢失图像，提高了视频结构化分析处理的效率。
本申请实施例由于在包含第一目标的所有第一图像中，在帧号为最小的第一图像中的第一目标的质量综合评分的分值大于预设阈值时，对帧号最小的第一图像进行编码和截取第一目标图像；在帧号为第K小的第一图像中的第一目标的质量综合评分的分值大于或等于所述历史分值与预设增长步长值之和时，对第K小的第一图像进行编码和截取第一目标图像，能保证截取的第一目标图像为质量较好的第一目标图像，又避免了因频繁满足条件进行编码和截图操作，进一步提高了视频结构化分析处理的效率。
本申请实施例由于不同场景可能目标出现的概率大小不一样，根据场景设置第一缓存区域与第二缓存区域的容量比值，设置所述第一缓存区域和第二缓存区域的容量，可根据不同场景合理设置第一缓存区域和第二缓存区域的容量，提高了缓存的使用效率，进而可提高视频结构化分析处理的效率。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的视频结构化处理方法的应用场景示意图；
图2是本申请一实施例提供的视频结构化处理方法的流程示意图；
图3是本申请一实施例提供的视频结构化处理方法的流程示意图；
图4是本申请一实施例提供的视频结构化处理方法的流程示意图；
图5是本申请一实施例提供的目标A在第1-4帧图像中对应分值的示意图；
图6是本申请一实施例提供的视频结构化处理方法的流程示意图；
图7是本申请一实施例提供的视频结构化处理装置的结构示意图；
图8是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供的视频结构化处理方法，可以应用于台式电脑、笔记本电脑、超级移动个人计算机(Ultra-Mobile Personal Computer，UMPC)、上网本、个人数字助理(Personal Digital Assistant，PDA)、可穿戴设备、车载设备、增强现实(AugmentedReality，AR)/虚拟现实(Virtual Reality，VR)设备、电视机、机器人、手机等终端设备。本申请实施例对终端设备的具体类型不做任何限制。
举例说明，如在一种应用场景中，需要进行视频监控，由于视频监控得到的视频数据量是非常大的，不易存储和进行传输，因此可通过提取视频数据中的目标及目标的相关信息，得到需要的目标信息，如智慧交通、智慧城市或智慧安防应用的视频监控中，需要排查目标(目标对象可以是人、车和其他物体等等)，目前可通过人工观看视频进行排查，无法提取出最能表达目标的数据内容，不能对视频数据进行有效的管理和高效的检索等等，在这种应用场景下通过本申请的视频结构化处理方法对视频数据进行结构化处理，可以高效的进行视频结构化分析处理，提取出最能表达目标的数据内容，从而可对视频数据进行有效的管理和高效的检索。如图1所示，为一个视频结构化处理的应用场景示意图，视频采集设备10采集视频数据，终端设备20获取采集到的视频数据进行结构化处理，得到视频内容中的目标结构化描述信息。结构化描述信息与原始的视频数据对应且数据量非常小，将这些结构化描述信息存储至存储设备30，所述存储设备30可以是本地存储或传输至外部设备进行存储，可根据存储的结构化描述信息方便的检索和浏览视频中目标信息，仅在必要时调取部分相关原始视频。
为了说明本申请所述的技术方案，下面通过以下实施例来进行说明。
图2为本申请实施例提供的视频结构化处理方法的示意性流程图，如图2所示，视频结构化处理方法包括：
步骤S1，根据视频流的分辨率，将第一缓存区域划分成N个缓存块；其中，每个缓存块用于存储一帧图像，所述视频流包括至少N帧图像，每帧图像对应一个帧号，N大于或等于2。
具体的，获取视频流，视频流可以是：视频采集设备获取的原始视频数据，或将原始视频数据经过RTSP解码后的的视频数据，或视频流可以是从本地存储或接收外部设备传输的视频数据。如上述视频采集设备可以是带有MIPI接口的摄像头。预设第一缓存区域用于缓存视频流，视频流中图像的分辨率越大，需要占用的缓存也越大，根据视频流的分辨率将第一缓存区域划分成N个缓存块，每个图像块的容量可以是视频流中一帧图像的大小。
在一个实施例中，所述根据视频流的分辨率，将第一缓存区域划分成N个缓存块，包括：根据视频流的分辨率，确定存储一帧图像的存储容量；根据所述一帧图像的存储容量，将第一缓存区域划分成N个缓存块。如第一缓存区域的存储空间大小为T，根据视频流图像的分辨率确定用于存储每帧图像的存储容量大小为Q，将缓存区域划分成T÷Q＝N个缓存块，所述N为T÷Q的结果向下取整的整数。
步骤S2，分别将所述视频流的前N帧图像中的每帧图像缓存至一个所述缓存块，获取每帧图像在所述第一缓存区域的缓存地址。
具体的，当第一缓存区域划分成N个缓存块之后，每个缓存块中可以存储一帧图像，可将视频流的前N帧图像分别存储至一个缓存块中。获取每帧图像在第一缓存区域的缓存地址可以是获取每帧图像存储的缓存块的地址。
步骤S3，根据每帧图像在所述第一缓存区域的缓存地址，按预设帧号顺序依次从所述第一缓存区域读取图像并进行结构化处理。
具体的，根据图像存储的缓存块的地址，按预设帧号顺序依次从对应的缓存块中读取出图像，并对该图像进行结构化处理。
在一个实施例中，如图3所示，步骤S3具体包括步骤S31至步骤S33：
步骤S31，根据每帧图像在所述第一缓存区域的缓存地址，按帧号从小到大的顺序依次从所述第一缓存区域中读取图像进行目标识别，获得包含第一目标的所有第一图像。
具体的，从第一缓存区域存储的图像中，根据图像在视频流中帧号大小，按从小到大的顺序依次读取图像进行目标识别，可通过目标识别算法进行目标识别，在识别到多幅图像中包含同一目标时，包含同一目标的多幅图像可以是：视频流中序号连续的包含同一目标的多幅图像都称为第一图像，或者只要是一段视频流中包括同一目标的多幅图像都称为第一图像。将该同一目标称为第一目标，将包含该第一目标的图像称为第一图像。视频流是由多帧图像按顺序构成，上述帧号可以理解为是图像在视频流中的排列顺序的序号。
在一个实施例中，根据每帧图像在所述第一缓存区域的缓存地址，按帧号从小到大的顺序依次从所述第一缓存区域中读取图像进行目标识别，获得包含第一目标的所有第一图像，包括：根据每帧图像在所述第一缓存区域的缓存地址，按帧号从小到大的顺序依次从所述第一缓存区域中读取图像，并通过预训练的网络模型进行目标识别，获得包含第一目标的所有第一图像。
具体的，上述预训练的网络模型可以是已训练完成的神经网络模型，预先构建用于目标识别的神经网络模型，具体可通过轻量级网络模型构建，并对构建的网络模型进行训练，将训练完成的神经网络模型进行目标识别。对神经网络训练的过程可以是预先准好大量包括需要识别各种种类目标的图片，并对图片中的目标进行标注，将准备大量的包含所述目标的图像对上述神经网络模型进行训练，直至神经网络模型的预设损失函数收敛为止，判定神经网络模型为已经训练好的神经网络模型。
步骤S32，从所述所有第一图像中筛选出满足预设条件的第二图像。
具体的，可以是从包含相同目标的第一图像中筛选出满足预设条件的第一图像，将其称为第二图像。
在一个实施例中，所述从所述所有第一图像中筛选出满足预设条件的第二图像，包括：按帧号从小到大的顺序，依次对每帧第一图像中的第一目标进行质量综合评分；分别根据每帧第一图像中第一目标的质量综合评分结果，从所述所有第一图像中筛选出满足预设条件的第二图像。
具体的，可以对第一图像中的第一目标进行质量综合评分，并根据每个第一图像中第一目标的综合质量评分结果，筛选出满足预设条件的第一图像，称为第二图像。
在一个实施例中，所述按帧号从小到大的顺序，依次对每帧第一图像中的第一目标进行质量综合评分，包括：按帧号从小到大的顺序，依次对每帧第一图像中的第一目标从J个维度进行评分；其中，所述J个维度包括第一目标的图像质量维度、尺寸维度、目标完整度维度、目标姿态维度中的一个或多个维度。分别根据每帧第一图像中的第一目标在所述J个维度的评分值和预设权重因子，获取每帧第一图像中的第一目标的质量综合评分结果。
具体的，对图像中的目标进行质量综合评分可以是：先对图像中的目标，从J个维度上进行评分，并将每个维度的评分值乘上对应预设权重因子，得到每个维度的质量综合评分值，将每个维度的质量综合评分值进行相加后得到目标的质量综合评分值。
在一个实施例中，如图4所示，步骤S32具体包括步骤S321至步骤S327：
步骤S321，对第一子图像中的第一目标进行质量综合评分，得到第一分值；其中，所述第一子图像为帧号最小的第一图像。
具体的，当第一次检测到第一目标时，将第一次检测到第一目标的图像，作为帧号最小的第一图像，将其称之为第一子图像，对第一子图像中的第一目标进行中质量综合评分，得到的质量综合评分值为第一分值。
步骤S322，在所述第一分值大于预设阈值时，将历史分值更新为所述第一分值。
具体的，第一子图像中第一目标的第一分值大于预设阈值时，表示第一子图像中的第一目标的图像质量符合要求，将第一目标的历史分值更新为第一分值，每个目标对应历史分值的初始值都为零。
步骤S323，在将所述历史分值更新为所述第一分值时，截取所述第一子图像中的第一目标图像，对所述第一子图像进行编码，并将所述第一目标图像和编码后的第一子图像缓存至第二缓存区域。
具体的，由于第一子图像中第一目标的第一分值大于预设阈值时，才会将历史分值更新为第一分值，即表示将历史分值更新为第一分值时，第一子图像中的第一目标符合要求，此时截取第一子图像中的第一目标图像，对并第一子图像进行编码，所述编码可以是进行压缩编码，并将第一目标图像和编码后的第一子图像缓存至第二缓存区域。此时第一子图像中的第一目标，只是暂时满足要求，若后续检测到包含第一目标的子图像中第一目标的图像质量更符合要求，会替换掉第二缓存区域中从第一子图像截取的第一目标图像和编码后的第一子图像。
步骤S324，对第K子图像中的第一目标进行质量综合评分，得到第K分值；其中，所述第K子图像为帧号第K小的第一图像，K＝2,3,4…,M，M为所有第一图像的总数量。
具体的，当第K次检测到第一目标时，将第K次检测到第一目标的图像，作为帧号第K小的第一图像，将其称之为第K子图像，对第K子图像中的第一目标进行质量综合评分，得到的质量综合评分值为第K分值。
步骤S325，在所述第K分值大于或等于所述历史分值与预设增长步长值之和时，将所述历史分值更新为所述第K分值。
具体的，上述预设增长步长值可理解为预先设置的一个增长步长的数值，第K子图像中第一目标的第K分值大于或等于所述历史分值与预设增长步长值之和时，表示第K子图像中的第一目标的图像质量比前K-1次检测的第一目标图像更符合要求，将所述历史分值更新为所述第K分值。
步骤S326，在将所述历史分值更新为所述第K分值时，截取所述第K子图像中的第一目标图像，对所述第K子图像进行编码，并清除所述第二缓存区域中缓存的第一目标图像及编码后的第一图像，将所述第K子图像中的第一目标图像及编码后的第K子图像缓存至所述第二缓存区域。
具体的，由于在所述第K分值大于或等于所述历史分值与预设增长步长值之和时，才会将历史分值更新为第K分值，即表示将历史分值更新为第K分值时，第K子图像中的第一目标比前K-1幅子图像更符合要求，此时截取第K子图像中的第一目标图像，对并第K子图像进行编码，并清除所述第二缓存区域中目前缓存的第一目标图像及编码后的第一图像，第二缓存区域中目前缓存的编码后的第一图像为前K-1幅子图像中其中一个子图像，将所述第K子图像中的第一目标图像及编码后的第K子图像缓存至所述第二缓存区域。
步骤S327，在所述历史分值不再更新时，获取所有第一图像中与所述历史分值最后更新的分值对应的第二图像。
具体的，第一目标的历史分值不再更新可以是对所有第一图像中的第一目标都完成质量综合评分，且完成所有的第一图像的质量综合评分的分值均做出是否更新历史分值的步骤时，将历史分值最后更新的分值对应的第一图像，称为第二图像。
可在包含第一目标的所有第一图像中，在帧号为最小的第一图像中的第一目标的质量综合评分的分值大于预设阈值时，对帧号最小的第一图像进行编码和截取第一目标图像；在帧号为第K小的第一图像中的第一目标的质量综合评分的分值大于或等于所述历史分值与预设增长步长值之和时，才对第K小的第一图像进行编码和截取第一目标图像，能保证截取到质量较好的包含第一目标的图像，又避免了因频繁满足条件进行编码和截图操作，进一步提高了视频结构化分析处理的效率。
如以一种应用场景为例，进行举例说明，如先对视频流中的第1帧图像进行目标识别，若识别出了目标A(目标A可理解为上述第一目标)，则将第1帧图像作为目标A的第一子图像(即目标A对应的帧号最小的第一图像)，对第1帧图像中的目标A进行质量综合评分，得到第一分值，当第一子图像中目标A的满足条件(即第一分值大于预设阈值)时，将目标A的历史分值更新为第一分值，并对第一子图像进行编码和截取目标A图像。并将编码和截取目标A图像缓存至第二缓存区域；再对视频流中的第2帧图像进行目标识别，若在第2帧图像中同样识别出了目标A，则将第2帧图像作为目标A的第2子图像(即目标A对应的帧号第2小的第一图像)，对第2帧图像中的目标A进行质量综合评分，得到第二分值，当第二子图像中目标A满足条件(即第二分值大于或等于当前历史分值与预设增长步长值之和)时，将目标A的历史分值更新为第二分值，并对第二子图像进行编码和截取目标A图像，再清除所述第二缓存区域中目前缓存的目标A图像及编码后的第一子图像，将所述第二子图像中的目标A图像及编码后的第二子图像缓存至所述第二缓存区域；接下来再对视频流中的第3帧图像进行目标识别，若在第3帧图像中同样识别出了目标A，则将第3帧图像作为目标A的第3子图像(即目标A对应的帧号第3小的第一图像)，对第3帧图像中的目标A进行质量综合评分，得到第三分值，当第三子图像中目标A的不满足条件(即第三分值小于当前历史分值与预设增长步长值之和)时，丢弃第3帧图像，即对第3帧图像处理结束。然后再对视频流中的第4帧图像进行目标识别，若在第4帧图像中同样识别出了目标A，则将第4帧图像作为目标A的第4子图像(即目标A对应的帧号第4小的第一图像)，对第4帧图像中的目标A进行质量综合评分，得到第四分值，第四子图像中目标A的满足条件(即第四分值大于或等于当前历史分值与预设增长步长值之和)时，目标A的历史分值更新为第四分值，并对第四子图像进行编码和截取目标A图像，再清除所述第二缓存区域中目前缓存的目标A图像及编码后的第二子图像，将所述第四子图像中的目标A及编码后的第四子图像缓存至所述第二缓存区域，如图5所示，图5中为目标A在第1帧图像、第2帧图像、第3帧图像和第4帧图像对应分值的示意图，图中th表示预设阈值，step表示预设增长步长值。根据第1帧图像、第2帧图像、第3帧图像和第4帧图像的处理方式，以此类推对视频流后续帧进行相应处理，从而可根据目标A的综合质量评分结果替换目标A在第二缓存区域记录的目标A的图像及目标A对应编码后的子图像，既保证了得到更好的目标A的图像，又避免了因频繁满足条件进行编码和截图操作，给整体结构化流程增加复杂度。此处仅是为了帮助理解进行举例，不做为对本申请相关内容的限定。
步骤S33，对所述第二图像中的第一目标进行结构化描述，获得所述第一目标的结构化描述信息并存储。
具体的，对第二图像中的第一目标进行结构化描述可以是确定第二图像对应的第一目标图像、编码后的第二图像、所述第二图像对应的第一目标图像的属性信息和第二图像在视频流中的帧号中的一项或多项信息。如当目标为人时，所述属性信息可以包括但不限于性别、年龄、帽子、眼镜、口罩及头发长短中的一项或多项信息。如目标为车时，所述属性信息可以包括但不限于是车辆颜色、车辆类型及车辆品牌中的一项或多项信息。
在一个实施例中，所述对所述第二图像中的第一目标进行结构化描述，获得所述第一目标的结构化描述信息并存储，包括：从所述第二缓存区域中获取所述第二图像对应的第一目标图像和编码后的第二图像；对所述第二图像对应的第一目标图像进行预设属性特征检测，确定所述第二图像对应的第一目标图像的属性信息，获得所述第二图像中第一目标的结构化描述信息；其中，所述第二图像中第一目标的结构化描述信息包括所述第二图像对应的第一目标图像、编码后的第二图像以及所述第二图像对应的第一目标图像的属性信息。
具体的，第二图像对应的第一目标图像是对第二图像进行第一目标截取操作后，得到的第一目标图像。当前第二缓存区域中缓存的是第二图像对应的第一目标图像和编码后的第二图像，可直接从第二缓存区域中获取第二图像对应的第一目标图像和编码后的第二图像，并对第二图像对应的第一目标图像进行预设属性特征检测第二图像对应第一目标图像的属性信息，获得第二图像中第一目标的结构化描述信息。
在另一个实施例中，所述对所述第二图像中的第一目标进行结构化描述，获得所述第一目标的结构化描述信息并存储，包括：从所述第二缓存区域中获取所述第二图像对应的第一目标图像和编码后的第二图像；对所述第一目标图像进行编码，获得编码后的第一目标图像；对所述第二图像对应的第一目标图像进行预设属性特征检测，确定所述第二图像对应的第一目标图像的属性信息，获得所述第二图像中第一目标的结构化描述信息；其中，所述第二图像中第一目标的结构化描述信息包括所述第二图像对应编码后的第一目标图像、编码后的第二图像以及所述第二图像对应的第一目标图像的属性信息。
具体的，为了更节省存储空间，对所述第一目标图像进行编码，获得编码后的第一目标图像，所述编码为压缩编码，所述结构化描述信息包括的是编码后的第一目标图像、编码后的第二图像以及所述第二图像对应的第一目标图像的属性信息。
步骤S4，根据结构化处理进度，分别检测每个缓存块中缓存的图像是否失效。
具体的，根据每个缓存块中缓存的图像的结构化处理进度，别检测每个缓存会中缓存的图像是否失效。
在一个实施例中，每个缓存块中存储有一个预设标记；根据结构化处理进度，分别检测每个缓存块中缓存的图像是否失效，包括：将结构化处理未结束的图像对应缓存块中的预设标记设为有效缓存标记；将结构化处理结束的图像对应缓存块中的预设标记设为失效缓存标记；将检测到有效缓存标记的缓存块中缓存的图像判定为有效；将检测到失效缓存标记的缓存块中缓存的图像判定为失效。
具体的，当缓存块中已缓存的图像未进行结构化处理或正在进行结构化处理时，将对应缓存块中的预设标记设为有效缓存标记。将结构化处理结束的图像对应缓存块中的预设标记设为失效缓存标记，判定结构化处理是否结束可以是预先为每个缓存块设置一个预设标记，预设标记可以是一个参考计数reference_cnt，在缓存块中缓存的图像在进行结构化处理时，参考计数加1；在结构化处理结束时，参考计数减1，当参考计数恢复到0时，表示结构化处理结束。
步骤S5，检测到失效的图像时，清除所述失效的图像，并在所述失效图像对应的缓存块中缓存一帧新的图像；所述新的图像为所述视频流的前N帧图像之后的图像。
具体的，在检测到缓存块中的图像失效时，将清除缓存块中失效的图像，并在所述失效图像对应的缓存块中缓存一帧新的图像，便于对新的图像进行结构化处理，所述新的图像为所述视频流的前N帧图像之后的图像。
在一个实施例中，如图6所示，所述根据视频流的分辨率，将第一缓存区域划分成N个缓存块之前，包括步骤S21至步骤S22：
步骤S21，检测视频流的场景信息，并获取与所述场景信息对应的第一缓存区域与第二缓存区域的容量比值。
具体的，用于对视频流进行结构化处理，需要对视频流中的图像通过上述结构化处理方法进行结构化处理，在进行结构化处理的过程中可以直接从缓存中获取相关数据进行处理。将已有的缓存空间划分成第一缓存区域和第二缓存区域，第一缓存区域用于缓存视频流中的图像，第二缓存区域用于缓存对图像进行编码或目标截取等结构化处理过程中需要缓存的数据。预先存储不同场景信息与对应的第一缓存区域与第二缓存区域的容量比值之间的预设关系映射表，如场景信息为交通场景(如视频流是某十字路口的摄像头拍摄的视频流)预先关联第一容量比值，场景信息为室内场景(如某超市或商场)预先关联第二容量比值等等。检测视频流的场景信息，根据预设关系映射表获取与所述场景信息对应的第一缓存区域与第二缓存区域的容量比值。
在一个实施例中，所述检测视频流的场景信息，包括：对视频流中的图像进行特征检测，根据检测到的特征信息确定对应的场景信息。
具体的，为了合理确定第一缓存区域和第二缓存区域分配，预先进行训练，预先训练的过程可以是预先采集多种不同场景的视频流，并提取对不同场景视频流中的场景信息包括的特征信息，预先存储不同场景中对应包括的特征信息。可对视频流中的图像通过特征检测算法进行特征检测，根据检测到的特征信息确定对应的场景信息。例如交通场景对应的特征信息包括但不限于十字路口、红绿灯和车辆等对象的轮廓和颜色的特征信息，在视频流中的图像检测到十字路口、红绿灯和车辆等中一个或多个对象的轮廓和颜色的特征信息时，确定视频对应的场景为交通场景。
在一个实施例中，也可直接由用户本地终端输入场景信息或外部终端发送场景信息，在获取或接收到场景信息时，将该场景信息作为视频流的场景信息。
步骤S22，根据所述容量比值设置所述第一缓存区域和第二缓存区域的容量。
具体的，根据获取与所述场景标识对应的第一缓存区域与第二缓存区域的容量比值，设置所述第一缓存区域和第二缓存区域的容量，可根据不同场景的合理设置第一缓存区域和第二缓存区域的容量，从而提高了缓存的使用效率，进而可提高视频结构化分析处理的效率。
由于不同场景可能目标出现的概率大小不一样，根据场景设置第一缓存区域与第二缓存区域的容量比值，设置所述第一缓存区域和第二缓存区域的容量，可根据不同场景合理设置第一缓存区域和第二缓存区域的容量，提高了缓存的使用效率，进而可提高视频结构化分析处理的效率。
上述视频结构化处理方法是通过图像中包括一个第一目标进行解释说明，当视频中有多个第一目标时，包括有第一目标A、第一目标B及第一目标C等等，每个第一目标同样都可以通过上述实施例中的视频结构化处理方法进行处理，且在同一帧原始图像中需要截取多个第一目标的目标图像和对多个第一目标对应的原始图像进行编码时，对该原始图像无需重复编码，只需编码一次，记录编码结果存储地址，多个第一目标共用该编码后的图像即可。
本申请实施例由于可根据结构化处理进度，检测每个缓存块中缓存的图像是否失效，并在检测到失效的图像，清除失效的图像，可及时释放缓存，释放后可缓存一帧新的图像，从而提高了缓存的使用效率，不容易丢失图像，提高了视频结构化分析处理的效率。
本申请实施例还提供一种视频结构化处理装置，用于执行上述视频结构化处理方法实施例中的步骤。视频结构化处理装置可以是终端设备中的虚拟装置(virtualappliance)，由终端设备的处理器运行，也可以是终端设备本身。
如图7所示，本申请实施例提供的视频结构化处理装置700包括：
缓存划分模块701，用于根据视频流的分辨率，将第一缓存区域划分成N个缓存块；其中，每个缓存块用于存储一帧图像，所述视频流包括至少N帧图像，每帧图像对应一个帧号，N大于或等于2；
获取模块702，用于分别将所述视频流的前N帧图像中的每帧图像缓存至一个所述缓存块，获取每帧图像在所述第一缓存区域的缓存地址；
处理模块703，用于根据每帧图像在所述第一缓存区域的缓存地址，按预设帧号顺序依次从所述第一缓存区域读取图像并进行结构化处理；
检测模块704，用于根据结构化处理进度，分别检测每个缓存块中缓存的图像是否失效；
清除模块705，用于检测到失效的图像时，清除所述失效的图像，并在所述失效图像对应的缓存块中缓存一帧新的图像；所述新的图像为所述视频流的前N帧图像之后的图像。
在一个实施例中，处理模块703具体包括：
识别单元，用于根据每帧图像在所述第一缓存区域的缓存地址，按帧号从小到大的顺序依次从所述第一缓存区域中读取图像进行目标识别，获得包含第一目标的所有第一图像；
筛选单元，用于从所述所有第一图像中筛选出满足预设条件的第二图像；
获得单元，用于对所述第二图像中的第一目标进行结构化描述，获得所述第一目标的结构化描述信息并存储。
在一个实施例中，所述识别单元具体用于：
根据每帧图像在所述第一缓存区域的缓存地址，按帧号从小到大的顺序依次从所述第一缓存区域中读取图像，并通过预训练的网络模型进行目标识别，获得包含第一目标的所有第一图像。
在一个实施例中，筛选单元包括：
评分子单元，用于按帧号从小到大的顺序，依次对每帧第一图像中的第一目标进行质量综合评分；
筛选子单元，用于分别根据每帧第一图像中第一目标的质量综合评分结果，从所述所有第一图像中筛选出满足预设条件的第二图像。
在一个实施例中，所述评分子单元具体用于：
按帧号从小到大的顺序，依次对每帧第一图像中的第一目标从J个维度进行评分；其中，所述J个维度包括第一目标的图像质量维度、尺寸维度、目标完整度维度、目标姿态维度中的一个或多个维度。
分别根据每帧第一图像中的第一目标在所述J个维度的评分值和预设权重因子，获取每帧第一图像中的第一目标的质量综合评分结果。
在一个实施例中，所述评分子单元具体用于：对第一子图像中的第一目标进行质量综合评分，得到第一分值；其中，所述第一子图像为帧号最小的第一图像；
在所述第一分值大于预设阈值时，将历史分值更新为所述第一分值；
在将所述历史分值更新为所述第一分值时，截取所述第一子图像中的第一目标图像，对所述第一子图像进行编码，并将所述第一目标图像和编码后的第一子图像缓存至第二缓存区域；
对第K子图像中的第一目标进行质量综合评分，得到第K分值；其中，所述第K子图像为帧号第K小的第一图像，K＝2,3,4…,M，M为所有第一图像的总数量；
在所述第K分值大于或等于所述历史分值与预设增长步长值之和时，将所述历史分值更新为所述第K分值；
在将所述历史分值更新为所述第K分值时，截取所述第K子图像中的第一目标图像，对所述第K子图像进行编码，并清除所述第二缓存区域中缓存的第一目标图像及编码后的第一图像，将所述第K子图像中的第一目标图像及编码后的第K子图像缓存至所述第二缓存区域；
所述筛选子单元具体用于：在所述历史分值不再更新时，获取所有第一图像中与所述历史分值最后更新的分值对应的第二图像。
在一个实施例中，所述获得单元具体包括：
第一获取子单元，用于从所述第二缓存区域中获取所述第二图像对应的第一目标图像和编码后的第二图像；
第一确定子单元，用于对所述第二图像对应的第一目标图像进行预设属性特征检测，确定所述第二图像对应的第一目标图像的属性信息，获得所述第二图像中第一目标的结构化描述信息；其中，所述第二图像中第一目标的结构化描述信息包括所述第二图像对应的第一目标图像、编码后的第二图像以及所述第二图像对应的第一目标图像的属性信息。
在另一个实施例中，所述获得单元具体包括：
第二获取子单元，用于从所述第二缓存区域中获取所述第二图像对应的第一目标图像和编码后的第二图像；
编码子单元，用于对所述第一目标图像进行编码，获得编码后的第一目标图像；
第二确定子单元，用于对所述第二图像对应的第一目标图像进行预设属性特征检测，确定所述第二图像对应的第一目标图像的属性信息，获得所述第二图像中第一目标的结构化描述信息；其中，所述第二图像中第一目标的结构化描述信息包括所述第二图像对应编码后的第一目标图像、编码后的第二图像以及所述第二图像对应的第一目标图像的属性信息。
在一个实施例中，每个缓存块中存储有一个预设标记；检测模块具体包括：
第一设置单元，用于将结构化处理未结束的图像对应缓存块中的预设标记设为有效缓存标记；
第二设置单元，用于将结构化处理结束的图像对应缓存块中的预设标记设为失效缓存标记；
第一缓存单元，用于将检测到有效缓存标记的缓存块中缓存的图像判定为有效；
第二缓存单元，用于将检测到失效缓存标记的缓存块中缓存的图像判定为失效。
在一个实施例中，视频结构化处理装置700还包括：
确定模块，用于检测视频流的场景信息，并获取与所述场景信息对应的第一缓存区域与第二缓存区域的容量比值；
容量设置模块，用于根据所述容量比值设置所述第一缓存区域和第二缓存区域的容量。
在一个实施例中，所述检测视频流的场景信息，包括：对视频流中的图像进行特征检测，根据检测到的特征信息确定对应的场景信息。
在一个实施例中，缓存划分模块具体用于：
根据视频流的分辨率，确定存储一帧图像的存储容量；
根据所述一帧图像的存储容量，将第一缓存区域划分成N个缓存块。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
如图8所示，本发明的一个实施例还提供一种终端设备800包括：处理器801，存储器802以及存储在所述存储器802中并可在所述处理器801上运行的计算机程序803，例如视频结构化处理程序。所述处理器801执行所述计算机程序803时实现上述各个视频结构化处理方法实施例中的步骤。所述处理器801执行所述计算机程序803时实现上述各装置实施例中各模块的功能，例如上述模块701至705的功能。
示例性的，所述计算机程序803可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器802中，并由所述处理器801执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序803在所述终端设备800中的执行过程。例如，所述计算机程序803可以被分割成缓存划分模块，获取模块，处理模块，检测模块，清除模块各模块具体功能在上述实施例中已有描述，此处不再赘述。
所述终端设备800可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器801，存储器802。本领域技术人员可以理解，图8仅仅是终端设备800的示例，并不构成对终端设备800的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器801可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器802可以是所述终端设备800的内部存储单元，例如终端设备800的硬盘或内存。所述存储器802也可以是所述终端设备800的外部存储设备，例如所述终端设备800上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器802还可以既包括所述终端设备800的内部存储单元也包括外部存储设备。所述存储器802用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器802还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (15)

1.一种视频结构化处理方法，其特征在于，包括：
根据视频流的分辨率，将第一缓存区域划分成N个缓存块；其中，每个缓存块用于存储一帧图像，所述视频流包括至少N帧图像，每帧图像对应一个帧号，N大于或等于2；
分别将所述视频流的前N帧图像中的每帧图像缓存至一个所述缓存块，获取每帧图像在所述第一缓存区域的缓存地址；
根据每帧图像在所述第一缓存区域的缓存地址，按预设帧号顺序依次从所述第一缓存区域读取图像并进行结构化处理；
根据结构化处理进度，分别检测每个缓存块中缓存的图像是否失效；
检测到失效的图像时，清除所述失效的图像，并在所述失效图像对应的缓存块中缓存一帧新的图像；所述新的图像为所述视频流的前N帧图像之后的图像。
2.根据权利要求1所述的视频结构化处理方法，其特征在于，所述根据每帧图像在所述第一缓存区域的缓存地址，按预设帧号顺序依次从所述第一缓存区域读取图像并进行结构化处理，包括：
根据每帧图像在所述第一缓存区域的缓存地址，按帧号从小到大的顺序依次从所述第一缓存区域中读取图像进行目标识别，获得包含第一目标的所有第一图像；
从所述所有第一图像中筛选出满足预设条件的第二图像；
对所述第二图像中的第一目标进行结构化描述，获得所述第一目标的结构化描述信息并存储。
3.根据权利要求2所述的视频结构化处理方法，其特征在于，所述根据每帧图像在所述第一缓存区域的缓存地址，按帧号从小到大的顺序依次从所述第一缓存区域中读取图像进行目标识别，获得包含第一目标的所有第一图像，包括：
根据每帧图像在所述第一缓存区域的缓存地址，按帧号从小到大的顺序依次从所述第一缓存区域中读取图像，并通过预训练的网络模型进行目标识别，获得包含第一目标的所有第一图像。
4.根据权利要求2所述的视频结构化处理方法，其特征在于，所述从所述所有第一图像中筛选出满足预设条件的第二图像，包括：
按帧号从小到大的顺序，依次对每帧第一图像中的第一目标进行质量综合评分；
分别根据每帧第一图像中第一目标的质量综合评分结果，从所述所有第一图像中筛选出满足预设条件的第二图像。
5.根据权利要求4所述的视频结构化处理方法，其特征在于，所述按帧号从小到大的顺序，依次对每帧第一图像中的第一目标进行质量综合评分，包括：
按帧号从小到大的顺序，依次对每帧第一图像中的第一目标从J个维度进行评分；其中，所述J个维度包括第一目标的图像质量维度、尺寸维度、目标完整度维度、目标姿态维度中的一个或多个维度；
分别根据每帧第一图像中的第一目标在所述J个维度的评分值和预设权重因子，获取每帧第一图像中的第一目标的质量综合评分结果。
6.根据权利要求4所述的视频结构化处理方法，其特征在于，所述按帧号从小到大的顺序，依次对每帧第一图像中的第一目标进行质量综合评分，包括：
对第一子图像中的第一目标进行质量综合评分，得到第一分值；其中，所述第一子图像为帧号最小的第一图像；
在所述第一分值大于预设阈值时，将历史分值更新为所述第一分值；
在将所述历史分值更新为所述第一分值时，截取所述第一子图像中的第一目标图像，对所述第一子图像进行编码，并将所述第一目标图像和编码后的第一子图像缓存至第二缓存区域；
对第K子图像中的第一目标进行质量综合评分，得到第K分值；其中，所述第K子图像为帧号第K小的第一图像，K＝2,3,4…,M，M为所有第一图像的总数量；
在所述第K分值大于或等于所述历史分值与预设增长步长值之和时，将所述历史分值更新为所述第K分值；
在将所述历史分值更新为所述第K分值时，截取所述第K子图像中的第一目标图像，对所述第K子图像进行编码，并清除所述第二缓存区域中缓存的第一目标图像及编码后的第一图像，将所述第K子图像中的第一目标图像及编码后的第K子图像缓存至所述第二缓存区域；
所述根据每帧第一图像中第一目标的质量综合评分结果，从所述所有第一图像中筛选出满足预设条件的第二图像，包括：
在所述历史分值不再更新时，获取所有第一图像中与所述历史分值最后更新的分值对应的第二图像。
7.根据权利要求6所述的视频结构化处理方法，其特征在于，所述对所述第二图像中的第一目标进行结构化描述，获得所述第一目标的结构化描述信息并存储，包括：
从所述第二缓存区域中获取所述第二图像对应的第一目标图像和编码后的第二图像；
对所述第二图像对应的第一目标图像进行预设属性特征检测，确定所述第二图像对应的第一目标图像的属性信息，获得所述第二图像中第一目标的结构化描述信息；其中，所述第二图像中第一目标的结构化描述信息包括所述第二图像对应的第一目标图像、编码后的第二图像以及所述第二图像对应的第一目标图像的属性信息。
8.根据权利要求6所述的视频结构化处理方法，其特征在于，所述对所述第二图像中的第一目标进行结构化描述，获得所述第一目标的结构化描述信息并存储，包括：
从所述第二缓存区域中获取所述第二图像对应的第一目标图像和编码后的第二图像；
对所述第一目标图像进行编码，获得编码后的第一目标图像；
对所述第二图像对应的第一目标图像进行预设属性特征检测，确定所述第二图像对应的第一目标图像的属性信息，获得所述第二图像中第一目标的结构化描述信息；其中，所述第二图像中第一目标的结构化描述信息包括所述第二图像对应编码后的第一目标图像、编码后的第二图像以及所述第二图像对应的第一目标图像的属性信息。
9.根据权利要求1所述的视频结构化处理方法，其特征在于，每个缓存块中存储有一个预设标记；
所述根据结构化处理进度，分别检测每个缓存块中缓存的图像是否失效，包括：
将结构化处理未结束的图像对应缓存块中的预设标记设为有效缓存标记；
将结构化处理结束的图像对应缓存块中的预设标记设为失效缓存标记；
将检测到有效缓存标记的缓存块中缓存的图像判定为有效；
将检测到失效缓存标记的缓存块中缓存的图像判定为失效。
10.根据权利要求5至9任一项所述的视频结构化处理方法，其特征在于，所述根据视频流的分辨率，将第一缓存区域划分成N个缓存块之前，包括：
检测视频流的场景信息，并获取与所述场景信息对应的第一缓存区域与第二缓存区域的容量比值；
根据所述容量比值设置所述第一缓存区域和第二缓存区域的容量。
11.根据权利要求10所述的视频结构化处理方法，其特征在于，所述检测视频流的场景信息，包括：
对视频流中的图像进行特征检测，根据检测到的特征信息确定对应的场景信息。
12.根据权利要求1至9任一项所述的视频结构化处理方法，其特征在于，所述根据视频流的分辨率，将第一缓存区域划分成N个缓存块，包括：
根据视频流的分辨率，确定存储一帧图像的存储容量；
根据所述一帧图像的存储容量，将第一缓存区域划分成N个缓存块。
13.一种视频结构化处理装置，其特征在于，包括：
缓存划分模块，用于根据视频流的分辨率，将第一缓存区域划分成N个缓存块；其中，每个缓存块用于存储一帧图像，所述视频流包括至少N帧图像，每帧图像对应一个帧号，N大于或等于2；
获取模块，用于分别将所述视频流的前N帧图像中的每帧图像缓存至一个所述缓存块，获取每帧图像在所述第一缓存区域的缓存地址；
处理模块，用于根据每帧图像在所述第一缓存区域的缓存地址，按预设帧号顺序依次从所述第一缓存区域读取图像并进行结构化处理；
检测模块，用于根据结构化处理进度，分别检测每个缓存块中缓存的图像是否失效；
清除模块，用于检测到失效的图像时，清除所述失效的图像，并在所述失效图像对应的缓存块中缓存一帧新的图像；所述新的图像为所述视频流的前N帧图像之后的图像。
14.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至12任一项所述的方法。
15.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12任一项所述的方法。
CN202011038705.4A 2020-09-27 2020-09-27 一种视频结构化处理方法、装置及终端设备 Active CN112235598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011038705.4A CN112235598B (zh) 2020-09-27 2020-09-27 一种视频结构化处理方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011038705.4A CN112235598B (zh) 2020-09-27 2020-09-27 一种视频结构化处理方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN112235598A true CN112235598A (zh) 2021-01-15
CN112235598B CN112235598B (zh) 2022-09-20

Family

ID=74120566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011038705.4A Active CN112235598B (zh) 2020-09-27 2020-09-27 一种视频结构化处理方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN112235598B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704387A (zh) * 2023-08-04 2023-09-05 众芯汉创(江苏)科技有限公司 一种基于视频结构化的电力线路通道巡检***和方法
CN116887009A (zh) * 2023-09-06 2023-10-13 湖南智警公共安全技术研究院有限公司 基于5g网络的端云一体视频结构化方法及***

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635846A (zh) * 2008-07-21 2010-01-27 华为技术有限公司 一种视频质量评估方法、***及装置
CN101998101A (zh) * 2009-08-31 2011-03-30 中兴通讯股份有限公司 可视电话的视频数据接收和发送***、视频数据处理方法
CN103269421A (zh) * 2013-05-23 2013-08-28 广东威创视讯科技股份有限公司 视频图像的降帧方法和***
CN103530604A (zh) * 2013-09-27 2014-01-22 中国人民解放军空军工程大学 一种基于直推的鲁棒视觉跟踪方法
CN103685427A (zh) * 2012-09-25 2014-03-26 新奥特（北京）视频技术有限公司 一种基于云平台网络的缓存方法
CN105933343A (zh) * 2016-06-29 2016-09-07 深圳市优象计算技术有限公司 一种用于720度全景视频网络播放的码流缓存机制
CN105975910A (zh) * 2016-04-27 2016-09-28 梧州市自动化技术研究开发院 一种用于对运动物体进行视频识别的技术处理方法及其***
CN106034216A (zh) * 2015-03-10 2016-10-19 北京同步科技有限公司 基于图像识别的摄像机图像定位***及其方法
CN106375793A (zh) * 2016-08-29 2017-02-01 东方网力科技股份有限公司 一种视频结构化信息的叠加方法、用户终端及叠加***
US20180150993A1 (en) * 2016-11-29 2018-05-31 Echostar Technologies L.L.C. Apparatus, systems and methods for generating 3d model data from a media content event
CN108491822A (zh) * 2018-04-02 2018-09-04 杭州高创电子科技有限公司 一种基于嵌入式设备有限缓存的人脸检测去重方法
CN108540816A (zh) * 2018-03-28 2018-09-14 腾讯科技（深圳）有限公司 一种直播视频获取方法、装置及存储介质
CN108875517A (zh) * 2017-12-15 2018-11-23 北京旷视科技有限公司 视频处理方法、装置和***及存储介质
CN110362458A (zh) * 2019-05-28 2019-10-22 北京奇艺世纪科技有限公司 应用程序评价提示方法、装置、电子设备及可读存储介质
CN111027347A (zh) * 2018-10-09 2020-04-17 杭州海康威视数字技术股份有限公司 一种视频识别方法、装置和计算机设备
CN111683285A (zh) * 2020-08-11 2020-09-18 腾讯科技（深圳）有限公司 文件内容识别方法、装置、计算机设备及存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101635846A (zh) * 2008-07-21 2010-01-27 华为技术有限公司 一种视频质量评估方法、***及装置
CN101998101A (zh) * 2009-08-31 2011-03-30 中兴通讯股份有限公司 可视电话的视频数据接收和发送***、视频数据处理方法
CN103685427A (zh) * 2012-09-25 2014-03-26 新奥特（北京）视频技术有限公司 一种基于云平台网络的缓存方法
CN103269421A (zh) * 2013-05-23 2013-08-28 广东威创视讯科技股份有限公司 视频图像的降帧方法和***
CN103530604A (zh) * 2013-09-27 2014-01-22 中国人民解放军空军工程大学 一种基于直推的鲁棒视觉跟踪方法
CN106034216A (zh) * 2015-03-10 2016-10-19 北京同步科技有限公司 基于图像识别的摄像机图像定位***及其方法
CN105975910A (zh) * 2016-04-27 2016-09-28 梧州市自动化技术研究开发院 一种用于对运动物体进行视频识别的技术处理方法及其***
CN105933343A (zh) * 2016-06-29 2016-09-07 深圳市优象计算技术有限公司 一种用于720度全景视频网络播放的码流缓存机制
CN106375793A (zh) * 2016-08-29 2017-02-01 东方网力科技股份有限公司 一种视频结构化信息的叠加方法、用户终端及叠加***
US20180150993A1 (en) * 2016-11-29 2018-05-31 Echostar Technologies L.L.C. Apparatus, systems and methods for generating 3d model data from a media content event
CN108875517A (zh) * 2017-12-15 2018-11-23 北京旷视科技有限公司 视频处理方法、装置和***及存储介质
CN108540816A (zh) * 2018-03-28 2018-09-14 腾讯科技（深圳）有限公司 一种直播视频获取方法、装置及存储介质
CN108491822A (zh) * 2018-04-02 2018-09-04 杭州高创电子科技有限公司 一种基于嵌入式设备有限缓存的人脸检测去重方法
CN111027347A (zh) * 2018-10-09 2020-04-17 杭州海康威视数字技术股份有限公司 一种视频识别方法、装置和计算机设备
CN110362458A (zh) * 2019-05-28 2019-10-22 北京奇艺世纪科技有限公司 应用程序评价提示方法、装置、电子设备及可读存储介质
CN111683285A (zh) * 2020-08-11 2020-09-18 腾讯科技（深圳）有限公司 文件内容识别方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHENGQIANG YU: "《SoC processor for real-time object labeling in life camera streams with low line level latency》", 《2014 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS》 *
赵蔚: "《基于内容的视频结构化与视觉敏感区域的提取》", 《中国优秀硕士学位论文全文数据库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704387A (zh) * 2023-08-04 2023-09-05 众芯汉创(江苏)科技有限公司 一种基于视频结构化的电力线路通道巡检***和方法
CN116704387B (zh) * 2023-08-04 2023-10-13 众芯汉创(江苏)科技有限公司 一种基于视频结构化的电力线路通道巡检***和方法
CN116887009A (zh) * 2023-09-06 2023-10-13 湖南智警公共安全技术研究院有限公司 基于5g网络的端云一体视频结构化方法及***
CN116887009B (zh) * 2023-09-06 2023-12-12 湖南智警公共安全技术研究院有限公司 基于5g网络的端云一体视频结构化方法及***

Also Published As

Publication number Publication date
CN112235598B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN108228696B (zh) 人脸图像检索方法和***、拍摄装置、计算机存储介质
US20200167314A1 (en) System and method for concepts caching using a deep-content-classification (dcc) system
US9639532B2 (en) Context-based analysis of multimedia content items using signatures of multimedia elements and matching concepts
CN111950723A (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
CN112235598B (zh) 一种视频结构化处理方法、装置及终端设备
WO2021104124A1 (zh) 圈养栏信息的确定方法、装置及***、存储介质
CN109726678B (zh) 一种车牌识别的方法及相关装置
CN114169381A (zh) 图像标注方法、装置、终端设备及存储介质
WO2023082453A1 (zh) 一种图像处理方法及装置
CN110944201A (zh) 一种视频去重压缩的方法、装置、服务器及存储介质
CN114550070A (zh) 视频片段的识别方法、装置、设备以及存储介质
CN112950640A (zh) 视频人像分割方法、装置、电子设备及存储介质
CN113688839B (zh) 视频处理方法及装置、电子设备、计算机可读存储介质
CN112287945A (zh) 碎屏确定方法、装置、计算机设备及计算机可读存储介质
CN114710474B (zh) 一种基于物联网的数据流处理以及分类方法
CN110781223A (zh) 数据处理方法及装置、处理器、电子设备及存储介质
CN112214639B (zh) 视频筛选方法、视频筛选装置及终端设备
CN112364683A (zh) 一种案件证据固定方法及装置
CN114691603A (zh) 目标信息存储方法、装置、电子设备及介质
CN112364682A (zh) 一种案件搜索方法及装置
CN117177004B (zh) 内容帧的提取方法、装置、设备及存储介质
US10607355B2 (en) Method and system for determining the dimensions of an object shown in a multimedia content item
CN117112815B (zh) 个人关注视频事件检索方法和***、存储介质及电子设备
CN117560536A (zh) 直播界面展示方法、装置、电子设备及存储介质
CN116310973A (zh) 视频帧特征提取方法、装置、可读存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant