CN114125371A - 在摄像机设备上借助于神经网络输入的通过降低视频的位率以节省带宽的智能间隔拍摄视频 - Google Patents

在摄像机设备上借助于神经网络输入的通过降低视频的位率以节省带宽的智能间隔拍摄视频 Download PDF

Info

Publication number
CN114125371A
CN114125371A CN202010861553.1A CN202010861553A CN114125371A CN 114125371 A CN114125371 A CN 114125371A CN 202010861553 A CN202010861553 A CN 202010861553A CN 114125371 A CN114125371 A CN 114125371A
Authority
CN
China
Prior art keywords
video
event
frame
user
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010861553.1A
Other languages
English (en)
Inventor
汤坚
许瑞桉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anba International LP
Original Assignee
Anba International LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anba International LP filed Critical Anba International LP
Priority to CN202010861553.1A priority Critical patent/CN114125371A/zh
Priority to US17/216,004 priority patent/US20220070453A1/en
Publication of CN114125371A publication Critical patent/CN114125371A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种用于在摄像机设备上借助于神经网络输入来实现通过降低视频的位率以节省带宽的间隔拍摄视频的装置包括接口和处理器。该接口可以被配置为接收由捕获设备生成的像素数据。该处理器可以被配置为进行以下操作：对视频帧执行计算机视觉操作以检测对象；基于对象的特性来执行对检测到的对象的分类；确定对象的分类是否对应于事件；响应于所有的视频帧而生成完整的视频流；以及生成经编码的视频帧。完整的视频帧可以被记录到在装置本地的存储介质。经编码的视频帧可以被传送到云服务。经编码的视频帧可以包括视频帧的第一样本和视频帧的第二样本，该第一样本是在事件未被检测到时以第一速率选择的，该第二样本是在事件被检测到时以第二速率选择的。

Description

在摄像机设备上借助于神经网络输入的通过降低视频的位率 以节省带宽的智能间隔拍摄视频
技术领域
本发明总体上涉及计算机视觉，并且更具体地涉及方法和/或装置，该方法和/或装置用于在摄像机设备上借助于神经网络输入来实现通过降低视频的位率以节省带宽的间隔拍摄视频。
背景技术
针对常规的互联网连接的/云实现的摄像机的间隔拍摄视频模式通常由在云服务器上操作的软件实现。该软件依赖于使用云服务器的分布式处理的资源(即，可扩展计算)。以固定的帧速率显示间隔拍摄视频片段以实现快进效果。例如，以固定的间隔选择视频帧以创建间隔拍摄视频(即，从每秒三十帧的视频中选择每第三十个帧来创建间隔拍摄视频)。
互联网连接的/云实现的摄像机对视频数据进行编码，并且然后将经编码的视频流传送到云服务器。在云服务器上使用许多额外的CPU周期以进行以下操作：解码常规的视频流(即，使用AVC编码或HEVC编码的压缩的视频)，以固定的帧间隔提取帧，然后将这些帧转码为间隔拍摄视频。同时，即使利用间隔拍摄视频，用户也难以查找重要的细节。由于间隔拍摄视频始终使用固定的帧速率而不使用所有捕获的视频数据，因此在捕获的视频中的用户感兴趣的内容的持续时间内，以正常的显示速度的视频帧不可用。例如，当安全摄像机观察到潜在的感兴趣的事件(例如，行人)时，间隔拍摄将与当安全摄像机未观察到任何特别感兴趣的事件时相同。
针对住宅安全摄像机、存储即服务(SaaS)摄像机或其他类型的视频安全摄像机，视频会被连续地上载到(在本地或在云上的)服务器。数据的连续上载会导致大量的数据使用。带宽消耗和存储使用高度取决于所记录的视频流的平均位率。用于降低带宽消耗和存储使用的常规方法主要集中于利用各种视频编码器实用程序来降低位率的技术。更多的处理功率被用于更高效的编码技术。然而，不管是否存在事件，来自上载的视频的位在每秒上被平均分配。
将期望的是在摄像机设备上借助于神经网络输入来实现通过降低视频的位率以节省带宽的智能间隔拍摄视频。
发明内容
本发明涉及一种装置，该装置包括接口和处理器。该接口可以被配置为接收由捕获设备生成的像素数据。该处理器可以被配置为进行以下操作：从接口接收像素数据；响应于像素数据而生成视频帧；对视频帧执行计算机视觉操作以检测对象；基于对象的特性来执行对检测到的对象的分类；确定对象的分类是否对应于用户定义的事件；响应于所有的视频帧而生成完整的视频流；以及根据视频帧来生成经编码的视频帧。完整的视频流可以被记录到在装置本地的存储介质。经编码的视频帧可以被传送到云存储服务。经编码的视频帧可以包括视频帧的第一样本和视频帧的第二样本，该第一样本是在用户定义的事件未被检测到时以第一速率选择的，该第二样本是在用户定义的事件被检测到时以第二速率选择的。第二速率可以大于第一速率。
附图说明
根据下面的详细描述和所附权利要求书以及附图，本发明的实施例将是显而易见的。
图1是示出本发明的示例上下文的图。
图2是示出实现本发明的示例实施例的示例互联网连接的摄像机的图。
图3是示出被配置为借助于神经网络来提供以事件为中心的间隔拍摄视频的装置的组件的框图。
图4是示出与云服务器通信的互连的摄像机和用于生成间隔拍摄视频的视频处理管线的图。
图5是示出边缘AI摄像机上的具有使用事件的所有帧的CV分析的智能间隔拍摄模式的图。
图6是示出将完整的流记录到本地存储介质并且将降低的位率的视频流传送到云存储服务的图。
图7是示出在捕获的视频帧中的事件检测的图。
图8是示出在智能手机上操作的用于控制针对间隔拍摄视频的偏好的应用的图。
具体实施方式
本发明的实施例包括在摄像机设备上借助于神经网络输入来提供通过降低视频的位率以节省带宽的智能间隔拍摄视频，本发明的实施例可以进行以下操作：(i)在边缘设备上实现事件检测；(ii)在边缘设备上实现视频编码；(iii)基于检测到的事件/对象来生成具有变化的帧速率的智能间隔拍摄视频；(iv)使用在处理器上实现的卷积神经网络来检测对象/事件；(v)调整间隔拍摄帧速率以在检测到事件/对象时捕获所有视频帧；(vi)执行面部识别和/或对象分类；(vii)将经编码的智能间隔拍摄视频而不是完整的记录上载到云存储服务器；(viii)实现用于上载视频的参数的配置；(ix)降低被传送到云存储服务的数据量；(x)降低利用云存储服务被存储的数据量；和/或(ix)被实现为一个或多个集成电路。
本发明的实施例可以被配置为提供智能间隔拍摄视频模式。间隔拍摄视频模式可以是通过基于在视频中捕获的内容来自动调整视频显示速度的智能间隔拍摄视频模式。本发明的实施例可以被配置为生成经编码的智能间隔拍摄视频。智能间隔拍摄视频可以在云服务上(例如，使用可扩展计算)生成。智能间隔拍摄视频可以在边缘设备(例如，人工智能(AI)摄像机)上生成。
本发明的实施例可以被配置为生成具有基于内容自动调整的视频位率的智能间隔拍摄视频。然后，具有基于内容调整的位率的视频数据可以被上载到云服务。在一个示例中，智能间隔拍摄视频可以用于安全摄像机。通过调整智能间隔拍摄视频的视频位率，可以显著地降低上载的视频流的位率。与上载完整的视频流相比，通过基于检测到的事件调整智能间隔拍摄视频的视频位率可以降低(例如，在本地或在云服务上的)带宽成本和/或存储成本。
边缘AI摄像机可以被配置为实现人工智能(AI)技术。边缘AI摄像机使用AI技术可以在许多方面比使用云服务器更强大(例如，通过为用户提供相关的数据)并且是更节能的解决方案。边缘AI摄像机可以被配置为在设备上执行计算机可读指令(例如，不依赖于外部处理资源)，以逐帧分析视频内容。基于分析，内容可以标记有元数据信息。元数据可以用于选择用于间隔拍摄视频的视频帧。例如，视频帧可以通过被标记为不具有感兴趣的对象/事件和具有感兴趣的对象/事件而被分类。计算机视觉(CV)操作可以确定是否存在感兴趣的对象/事件。
当在N秒(N＝60/120/240/……)的持续时间内不存在针对视频帧的感兴趣的CV事件(或对象的类型)时，边缘AI摄像机可以从无事件持续时间中选择视频帧中的一个。选定的帧可以用于视频编码(例如，在边缘AI摄像机设备中内置的视频编码器)。可以针对没有检测到事件的每个N秒持续时间重复从无事件持续时间N中选择一个视频帧用于编码。从无事件持续时间N中选择一个视频帧用于编码可以导致经编码的输出，该经编码的输出提供捕获的视频的压缩的部分(例如，从而以高显示速度高效地快进通过捕获的视频的“无意义的内容”部分)。
当在M秒(M＝5/15/30/……)的持续时间内存在针对视频帧的检测到的感兴趣的CV事件(或对象的类型)时，边缘AI摄像机可以调整在事件持续时间M内的视频帧的数量和/或选择速率。在示例中，感兴趣的对象和/或事件可以是人被检测到、汽车被检测到、检测到的动物、动作、检测到的特定的面部等。可以调整视频帧的选择以从事件的M秒持续时间中选择所有视频帧(例如，对于以每秒60帧捕获的2分钟事件，可以选择全部7200帧)。可以调整视频帧的选择以在事件的M秒持续时间内以比在无事件持续时间内更高的速率选择视频帧(例如，选择更多帧，但不是所有帧)，例如，对于以每秒60帧捕获的2分钟事件，选择的速率可以改变为30帧，并且可以每隔一帧进行选择，从而导致选择3600个视频帧。可以(例如，使用AI边缘摄像机的设备上视频编码)编码选定的视频帧。在事件持续时间M内以更高的速率选择视频帧用于编码可以导致经编码的输出，该经编码的输出提供智能间隔拍摄视频的具有针对“有意义的内容”的正常的显示速度的部分，或者智能间隔拍摄视频的具有针对“有意义的内容”的稍微压缩的显示速度(但不如“无意义的内容”的速度高)的部分。
利用在边缘摄像机上实现的智能间隔拍摄视频模式，用户可以快速地浏览在长时间段内(例如，几天/几周/几个月)捕获的视频内容，并且用户可以确信将不会错过感兴趣的CV事件。感兴趣的CV事件可以包括通过面部检测和/或面部识别来检测人(例如，已知的人)、(例如，使用车牌读取器)检测汽车牌照、使用动物/宠物识别来检测宠物(例如，已知的动物)、检测动作(例如，检测到的高于预定义的阈值的任何动作)等。可以被认为是感兴趣的事件的检测到的事件和/或对象的类型可以根据特定实现方式的设计标准而变化。
本发明的实施例可以使得用户能够指定可以被认为是感兴趣的对象/事件的类型。在一个示例中，在智能手机上操作的应用可以被配置为调整针对边缘AI摄像机的设置。在另一示例中，边缘AI摄像机可以被配置为提供web界面以使得用户能够远程地选择被认为是感兴趣的事件的对象/事件。在又一示例中，边缘AI摄像机可以连接到云服务器，并且用户可以使用web界面以调整存储在云服务器上的设置，该设置然后可以被发送到边缘AI摄像机以控制感兴趣的间隔拍摄对象类型。
间隔拍摄的持续时间可以被配置为定期间隔，并且也可以被配置为自用户已经接收到间隔拍摄视频的最后时间以来的时间。例如，如果用户已经错过了20个事件通知，则在用户与应用进行交互(例如，在智能手机上滑动)以查看事件的瞬间，聚焦于事件的间隔拍摄可以呈现给用户以用于查看。尽管通常可以在边缘AI摄像机本地执行本发明的实施例(例如，从而实现被配置为实现卷积神经网络和/或视频编码的处理器)，但是可以使用云服务器上的软件来执行本发明的实施例以实现类似的效果。
本发明的实施例可以被配置为记录全时视频内容。全时视频内容可以被存储到边缘AI摄像机上的本地存储介质(例如，eMMC、SD卡、microSD卡等)。例如，可能不会对所有记录的内容进行恒定的视频上载。例如，恒定的完整视频上载可以占用上载带宽。上载的完整的视频还可以导致在云存储服务中使用更多的存储(例如，在云存储服务中使用更多的存储容量可以导致更高的成本)。
在一些实施例中，可以上载具有基于内容调整的位率的智能间隔拍摄视频，而不是上载完整的视频流。上载智能间隔拍摄视频可以引起带宽成本节约和云存储成本节约两者。可以将智能间隔拍摄视频呈现给用户，以使得用户能够看到所有检测到的事件以及在没有检测到事件时看到所记录的视频的压缩的版本。
在一个示例中，可以在预定的时间处(例如，在一天结束时)将智能间隔拍摄视频呈现给用户。在另一示例中，可以以预定的时间间隔(例如，每若干小时/天/周等)将智能间隔拍摄视频呈现给用户。在又一个示例中，可以当感兴趣的事件被检测到时将智能间隔拍摄视频呈现给用户。在又一个示例中，可以按需(例如，基于用户请求)呈现智能间隔拍摄视频。
在一些实施例中，在大多数时间内没有视频可以被上载到云存储服务(例如，假设通常没有事件被检测到)。智能间隔拍摄视频可以提供非事件的压缩的版本，该非事件的压缩的版本使得用户能够看到直到用户感兴趣的时刻之前发生了什么(例如，事件)。在一些实施例中，可以将自用户请求查看视频数据的最后时间以来(例如，自实时查看的最后时间以来，或自查看的最后事件以来)已经被检测到的每个事件的一个或多个智能间隔拍摄视频呈现给用户。提供自用户查看的最后时间以来的智能间隔拍摄视频流可以阻止连续的通知被发送到用户(例如，发送到智能手机的多个通知可以是潜在的烦恼源)。
通过从非CV事件的N秒持续时间中选择一个视频帧用于编码，可以降低上载的内容的位率。可以使用进一步降低位率的技术来对智能间隔拍摄视频流进行编码。上载的内容的位率和/或量可以从“无CV事件”持续时间开始显著降低。可以降低从边缘AI摄像机上载到云存储服务器的数据量。与所记录的完整的数据量相比，也可以降低从云服务器传送到终端用户(例如，下载到智能手机、台式计算机、平板计算设备等)的数据量(例如，可以针对上载和下载两者实现益处)。用户可以快速地浏览在几天/几周/几个月内的视频内容，并且不必担心用户是否可能错过任何感兴趣的CV事件。
参考图1，示出了说明本发明的示例上下文的图。示出了住宅50和车辆52。示出了摄像机***100a-100n。摄像机100a-100n中的每一个可以被配置为生成智能间隔拍摄视频。例如，摄像机100a-100n中的每一个可以被配置为彼此独立地操作。摄像机100a-100n中的每一个可以捕获视频并生成智能间隔拍摄视频。在一个示例中，可以将相应的智能间隔拍摄视频上载到云存储服务。在另一示例中，可以本地存储相应的智能间隔拍摄视频(例如，存储在microSD卡上、存储到本地网络附接的存储设备等)。
摄像机100a-100n中的每一个可以被配置为检测可以被认为是感兴趣的不同的或相同的事件/对象。例如，摄像机***100b可以捕获住宅50的入口附近的区域。对于住宅50的入口，感兴趣的对象/事件可以是检测人。摄像机***100b可以被配置为分析视频帧以检测人，并且当检测到人时，智能间隔拍摄视频可以减慢速度(例如，选择用于以更高的帧速率编码的视频帧)。在另一示例中，摄像机***100d可以捕获车辆52附近的区域。对于车辆52，感兴趣的对象/事件可以是检测其他车辆和行人。摄像机***100b可以被配置为分析视频帧以检测车辆(或道路标志)和人，并且当检测到车辆或行人时，智能间隔拍摄视频可以减慢速度。
参考图2，示出了说明实现本发明的示例实施例的示例互联网连接的摄像机的图。示出了摄像机***100a-100n。每个摄像机设备100a-100n可以具有不同的样式和/或用例。例如，摄像机100a可以是行动摄像机，摄像机100b可以是天花板安装式安全摄像机，摄像机100n可以是网络摄像机等。可以实现其他类型的摄像机(例如，住宅安全摄像机、电池供电摄像机、门铃摄像机等)。摄像机100a-100n的设计/样式可以根据特定实现方式的设计标准而变化。
摄像机***100a-100n可以包括处理器102和捕获设备104。处理器102可以被配置为实现卷积神经网络(CNN)。处理器102可以被配置为实现视频编码器。处理器102可以生成智能间隔拍摄视频。捕获设备104可以被配置为捕获可以用于生成视频帧的像素数据。
参考图3，示出了说明被配置为借助于神经网络来提供以事件为中心的间隔拍摄视频的装置的组件的框图。
处理器102可以被配置为根据从捕获设备104a-104n接收到的像素数据来生成经编码的视频帧。处理器102可以被配置为选择要被编码用于智能间隔拍摄视频的视频帧。可以响应于由CNN模块190b检测到的对象/事件而选择视频帧。调度器电路190a可以加载包括用于检测各种类型的对象/事件的参数的有向非循环图(DAG)。例如，可以响应于由用户选择的感兴趣的事件的类型而加载不同的DAG。
参考图4，示出了说明与云服务器通信的互连的摄像机和用于生成间隔拍摄视频的视频处理管线的图。边缘AI摄像机可以被配置为与远程云服务和/或用户设备(例如，智能手机)通信。用户可以使用智能手机52b-52n上的应用选择设置。偏好可以作为事件设置存储在云服务中。云服务可以为处理器102提供神经网络参数(例如，特征集)。处理器102可以接收特征集以检测对象/事件。边缘AI摄像机可以被配置为将经编码的视频帧(例如，智能间隔拍摄视频)上载到云服务。经编码的视频帧可以存储在云服务的大容量视频存储装置中。用户可以使用智能手机来访问经编码的视频帧。智能手机可以连接到大容量视频存储装置并下载智能间隔拍摄视频。云服务可以进一步基于智能间隔拍摄视频的元数据标记中的内容来将通知提供给智能手机。
示出了处理器102的视频处理管线。处理器102可以响应于由捕获设备104捕获的像素数据而生成原始视频帧。该原始视频帧可以由CNN模块分析。CNN模块可以包括AI模型(例如，DAG)。CNN模块可以基于用户的偏好来检测感兴趣的对象(例如，检测人、车辆、动物、移动、声音等中的一个或所有作为事件)。
当检测到事件时，CNN模块可以标记视频帧。可以将标记有事件的视频帧提供给视频编码管线。可以以经调整的帧速率(例如，完整的视频或比当未检测到事件时更高的帧速率)对具有检测到的事件的视频帧进行编码。
CNN模块可以确定哪些帧不具有检测到的事件(例如，不感兴趣的视频帧)。在不具有事件的视频帧中，处理器102可以为长度N的每个持续时间选择一个视频帧。例如，处理器102可以从其中视频以60fps被捕获的持续时间N中选择一个视频帧(例如，从在一秒中捕获的60帧中选择一个帧)。
未被选择的视频帧可以不被包括在智能间隔拍摄视频流中。在一个示例中，可以丢弃(例如，不存储)未被选择的视频帧。在另一示例中，未被选择的视频帧可以在记录(例如，可以存储在摄像机设备100的本地、存储在microSD卡上等的完整的视频流的记录)中使用。可以将被选择的视频帧呈现给视频编码管线，以用于编码为智能间隔拍摄视频。
视频编码管线可以被配置为实时地编码视频帧(例如，HEVC、AVC、H264等)。视频编码管线可以基于捕获的时间来将选定的视频帧按顺序***到经编码的视频中。例如，每个视频帧可以具有时间戳，并且视频帧可以按照时间戳的顺序被***到经编码的视频中(例如，最早的视频帧在最先，以创建按时间顺序排序的视频)。视频编码管线可以生成带有具有事件的视频帧(以正常的速度显示)和非事件的视频帧(由于选择了较少的帧，因此以更快的速度显示)的经编码的视频。
视频编码管线可以被配置为将各种效果应用于选定的视频帧。例如，视频编码管线可以被配置为裁剪选定的视频帧、对选定的视频帧进行畸变校正(dewarp)、根据选定的视频帧应用彩色化(或移除颜色)、将模糊应用于视频帧的片段等。在示例中，模糊效果可以应用于选定的视频帧的部分以隐藏和/或删剪特定的对象(例如，出于隐私原因隐藏已知的人的身份、隐藏裸体部分以防止裸体被上载等)。
处理器102可以被配置为在视频帧被编码之前执行计算机视觉操作。在视频帧被编码之前执行计算机视觉操作可以使得能够在没有首先解码视频帧的周期成本的情况下执行计算机视觉操作。例如，如果计算机视觉由云服务执行，则将经编码的视频帧发送到云服务器，并且云服务器通过以下操作浪费CPU周期和功率：首先解码视频帧，然后执行计算机视觉操作，并且然后转码间隔拍摄视频。
处理器102可以被配置为针对全部在边缘AI摄像机100本地的智能间隔拍摄视频执行视频帧的选择。处理器102可以实现CNN模块。CNN模块可以是处理器102的硬件组件(或一起工作的多个硬件组件)，该硬件组件实现基于CNN的检测技术(或其他类型的检测技术)，该检测技术全部在处理器102上操作以执行诸如对象检测、对象跟踪、对象分类等之类的计算机视觉操作。硬件加速的CNN模块可以使得对象/事件检测能够在摄像机***100上执行(例如，不依赖于云服务器的计算资源来执行对象检测)。在一些实施例中，处理器可以使用软件加速以用于计算机视觉和/或使用硬件加速的计算机视觉和软件加速的计算机视觉的组合。利用在基于硬件的CNN引擎和/或基于软件的CNN引擎上运行的计算机视觉操作，在边缘设备100中实现的处理器102可以能够检测一种或多种类型的事件，并且将事件标记应用于捕获的视频帧。
参考图5，示出了说明边缘AI摄像机上的具有使用事件的所有帧的CV分析的智能间隔拍摄模式的图。示出了包括视频帧的流(例如，图片组(GOP))的捕获的视频流。CNN模块可以执行计算机视觉以确定哪些视频帧包括CV事件。视频帧的前四个持续时间为N的组可能不包括CV事件。可以由处理器102选择来自前四个持续时间为N的组中的每一个组的视频帧中的一个以用于智能间隔拍摄视频(例如，选择四个非事件视频帧)。
在四个非事件组之后，可以检测到CV事件(例如，持续时间为M)。对于完整的智能间隔拍摄视频，在持续时间M内具有CV事件的所有视频帧可以被选择以用于智能间隔拍摄视频流。在所示的示例中，在持续时间M内可以有六个视频帧。可以选择具有CV事件的所有六个视频帧以用于智能间隔拍摄视频。
在CV事件的持续时间M之后，可以检测到视频帧的不包括CV事件的另外两个持续时间为N的组。可以将用于视频选择的帧速率重新调整回到默认速率。例如，可以针对视频帧的接下来的两个非事件的持续时间为N组中的每一个组选择一个视频帧。尽管第一视频帧被示出为从视频帧的非CV事件组中选择，但是可以根据特定实现方式的设计标准来从非CV事件组中的每一个组中选择视频帧中的任何一个。
智能间隔拍摄视频可以以正常的帧速率回放。由于要从视频帧的非CV部分回放的视频帧较少，因此智能间隔拍摄视频流的非CV部分的回放可能看起来以比实时回放更高的速度回放。例如，如果已经检测到视频帧的60个非CV事件组，则可以从针对智能间隔拍摄视频的每个帧中选择一个帧。以60fps回放智能间隔拍摄视频可以导致非CV事件组以一秒的压缩的形式回放。由于已经选择了CV事件的所有的视频帧，因此智能间隔拍摄视频流的部分的回放可以以正常的速度(例如，实时地)回放。
处理器102可以基于检测到的事件来生成智能间隔拍摄视频。CNN模块可以检测事件并标记对应于特定的事件的视频帧。在一个示例中，视频帧(例如，帧N)可以对应于事件A和事件B，并且在帧N之后的接下来的一百个视频帧(例如，帧N+100)可以仅对应于事件B。处理器102可以被配置为通过以下方式来组合选定的帧：从不具有事件的视频中选择一些视频帧(例如，通常仅选择I-帧)，并且然后选择具有事件A标记的所有的帧。然后，编码设备可以(例如，通过查找帧N和可以被选择的具有事件A标记的任何相邻帧)创建包括事件A的智能间隔拍摄视频(例如，压缩的视频)。类似地，可以针对事件B(例如，通过查找视频帧N和具有事件B标记的接下来的帧N+100)生成不同的智能间隔拍摄视频(例如，单独的视频文件)。
参考图6，示出了说明将完整的流记录到本地存储介质并且将降低的位率的视频流传送到云存储服务的图。示出了捕获的视频流。捕获的视频流可以是由摄像机***100捕获的所有的视频数据(或内容)。摄像机***100可以将所有的捕获的视频流(例如，完整的记录)记录到本地存储介质。在所示的示例中，本地存储介质可以是microSD卡。在另一示例中，本地存储介质可以是硬盘驱动器和/或固态驱动器。在又一个示例中，本地存储介质可以是eMMC。所实现的本地存储介质的类型可以根据特定实现方式的设计标准而变化。
示出了智能间隔拍摄视频。智能间隔拍摄视频可以具有经调整的位率(例如，对应于非CV事件的所记录的视频的压缩的版本和对应于CV事件的所记录的视频的完整的版本)。在一些实施例中，CV事件数据也可以是压缩的版本(例如，使用事件的部分帧，该事件仍然提供所选择的视频帧(例如，更详细、更慢的回放速度)，而不是所选择的非CV事件视频帧的压缩的视图)。智能间隔拍摄视频被示出为正在被传送到云存储服务。例如，可以选择视频帧，将其编码为智能间隔拍摄视频流，并且然后将其上载到云存储服务。
被存储到本地存储介质的捕获的视频流的完整的记录被示出为包括比智能间隔拍摄视频流更多的视频帧。由于智能间隔拍摄视频流包括更少的视频帧，因此智能间隔拍摄视频流可以具有比完整的记录更低的位率。上载智能间隔拍摄视频流可以比上载完整的记录传送更少的视频数据(例如，消耗更少的带宽，在云服务中要求更少的存储空间用于存储等)。智能间隔拍摄视频流可以提供CV事件的与完整的记录相同的细节量(或者如果CV事件数据具有稍微降低的帧速率，则智能间隔拍摄视频流可以提供足够的细节量)，并且提供非CV事件的压缩的视图。上载智能间隔拍摄视频流通常可以为用户提供CV事件的与完整的记录相同的细节量，但是消耗更少的带宽和/或使用更少的存储空间。
当从云存储服务下载智能间隔拍摄视频流时，也可以实现上载智能间隔拍摄视频流的益处(例如，更少的带宽)。例如，用户可以请求使用智能手机应用查看智能间隔拍摄视频流。例如，如果完整的记录的数据是智能间隔拍摄视频流的数据的两倍，则针对上载和后续下载可以存在带宽的四倍节约(例如，对上载的两倍节约以及对下载的另外两倍节约)。
在一些实施例中，完整的视频流可以被上载到云存储服务，并且云存储服务的分布式处理可以操作以选择对应于CV事件的视频帧。尽管将完整的视频流上载到云存储服务可以不提供带宽的节约，但是仍然可以实现存储的节约(例如，在通过分布式处理的生成后，可以由智能间隔拍摄视频流来替换完整的视频记录)。此外，可以对后续下载实现带宽节约(例如，用户从云存储服务下载智能间隔拍摄视频流)。
在一些实施例中，仅当事件被处理器检测到时，才可以以完整的帧速率(或固定的帧速率)上载视频帧。当没有检测到事件时，可以以非常大的间隔上载视频帧以节约要上载的位量。在一个示例中，摄像机***100可以选择本地存储视频(例如，SD卡、eMMC等)，并且仅上载智能间隔拍摄视频。在示例中，智能间隔拍摄视频可以在一天结束时被上载，或者在用户打开应用以查看自用户已经查看应用的最后时间以来发生了什么时被上载。在另一示例中，摄像机***100可以仍然将24×7的流上载/编码到云存储服务。在一天结束时，推送通知(或电子邮件)可以被发送到终端用户。与进入时间轴视图并且查看事件视频片段(这将导致数据消耗和云成本)相反，可以将智能间隔拍摄视频呈现给用户。用户可以看到重要的事件，而摄像机操作员节约了成本(例如，节约了滚动并检查单独的片段中的每一个的成本)。
在图5和图6中，由处理器102选择的要被编码用于智能间隔拍摄视频的视频帧被示出为大于可能未被选择的帧。出于说明的目的，选定的视频帧和/或未选定的视频帧的尺寸被示出为不同的(例如，较大的尺寸指示视频帧已经被选择，并且较小的尺寸指示视频帧尚未被选择)。通常，选定的视频帧可以不一定是特定的类型的视频帧(例如，选择的视频帧可以是I-帧、B-帧、P-帧等中的任何一个)。例如，在“CV事件持续时间”中的所有视频帧可以是与在“无CV事件持续时间”中的视频帧相同的编码GOP的一部分，这可以使得选定的视频帧能够是任何类型的视频帧。在示例中，选定的帧可能不需要全都是I-帧，这是因为当视频帧被捕获并且处理器102正在执行编码时，可以由CNN模块并行地执行对象/事件检测(例如，可以不必一捕获到新的视频帧就完成通过CNN模块的计算机视觉操作)。可以执行计算机视觉操作，并且然后如果检测到事件，则可以在不改变针对该事件的视频GOP的情况下将整个视频GOP标记为事件(例如，事件A)。处理器102可以解码整个GOP并且使用CNN模块选择帧中的一些帧。例如，对于部分的智能间隔拍摄视频(在图6中示出)，为了更好的质量，CNN模块可以决定在GOP中仅查找视频帧中的一些视频帧。
参考图7，示出了说明在捕获的视频帧中的事件检测的图。示出了示例视频帧。示例视频帧可以包括提供给CNN模块的像素数据。CNN模块可以被配置为分析视频帧的像素数据以确定感兴趣的事件/对象是否存在。由CNN模块检测到的对象/事件的类型可以由用户选择和/或由处理器102加载的特征集定义。
示例视频帧可以是住宅50的正面的捕获的视频(例如，从正门朝向车道向下的角度的视图)。示例视频帧可以包括一个人正在签收由递送员递送的包裹。递送卡车可以停放在路上。也示出了树和附近的住宅。
示出了表示由CNN模块检测到的对象的边界框的虚线框。检测到的对象可以是递送员的面部、人(例如，房主)的面部以及递送车辆。在示例中，针对处理器102的设置可以将感兴趣的对象定义为人和车辆。例如，树和住宅可以不是感兴趣的对象。
由于示例视频帧包括至少一个感兴趣的对象，因此CNN模块可以将该视频帧标记为“事件”视频帧。如果智能间隔拍摄视频包括在事件的持续时间内的所有视频帧，则示例视频帧可以被编码并转码为智能间隔拍摄视频帧。
参考图8，示出了说明在智能手机上操作的用于控制针对间隔拍摄视频的偏好的应用的图。示出了应用界面。智能手机可以被配置为直接连接到边缘AI设备。智能手机可以被配置为连接到云服务以访问存储在云中的用户偏好。边缘AI设备可以被配置为根据从云中取回的设置来操作。
应用可以使得用户选择是对完整的智能间隔拍摄视频流进行编码(例如，选择具有检测到的事件/对象的所有视频帧)还是对部分的间隔拍摄视频流进行编码。如果选择了部分的智能间隔拍摄视频流选项，则用户可以进一步定义针对具有检测到的事件的视频帧的选择的帧速率。在所示的示例中，60fps、30fps和15fps被示出为可用选项。针对部分的智能间隔拍摄视频的帧速率的可用选项可以根据特定实现方式的设计标准而变化。选择较低的帧速率可以导致检测到的事件的更压缩的版本被***到智能间隔拍摄视频流中。
应用可以使得用户能够选择要检测的对象和/或事件的类型。例如，事件可以是对人、车辆、动物的检测(例如，使用计算机视觉)、检测动作等。事件可以是音频事件(例如，检测可能比预定义的声音级别更响亮的声音、特定的类型的声音特征等)。该应用可以进一步使得用户能够观看直播流(例如，显示由边缘AI设备当前捕获的视频数据)。当CNN模块检测到事件时，该应用可以提供通知。
应用可以使得用户能够选择何时将智能间隔拍摄视频传送给用户(例如，何时从云存储服务推送到用户的智能手机)。可以以预定的时间间隔传送智能间隔拍摄视频。在所示的示例中，预定的时间间隔可以是每小时、每天或每周。例如，如果用户选择每天选项，则云存储服务可以每天传送智能间隔拍摄视频(例如，经编码的视频帧)。例如，可以提供其他选项来选择在一天中的哪个时间传送(例如，每天午夜)。每天提供智能间隔拍摄视频可以使得用户能够在特定的时间帧期间快速观看感兴趣的事件的视频(例如，用户将不会错过自先前的视频被观看以来已经发生的事件)。
在一些实施例中，用户可以选择按需接收智能间隔拍摄视频。例如，按需提供智能间隔拍摄视频可以包括每次已经检测到事件时传送智能间隔拍摄视频。智能间隔拍摄视频可以具有各种长度(例如，取决于事件之间已经经过多长时间，其可能相隔几小时或相隔几天)。当事件被检测到时，智能间隔拍摄视频可以被传送到用户的智能手机，该智能间隔拍摄视频包括自先前的事件被检测到以来的所有的经编码的视频帧。提供自先前的事件以来的所有的经编码的视频帧可以使得用户能够在事件发生之后不久观看每个事件。提供自先前的事件以来的所有的经编码的视频帧可以使得用户能够查看直到事件之前的视频帧的压缩的版本，并且然后观看实际事件的完整的帧速率的视频。
当术语“可以”和“通常”在本文中结合“是”和动词使用时意指传达这样的意图：描述是示例性的，并且被认为足够宽泛以涵盖在本公开中呈现的具体示例以及可以基于本公开导出的可替代的示例两者。如本文中使用的术语“可以”和“通常”不应该被解释为一定暗示省略对应的元素的可取性或可能性。
尽管已经参考本发明的实施例具体地示出并描述了本发明，但是本领域技术人员将理解，可以在不脱离本发明的范围的情况下进行形式和细节的各种改变。

Claims (19)

1.一种装置，包括：
接口，其被配置为接收由捕获设备生成的像素数据；以及
处理器，其被配置为：(i)从所述接口接收所述像素数据；(ii)响应于所述像素数据而生成视频帧；(iii)对所述视频帧执行计算机视觉操作以检测对象；(iv)基于所述对象的特性来执行对检测到的所述对象的分类；(v)确定所述对象的所述分类是否对应于用户定义的事件；(vi)响应于所有的所述视频帧而生成完整的视频流；以及(vii)根据所述视频帧来生成经编码的视频帧，其中，(a)所述完整的视频流被记录到在所述装置本地的存储介质；(b)所述经编码的视频帧被传送到云存储服务；(c)所述经编码的视频帧包括(i)所述视频帧的第一样本和(ii)所述视频帧的第二样本，所述第一样本是在所述用户定义的事件未被检测到时以第一速率选择的，所述第二样本是在所述用户定义的事件被检测到时以第二速率选择的；以及(d)所述第二速率大于所述第一速率。
2.根据权利要求1所述的装置，其中，所述经编码的视频帧提供间隔拍摄视频流。
3.根据权利要求1所述的装置，其中，所述经编码的视频帧在特定的时间处被上载到所述云存储服务。
4.根据权利要求3所述的装置，其中，所述特定的时间包括一天中的用户选择的时间。
5.根据权利要求3所述的装置，其中，所述特定的时间包括预定义的间隔。
6.根据权利要求3所述的装置，其中，所述特定的时间是响应于检测到所述用户定义的事件而被选择的。
7.根据权利要求3所述的装置，其中，所述特定的时间是用户请求查看所述经编码的视频帧的时间。
8.根据权利要求3所述的装置，其中，视频数据直到所述特定的时间才在所述装置与所述云存储服务之间被传送。
9.根据权利要求1所述的装置，其中，所述完整的视频流具有比所述经编码的视频帧更大的数据大小。
10.根据权利要求1所述的装置，其中，将所述经编码的视频帧上载到所述云存储服务而不是上载所述完整的视频流降低了：(a)用于在所述装置与所述云存储服务之间进行传送的带宽量；以及(b)由所述云存储服务使用的存储容量的量。
11.根据权利要求1所述的装置，其中，用户使用智能手机应用来访问存储在所述云存储服务上的所述经编码的视频帧。
12.根据权利要求11所述的装置，其中，(i)所述应用存储了对应于所述用户查看所述经编码的视频帧的最后时间的时间戳；以及(ii)将自所述用户查看所述经编码的视频帧的所述最后时间以来的由所述云存储服务存储的所述经编码的视频帧呈现给所述用户。
13.根据权利要求1所述的装置，其中，在所述装置本地的所述存储介质包括microSD闪速存储器设备。
14.根据权利要求1所述的装置，其中，所述第二速率与所述视频帧的帧速率相同。
15.根据权利要求1所述的装置，其中，所述第二速率比所述视频帧的所述帧速率少。
16.根据权利要求1所述的装置，其中，所述计算机视觉操作是在集成电路上执行的。
17.根据权利要求1所述的装置，其中，(i)所述装置和所述捕获设备是在边缘设备上实现的；以及(ii)所述边缘设备与所述云存储服务通信。
18.根据权利要求1所述的装置，其中，选择的所述视频帧包括I-帧、B-帧或P-帧中的任何一个。
19.根据权利要求1所述的装置，其中，(i)所述完整的视频流被上载到所述云存储服务；以及(ii)所述经编码的视频帧(a)响应于查看视频数据的请求或者(b)以预定的时间间隔被从所述云存储服务传送到用户。
CN202010861553.1A 2020-08-25 2020-08-25 在摄像机设备上借助于神经网络输入的通过降低视频的位率以节省带宽的智能间隔拍摄视频 Pending CN114125371A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010861553.1A CN114125371A (zh) 2020-08-25 2020-08-25 在摄像机设备上借助于神经网络输入的通过降低视频的位率以节省带宽的智能间隔拍摄视频
US17/216,004 US20220070453A1 (en) 2020-08-25 2021-03-29 Smart timelapse video to conserve bandwidth by reducing bit rate of video on a camera device with the assistance of neural network input

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010861553.1A CN114125371A (zh) 2020-08-25 2020-08-25 在摄像机设备上借助于神经网络输入的通过降低视频的位率以节省带宽的智能间隔拍摄视频

Publications (1)

Publication Number Publication Date
CN114125371A true CN114125371A (zh) 2022-03-01

Family

ID=80359049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010861553.1A Pending CN114125371A (zh) 2020-08-25 2020-08-25 在摄像机设备上借助于神经网络输入的通过降低视频的位率以节省带宽的智能间隔拍摄视频

Country Status (2)

Country Link
US (1) US20220070453A1 (zh)
CN (1) CN114125371A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11468676B2 (en) * 2021-01-08 2022-10-11 University Of Central Florida Research Foundation, Inc. Methods of real-time spatio-temporal activity detection and categorization from untrimmed video segments
GB2619016A (en) * 2022-05-20 2023-11-29 Intellicam360 Ltd A security system and a method of securing a location

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8719888B1 (en) * 2012-10-16 2014-05-06 Google Inc. Video encoding and serving architecture
US20160012465A1 (en) * 2014-02-08 2016-01-14 Jeffrey A. Sharp System and method for distributing, receiving, and using funds or credits and apparatus thereof
US9501915B1 (en) * 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US9009805B1 (en) * 2014-09-30 2015-04-14 Google Inc. Method and system for provisioning an electronic device
US10102881B2 (en) * 2015-04-24 2018-10-16 Wowza Media Systems, LLC Systems and methods of thumbnail generation
US9706111B2 (en) * 2015-07-08 2017-07-11 Santa Clara No-reference image and video quality evaluation
DE112017005917T5 (de) * 2017-01-03 2019-08-29 Western Digital Technologies, Inc. Medieninhaltsverwaltungsvorrichtung
US20190130188A1 (en) * 2017-10-26 2019-05-02 Qualcomm Incorporated Object classification in a video analytics system
US10885342B1 (en) * 2018-12-03 2021-01-05 Ambarella International Lp Intelligent monitoring camera using computer vision and intelligent personal audio assistant capabilities to maintain privacy
US11140292B1 (en) * 2019-09-30 2021-10-05 Gopro, Inc. Image capture device for generating time-lapse videos

Also Published As

Publication number Publication date
US20220070453A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
CN114079820A (zh) 在摄像机设备上借助于神经网络输入的以感兴趣的事件/对象为中心的间隔拍摄视频生成
JP6753902B2 (ja) ビデオソースデバイスからストリーム配信されるデータの格納管理
CN114079750A (zh) 利用住宅安全摄像机上的ai输入的以感兴趣的人为中心的间隔拍摄视频以保护隐私
US6813372B2 (en) Motion and audio detection based webcamming and bandwidth control
US20170163941A1 (en) Video analytics based control of video data storage
CA2716637A1 (en) Video analytics with pre-processing at the source end
KR102077752B1 (ko) 모션 비디오의 재생을 위한 방법 및 시스템
CN101860731A (zh) 视频信息处理方法、***及服务器
CN114125371A (zh) 在摄像机设备上借助于神经网络输入的通过降低视频的位率以节省带宽的智能间隔拍摄视频
CN111866457B (zh) 监控图像处理方法、电子设备、存储介质及***
US11770538B2 (en) Method for providing prunable video
CN114679607B (zh) 一种视频帧率控制方法、装置、电子设备及存储介质
KR20110114957A (ko) 데이터 송신 장치와 방법, 이를 이용한 네트워크 데이터 전송 시스템 및 방법
CN102547221A (zh) 基于移动侦测的视频录像及网络传输方法
WO2022265819A1 (en) Systems and methods for selecting efficient encoders for streaming media
US10536700B1 (en) Systems and methods for encoding videos based on visuals captured within the videos
US10721473B2 (en) Systems and methods for adjusting the frame rate of transmitted video based on the level of motion in the video
EP4054184A1 (en) Event video sequences
Haubold Selective Enhancement of Timeboxed Video Segments for Security Camera Recordings
KR20170097392A (ko) 비디오 저장 장치에서 수행되는 비디오 스토리지 절감 방법, 비디오 저장 장치 및 비디오 저장 서버

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination