CN103069457A - 基于感兴趣区的视频概要 - Google Patents

基于感兴趣区的视频概要 Download PDF

Info

Publication number
CN103069457A
CN103069457A CN201080068516XA CN201080068516A CN103069457A CN 103069457 A CN103069457 A CN 103069457A CN 201080068516X A CN201080068516X A CN 201080068516XA CN 201080068516 A CN201080068516 A CN 201080068516A CN 103069457 A CN103069457 A CN 103069457A
Authority
CN
China
Prior art keywords
region
interest
moving objects
metadata
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201080068516XA
Other languages
English (en)
Inventor
朴永经
安寿男
张彦东
金圣珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN103069457A publication Critical patent/CN103069457A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19671Addition of non-video data, i.e. metadata, to video stream
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19652Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了基于感兴趣区的视频概要方法、设备和***。本发明公开的一个实施例关于产生基于感兴趣区的视频概要的服务器的方法。该方法包括响应于感兴趣区配置数据的接收,对于可通信地耦合到该服务器的相机设备所跟踪的区域设置感兴趣区(ROI)。该方法还包括当运动对象在感兴趣区内是活动的时,将由相机设备转发的视频流转换为运动对象的元数据。该方法进一步包括基于运动对象的元数据产生在感兴趣区内活动的运动对象的视频概要。

Description

基于感兴趣区的视频概要
技术领域
本公开的实施例涉及电子领域。尤其是,本公开的实施例涉及视频分析设备、***和方法。
背景技术
相机,诸如闭路电视(CCTV)安全相机逐渐地用于防止犯罪。在某些城市中,安装数以万计安全相机监视可疑人员或者行为,从而,提高公众的高的期望。但是,这样的期望经常遇到差的结果,因为监视监控录像(surveillance footage)的人员注意力持续时间短暂,以及缺乏审阅冗长的视频录像所需要的人力。例如,一个普通人的注意力持续时间大约是20分钟,并且需要花费相当大的人力去审阅由若干相机/记录设备一天24小时记录的监控录像。
视频概要(video synopsis)是创建长视频的短视频摘要(videosummary)的方法。按照该方法,跟随(例如,跟踪、追踪、记录等)运动对象,并且捕捉运动对象的移动的视频流被转换为目标和行为的数据库。一旦形成数据库,当需要运动对象的摘要时,采集目标时间段的运动对象并及时变换,以创建更短的概要视频,在该概要视频中同时地显示最初在不同的时间出现的运动对象和行为。
发明内容
问题的解决方案
本公开的一个实施例涉及用于产生基于感兴趣区的视频概要的装置的方法。该方法包括:响应于感兴趣区配置数据的接收,对于可通信地耦合到该装置的相机设备所跟踪的区域设置感兴趣区(ROI),这里感兴趣区是该区域的一部分。该方法还包括:将运动对象在感兴趣区内是活动的时由相机设备转发的视频流转换为运动对象的元数据。该方法进一步包括:基于运动对象的元数据,当运动对象在感兴趣区内是活动的时,产生运动对象的视频概要,这里运动对象的视频概要是在感兴趣区内活动的运动对象的简短摘要。
本公开的另一个实施例涉及用于产生基于感兴趣区的视频概要的装置的方法。该方法包括:使用可通信地耦合到该装置的相机设备来跟踪区域中的运动对象一持续时间,这里该相机设备被配置为产生与运动对象相关联的视频流。该方法还包括:将在该持续时间期间由相机设备转发的视频流转换为运动对象的元数据,这里元数据被存储在与该装置相关联的存储器中。该方法进一步包括:响应于感兴趣区配置数据的接收,对于该区域设置一个或多个感兴趣区,这里每个感兴趣区是该区域的一部分。另外,该方法包括:基于运动对象的元数据,当运动对象在感兴趣区内是活动的时,产生运动对象的视频概要。
本公开的又一个实施例涉及用于产生基于感兴趣区的视频概要的装置。该装置包括:存储器,和耦合到存储器的处理器,这里该处理器被配置为响应于感兴趣区配置数据的接收,对于被监控的区域设置感兴趣区(ROI),该处理器还被配置为对与在感兴趣区内活动的运动对象相关联的视频流进行接收并且转换为运动对象的元数据。该处理器进一步被配置为基于运动对象的元数据产生在感兴趣区内活动的运动对象的视频概要。
附图说明
通过示例图示示例性实施例,并且不受伴随的附图中的图的限制,其中相同的附图标记指示类似的单元,并且其中:
图1图示按照本公开一个实施例的用于与其它的相关设备相互作用产生基于感兴趣区的视频概要的装置的示例性示图。
图2图示按照本公开一个实施例的图示与视频概要相关的配置数据的表的示例性示图。
图3图示按照本公开一个实施例的用于设置在图2中的配置数据的用户界面的示例性示图。
图4和5图示按照本公开一个实施例的图示用于产生基于感兴趣区的视频概要的过程的示例性示图。
图6和7图示按照本公开一个实施例的图示用于产生基于感兴趣区的视频概要的过程的另一个示例性示图。
图8图示按照本公开一个实施例的用于产生基于感兴趣区的视频概要的示例性方法的处理流程图。
图9和10图示按照本公开一个实施例的图示用于基于两个或两个以上感兴趣区产生视频概要的过程的示例性示图。
图11图示按照本公开一个实施例的用于产生一个或多个基于感兴趣区的视频概要的示例性方法的处理流程图。
本实施例的其它特点将从伴随的附图和从以下的详细说明中显而易见。
具体实施方式
公开了产生对象的基于感兴趣区的视频概要的方法、设备和/或***。按照本公开的实施例,感兴趣区可以被选定为由安全***监控的区域,这里安全***包括相机设备和装置(例如,服务器),其将由相机设备转发的视频流转换为用于视频概要所处理的元数据。感兴趣区小于能够由相机设备覆盖的区域。
一旦设置感兴趣区,那么,由相机设备转发的视频流被处理,并且产生在感兴趣区内活动的运动对象的元数据。因此,一旦向该装置注册,可以不重复地处理与运动对象的信息不同的背景信息。此外,也可以不处理驻留在感兴趣区外面的运动对象的信息。一旦产生运动对象的元数据(例如,时间、位置等),它们可用于产生或者执行视频概要。
如上所述,在不丢失任何需要检查的基本信息的情况下,运动对象的基于感兴趣区的视频概要可以极大地减少审阅运动对象的记录录像的时间。此外,通过选择地产生和存储用于视频概要的元数据,同时减少或者消除不必要信息的生成,感兴趣区的特点进一步改善视频处理或者分析的效率。
现在将详细地参考本公开的实施例,其例子在伴随的附图中图示。虽然将与实施例结合地描述本公开,但应该理解,它们不意欲将本公开限制到这些实施例。相反,本公开意欲覆盖可以包括在本公开的精神和范围内的备选方案、改进和等效物。此外,在详细说明中,阐述许多特定的细节,以提供对本公开的深入理解。然而,对于本领域普通技术人员来说显而易见的是,无需这些特定的细节也可以实践本公开。在其它的例子中,没有详细地描述众所周知的方法、步骤、部件和电路,以免不必要地混淆本公开的方面。
图1图示按照本公开一个实施例的用于与其它的相关设备相互作用产生基于感兴趣区的视频概要的装置102的示例性示图。在图1中,装置102与相机设备104和客户端设备106通信地耦合。应该理解,装置102、相机设备104和客户端设备106可以是单独的设备。还应该理解,可以实现装置102、相机设备104和客户端设备106的任何的组合以形成单个设备或者两个单独的设备。
在图1中,用于产生基于感兴趣区的视频概要的装置102(例如,服务器、数字视频记录器等)包括存储器108和耦合到存储器108的处理器110。处理器110被配置为响应于由客户端设备106(例如,计算机、移动设备、移动电话、智能电话等)转发的感兴趣区配置数据118的接收,对于被监控的区域116设置感兴趣区(ROI)114。应该理解,感兴趣区114小于可以由相机设备104(例如,摄像机、数字视频记录器等)处理的区域116。
处理器110还被配置为接收由相机设备104转发的视频流120并且将其转换为运动对象122的元数据124,相机设备104跟踪(例如,捕捉图像)在感兴趣区114内活动的运动对象122。应该理解,可以由在计算机视觉技术中的对象识别(例如,图像识别、面部识别等)技术执行与运动对象122相关联的视频流120的转换,其中,在视频流120的图像或者视频序列中找到给定对象。处理器进一步被配置为基于运动对象122的元数据124产生在感兴趣区114内活动的运动对象122的视频概要数据126。应该理解,运动对象122的视频概要数据126是在感兴趣区114内活动的运动对象122的简短摘要。视频概要126然后显示在客户端设备106的显示设备112上。
在可选实施例中,由装置102执行的处理可以在客户端设备106中实现。如在图1中的虚线所图示的,客户端设备106被配置为基于由相机设备105转发的并且存储在客户端设备106的存储器中的视频流120,以及由装置102转发的元数据124产生运动对象122的视频概要,在这个实施例中,装置102被配置为通过处理视频流120产生元数据124。
图2图示按照本公开的一个实施例图示配置数据的表202的示例性示图。在图2中,表202显示配置数据204、类型206、属性208、形状210和时间段212。配置数据204包括感兴趣对象(多个感兴趣对象)、感兴趣区(多个感兴趣区)和感兴趣时间段(多个感兴趣时间段)。用于设置感兴趣对象的配置数据204可以由对象的类型206和/或属性208中的一个或多个来限定,其中类型206包括人员、动物、车辆、武器等,并且其中该对象的属性208包括颜色、大小、性别、年龄等。
此外,用于设置感兴趣时间段的配置数据204可以基于时间段212,其可以是分钟、小时、天、周、月等。此外,用于设置感兴趣区的配置数据204可以由感兴趣区的形状210,诸如多边形(例如,矩形、正方形的等)、圆形,或者通过以一条或多条线划分图1的相机设备104所监控的区域而形成的区来限定。
图3图示按照本公开一个实施例的用于设置图2中的配置数据204的用户界面252的示例性示图。在图3中,配置数据204通过从用户界面(UI)252选择感兴趣对象254、感兴趣区256和感兴趣时间段258来设置。然后,将人员260选择为类型206,并且将颜色268、大小270和性别272选择为属性208。因此,将“高于6英尺的白种男人”选择为感兴趣对象254。此外,通过将区域276内的多边形选择为形状210,而将具有坐标(48,50)、(75,50)、(75,75)和(48,75)的矩形选择为感兴趣区256。此外,将从2010年5月5日上午12点延续到2010年5月6日的上午12点选择为感兴趣时间段258。
基于与在图1中的装置102相关联的配置数据204的设置,处理从2010年5月5日上午12点延续到2010年5月6日上午12点的时段的视频概要数据126,视频概要数据126跟踪自由出入相机设备104所观看的具有坐标(48,50)、(75,50)、(75,75)和(48,75)的矩形的“高于6英尺的白种男人”。如在这个例子中所图示的,通过以特定的方式设置配置数据204,装置102的用户可以减少用于产生视频概要的时间和资源(例如,要处理的数据)。应该理解,用户可以选择去选择单个类别的配置数据204,而不是如在图3中图示的三个类别的组合。例如,用户可以选择仅跟踪感兴趣对象或者感兴趣区。应进一步理解,存在比图3中所图示的三个类别更多的类别,及其相应的子类别。
图4和5图示按照本公开一个实施例的图示用于产生基于感兴趣区的视频概要过程的示例性示图。在图4中,当由装置(例如,装置102)处理感兴趣区配置数据(例如,如在图2-3中)时,感兴趣区114由在区域116内指定多边形(即,矩形)来设置,该装置用于通过与该装置相关联的用户界面产生基于感兴趣区的视频概要。
在图4中,两个运动对象(例如,人员302和汽车304)的元数据通过处理来自跟踪在感兴趣区114内活动的两个运动对象的相机设备(例如,相机设备104)的视频流产生。例如,当人员302首次进入感兴趣区114时,产生元数据306A,并且启动对人员302(例如,通过图1的装置102和相机设备104)的跟踪,从而,周期地、间断地、或者基于其它的设置产生元数据。当人员302离开感兴趣区114时,产生元数据306E。当人员302第二次进入感兴趣区114时,产生元数据306H,并且启动对人员302的再次跟踪,从而,周期地、间断地、或者基于其它的设置产生元数据,直到人员302离开感兴趣区114为止。当人员302离开感兴趣区114时,产生元数据306N。
图4还显示另一个运动对象(例如,汽车304)。当汽车304进入感兴趣区114时,产生元数据308A,并且启动对汽车304的跟踪,从而,周期地、间断地、或基于其它的设置产生元数据,直到汽车304离开感兴趣区114为止。当汽车304离开感兴趣区114时,产生元数据308N。在一个实施例中,运动对象(例如,人员302和汽车304)的元数据(例如,元数据306A-E、元数据306H-N和元数据308A-N)包括时间数据(例如,记录时间)和该运动对象的位置数据(例如,x、y和Z坐标、高度和经度等)。
然后,基于时间数据和位置数据形成每个运动对象的轨迹。例如,在感兴趣区114内活动的人员302的轨迹可以基于对应于元数据306A-E和306H-N的时间数据和位置数据来形成。同样地,在感兴趣区114内移动的汽车304的轨迹可以基于对应于元数据308A-N的时间数据和位置数据来形成。
当正在跟踪在感兴趣区114内活动的运动对象时,区域116的剩余部分被屏蔽或者从对于隐私保护的跟踪中除去。即,当用于产生ROI视频概要的装置102所控制的相机设备已经访问广的区域,但是仅将该区域的一部分作为基于ROI的视频概要的情况下的目标时,那么屏蔽特征可用于减少由于受监控影响而引起的隐私顾虑。在一个示例性实施例中,在图1中的视频流120的部分对应于对被屏蔽的区域116的剩余部分的监控,其可以不存储在装置102中。同样地,可以完全可以不必产生与对区域116的剩余部分的监控相对应的数据的元数据124。在另一个示例性实施例中,与区域116的剩余部分的监控相对应的视频流120的部分可以存储在装置102中,但是,当将视频概要数据126转发到客户端设备106用于观看时,可以屏蔽与区域116的剩余部分相对应的视频概要数据126。
在图5中,基于运动对象的元数据,在运动对象在感兴趣区114内是活动的时,产生运动对象的视频概要。应该理解,运动对象的视频概要是在感兴趣区114内活动的运动对象的简短摘要。因此,如在图5中所图示的,能够同时地显示人员302的轨迹(例如,轨迹352和轨迹354)和汽车304的轨迹(例如,轨迹356),尽管两个运动对象的轨迹可能在两个不同的时段中形成。利用这样的特点,在不丢失需要检查的任何基本信息的情况下,两个运动对象的视频概要可以极大地减少审阅所记录的两个运动对象的录像的时间。此外,通过有选择地产生和存储用于视频概要的元数据,同时减少或者消除不必要元数据的生成,感兴趣区的特点进一步改善了视频处理或者分析的效率。
此外,虽然图4和5图示基于感兴趣区的视频概要的方法,但是其它的配置数据,诸如图2-3的感兴趣对象,或者感兴趣的时间段可以单独地或者与感兴趣区结合地用于以本说明书描述的类似的方式产生视频概要。例如,当感兴趣对象,而不是感兴趣区被选择为用于视频概要的配置数据时,可以产生与感兴趣对象相关联的元数据。例如,如果人员和红色分别被设置为感兴趣对象的类型206和属性208,则可以以允许在执行视频概要期间跟踪和显示穿着红色衣服的人员这样的方式形成元数据。此外,可以以下述方式设置感兴趣对象和感兴趣区两者:仅当穿着红色衣服的人员在感兴趣区内移动时形成运动对象的元数据。
图6和7图示按照本公开的一个实施例图示用于产生基于感兴趣区的视频概要过程的另一个示例性示图。在一个实施例中,感兴趣区402可以通过利用线404划分区域116,以及通过利用方向箭头406指示两个区域中的一个来形成,方向箭头406由在区域116上绘制的线形成。在一个示例性实施例中,响应于收到由客户端设备(例如,移动电话、计算机等)转发的感兴趣区配置数据,可以执行形成感兴趣区402。
在图6中,当该运动对象是在感兴趣区402内是活动的时,运动对象(例如,人员408)的元数据作为视频流从跟踪运动对象的相机设备(例如,相机设备104)产生。例如,当人员408首次进入感兴趣区402时,产生元数据410A,并且启动人员408(例如,通过图1的装置102和相机设备104)的跟踪,从而,周期地、间断地、或者基于其它的设置产生元数据。当人员408离开感兴趣区402时,产生元数据410E。类似地,形成元数据410H-K和元数据410N-X。
然后,基于时间数据和位置数据形成每个运动对象的轨迹。例如,可以基于对应于元数据410A-E和410H-K以及410N-X的时间数据和位置数据形成在感兴趣区402内活动的人员408的轨迹。当在感兴趣区402内活动的运动对象正在被跟踪时,为了隐私保护区域116的剩余部分被从跟踪中排除或者屏蔽,如在图4中所图示的。
在图7中,当运动对象在感兴趣区402内是活动的时,基于运动对象的元数据产生运动对象的视频概要。应该理解,运动对象的视频概要是在感兴趣区402内活动的运动对象的简短摘要。因此,如在图7中所图示的,可以同时显示在三个不同的时段中由人员408形成的轨迹452、轨迹454和轨迹456。
图8图示按照本公开的一个实施例的用于产生基于感兴趣区的视频概要的示例性方法的处理流程图。在操作502中,响应于感兴趣区配置数据的接收,将感兴趣区(ROI)设置为由相机设备跟踪的区域,该相机设备可通信地耦合到用于产生基于感兴趣区的视频概要的装置。感兴趣区是该区域的一部分。在操作502中,当运动对象在感兴趣区内是活动的时,由相机设备转发的视频流被转换为运动对象的元数据。在操作506中,基于运动对象的元数据,产生在感兴趣区内活动的运动对象的视频概要。在一个示例性实施中,在显示视频概要期间,当该区域由百万像素相机监控或者处理时,感兴趣区可以处于高分辩率,而该区域的剩余部分处于低分辩率。运动对象的视频概要是在感兴趣区内活动的运动对象的简短摘要。应该理解,在图8中公开的方法可以以实施一组指令的机器可读介质的形式实现,当由机器执行的时候,使得机器执行在此公开的任何操作。
图9和10图示按照本公开的一个实施例图示用于基于两个或两个以上感兴趣区产生视频概要过程的示例性示图。在图9中,按照由视频概要装置(例如,装置102)处理的感兴趣区配置数据(例如,如在图2-3中),通过在区域116内指定两个多边形(例如,两个矩形)来设置感兴趣区602和感兴趣区604。
在图9中,通过处理来自跟踪在感兴趣区内活动的两个运动对象的相机设备(例如,相机设备104)的视频流来产生两个运动对象(例如,人员606和人员608)的元数据。例如,当人员606首次进入感兴趣区602时,产生元数据610A,并且启动人员606(例如,通过图1的装置102和相机设备104)的跟踪,从而,周期地、间断地、或者基于其它的设置产生元数据。当人员606离开感兴趣区602时,产生元数据610E。当人员606进入感兴趣区604时,产生元数据610H,并且当人员606离开感兴趣区604时,产生元数据610K。以类似的方式,产生元数据610N-610X。
图9还显示另一个运动对象(例如,人员608)。当人员608在感兴趣区604内活动时,产生元数据612A-E。此外,当人员608在感兴趣区602内是活动的时,产生元数据612H-N。运动对象(例如,人员606和人员608)的每个元数据(例如,元数据610A-E、元数据610H-K、元数据610N-X、元数据612A-E和元数据612H-N)包括时间数据(例如,记录时间)和运动对象的位置数据(例如,x、y和Z坐标、高度和经度等)。
然后,基于时间数据和位置数据形成每个运动对象的轨迹。例如,在感兴趣区(例如,602和604)内活动的人员606的轨迹可以基于对应于元数据610A-E、元数据610H-K和元数据610N-X的时间数据和位置数据来形成。同样地,在感兴趣区114内移动的人员608的轨迹可以基于对应于元数据612A-E和元数据612H-N的时间数据和位置数据来形成。
在图10中,当运动对象在感兴趣区内是活动的时,基于运动对象的元数据产生运动对象的视频概要。因此,如在图10中所图示的,虽然两个运动对象的轨迹在不同的时段中形成,但人员606的轨迹(例如,轨迹652、轨迹654和656)和人员608的轨迹(例如,轨迹658和轨迹660)可以同时地或者按照每个感兴趣区显示。虽然图9和10图示基于两个感兴趣区的视频概要的方法,应该理解,三个或三个以上的感兴趣区可以被配置为产生视频概要。
图11图示按照本公开一个实施例的用于产生一个或多个基于感兴趣区的视频概要的示例性方法的处理流程图。在操作702中,使用可通信地耦合到用于产生一个或多个基于感兴趣区的视频概要的装置的相机设备来跟踪在区域中活动的运动对象一持续时间。在一个实施例中,相机设备被配置为产生与运动对象相关联的视频流。在操作704中,由相机设备在该持续时间转发的视频流被转换为运动对象的元数据,并且该元数据被存储在与该装置相关联的存储器中。在操作706中,响应于感兴趣区配置数据的接收,设置用于该区域的一个或多个感兴趣区,这里感兴趣区的每个是该区域的一部分。在操作708中,基于运动对象的元数据,产生在感兴趣区内活动的运动对象的视频概要。在一个示例性实施例中,在显示视频概要期间,当该区由百万像素相机监控或者处理时,感兴趣区可以处于高分辩率,而该区域的剩余部分处于低分辩率。应该理解,在图11中公开的方法可以以实现一组指令的机器可读介质的形式实现,当由机器执行时,使得机器执行在此处公开的任何操作。
所公开的实施例的先前描述被提供以允许任何本领域技术人员执行或者使用本公开。对这些实施例的各种改进对于那些本领域技术人员来说将显而易见,并且在不脱离本公开的精神或者范围的情况下在此处定义的通用原理可以适用于其它的实施例。因此,本公开不意欲限于在此处示出的实施例,而是依照符合在此处公开的原理和特点的最宽范围。
权利要求书(按照条约第19条的修改)
1.一种用于产生基于感兴趣区的视频概要的装置的方法,该方法包括:
响应于用于设置感兴趣区、感兴趣对象和感兴趣时间段的配置数据的接收,对于可通信地耦合到所述装置的相机设备所跟踪的区域设置感兴趣区(ROI)、感兴趣对象和感兴趣时间段,其中,所述感兴趣区是所述区域的一部分;
将由所述相机设备转发的视频流转换为在所述感兴趣时间段期间在所述感兴趣区内移动的所述感兴趣对象的时间数据和位置数据;以及
基于所述时间数据和所述位置数据,显示在所述感兴趣时间段期间在所述感兴趣区内移动的所述感兴趣对象的轨迹。
2.根据权利要求1所述的方法,其中,设置感兴趣区包括响应于用于设置所述感兴趣区的配置数据的接收,将所述区域内的多边形指定为所述感兴趣区。
3.根据权利要求1所述的方法,其中,所述多边形包括矩形。
4.根据权利要求1所述的方法,其中,设置感兴趣区包括响应于用于设置所述感兴趣区的配置数据的接收,指定由在所述区域上绘制的线所形成的所述区域的两个区之一。
5.根据权利要求1所述的方法,进一步包括:屏蔽所述视频流的一部分,所述视频流的一部分不是轨迹的一部分。
6.一种用于产生基于感兴趣区的视频概要的装置的方法,该方法包括:
使用可通信地耦合到所述装置的相机设备来跟踪区域中的每个运动对象一持续时间,其中所述相机设备被配置为产生与每个运动对象相关联的视频流;
将在所述持续时间期间由所述相机设备转发的视频流转换为每个运动对象的时间数据和位置数据,其中所述时间数据和所述位置数据被存储在与所述装置相关联的存储器中;
响应于用于设置至少一个感兴趣区、至少一个感兴趣对象和感兴趣时间段的配置数据的接收,对于所述区域设置至少一个感兴趣区、至少一个感兴趣对象和感兴趣时间段,其中所述至少一个感兴趣区中的每一个是所述区域的一部分;和
基于所述时间数据和所述位置数据,显示在所述感兴趣时间段期间在所述至少一个感兴趣区内移动的所述至少一个感兴趣对象中的每一个的轨迹。
7.根据权利要求6所述的方法,其中设置至少一个感兴趣区包括响应于用于设置至少一个感兴趣区的配置数据的接收,将所述区域内的多边形指定为所述至少一个感兴趣区中的每一个。
8.根据权利要求7所述的方法,其中多边形包括矩形。
9.根据权利要求6所述的方法,其中所述至少一个感兴趣区包括单个感兴趣区。
10.根据权利要求6所述的方法,其中所述至少一个感兴趣区包括至少两个感兴趣区。
11.一种用于产生基于感兴趣区的视频概要的装置,该装置包括:
存储器;和
处理器,所述处理器耦合到所述存储器,并且被配置为:
响应于用于设置感兴趣区、感兴趣对象和感兴趣时间段的配置数据的接收,对于被监控的区域设置感兴趣区(ROI)、感兴趣对象和感兴趣时间段,其中所述感兴趣区是所述区域的一部分;
对与在所述感兴趣区内活动的感兴趣对象相关联的视频流进行接收并且转换为在所述感兴趣时间段期间的所述感兴趣对象的时间数据和位置数据;和
基于所述时间数据和所述位置数据,显示在所述感兴趣时间段期间在所述感兴趣区内移动的所述感兴趣对象的轨迹。
12.根据权利要求11所述的装置,其中,与所述处理器可通信地耦合的相机设备转发与所述感兴趣对象相关联的视频流。
13.根据权利要求11所述的装置,其中,在与所述处理器耦合的显示模块上显示所述感兴趣对象的轨迹。

Claims (20)

1.一种用于产生基于感兴趣区的视频概要的装置的方法,该方法包括:
响应于感兴趣区配置数据的接收,对于可通信地耦合到所述装置的相机设备所跟踪的区域设置感兴趣区(ROI),其中所述感兴趣区是所述区域的一部分;
将运动对象在所述感兴趣区内是活动的时由所述相机设备转发的视频流转换为所述运动对象的元数据;和
基于所述运动对象的元数据,当所述运动对象在感兴趣区内是活动的时,产生所述运动对象的视频概要,其中所述运动对象的视频概要是在所述感兴趣区内活动的运动对象的简短摘要。
2.根据权利要求1所述的方法,其中,产生视频概要包括在可通信地耦合到服务器的显示设备上显示所述视频概要。
3.根据权利要求1所述的方法,其中,设置感兴趣区包括响应于用于形成所述的感兴趣区的感兴趣区配置数据的接收,将所述区域内的多边形指定为感兴趣区。
4.根据权利要求1所述的方法,其中,所述多边形包括矩形。
5.根据权利要求1所述的方法,其中设置感兴趣区包括响应于用于形成所述的感兴趣区的感兴趣区配置数据的接收,指定由在所述区域上绘制的线所形成的所述区域的两个区之一。
6.根据权利要求1所述的方法,其中,所述运动对象的元数据包括所述运动对象的时间数据和所述运动对象的位置数据。
7.根据权利要求6所述的方法,进一步包括:
基于所述时间数据和所述位置数据形成所述运动对象的轨迹。
8.根据权利要求1的方法,其中,设置感兴趣区进一步包括屏蔽排除所述感兴趣区之外的所述区域的剩余部分。
9.一种用于产生基于感兴趣区的视频概要的装置的方法,该方法包括:
使用可通信地耦合到所述装置的相机设备来跟踪区域中的运动对象一持续时间,其中所述相机设备被配置为产生与所述运动对象相关联的视频流;
将在所述持续时间期间由所述相机设备转发的视频流转换为所述运动对象的元数据,其中所述元数据被存储在与所述装置相关联的存储器中;
响应于感兴趣区配置数据的接收,对于所述区域设置至少一个感兴趣区,其中所述至少一个感兴趣区中的每一个是所述区域的一部分;以及
基于所述运动对象的元数据,当所述运动对象在所述至少一个感兴趣区内是活动的时,产生所述运动对象的视频概要,其中所述运动对象的视频概要是在所述至少一个感兴趣区内活动的运动对象的简短摘要。
10.根据权利要求9的方法,其中,产生视频概要包括在与所述服务器可通信地耦合的显示设备上显示所述视频概要。
11.根据权利要求9的方法,其中,设置至少一个感兴趣区包括响应于用于形成所述的至少一个感兴趣区的感兴趣区配置数据的接收,将所述区域内的多边形指定为所述至少一个感兴趣区中的每一个。
12.根据权利要求9的方法,其中,所述多边形包括矩形。
13.根据权利要求9的方法,其中,所述运动对象的元数据包括所述运动对象的时间数据。
14.根据权利要求13的方法,其中,所述运动对象的元数据进一步包括所述运动对象的位置数据。
15.根据权利要求14的方法,进一步包括基于所述时间数据和所述位置数据形成所述运动对象的轨迹。
16.根据权利要求9的方法,其中,所述至少一个感兴趣区包括单个感兴趣区。
17.根据权利要求9的方法,其中,所述至少一个感兴趣区包括至少两个感兴趣区。
18.一种用于产生基于感兴趣区的视频概要的装置,所述装置包括:
存储器;和
处理器,所述处理器耦合到所述存储器,并且被配置为:
响应于感兴趣区配置数据的接收,对于被监控的区域设置感兴趣区(ROI),其中所述感兴趣区是所述区域的一部分;
对与在所述感兴趣区内活动的运动对象相关联的视频流进行接收并且转换为所述运动对象的元数据;以及
基于所述运动对象的元数据产生在所述感兴趣区内活动的运动对象的视频概要,其中所述运动对象的视频概要是在所述感兴趣区内活动的运动对象的简短摘要。
19.根据权利要求18的装置,其中,与所述处理器可通信地耦合的相机设备转发与所述运动对象相关联的视频流。
20.根据权利要求18的装置,其中,在与所述处理器耦合的显示模块上显示所述视频概要。
CN201080068516XA 2010-08-10 2010-08-10 基于感兴趣区的视频概要 Pending CN103069457A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2010/005242 WO2012020856A1 (en) 2010-08-10 2010-08-10 Region of interest based video synopsis

Publications (1)

Publication Number Publication Date
CN103069457A true CN103069457A (zh) 2013-04-24

Family

ID=45564564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080068516XA Pending CN103069457A (zh) 2010-08-10 2010-08-10 基于感兴趣区的视频概要

Country Status (4)

Country Link
US (1) US9269245B2 (zh)
EP (1) EP2580738A4 (zh)
CN (1) CN103069457A (zh)
WO (1) WO2012020856A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104167116A (zh) * 2014-07-15 2014-11-26 苏州阔地网络科技有限公司 一种多运动对象画面切换控制方法及***
CN105323657A (zh) * 2014-07-07 2016-02-10 韩华泰科株式会社 提供视频摘要的成像设备和方法
CN105323656A (zh) * 2014-07-18 2016-02-10 韩华泰科株式会社 成像设备和提供成像信息的方法
CN108702551A (zh) * 2016-02-19 2018-10-23 三星电子株式会社 用于提供视频的概要信息的方法和装置
CN109429063A (zh) * 2017-08-29 2019-03-05 三星电子株式会社 视频编码装置
CN109660712A (zh) * 2017-10-10 2019-04-19 佳能株式会社 选择视频序列的帧的方法、***和装置
CN110933455A (zh) * 2019-12-16 2020-03-27 云粒智慧科技有限公司 一种视频筛选方法、装置、电子设备及存储介质
CN111066318A (zh) * 2017-09-15 2020-04-24 三菱电机株式会社 监视支援装置和监视支援***
CN111107272A (zh) * 2020-01-02 2020-05-05 广州高博软件科技有限公司 多媒体视频流总结***及流程

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10271017B2 (en) * 2012-09-13 2019-04-23 General Electric Company System and method for generating an activity summary of a person
AU2010257454B2 (en) * 2010-12-24 2014-03-06 Canon Kabushiki Kaisha Summary view of video objects sharing common attributes
US10474921B2 (en) * 2013-06-14 2019-11-12 Qualcomm Incorporated Tracker assisted image capture
EP2835792B1 (en) * 2013-08-07 2016-10-05 Axis AB Method and system for selecting position and orientation for a monitoring camera
FR3018416B1 (fr) * 2014-03-04 2017-06-23 Thales Sa Procede et systeme de supervision, notamment applique a la videosurveillance
CN104268563B (zh) * 2014-09-15 2017-05-17 合肥工业大学 一种基于异常行为检测的视频摘要方法
JP5988225B2 (ja) * 2015-02-25 2016-09-07 パナソニックIpマネジメント株式会社 モニタリング装置およびモニタリング方法
US10218883B2 (en) 2015-07-07 2019-02-26 The Board Of Regents Of The University Of Texas System Digital imaging and analysis system
US10169659B1 (en) * 2015-09-24 2019-01-01 Amazon Technologies, Inc. Video summarization using selected characteristics
US10049279B2 (en) 2016-03-11 2018-08-14 Qualcomm Incorporated Recurrent networks with motion-based attention for video understanding
US11197040B2 (en) * 2016-10-17 2021-12-07 Mediatek Inc. Deriving and signaling a region or viewport in streaming media
TWI604323B (zh) 2016-11-10 2017-11-01 財團法人工業技術研究院 視訊索引建立方法及應用其之裝置
US10825481B2 (en) 2018-05-16 2020-11-03 At&T Intellectual Property I, L.P. Video curation service for personal streaming
TWI681166B (zh) * 2018-12-05 2020-01-01 晶睿通訊股份有限公司 資訊量測方法及資訊量測系統

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070121015A1 (en) * 2005-11-30 2007-05-31 Thomson Licensing Method of emendation for attention trajectory in video content analysis
JP2007329788A (ja) * 2006-06-09 2007-12-20 Matsushita Electric Ind Co Ltd 画像符号化装置
US20100013931A1 (en) * 2008-07-16 2010-01-21 Verint Systems Inc. System and method for capturing, storing, analyzing and displaying data relating to the movements of objects

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7319479B1 (en) * 2000-09-22 2008-01-15 Brickstream Corporation System and method for multi-camera linking and analysis
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US6950123B2 (en) * 2002-03-22 2005-09-27 Intel Corporation Method for simultaneous visual tracking of multiple bodies in a closed structured environment
US20050073585A1 (en) * 2003-09-19 2005-04-07 Alphatech, Inc. Tracking systems and methods
EP1769637A2 (en) * 2004-07-09 2007-04-04 Emitall Surveillance S.A. Smart video surveillance system ensuring privacy
US7714878B2 (en) * 2004-08-09 2010-05-11 Nice Systems, Ltd. Apparatus and method for multimedia content based manipulation
US20060066719A1 (en) * 2004-09-24 2006-03-30 Objectvideo, Inc. Method for finding paths in video
US7760908B2 (en) * 2005-03-31 2010-07-20 Honeywell International Inc. Event packaged video sequence
US20060242186A1 (en) * 2005-04-26 2006-10-26 Hurley Thomas J Thermal signature intensity alarmer system and method for processing thermal signature
US7623677B2 (en) * 2005-06-17 2009-11-24 Fuji Xerox Co., Ltd. Methods and interfaces for visualizing activity across video frames in an action keyframe
US20100103175A1 (en) * 2006-10-25 2010-04-29 Tokyo Institute Of Technology Method for generating a high-resolution virtual-focal-plane image
US9269244B2 (en) * 2007-03-06 2016-02-23 Verint Systems Inc. Event detection based on video metadata
US20080232688A1 (en) * 2007-03-20 2008-09-25 Senior Andrew W Event detection in visual surveillance systems
US8107677B2 (en) * 2008-02-20 2012-01-31 International Business Machines Corporation Measuring a cohort'S velocity, acceleration and direction using digital video
US8417035B2 (en) * 2008-12-12 2013-04-09 International Business Machines Corporation Generating cohorts based on attributes of objects identified using video input

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070121015A1 (en) * 2005-11-30 2007-05-31 Thomson Licensing Method of emendation for attention trajectory in video content analysis
JP2007329788A (ja) * 2006-06-09 2007-12-20 Matsushita Electric Ind Co Ltd 画像符号化装置
US20100013931A1 (en) * 2008-07-16 2010-01-21 Verint Systems Inc. System and method for capturing, storing, analyzing and displaying data relating to the movements of objects

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105323657A (zh) * 2014-07-07 2016-02-10 韩华泰科株式会社 提供视频摘要的成像设备和方法
CN105323657B (zh) * 2014-07-07 2021-03-16 韩华泰科株式会社 提供视频摘要的成像设备和方法
CN104167116A (zh) * 2014-07-15 2014-11-26 苏州阔地网络科技有限公司 一种多运动对象画面切换控制方法及***
CN105323656B (zh) * 2014-07-18 2019-09-03 韩华泰科株式会社 成像设备和提供成像信息的方法
CN105323656A (zh) * 2014-07-18 2016-02-10 韩华泰科株式会社 成像设备和提供成像信息的方法
CN108702551A (zh) * 2016-02-19 2018-10-23 三星电子株式会社 用于提供视频的概要信息的方法和装置
CN108702551B (zh) * 2016-02-19 2021-09-21 三星电子株式会社 用于提供视频的概要信息的方法和装置
CN109429063A (zh) * 2017-08-29 2019-03-05 三星电子株式会社 视频编码装置
CN111066318A (zh) * 2017-09-15 2020-04-24 三菱电机株式会社 监视支援装置和监视支援***
CN109660712A (zh) * 2017-10-10 2019-04-19 佳能株式会社 选择视频序列的帧的方法、***和装置
CN110933455A (zh) * 2019-12-16 2020-03-27 云粒智慧科技有限公司 一种视频筛选方法、装置、电子设备及存储介质
CN110933455B (zh) * 2019-12-16 2023-03-14 云粒智慧科技有限公司 一种视频筛选方法、装置、电子设备及存储介质
CN111107272A (zh) * 2020-01-02 2020-05-05 广州高博软件科技有限公司 多媒体视频流总结***及流程

Also Published As

Publication number Publication date
US20120038766A1 (en) 2012-02-16
WO2012020856A1 (en) 2012-02-16
EP2580738A4 (en) 2018-01-03
US9269245B2 (en) 2016-02-23
EP2580738A1 (en) 2013-04-17

Similar Documents

Publication Publication Date Title
CN103069457A (zh) 基于感兴趣区的视频概要
US20210142070A1 (en) Automatic extraction of secondary video streams
Mehmood et al. Saliency-directed prioritization of visual data in wireless surveillance networks
US10937290B2 (en) Protection of privacy in video monitoring systems
US10602080B2 (en) Flow line analysis system and flow line analysis method
US9704393B2 (en) Integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and/or optimized utilization of various sensory inputs
Li et al. Movemine: Mining moving object databases
Porikli et al. Video surveillance: past, present, and now the future [DSP Forum]
CN103839308B (zh) 人数获取方法、装置及***
Prati et al. Intelligent video surveillance as a service
US10514837B1 (en) Systems and methods for security data analysis and display
US20210243388A1 (en) Optimized video review using motion recap images
CN104718749A (zh) 图像处理***、图像处理方法及程序
JP6799779B2 (ja) 監視映像解析システム及び監視映像解析方法
Jones et al. Video-based surveillance systems: computer vision and distributed processing
Cormier et al. Where are we with human pose estimation in real-world surveillance?
CN102081810A (zh) 户外媒体远程监测方法和***
Zhang et al. On the design and implementation of a high definition multi-view intelligent video surveillance system
CN110291516A (zh) 信息处理设备、信息处理方法和程序
CN101325727B (zh) 使用3d几何学的数字视频扫描***和方法
JP2019008474A (ja) 監視支援システム及び監視支援方法
Senst et al. On building decentralized wide-area surveillance networks based on ONVIF
CN106162091A (zh) 一种视频监控方法及装置
Schneiderman Trends in video surveillance give dsp an apps boost [special reports]
CN111294732A (zh) 视频追踪方法和***、存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20130424