CN109905660B - 搜寻视讯事件的方法、装置、以及计算机可读取存储介质 - Google Patents

搜寻视讯事件的方法、装置、以及计算机可读取存储介质 Download PDF

Info

Publication number
CN109905660B
CN109905660B CN201711415258.8A CN201711415258A CN109905660B CN 109905660 B CN109905660 B CN 109905660B CN 201711415258 A CN201711415258 A CN 201711415258A CN 109905660 B CN109905660 B CN 109905660B
Authority
CN
China
Prior art keywords
video
pixel
pixel difference
metafile
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711415258.8A
Other languages
English (en)
Other versions
CN109905660A (zh
Inventor
李国徵
高咏证
高譓翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN109905660A publication Critical patent/CN109905660A/zh
Application granted granted Critical
Publication of CN109905660B publication Critical patent/CN109905660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种搜寻视讯事件的方法、装置及计算机可读取存储介质，搜寻视讯事件方法包括下列步骤：撷取视讯；取得对应于视讯的多个像素；通过比对视讯内相邻的影像讯框，计算各像素的像素差值异动信息；将视讯分段为多个时间区段；于各时间区段内，根据各像素的像素差值异动数据，决定各像素的像素差值代表值；产生元文件，元文件记录于各时间区段内各像素的像素差值代表值；以及根据元文件搜寻视讯的事件。

Description

搜寻视讯事件的方法、装置、以及计算机可读取存储介质
技术领域
本发明是有关于一种视讯处理方法，且特别是有关于一种使用元文件以快速搜寻视讯中事件的方法、装置、以及计算机可读取存储介质。
背景技术
随着科技进步以及使用者的安全性意识提升，近年来视讯监控(videosurveillance)设备已被广泛使用，例如包括网络摄影机(IP camera)、数字视频录像机(digital video recorder，DVR)、网络视讯录像机(network video recorder，NVR)，这些设备可以录下监控区域的视讯。而当用户需要调阅已录制的视讯以寻找特定事件时，往往需要大量人力与时间进行检索庞大的监控视讯录像内容以找出相关线索，因此有需要提出一种快速搜寻视讯事件(event)的方法。
发明内容
本发明有关于一种搜寻视讯事件的方法、装置、及计算机可读取存储介质，通过使用元文件，能够快速找出视讯中用户感兴趣的事件。
根据本发明的一实施例，提出一种搜寻视讯事件的方法，包括下列步骤：撷取视讯；取得对应于视讯的多个像素；通过比对视讯内相邻的影像讯框，计算各像素的像素差值异动信息；将视讯分段为多个时间区段；于各时间区段内，根据各像素的像素差值异动数据，决定各像素的像素差值代表值；产生元文件，元文件记录于各时间区段内各像素的像素差值代表值；以及根据元文件搜寻视讯的事件。
根据本发明的另一实施例，提出一种搜寻视讯事件的装置，包括影像撷取单元、数据转换单元、差值计算单元、代表值计算单元、档案输出单元、以及事件搜寻单元。影像撷取单元用以撷取视讯。数据转换单元用以取得对应于视讯的多个像素。差值计算单元用以比对视讯内相邻的影像讯框，以计算各像素的像素差值异动信息。代表值计算单元用以将视讯分段为多个时间区段，并且于各时间区段内，根据各像素的像素差值异动信息决定各像素的像素差值代表值。档案输出单元用以产生元文件，元文件记录于各时间区段内各像素的像素差值代表值。事件搜寻单元用以根据元文件搜寻视讯的事件。
根据本发明的再另一实施例，提出一种内储程序的计算机可读取存储介质，在计算机执行该程序时执行下列步骤：撷取视讯；取得对应于视讯的多个像素；通过比对视讯内相邻的影像讯框，计算各像素的像素差值异动信息；将视讯分段为多个时间区段；于各时间区段内，根据各像素的像素差值异动数据，决定各像素的像素差值代表值；产生元文件，元文件记录于各时间区段内各像素的像素差值代表值；以及根据元文件搜寻视讯的事件。
为了对本发明的上述及其他方面有更佳的了解，下文特举实施例，并配合所附图式详细说明如下：
附图说明
图1绘示依照本发明一实施例的搜寻视讯事件方法流程图。
图2绘示依照本发明一实施例的搜寻视讯事件装置示意图。
图3绘示依照本发明一实施例对视讯降级取样的示意图。
图4A绘示依照本发明一实施例的输入撷取影像示意图。
图4B绘示依照本发明一实施例的像素差值影像示意图。
图4C绘示依照本发明一实施例的像素差值代表值影像示意图。
图5绘示依照本发明一实施例的元文件示意图。
图6绘示依照本发明一实施例的根据元文件以及搜寻参数以搜寻视讯事件的方法流程图。
2：搜寻视讯事件的装置
40：元文件
200：影像撷取单元
210：数据转换单元
220：差值计算单元
240：代表值计算单元
250：档案输出单元
260：事件搜寻单元
311：原始影像
312：降级影像
321：输入撷取影像
331：像素差值影像
341：像素差值代表值影像
400、402、404、406、408：字段
S100、S110、S120、S130、S140、S150、S160、S161、S162、S163、S164、S165、S165、S166、S167：步骤
具体实施方式
当要搜寻视讯中的事件时，移动侦测(motion detection)为视讯监控经常使用的影像分析功能，移动侦测可通过侦测画面异动以找出事件。移动侦测有两项基本步骤：像素差值(pixel difference)及事件判断，前者可侦测出各像素于不同影像讯框(imageframe)之间的差异，后者可统计画面的总差异量以判定是否为异动画面，或可决定是否触发警示，而此两项步骤可能需事先设定参数(例如临界值)。
调阅监视画面时大多数情况都是因为事件已发生，即已知可能的时段、事件的地点，例如车辆遭窃的时间与车辆停放地点已知，然有可能因无法预知事件的地点，以致事件过滤耗费大量时间观看无关的异动画面。例如在车流量高的路口，使用者只关心停车格的区域，但当调阅视讯中的事件时，却看到马路上大量无关的异动画面。
另一种搜寻事件作法为事后分析，对于录制的视讯先不做实时的移动侦测，而将视频压缩储存。在设定搜寻参数之后，再读取压缩影片、译码并进行分析过滤，以筛选相关于搜寻参数的异动画面。此作法可能需要对影片译码再进行分析，因而耗费大量运算时间。
前述的第一种实时移动侦测方法可能需事先设定参数，耗费时间观看无关的异动区域画面；前述的第二种事后分析方法，于储存影片之后设定参数，再进行影像译码则耗费运算时间。为了能够快速过滤大量影片，本发明提出一种搜寻视讯事件的方法及装置。
图1绘示依照本发明一实施例的搜寻视讯事件方法流程图，方法包括下列步骤。步骤S100：撷取视讯。步骤S110：取得对应于视讯的多个像素。步骤S120：通过比对视讯内相邻的影像讯框，计算各像素的像素差值异动信息。步骤S130：将视讯分段为多个时间区段。步骤S140：于各时间区段内，根据各像素的像素差值异动数据，决定各像素的像素差值代表值。步骤S150：产生元文件，元文件记录于各时间区段内各像素的像素差值代表值。步骤S160：根据元文件搜寻视讯的事件。
图1所示的方法流程可区分为元文件(metadata)产生(步骤S100～步骤S150)以及事件搜寻(步骤S160)两项程序。在一实施例中，图1所示方法可被实施为软件程序，此程序可储存于计算机可读取存储介质，例如硬盘、光盘、随身碟、内存，在计算机执行程序时可执行如图1所示的方法。以下更搭配图2说明各步骤。
图2绘示依照本发明一实施例的搜寻视讯事件装置示意图。搜寻视讯事件的装置2包括影像撷取单元200、数据转换单元210、差值计算单元220、代表值计算单元240、档案输出单元250、以及事件搜寻单元260。影像撷取单元200用以撷取视讯(步骤S100)。数据转换单元210用以取得对应于视讯的多个像素(步骤S110)。差值计算单元220用以比对视讯内相邻的影像讯框，以计算各像素的像素差值异动数据(步骤S120)。代表值计算单元240用以将视讯分段为多个时间区段，并且于各时间区段内，根据各像素的像素差值异动信息决定各像素的像素差值代表值(步骤S130及步骤S140)。档案输出单元250用以产生元文件，元文件记录于各时间区段内各像素的像素差值代表值(步骤S150)。事件搜寻单元260用以根据元文件搜寻视讯的事件(步骤S160)。
搜寻视讯事件的装置2例如是网络摄影机、DVR、NVR等等视讯监控设备。影像撷取单元200可包括至少一镜头(1ens)及影像传感器(image sensor)。数据转换单元210、差值计算单元220、代表值计算单元240、档案输出单元250、以及事件搜寻单元260可以个别被实施为软件单元或硬件单元，亦可以部分单元合并以软件实施、部分单元合并以硬件实施。以软件实施的单元，例如可被微处理器加载而执行对应的功能。以硬件实施的单元，例如可被实施为微控制单元(microcontroller)、微处理器(microprocessor)、数字信号处理器(digital signal processor)、特殊应用集成电路(application specific integratedcircuit，ASIC)、数字逻辑电路、模拟电路、或现场可程序逻辑门阵列(field programmablegate array，FPGA)。事件搜寻单元260可读取档案输出单元250产生的元文件而执行事件搜寻，因此在一实施例中，事件搜寻单元260可以独立于其余单元设置，例如将影像撷取单元200、数据转换单元210、差值计算单元220、代表值计算单元240、档案输出单元250整合于单一硬设备，将事件搜寻单元260实作于另一电路芯片或设备。
于步骤S100由影像撷取单元200撷取视讯后，步骤S110可取得对应于视讯的多个像素。举例而言，视讯的分辨率是720P(1280×720)，步骤S110可以取得对应的1280×720个像素，若视讯为灰阶影像，各个像素可包括1个灰阶值，灰阶值范围例如为0～255；若视讯为彩色影像，各个像素可包括RGB或YUV的3个数值。根据这些数值可执行步骤S120的像素差值计算。
在一实施例中，步骤S110还可包括对视讯降级取样(downscaling)以取得多个像素，数据转换单元210可通过降级取样，减少运算过程中所需要像素值数据数量，以降低步骤S120的运算时间。例如对于720P(1280×720)的视讯做降级倍率为16的降级取样，则可以得到80×45个像素。
图3绘示依照本发明一实施例对视讯降级取样的示意图。步骤S100撷取得到原始影像311，经步骤S110降级取样后可得到降级影像312。其中s代表降级倍率，pt为原始影像311于时间点t的一像素，其所在坐标为
Figure BDA0001520071920000063
该像素经由降级后对应至降级影像312的像素qt，其坐标为(x，y)。在以下的式子中将使用L(p)代表像素p的灰阶值。
在一实施例中，步骤S110可以使用平均灰阶值降级取样，计算式子如下：
Figure BDA0001520071920000061
在另一实施例中，步骤S110可以使用跳点降级取样，计算式子如下：L(qt)＝L(pt)，其中
Figure BDA0001520071920000062
在又另一实施例中，步骤S110亦可采用内插(interpolation)降级取样方式。而以上所述的多种降级取样运算亦可适用于色彩值，其中降级倍率s取决于输入影像大小及所需侦测精准度等因素。
步骤S110所使用的降级运算方式以及降级倍率并不限定，可视硬件资源、运算时间、准确度需求而决定。此外，由于一些网络摄影机可以具有不同影像分辨率的第二视讯。因此在一实施例中，步骤S110可包括取得第二视讯，以及自第二视讯取得多个像素。步骤S110的第二视讯可以是与步骤S100的视讯同时撷取，且第二视讯的影像分辨率低于步骤S100所撷取视讯的影像分辨率。在此实施例中，由于可以直接取得低分辨率影像，不需执行降级运算，更可减少运算时间。
步骤S120计算像素差值，计算方式可使用时间差值法(temporal differencing)、背景相减法(background subtraction)、或光流法(optical flow)。以时间差值法为例，可通过比对视讯内时间相邻的影像讯框，将当前影像讯框与前一张影像讯框的像素值相减，以计算各像素的像素差值。以步骤S110有执行降级取样为例，可以使用以下计算式子：D(qt)＝|L(qt)-L(qt-δ)|，其中D(qt)代表降级影像上像素qt于时间点t的像素差值，δ表示相邻影像讯框之间的时间差，若以讯框率30fps(frames per second)的视讯为例，则δ为1/30秒。
步骤S120可计算像素差值异动数据，像素差值异动数据可记录各像素的像素差值随着时间的变化情形，例如记录像素p在各个时间点t、t+δ、t+2δ、t+3δ、t+4δ...的像素差值。
步骤S130将视讯分段为多个时间区段，各时间区段的长度可以是一预先设定的数值，例如以1秒作为时间区段的长度，对于30fps的视讯，每一个时间区段具有30个影像讯框。
步骤S140可计算像素在每一个时间区段的像素差值代表值(representativevalue)。承接上例，每一个时间区段具有30个影像讯框，因此步骤S120会计算得到30个像素差值。步骤S140可根据这30个像素差值，决定于这个时间区段的像素差值代表值。通过步骤S140的计算像素差值代表值，可以有效降低信息量，以节省元文件所需的储存空间。举例而言，各像素的差值范围介于0～255，单一像素需8位储存像素差值，若是使用分辨率为90×60的降级影像，每一张降级影像的像素差值需5,400字节(Bytes)储存空间，储存全天24小时讯框率为30fps的视讯约需要14GB的空间。在执行步骤S140之后，于每一个时间区段(1秒)决定一个像素代表值，则储存全天的视讯仅需约466MB的空间。
在一实施例中，步骤S140包括于各时间区段内，以各像素的像素差值异动信息的最大值作为像素差值代表值。举例而言，可以使用以下计算式子：
Figure BDA0001520071920000071
其中R(qt)为像素qt于时间区段的代表值，NGOP代表时间区段内的影像讯框数量，前述例子时间区段为1秒、讯框率为30fps，则NGOP＝30；若时间区段为0.5秒、讯框率为24fps，则NGOP＝12。
像素差值异动数据记录了像素p在各个时间点t、t+δ、t+2δ、t+3δ、t+4δ...的像素差值，步骤S140可计算在每个时间区段内像素差值的最大值，作为各时间区段内的像素差值代表值。于软件实作或电路实作中，步骤S120可以仅需储存一个时间区段内的像素差值异动信息，步骤S140可根据这个时间区段内的像素差值异动数据计算得到这个时间区段的像素差值代表值。当视讯进入下一个时间区段后，步骤S120即可储存下一个时间区段内的像素差值异动信息。
图4A绘示依照本发明一实施例的输入撷取影像示意图。输入撷取影像321包括行人、移动的机车、路边停放的汽车。经过步骤S120可计算得到像素差值，各像素的像素差值可以使用灰阶图形式储存。图4B绘示依照本发明一实施例的像素差值影像示意图，此图为一个时间点的像素差值影像331示意图。行人由画面的左边向右边行走，因此在像素差值影像331中可以见到两个行人轮廓(一个对应于前一个影像讯框，一个对应于当前影像讯框)。
接着，步骤S140可根据一个时间区段内的多张如图4B所示的像素差值影像331，计算得到这个时间区段内的一张像素差值代表值影像341，计算方式例如为计算这个时间区段内各像素的像素差值最大值。图4C绘示依照本发明一实施例的像素差值代表值影像341示意图，由于是取各像素的像素差值最大值，因此在像素差值代表值影像341中可以见到多个行人轮廓。像素差值代表值影像341可视为在一个时间区段内，多张像素差值影像331的联集。
步骤S150可将步骤S140计算得到的像素差值代表值写入一个元文件40，图5绘示依照本发明一实施例的元文件40示意图。元文件40可包括多个字段400、402、404、406、408，其中字段400为文件头，可记载影像大小、影像起始时间等信息。字段402、404、406、408则依序记载每一个时间区段的像素差值代表值{R1(q)}、{R2(q)}、{R3(q)}、{R4(q)}，以字段402的{R1(q)}为例，内容可以包括于第1个时间区段，依序从影像最左上方到影像最右下方各像素的像素差值代表值。
步骤S160可根据步骤S150产生的元文件搜寻视讯事件。图6绘示依照本发明一实施例的根据元文件以及搜寻参数以搜寻视讯事件的方法流程图。在此实施例中，步骤S160可包括步骤S161～步骤S167。
步骤S161：接收搜寻参数，搜寻参数可相关于用户对于这个视讯感兴趣的时间、影像区域、以及事件侦测的灵敏度。举例而言，搜寻参数包括以下至少其中之一：观察时段、感兴趣影像区域(region of interest，ROI)、以及临界值。用户可以通过屏幕上显示的用户接口输入搜寻参数。举例而言，于屏幕上可将影像画面切割成多个矩形，使用者可以选择一或多个矩形作为ROI(例如以手指进行点选)，或者用户可以在屏幕上绘示出多边形区域的ROI(例如以鼠标操作)。临界值为相关于事件侦测灵敏度(sensitivity)的参数。
步骤S162：读取元文件40于时间t的数据，即读入像素差值代表值信息。在一实施例中，取得元文件40内对应于搜寻参数的各像素的像素差值代表值，据以搜寻视讯中的事件。步骤S163：判断是否超出搜寻范围，若是目前时间已经超出了使用者输入的观察时段，则可结束步骤S160。若目前时间还没超出观察时段，则进入步骤S164进行移动事件搜寻，步骤S165判断是否存在事件。在一实施例中，步骤S165可包括判断像素位置是否有落在用户于步骤S161所输入的ROI内，以及可包括当判断元文件40内的第一像素差值代表值大于临界值(此临界值可以是使用者于步骤S161输入的搜寻参数)时，决定第一像素差值代表值对应的时间及像素位置(若有位在使用者输入的ROI内)有事件发生。当步骤S165判断有事件时，则可以进入步骤S166取得时间t的视讯片段，接着进入步骤S167前进一个时间区段(此例中为1秒，故t＝t+1)。当步骤S165判断没有事件时，则可以直接进入步骤S167到下一个时间区段。
如上所述，在一实施例中，步骤S160的搜寻事件是读取元文件数据以及执行一些逻辑判断运算，无需进行影像译码，因此可以快速取得相关于事件的视讯片段。此外，由于步骤S160是根据元文件执行事件搜寻，如图6所示的流程，可以在产生元文件(步骤S150)之后，使用者再决定搜寻参数(步骤S161)。因此，用户不需要事先决定对影像的哪一块区域感兴趣，也不需要先决定事件侦测的灵敏度，档案输出单元250可以产生一个通用的元文件40，可适用于各种不同搜寻参数，以此方式可大幅提高搜寻事件的使用弹性。举例而言，有一名用户X对于影像左下方的机车停车格较为关注，另一名用户Y对于影像右上方的汽车停车格较为关注，则于撷取影像时无需事先做设定，使用者X与使用者Y可使用相同的元文件40找到自己关注的事件。又例如使用者Z调阅影片时没看到想找的重要视讯片段，则可以尝试改变输入的临界值，对于相同的元文件40进行事件搜寻，即有机会能够取得不同的视讯片段。
在一实施例中，搜寻视讯事件的装置2还可包括视讯播放单元，视讯播放单元例如包括显示屏幕、显示驱动电路、以及译码器。视讯播放单元可根据步骤S166的执行结果以取得视讯中的至少一事件影像片段，所取得的一或多个事件影像片段可能在时间上为连续或不连续，视讯播放单元可以仅播放视讯中的至少一事件影像片段，亦即可以使用跳播视讯的方式，于播放时略过不存在事件的影像片段，如此能够降低用户调阅视讯时的观看时间，更能快速找到使用者所关注的事件。
根据本发明实施例的搜寻视讯事件方法与装置，通过使用元文件进行事件搜寻，能够快速取得相关于事件的视讯片段，并可通过计算像素差值代表值以降低元文件所需的储存空间，亦可选择性地执行影像降级以减少所需的运算时间。由于本发明实施例的方法与装置具有低运算量、低储存空间需求、快速搜寻等特性，不需使用大量的硬件电路，因此适合用于嵌入式***，例如网络摄影机。此外，根据元文件执行事件搜寻，易于变更搜寻参数，可使得视讯事件搜寻更具有使用弹性，提高实用程度。随着目前生活中监视画面不断扩充、视讯分辨率不断提升，本发明实施例所提出快速且具弹性的事件搜寻方法，可广泛应用于例如警政治安及居家监控等场景。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (21)

1.一种搜寻视讯事件的方法，包括：
撷取视讯；
取得对应于该视讯的多个像素；
通过比对该视讯内时间相邻的图像帧，计算各该像素的像素差值异动数据；
将该视讯分段为多个时间区段；
于各该时间区段内，根据各该像素的该像素差值异动数据，决定各该像素的像素差值代表值；
产生元文件，该元文件记录于各该时间区段内各该像素的该像素差值代表值；以及
根据该元文件搜寻该视讯的事件；
其中于各该时间区段内决定该像素差值代表值的步骤包括：
于各该时间区段内，以各该像素的该像素差值异动数据的最大值作为该像素差值代表值。
2.根据权利要求1所述的搜寻视讯事件的方法，其中取得对应于该视讯的该多个像素的步骤包括：
对该视讯降级取样以取得该多个像素。
3.根据权利要求1所述的搜寻视讯事件的方法，其中取得对应于该视讯的该多个像素的步骤包括：
取得与该视讯同时撷取的第二视讯，该第二视讯的影像分辨率低于该视讯的影像分辨率；以及
自该第二视讯取得该多个像素。
4.根据权利要求1所述的搜寻视讯事件的方法，其中根据该元文件搜寻该视讯的事件的步骤包括：
接收搜寻参数；
读取该元文件；以及
取得该元文件内对应于该搜寻参数的各该像素的该像素差值代表值，据以搜寻该视讯中的事件。
5.根据权利要求4所述的搜寻视讯事件的方法，其中该搜寻参数包括以下至少其中之一：观察时段、感兴趣影像区域、以及临界值。
6.根据权利要求5所述的搜寻视讯事件的方法，其中搜寻该视讯中的事件的步骤包括：
当判断该元文件内的第一像素差值代表值大于该临界值时，决定该第一像素差值代表值对应的时间及像素位置有事件发生。
7.根据权利要求1所述的搜寻视讯事件的方法，更包括：
取得该视讯中的至少事件影像片段；以及
仅播放该视讯中的该至少事件影像片段。
8.一种搜寻视讯事件的装置，包括：
影像撷取单元，用以撷取视讯；
数据转换单元，用以取得对应于该视讯的多个像素；
差值计算单元，用以比对该视讯内时间相邻的图像帧，以计算各该像素的像素差值异动数据；
代表值计算单元，用以将该视讯分段为多个时间区段，并且于各该时间区段内，根据各该像素的该像素差值异动数据决定各该像素的像素差值代表值；
档案输出单元，用以产生元文件，其中该元文件记录于各该时间区段内各该像素的该像素差值代表值；以及
事件搜寻单元，用以根据该元文件搜寻该视讯的事件；
其中于该代表值计算单元用以于各该时间区段内，以各该像素的该像素差值异动数据的最大值作为该像素差值代表值。
9.根据权利要求8所述的搜寻视讯事件的装置，其中该数据转换单元用以对该视讯降级取样以取得该多个像素。
10.根据权利要求8所述的搜寻视讯事件的装置，其中该数据转换单元用以取得与该视讯同时撷取的第二视讯，并且自该第二视讯取得该多个像素，其中该第二视讯的影像分辨率低于该视讯的影像分辨率。
11.根据权利要求8所述的搜寻视讯事件的装置，其中该事件搜寻单元用以：
接收搜寻参数；
读取该元文件；以及
取得该元文件内对应于该搜寻参数的各该像素的该像素差值代表值，据以搜寻该视讯中的事件。
12.根据权利要求11所述的搜寻视讯事件的装置，其中该搜寻参数包括以下至少其中之一：观察时段、感兴趣影像区域、以及临界值。
13.根据权利要求12所述的搜寻视讯事件的装置，其中该事件搜寻单元用以判断当该元文件内的第一像素差值代表值大于该临界值时，决定该第一像素差值代表值对应的时间及像素位置有事件发生。
14.根据权利要求8所述的搜寻视讯事件的装置，更包括视讯播放单元，用以：
取得该视讯中的至少一事件影像片段；以及
仅播放该视讯中的该至少一事件影像片段。
15.一种内储程序的计算机可读取存储介质，在计算机执行该程序时执行下列步骤：
撷取视讯；
取得对应于该视讯的多个像素；
通过比对该视讯内时间相邻的图像帧，计算各该像素的像素差值异动数据；
将该视讯分段为多个时间区段；
于各该时间区段内，根据各该像素的该像素差值异动数据，决定各该像素的像素差值代表值；
产生元文件，该元文件记录于各该时间区段内各该像素的该像素差值代表值；以及
根据该元文件搜寻该视讯的事件；
其中于各该时间区段内决定该像素差值代表值的步骤包括：
于各该时间区段内，以各该像素的该像素差值异动数据的最大值作为该像素差值代表值。
16.根据权利要求15所述的计算机可读取存储介质，其中取得对应于该视讯的该多个像素的步骤包括：
对该视讯降级取样以取得该多个像素。
17.根据权利要求15所述的计算机可读取存储介质，其中取得对应于该视讯的该多个像素的步骤包括：
取得与该视讯同时撷取的第二视讯，该第二视讯的影像分辨率低于该视讯的影像分辨率；以及
自该第二视讯取得该多个像素。
18.根据权利要求15所述的计算机可读取存储介质，其中根据该元文件搜寻该视讯的事件的步骤包括：
接收搜寻参数；
读取该元文件；以及
取得该元文件内对应于该搜寻参数的各该像素的该像素差值代表值，据以搜寻该视讯中的事件。
19.根据权利要求18所述的计算机可读取存储介质，其中该搜寻参数包括以下至少其中之一：观察时段、感兴趣影像区域、以及临界值。
20.根据权利要求19所述的计算机可读取存储介质，其中搜寻该视讯中的事件的步骤包括：
当判断该元文件内的第一像素差值代表值大于该临界值时，决定该第一像素差值代表值对应的时间及像素位置有事件发生。
21.根据权利要求15所述的计算机可读取存储介质，在计算机执行该程序时更执行下列步骤：
取得该视讯中的至少一事件影像片段；以及
仅播放该视讯中的该至少一事件影像片段。
CN201711415258.8A 2017-12-08 2017-12-22 搜寻视讯事件的方法、装置、以及计算机可读取存储介质 Active CN109905660B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW106143271A TWI657697B (zh) 2017-12-08 2017-12-08 搜尋視訊事件之方法、裝置、及電腦可讀取記錄媒體
TW106143271 2017-12-08

Publications (2)

Publication Number Publication Date
CN109905660A CN109905660A (zh) 2019-06-18
CN109905660B true CN109905660B (zh) 2021-05-28

Family

ID=66696280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711415258.8A Active CN109905660B (zh) 2017-12-08 2017-12-22 搜寻视讯事件的方法、装置、以及计算机可读取存储介质

Country Status (3)

Country Link
US (1) US10628681B2 (zh)
CN (1) CN109905660B (zh)
TW (1) TWI657697B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021107421A1 (ko) * 2019-11-26 2021-06-03 한화테크윈 주식회사 사건 중심의 다채널 영상 백업 장치 및 그 방법과, 이를 포함한 네트워크 감시 카메라 시스템
US20220159269A1 (en) * 2020-11-17 2022-05-19 Ofinno, Llc Reduced Residual Inter Prediction
US11930189B2 (en) * 2021-09-30 2024-03-12 Samsung Electronics Co., Ltd. Parallel metadata generation based on a window of overlapped frames

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281593A (zh) * 2008-04-16 2008-10-08 安防科技（中国）有限公司 智能视频监控事件检索方法及***
CN101917601A (zh) * 2010-08-26 2010-12-15 四川大学 基于双摄像头的数字视频智能监控设备及数据处理方法
CN102131076A (zh) * 2011-01-19 2011-07-20 中兴通讯股份有限公司 视频监控方法及监控终端
CN102324016A (zh) * 2011-05-27 2012-01-18 郝红卫 一种高密度人群流量统计方法
CN102937833A (zh) * 2012-10-19 2013-02-20 四川长虹电器股份有限公司 基于区域运动检测的界面控制方法
US8611612B2 (en) * 2011-03-01 2013-12-17 Novatek Microelectronics Corp. Block matching method

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801328B2 (en) 2005-03-31 2010-09-21 Honeywell International Inc. Methods for defining, detecting, analyzing, indexing and retrieving events using video image processing
US8266185B2 (en) * 2005-10-26 2012-09-11 Cortica Ltd. System and methods thereof for generation of searchable structures respective of multimedia data content
US9269244B2 (en) * 2007-03-06 2016-02-23 Verint Systems Inc. Event detection based on video metadata
US9465892B2 (en) 2007-12-03 2016-10-11 Yahoo! Inc. Associating metadata with media objects using time
JP2009200713A (ja) 2008-02-20 2009-09-03 Sony Corp 画像処理装置、画像処理方法、プログラム
CN101867793A (zh) * 2010-05-14 2010-10-20 蔡晓东 分布式智能视频搜索***及使用方法
US9396385B2 (en) * 2010-08-26 2016-07-19 Blast Motion Inc. Integrated sensor and video motion analysis method
US20120173577A1 (en) 2010-12-30 2012-07-05 Pelco Inc. Searching recorded video
KR101703931B1 (ko) * 2011-05-24 2017-02-07 한화테크윈 주식회사 감시 시스템
TWI519167B (zh) 2012-04-23 2016-01-21 廣達電腦股份有限公司 運用後設資料來進行目標辨識與事件重現之系統
KR101718373B1 (ko) 2012-12-25 2017-03-21 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 재생 방법, 단말 및 시스템
CN103020991B (zh) * 2012-12-26 2015-11-18 中国科学技术大学 一种视频场景中运动目标感知的方法及***
US9307269B2 (en) 2013-03-14 2016-04-05 Google Inc. Determining interest levels in videos
US9508390B2 (en) 2013-07-12 2016-11-29 Apple Inc. Trick play in digital video streaming
US20170034483A1 (en) 2013-12-23 2017-02-02 Pelco, Inc. Smart shift selection in a cloud video service
US20150189176A1 (en) 2013-12-30 2015-07-02 Lyve Minds, Inc. Domain aware camera system
TW201607311A (zh) 2014-08-01 2016-02-16 致伸科技股份有限公司 影音媒體之顯示系統以及影像擷取裝置
US9646387B2 (en) * 2014-10-15 2017-05-09 Comcast Cable Communications, Llc Generation of event video frames for content
CN105554471B (zh) * 2016-01-20 2018-11-13 浙江宇视科技有限公司 基于事件统计的视频序列智能调整方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281593A (zh) * 2008-04-16 2008-10-08 安防科技（中国）有限公司 智能视频监控事件检索方法及***
CN101917601A (zh) * 2010-08-26 2010-12-15 四川大学 基于双摄像头的数字视频智能监控设备及数据处理方法
CN102131076A (zh) * 2011-01-19 2011-07-20 中兴通讯股份有限公司 视频监控方法及监控终端
US8611612B2 (en) * 2011-03-01 2013-12-17 Novatek Microelectronics Corp. Block matching method
CN102324016A (zh) * 2011-05-27 2012-01-18 郝红卫 一种高密度人群流量统计方法
CN102937833A (zh) * 2012-10-19 2013-02-20 四川长虹电器股份有限公司 基于区域运动检测的界面控制方法

Also Published As

Publication number Publication date
US10628681B2 (en) 2020-04-21
US20190180112A1 (en) 2019-06-13
TWI657697B (zh) 2019-04-21
CN109905660A (zh) 2019-06-18
TW201927001A (zh) 2019-07-01

Similar Documents

Publication Publication Date Title
US10070053B2 (en) Method and camera for determining an image adjustment parameter
US8953044B2 (en) Multi-resolution video analysis and key feature preserving video reduction strategy for (real-time) vehicle tracking and speed enforcement systems
KR101223424B1 (ko) 비디오 모션 검출
AU2009243442B2 (en) Detection of abnormal behaviour in video objects
US7940432B2 (en) Surveillance system having a multi-area motion detection function
CN112805996B (zh) 一种用于生成慢动作视频片段的设备和方法
US7555046B2 (en) Method and system for searching and verifying magnitude change events in video surveillance
KR101116789B1 (ko) 감시 카메라 장치 및 영상 데이터 처리 방법
US10853949B2 (en) Image processing device
CN109905660B (zh) 搜寻视讯事件的方法、装置、以及计算机可读取存储介质
CN104680504A (zh) 场景变化检测方法及其装置
EP2071514A2 (en) Background modeling for video data compression
US8294765B2 (en) Video image monitoring system
KR20110074107A (ko) 카메라를 이용한 오브젝트 검출 방법
TWI504240B (zh) 視訊處理方法、視訊顯示方法以及視訊處理裝置
JP2005303566A (ja) ブロック分割領域における動きベクトルの分布を利用した特定シーン抽出方法及び装置
JP2008035096A (ja) 監視装置、監視方法及びプログラム
KR102042397B1 (ko) 압축영상에 대한 신택스 기반의 히트맵 생성 방법
CN110889347A (zh) 基于时空计数特征的密度交通流计数方法及***
JP5812808B2 (ja) 画像処理装置及び画像処理方法
AU2008264229B2 (en) Partial edge block transmission to external processing module
KR20150132672A (ko) 선별된 프레임을 고해상도로 저장하는 비디오 레코딩 시스템 및 동작 방법
KR101093437B1 (ko) Ｄｖｒ시스템에서 영상의 모션을 감지하는 장치 및 방법
Hapsari et al. A Novel Approach to Video Compression using Region of Interest (ROI) Method on Video Surveillance Systems
CN117058387A (zh) 基于监控场景的视频语义分割方法以及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant