CN113706807B - 发出报警信息的方法、装置、设备及存储介质 - Google Patents

发出报警信息的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113706807B
CN113706807B CN202010432607.2A CN202010432607A CN113706807B CN 113706807 B CN113706807 B CN 113706807B CN 202010432607 A CN202010432607 A CN 202010432607A CN 113706807 B CN113706807 B CN 113706807B
Authority
CN
China
Prior art keywords
moving object
video frame
time point
video
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010432607.2A
Other languages
English (en)
Other versions
CN113706807A (zh
Inventor
周明
庄志兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010432607.2A priority Critical patent/CN113706807B/zh
Publication of CN113706807A publication Critical patent/CN113706807A/zh
Application granted granted Critical
Publication of CN113706807B publication Critical patent/CN113706807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654Details concerning communication with a camera
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种发出报警信息的方法、装置、设备及存储介质,属于互联网技术领域。该方法包括:基于预设的检测周期在目标视频中获取视频帧;确定当前获取的视频帧中是否存在移动对象,如果当前获取的视频帧中存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧的移动对象侦测结果,其中,所述移动对象侦测结果用于指示所述视频帧中是否包括预设对象类型的移动对象;如果所述移动对象侦测结果为存在预设对象类型的移动对象,则发出报警信息。采用本申请能够实现对指定移动对象的报警。

Description

发出报警信息的方法、装置、设备及存储介质
技术领域
本申请涉及互联网技术领域,特别涉及一种发出报警信息的方法、装置、设备及存储介质。
背景技术
随着图像识别技术的发展,越来越多的监控设备中加入了移动侦测的功能,即监控设备可以对获取的录像视频中的视频帧进行检测,检测每个视频帧中是否存在移动对象。当检测到录像视频中存在移动对象,可以向监控设备连接的终端发出报警信息,以提醒用户进一步确认视频帧中存在的移动对象是否存在危险或存在违规的问题。
在实现本申请的过程中,发明人发现相关技术至少存在以下问题:
只要检测到视频帧中为移动帧时,即当前视频帧的画面与前一视频帧的画面存在差异,则认为录像视频中出现了移动对象,例如录像视频中出现了动物、人或汽车等,都会产生对应的报警信息,因此用户的终端会接收到大量的报警信息。当用户查找自己关注的移动物体的录像时,需要根据大量的报警信息的发出时间在视频录像中进行查找,从而导致用户查找录像视频的效率低下。
发明内容
本申请实施例提供了一种发出报警信息的方法、装置、设备及存储介质,能够实现对特定移动对象的报警。所述技术方案如下:
第一方面,提供了一种发出报警信息的方法,所述方法包括:
基于预设的检测周期在目标视频中获取视频帧;
确定当前获取的视频帧中是否存在移动对象,如果当前获取的视频帧中存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧的移动对象侦测结果,其中,所述移动对象侦测结果用于指示所述视频帧中是否包括预设对象类型的移动对象;
如果所述移动对象侦测结果为存在预设对象类型的移动对象,则发出报警信息。
可选的,所述基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧的移动对象侦测结果,包括:
将当前获取的视频帧输入经过训练的对象侦测模型,得到模型输出值,其中,所述模型输出值用于指示输入的视频帧中是否包括移动对象以及在包括移动对象时移动对象的对象类型;
基于所述模型输出值,确定当前获取的视频帧中是否包括预设对象类型的移动对象,得到所述视频帧的移动对象侦测结果。
可选的,所述确定当前获取的视频帧中是否存在移动对象,如果当前获取的视频帧中存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧的移动对象侦测结果,包括:
确定当前获取的视频帧在预设区域内的图像是否存在移动对象,如果当前获取的视频帧在预设区域内的图像存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧在预设区域内的图像的移动对象侦测结果。
可选的,所述方法还包括:
当第一视频帧的移动对象侦测结果为存在预设对象类型的移动对象且所述第一视频帧的前一获取视频帧的移动对象侦测结果为不存在预设对象类型的移动对象时,则根据第一视频帧对应的时间点确定第一开始时间点,当第二视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且所述第二视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第二视频帧对应的时间点确定第一结束时间点;
当接收到移动对象片段回放指令时,播放所述目标视频中所述第一开始时间点与所述第一结束时间点之间的视频片段。
可选的,所述根据第一视频帧对应的时间点确定第一开始时间点,根据第二视频帧对应的时间点确定第一结束时间点,包括:
将所述第一视频帧对应的时间点之前第一预设时长的时间点确定为所述第一开始时间点,将所述第二视频帧对应的时间点之后第二预设时长的时间点确定为所述第一结束时间点。
可选的,所述方法还包括:
确定第一开始时间点与第一结束时间点之间获取的各视频帧中的移动对象的对象信息,其中,所述对象信息包括对象类型和/或移动类型,所述移动类型包括进入目标区域或离开目标区域;
将所述第一开始时间点、第一结束时间点与所述移动对象的对象信息,添加到开始时间点、结束时间点与对象信息的对应关系中。
可选的,所述方法还包括:
当接收到片段查询指令时,获取所述片段查询指令对应的对象信息;
基于所述对应关系和所述片段查询指令对应的对象信息,确定所述片段查询指令对应的至少一对开始时间点与结束时间点;
播放所述至少一对开始时间点与结束时间点之间的视频片段。
可选的,所述当第二视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且所述第二视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第二视频帧对应的时间点确定第一结束时间点之后,所述方法还包括:
在所述第一结束时间点之后第三预设时长内的第三视频帧的移动对象侦测结果为存在预设对象类型的移动对象且所述第三视频帧的前一获取视频帧的移动对象侦测结果为不存在预设对象类型的移动对象时,则根据第三视频帧对应的时间点确定第二开始时间点,当第四视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且所述第四视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第四视频帧对应的时间点确定第二结束时间点。
可选的,所述当接收到移动对象片段回放指令时,播放所述目标视频中所述第一开始时间点与所述第一结束时间点之间的视频片段之后,所述方法还包括:
倍速播放的播放方式播放所述第一结束时间点和所述第二开始时间点之间的视频片段;
播放所述第二开始时间点和所述第二结束时间点之间的视频片段。
可选的,所述方法还包括:
当接收到移动对象片段的关联视频回放指令时,播放与所述目标视频的关联视频中位于所述第一开始时间点和所述第一结束时间点之间的视频片段。
第二方面,提供了一种发出报警信息的装置,所述装置包括:
获取模块,用于基于预设的检测周期在目标视频中获取视频帧;
第一确定模块,用于确定当前获取的视频帧中是否存在移动对象,如果当前获取的视频帧中存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧的移动对象侦测结果,其中,所述移动对象侦测结果用于指示所述视频帧中是否包括预设对象类型的移动对象;
报警模块,用于如果所述移动对象侦测结果为存在预设对象类型的移动对象,则发出报警信息。
可选的,所述第一确定模块,用于:
将当前获取的视频帧输入经过训练的对象侦测模型,得到模型输出值,其中,所述模型输出值用于指示输入的视频帧中是否包括移动对象以及在包括移动对象时移动对象的对象类型;
基于所述模型输出值,确定当前获取的视频帧中是否包括预设对象类型的移动对象,得到所述视频帧的移动对象侦测结果。
可选的,所述第一确定模块,用于:
确定当前获取的视频帧在预设区域内的图像是否存在移动对象,如果当前获取的视频帧在预设区域内的图像存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧在预设区域内的图像的移动对象侦测结果。
可选的,所述装置还包括回放模块,用于:
当第一视频帧的移动对象侦测结果为存在预设对象类型的移动对象且所述第一视频帧的前一获取视频帧的移动对象侦测结果为不存在预设对象类型的移动对象时,则根据第一视频帧对应的时间点确定第一开始时间点,当第二视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且所述第二视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第二视频帧对应的时间点确定第一结束时间点;
当接收到移动对象片段回放指令时,播放所述目标视频中所述第一开始时间点与所述第一结束时间点之间的视频片段。
可选的,所述回放模块,用于:
将所述第一视频帧对应的时间点之前第一预设时长的时间点确定为所述第一开始时间点,将所述第二视频帧对应的时间点之后第二预设时长的时间点确定为所述第一结束时间点。
可选的,所述装置还包括第二确定模块,用于:
确定第一开始时间点与第一结束时间点之间获取的各视频帧中的移动对象的对象信息,其中,所述对象信息包括对象类型和/或移动类型,所述移动类型包括进入目标区域或离开目标区域;
将所述第一开始时间点、第一结束时间点与所述移动对象的对象信息,添加到开始时间点、结束时间点与对象信息的对应关系中。
可选的,所述装置还包括查询模块,用于:
当接收到片段查询指令时,获取所述片段查询指令对应的对象信息;
基于所述对应关系和所述片段查询指令对应的对象信息,确定所述片段查询指令对应的至少一对开始时间点与结束时间点;
播放所述至少一对开始时间点与结束时间点之间的视频片段。
可选的,所述装置还包括第三确定模块,用于:
在所述第一结束时间点之后第三预设时长内的第三视频帧的移动对象侦测结果为存在预设对象类型的移动对象且所述第三视频帧的前一获取视频帧的移动对象侦测结果为不存在预设对象类型的移动对象时,则根据第三视频帧对应的时间点确定第二开始时间点,当第四视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且所述第四视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第四视频帧对应的时间点确定第二结束时间点。
可选的,所述装置还包括第二回放模块,用于:
倍速播放的播放方式播放所述第一结束时间点和所述第二开始时间点之间的视频片段;
播放所述第二开始时间点和所述第二结束时间点之间的视频片段。
可选的,所述装置还包括播放模块,用于:
当接收到移动对象片段的关联视频回放指令时,播放与所述目标视频的关联视频中位于所述第一开始时间点和所述第一结束时间点之间的视频片段。
第三方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如上所述的发出报警信息的方法所执行的操作。
第四方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如上所述的发出报警信息的方法所执行的操作。
本申请实施例提供的技术方案带来的有益效果是:
通过对目标视频中的视频帧进行移动对象侦测,并确定视频帧中是否包括预设对象类型的移动对象,如果视频帧中包括预设对象类型的移动对象,则发出对应的报警信息。可见采用本申请,能够实现对指定移动对象的报警,能够减少终端接收到的报警信息,后续用户还可以通过指定移动对象的报警信息查看对应的视频片段,能够提高播放视频录像的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图;
图2是本申请实施例提供的发出报警信息的方法流程图;
图3是本申请实施例提供的发出报警信息的方法示意图;
图4是本申请实施例提供的发出报警信息的装置结构示意图;
图5是本申请实施例提供的终端的结构示意图;
图6是本申请实施例提供的视频存储设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请实施例提供的发出报警信息的方法可应用于视频监控***中,可以由摄像设备和终端共同实现,或,由摄像设备、终端以及视频存储设备共同实现。
摄像设备可以拍摄图像或视频,也可以具有处理器以及存储设备,能对拍摄的图像进行处理和存储,还可以通过互联网和局域网等方式与终端或视频存储设备建立连接,实现与摄像设备或终端之间的数据传输。
终端中可以运行有视频管理应用程序,可以对摄像设备拍摄的视频进行播放和回放。终端具有显示屏幕、处理器以及存储设备等部件,可以对图像进行处理、显示,终端还具有通信功能,可以接入互联网或局域网,与摄像设备和视频存储设备之间可以进行数据传输。终端可以是智能手机、平板电脑、台式计算机或笔记本等。
视频存储设备中具有处理器以及存储设备可以对图像进行处理、存储,可以接入互联网或局域网,与摄像设备和终端之间可以进行数据传输。
当实施例提供的发出报警信息的方法由摄像设备和终端共同实现时,可根据摄像设备是否具备图像处理能力分为两种情况,当摄像设备不具备图像处理能力时,摄像设备可以将拍摄的图像数据发送至终端,由终端对接收的图像数据进行处理,以实现发出报警信息的方法。当摄像设备具备图像处理能力时,摄像设备可以对拍摄的图像数据进行处理,将处理结果发送至终端,从而实现发出报警信息的方法。
当实施例提供的发出报警信息的方法由摄像设备、终端以及视频存储设备共同实现,如图1所示,图1为本申请实施例提供的一种实施环境的示意图。摄像设备可以将拍摄的图像数据发送至存储设备视频存储设备,存储设备可以对接收的图像数据进行处理,得到处理结果。存储设备在得到处理结果之后,可以将处理结果发送到终端,从而实现发出报警信息的方法。
图2是本申请实施例提供的一种发出报警信息的方法流程图。参见图2,该实施例包括:
步骤201、基于预设的检测周期在目标视频中获取视频帧。
在实施中,目标视频可以是由摄像设备拍摄的视频,摄像设备可以将拍摄的视频发送至终端,由终端按照预设的检测周期对接收的视频中的视频帧进行移动对象侦测,例如,可以每隔10帧进行一次移动对象侦测。另外,用户可以通过终端中运行的视频管理应用程序选择对视频帧进行移动对象侦测的执行设备。在管理应用程序中设置有设备选择页面,设备选择页面中可以设置有终端选项、摄像设备选项、视频存储设备选项等,用户可以根据实际情况选择对视频帧进行移动对象侦测的执行设备。例如,当摄像设备具备图像处理能力时,如IPC(IP Camera,网络摄像机),用户可以点击摄像设备选项,由摄像设备完成对视频帧的移动对象侦测,或者,当用户的视频监控***中设置有视频存储设备时,例如,NVR(Network Video Recorder,网络视频录像机),摄像设备可以将拍摄的视频发送视频存储设备,用户可以点击存储设备选项,选择由存储设备完成对视频帧的移动对象侦测。
步骤202、确定当前获取的视频帧中是否存在移动对象,如果当前获取的视频帧中存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧的移动对象侦测结果。
其中,移动对象侦测结果用于指示视频帧中是否包括预设对象类型的移动对象。
在实施中,获取到当前的视频帧之后,可以检测当前的视频帧是否为移动帧,即当前的视频帧中是否存在移动对象。例如,可以通过将当前的视频帧与前一个获取的视频帧进行对比,确定两个视频帧的非重叠部分所占面积,然后将两个视频帧的非重叠部分的面积,与当前的视频帧的面积的比值确定为图像变化比例。如果图像变化比例超过预设阈值,则可以认为当前获取的视频帧中存在移动对象。或者也可以通过其他方式确定当前获取的视频帧是否存在移动对象,此处不做限定。如果当前获取的视频帧存在移动对象,可以将当前获取的视频帧输入到经过训练的对象检测模型,确定当前获取的视频帧的移动对象侦测结果。
通过经过训练的对象检测模型确定当前获取的视频帧的移动对象侦测结果的过程可如下:将当前获取的视频帧输入经过训练的对象侦测模型,得到模型输出值,其中,模型输出值用于指示输入的视频帧中是否包括移动对象以及在包括移动对象时移动对象的对象类型;基于模型输出值,确定当前获取的视频帧中是否包括预设对象类型的移动对象,得到视频帧的移动对象侦测结果。
在实施中,经过训练的对象侦测模型具有对象识别能力(后续可将经过训练的对象侦测模型称为对象侦测模型),能够识别出视频帧中的移动物体所属的对象类型,例如,移动对象所属的对象类型可以是人、动物、车辆等。将当前获取的视频帧输入到对象侦测模型之后,对象侦测模型可以输出当前获取的视频帧中移动物体所属的对象类型对应的数值。例如,0对应无法识别,1对应人,2对应车辆等。如果对象侦测模型输出的数值为预设对象类型对应的数值,则可以确定当前获取的视频帧中是否包括预设对象类型的移动对象。如果对象侦测模型输出的数值不是预设对象类型对应的数值,则可以确定当前获取的视频帧中是否不包括预设对象类型的移动对象。当对象侦测模型输出的数值为0时,可能是由于环境、图像分辨率等因素无法对移动对象进行识别,或者是由非用户关注的移动对象造成的移动对象的误检,例如在视频帧中有树叶飘落等,或者是由于光线等因素造成的移动对象的误检等。
其中,预设对象类型可以由用户进行设置,对象类型可以包括人、车辆、动物等。在视频管理应用程序中,监控对象选择页面,用户可以在监控对象选择页面中选择需要进行监控的对象类型(即预设对象类型)。如果进行移动对象侦测的设备为摄像设备的话,终端可以将向摄像设备发送携带有预设对象类型配置信息,由摄像设备对预设对象类型的移动物体进行移动对象侦测。
可选的,为了提高检测的准确度,用户可以设定对视频帧中进行移动对象侦测的检测区域,相应的处理如下:确定当前获取的视频帧在预设区域内的图像是否存在移动对象,如果当前获取的视频帧在预设区域内的图像存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧在预设区域内的图像的移动对象侦测结果。
在实施中,视频管理应用程序中设置有检测区域设置页面,在检测区域设置页面中可以显示当前摄像设备拍摄的视频帧,用户可以根据显示的视频,在视频画面中框选需要进行移动对象侦测的至少一个检测区域(即预设区域),其中该至少一个检测区域可以是由多边形框住的区域。用户可以通过在视频画面标记多个标注点,视频管理应用程序获取多个标注点在视频画面中的位置信息,根据多个标注点在视频画面中的位置信息确定以多个标注点为顶点围成的多边形的检测区域信息。如图3所示,用户可以通过设置检测区域,只对检测区域内的图像进行移动对象侦测,从而可以避免非检测区域中存在的移动物体影响对视频帧的移动对象侦测。例如可以根据门口、道路等在视频画面中的区域设置检测区域等,在视频画面中检测区域之外的非检测区域可以是天空、遮挡摄像设备的遮挡物等对应的区域。如果当前进行移动对象侦测的设备为摄像设备或视频存储设备时,则终端可以将检测区域信息发送至摄像设备或视频存储设备。如果当前获取的视频帧在预设区域内存在预设对象类型的移动对象,则可以将对应的预设区域内的图像输入到对象检测模型中,由对象检测模型输出在预设区域内的图像中存在的移动对象的类型,得到当前获取的视频帧的移动对象侦测结果。
步骤203、如果移动对象侦测结果为存在预设对象类型的移动对象,则发出报警信息。
预设对象类型可以由用户进行设置,对象类型可以包括人、车辆、动物等。在视频管理应用程序中,监控对象选择页面,用户可以在监控对象选择页面中选择需要进行监控的对象类型(即预设对象类型)。如果进行移动对象侦测的设备为摄像设备的话,终端可以将向摄像设备发送携带有预设对象类型配置信息,由摄像设备对预设对象类型的移动物体进行移动对象侦测。当检测到当前获取的视频帧中存在有预设对象类型的移动物体时,可以向终端发送报警信息。如果进行移动对象侦测的设备为视频存储设备的话,终端可以将向视频存储设备发送携带有预设对象类型配置信息,由视频存储设备接收摄像设备发送的视频帧,并对预设对象类型的移动物体进行移动对象侦测。当检测到当前接收的视频帧中存在有预设对象类型的移动物体时,可以向终端发送报警信息,其中,报警信息中可以包括预设对象类型以及当前获取的视频帧对应的时间点。报警信息可以是以通知的形式显示在终端的屏幕上,或是提供语音播报的形式进行展示,也可以是由终端发出报警的鸣笛等,此处不对报警信息的展示方式进行限制。另外,为了避免连续多次检测到存在移动物体的第一视频帧引起的报警次数过于频繁的问题,例如人或车辆在视频中交叉出现,则可以在发出报警信息之后的预设时长内,如果再次检测存在预设对象类型的视频帧,可以不向终端发送报警信息。
可选的,在检测视频帧中存在预设对象类型的移动物体之后,还可以确定预设对象类型的移动物体出现的时间段,相应的处理如下:当第一视频帧的移动对象侦测结果为存在预设对象类型的移动对象且第一视频帧的前一获取视频帧的移动对象侦测结果为不存在预设对象类型的移动对象时,则根据第一视频帧对应的时间点确定第一开始时间点,当第二视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且第二视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第二视频帧对应的时间点确定第一结束时间点。
在实施中,在对目标视频中的视频帧进行移动对象侦测的过程中,若当前的进行移动对象侦测的视频帧中存在预设对象类型的移动对象时,并且在当前被检测的视频帧的上一个被检测视频帧中不存在预设对象类型的移动对象时,则可以认为目标视频中在当前被检测的视频帧对应的时间点出现了预设对象类型的移动对象。当前被检测的视频帧可以被称为第一视频帧,当前被检测的视频帧对应的时间点可以被称为第一开始时间点。然后可以继续对目标视频中的视频帧进行移动对象侦测,一般视频中出现移动对象的会持续一段时间,所以在第一开始时间点之后的检测的视频帧中不存在预设对象类型的移动对象,并且该视频帧的上一个被检测视频帧中存在预设对象类型的移动对象时,则可以认为目标视频中的移动对象在该视频帧对应的时间点停止了移动,或移动出了画面,该视频帧可以被称为第二视频帧,该视频帧对应的时间点可以被称为第一结束时间点。第一开始时间点和第一结束时间点的视频片段为预设对象类型的移动物体在目标视频中出现的视频片段的开始时间点和结束时间点。如果终端或视频存储设备存储接收到摄像设备拍摄的所有时间段的视频录像(即目标视频),可以在确定第一开始时间点和第一结束时间点之后,对第一开始时间点和第一结束时间点进行存储,以用于后续的对存在预设对象类型的移动物体的视频片段的回放。如果终端或视频存储设备只存储存在预设对象类型的移动物体的视频片段,可以在确定第一开始时间点和第一结束时间点之后,对第一开始时间点和第一结束时间点之间的视频片段进行保存。
对应的,可以根据第一开始时间点和第一结束时间点生成视频片段信息,视频片段信息可以与报警信息对应存储在终端,后续用户可以根据报警信息对视频片段进行回放。相应的处理如下:当接收到移动对象片段回放指令时,播放目标视频中第一开始时间点与第一结束时间点之间的视频片段。
在实施中,视频管理应用程序中设置有视频回放功能,用户可以在视频管理应用程序中查看生成的报警信息,报警信息对应有视频回放选项,用户可以通过点击对应的视频回放选项,对报警信息对应移动对象视频片段进行回放。其中,当移动对象视频片段存储在终端时,终端可以获取报警信息对应的视频片段信息,根据视频片段信息中的第一开始时间点与第一结束时间点,在目标视频中对第一开始时间点与第一结束时间点之间的视频片段进行播放。当视频片段存储在视频存储设备时,终端可以向视频存储设备发送视频获取指令,在视频获取指令中可以携带有视频片段信息中的第一开始时间点与第一结束时间点,然后视频存储设备可以根据接收到的视频获取指令将对应的移动对象视频片段发送至终端,以用于终端回放对应的移动对象视频片段。
可选的,在检测到视频中存在移动对象之后,可以对移动对象所属的对象类型进行识别之外,还可以确定移动对象对应的移动类型,相应的处理如下:确定第一开始时间点与第一结束时间点之间获取的各视频帧中的移动对象的对象信息,其中,对象信息包括对象类型和/或移动类型,移动类型包括进入目标区域或离开目标区域;将第一开始时间点、第一结束时间点与移动对象的对象信息,添加到开始时间点、结束时间点与对象信息的对应关系中。
在实施中,在检测到视频中存在移动对象时,可以对第一开始时间点对应的视频帧以及第一开始时间点之后的视频帧进行识别,确定移动对象的对象信息,其中,对象信息包括对象类型和/或移动类型。对象类型即移动对象所属的类型,例如可以是车辆、人、动物等。当对象类型为人时,还可以对视频帧中的人进行人脸识别确定人的身份,当对象类型为车辆时,还可以对视频帧中的车辆进行车牌号识别确定车辆的车牌号等。移动类型包括移动对象进入目标区域或离开目标区域等,其中,目标区域可以是摄像设备拍摄的区域,或是用户在视频帧中的预设区域。在检测视频中存在移动对象之后,可以根据在第一开始时间点与第一结束时间点中各视频帧的检测结果,确定移动物体的位置变化信息,根据移动物体的位置变换信息以及目标区域确定移动物体是进入目标区域还是离开目标区域。当移动物体的位置是从目标区域外移动到目标区域内,则可以确认移动物体是进入了目标区域,例如,目标区域可以是仓库的大门,管理人员从仓库的大门之外的任意方向通过仓库的大门进入了仓库,则可以认为移动物体是进入了目标区域,当移动物体的位置是从目标区域内移动到目标区域外,则可以确认移动物体是离开了目标区域,例如,管理人员从仓库的大门出仓库,则可以人为移动物体是离开了目标区域。同样,还可以将目标区域设置为目标边界,根据移动物体的位置变换信息以及目标边界确定移动物体是否越界等。在确定对象信息之后,可以将第一开始时间点、第一结束时间点与移动对象的对象信息添加到开始时间点、结束时间点与对象信息的对应关系中,即将第一开始时间点、第一结束时间点与移动对象的对象信息对应存储,生成目标事件信息,以用于后续对移动对象视频片段的查询。如果终端或视频存储设备只包括存储存在移动物体的视频片段,则还可以将第一开始时间点与第一结束时间点之间视频片段与目标事件信息进行对应存储。另外需要说明的是,如果对视频帧进行移动对象侦测的为摄像设备,则可以在得到目标事件信息之后,将目标事件信息发送至终端或视频存储设备。
对应的,视频管理应用程序中设置有视频查询功能,用户可以根据目标事件信息对视频进行查询,当接收到片段查询指令时,获取片段查询指令对应的对象信息;基于对应关系和片段查询指令对应的对象信息,确定片段查询指令对应的至少一对开始时间点与结束时间点;播放至少一对开始时间点与结束时间点之间的视频片段。
在实施中,视频管理应用程序中设置有视频查询功能,用户可以选择进行查询对象信息,例如查询的移动对象的对应类型为车辆,或是查询离开目标区域的移动类型等,另外用户还可以设置进行查询的时间范围。当目标视频在终端存储时,用户可以在设置完需要查询的对象信息以及时间范围之后,可以点击查询选项触发片段查询指令,在片段查询指令中可以包括查询的对象信息以及时间范围。当终端检测到片段查询指令时可以根据开始时间点、结束时间点与对象信息的对应关系,以及片段查询指令对应的对象信息,查询与片段查询指令中对象信息对应的至少一个目标事件信息,根据至少一个目标事件信息确定至少一对开始时间点与结束时间点。然后根据至少一对开始时间点与结束时间点将对应的视频片段,并对视频片段进行播放。当视频片段存储在视频存储设备时,终端可以将片段查询指令发送至视频存储设备,由视频存储设备根据对应关系和片段查询指令对应的对象信息,查询与片段查询指令中对象信息对应的至少一对开始时间点与结束时间点。然后根据至少一对开始时间点与结束时间点将对应的视频片段发送至终端。终端可以对查询到的视频片段进行播放。当查询的开始时间点与结束时间点的对数存在多个时,即查询到多个视频片段,终端可以显示每个视频片段对应的图像,该图像可以是查询到的每个视频片段中的任意视频帧,可以是视频片段的开始视频帧,或中间时刻视频帧等等,此处不做限定。用户可以通过点击视频片段的对应的图像,播放对应的视频片段。
可选的,为了方便用户对移动对象片段的查看,可以将多段在时间上较为接近的移动对象片段确定为一段移动对象片段,相应的处理如下:在第一结束时间点之后第三预设时长内的第三视频帧的移动对象侦测结果为存在预设对象类型的移动对象且第三视频帧的前一获取视频帧的移动对象侦测结果为不存在预设对象类型的移动对象时,则根据第三视频帧对应的时间点确定第二开始时间点,当第四视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且第四视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第四视频帧对应的时间点确定第二结束时间点。
在实施中,在对目标视频中的视频帧进行移动对象侦测的过程中,在第一结束时间点之后的第三预设时长之内,再次检测到了存在预设对象类型的移动对象的视频帧。则可以将该视频帧称为第三视频帧,第三视频帧对应的时间点可以被称为第二开始时间点。然后继续对目标视频中的视频帧进行移动对象侦测,在第二开始时间点之后的检测的视频帧中不存在预设对象类型的移动对象,并且该视频帧的上一个被检测视频帧中存在预设对象类型的移动对象时,则该视频帧可以被称为第四视频帧,第四视频帧对应的时间点可以被称为第二结束时间点。由于两段在时间上较为接近,则可以作为一段移动对象片段进行处理,即可以根据第一开始时间点、第一结束时间点、第二开始时间点和第二结束时间点生成对应的视频片段信息,并与在第一开始时间点生成的报警信息进行对应存储。另外,可以根据第一开始时间点与第一结束时间点的视频片段和第二开始时间点与第二结束时间点的视频片段中的移动对象进行识别,分别得到两段视频片段对应的对象信息和目标事件信息,以用于后续对视频片段的回放和查询。另外需要说明的是,当在第二结束时间点第三预设时长之内,再次检测到了存在移动对象的视频帧,则可以按照相同的处理确定第三开始时间点和第三结束时间点,依次类推,还可以确定第四开始时间点和第四结束时间点等,此处不再赘述。
对应的,为了方便用户对移动对象片段的查看,在接收到移动对象片段回放指令后,可以倍速播放不存在预设对象类型的移动对象,相应的处理如下:倍速播放的播放方式播放第一结束时间点和第二开始时间点之间的视频片段;播放第二开始时间点和第二结束时间点之间的视频片段。
在实施中,因为第一结束时间点和第二开始时间点之前的视频片段为不存在移动物体,所以终端在播放视频的过程中,可以以正常的播放速度播放第一开始时间点与第一结束时间点之间的视频片段,以倍速播放的播放方式播放第一开始时间点与第二结束时间点之间的视频片段,以正常的播放速度播放第二开始时间点与第二结束时间点之间的视频片段。当目标视频中还存在第三开始时间点、第三结束时间点、第四开始时间点等开始时间点和结束时间点时,可以按照开始时间点和结束时间点的时间顺序,以正常播放速度播放相邻的开始时间点与结束时间点之间的视频片段,以倍速播放的播放方式播放相邻的结束时间点与开始时间点之间的视频片段。
可选的,用户可以根据目标事件信息查看与预设类型的移动目标出现的时间段上对应的其他关联视频,当接收到移动对象片段的关联视频回放指令时,播放与目标视频的关联视频中位于第一开始时间点和第一结束时间点之间的视频片段。
在实施中,视频监控***中一般会包括多个摄像设备,每个摄像设备可以对不同区域的监控,同一视频监控***中,不同的摄像设备拍摄的视频可以为关联视频。用户可以通过一个摄像设备对应的目标事件信息,查看其他摄像设备的视频。在视频管理应用程序中可以设置有关联视频回放功能,用户可以在终端根据时间和对象信息查找目标事件信息,即用户可以通过设置时间段,以及移动对象的对象类型和/或移动类型,查找保存的目标事件信息。然后点击与目标事件信息对应的关联视频回放选项,触发移动对象片段的关联视频回放指令。当终端检测到移动对象片段的关联视频回放指令时,可以根据目标事件信息中记录的第一开始时间点和第一结束时间点,播放与目标视频的关联视频中第一开始时间点和第一结束时间点之间的视频片段。另外,用户还可以指定对应的摄像设备,播放指定的摄像设备拍摄的第一开始时间点和第一结束时间点之间的视频片段。
本申请实施例,通过对目标视频中的视频帧进行移动对象侦测,并确定视频帧中是否包括预设对象类型的移动对象,如果视频帧中包括预设对象类型的移动对象,则对应的发出报警信息。可见采用本申请,能够实现对特定移动对象的报警,后续用户可以直接通过特定移动对象报警信息查看对应的视频片段,不需用户在大量的报警信息的发送时间查找对应的视频录像,能够提高播放视频录像的效率。
上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。
图4是本申请实施例提供的一种发出报警信息的装置,如图4所示,该装置包括:
获取模块410,用于基于预设的检测周期在目标视频中获取视频帧;
第一确定模块420,用于确定当前获取的视频帧中是否存在移动对象,如果当前获取的视频帧中存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧的移动对象侦测结果,其中,所述移动对象侦测结果用于指示所述视频帧中是否包括预设对象类型的移动对象;
报警模块430,用于如果所述移动对象侦测结果为存在预设对象类型的移动对象,则发出报警信息。
可选的,所述第一确定模块420,用于:
将当前获取的视频帧输入经过训练的对象侦测模型,得到模型输出值,其中,所述模型输出值用于指示输入的视频帧中是否包括移动对象以及在包括移动对象时移动对象的对象类型;
基于所述模型输出值,确定当前获取的视频帧中是否包括预设对象类型的移动对象,得到所述视频帧的移动对象侦测结果。
可选的,所述第一确定模块420,用于:
确定当前获取的视频帧在预设区域内的图像是否存在移动对象,如果当前获取的视频帧在预设区域内的图像存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧在预设区域内的图像的移动对象侦测结果。
可选的,所述装置还包括回放模块,用于:
当第一视频帧的移动对象侦测结果为存在预设对象类型的移动对象且所述第一视频帧的前一获取视频帧的移动对象侦测结果为不存在预设对象类型的移动对象时,则根据第一视频帧对应的时间点确定第一开始时间点,当第二视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且所述第二视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第二视频帧对应的时间点确定第一结束时间点;
当接收到移动对象片段回放指令时,播放所述目标视频中所述第一开始时间点与所述第一结束时间点之间的视频片段。
可选的,所述回放模块,用于:
将所述第一视频帧对应的时间点之前第一预设时长的时间点确定为所述第一开始时间点,将所述第二视频帧对应的时间点之后第二预设时长的时间点确定为所述第一结束时间点。
可选的,所述装置还包括第二确定模块,用于:
确定第一开始时间点与第一结束时间点之间获取的各视频帧中的移动对象的对象信息,其中,所述对象信息包括对象类型和/或移动类型,所述移动类型包括进入目标区域或离开目标区域;
将所述第一开始时间点、第一结束时间点与所述移动对象的对象信息,添加到开始时间点、结束时间点与对象信息的对应关系中。
可选的,所述装置还包括查询模块,用于:
当接收到片段查询指令时,获取所述片段查询指令对应的对象信息;
基于所述对应关系和所述片段查询指令对应的对象信息,确定所述片段查询指令对应的至少一对开始时间点与结束时间点;
播放所述至少一对开始时间点与结束时间点之间的视频片段。
可选的,所述装置还包括第三确定模块,用于:
在所述第一结束时间点之后第三预设时长内的第三视频帧的移动对象侦测结果为存在预设对象类型的移动对象且所述第三视频帧的前一获取视频帧的移动对象侦测结果为不存在预设对象类型的移动对象时,则根据第三视频帧对应的时间点确定第二开始时间点,当第四视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且所述第四视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第四视频帧对应的时间点确定第二结束时间点。
可选的,所述装置还包括第二回放模块,用于:
倍速播放的播放方式播放所述第一结束时间点和所述第二开始时间点之间的视频片段;
播放所述第二开始时间点和所述第二结束时间点之间的视频片段。
可选的,所述装置还包括播放模块,用于:
当接收到移动对象片段的关联视频回放指令时,播放与所述目标视频的关联视频中位于所述第一开始时间点和所述第一结束时间点之间的视频片段。
需要说明的是:上述实施例提供的发出报警信息的装置在发出报警信息时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的发出报警信息的装置与发出报警信息的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图5示出了本申请一个示例性实施例提供的终端500的结构框图。该终端500可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端500包括有:处理器501和存储器502。
处理器501可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器501可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器501还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的发出报警信息的方法。
在一些实施例中,终端500还可选包括有:***设备接口503和至少一个***设备。处理器501、存储器502和***设备接口503之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口503相连。具体地,***设备包括:射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。
***设备接口503可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器501和存储器502。在一些实施例中,处理器501、存储器502和***设备接口503被集成在同一芯片或电路板上;在一些其他实施例中,处理器501、存储器502和***设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路504用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路504包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路504还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏505用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时,显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时,显示屏505还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏505可以为一个,设置终端500的前面板;在另一些实施例中,显示屏505可以为至少两个,分别设置在终端500的不同表面或呈折叠设计;在再一些实施例中,显示屏505可以是柔性显示屏,设置在终端500的弯曲表面上或折叠面上。甚至,显示屏505还可以设置成非矩形的不规则图形,也即异形屏。显示屏505可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件506用于采集图像或视频。可选地,摄像头组件506包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器501进行处理,或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路507还可以包括耳机插孔。
定位组件508用于定位终端500的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System,全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源509用于为终端500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于:加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
加速度传感器511可以检测以终端500建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号,控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器512可以检测终端500的机体方向及转动角度,陀螺仪传感器512可以与加速度传感器511协同采集用户对终端500的3D动作。处理器501根据陀螺仪传感器512采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器513可以设置在终端500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在终端500的侧边框时,可以检测用户对终端500的握持信号,由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时,由处理器501根据用户对触摸显示屏505的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器514用于采集用户的指纹,由处理器501根据指纹传感器514采集到的指纹识别用户的身份,或者,由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器501授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置终端500的正面、背面或侧面。当终端500上设置有物理按键或厂商Logo时,指纹传感器514可以与物理按键或厂商Logo集成在一起。
光学传感器515用于采集环境光强度。在一个实施例中,处理器501可以根据光学传感器515采集的环境光强度,控制触摸显示屏505的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏505的显示亮度;当环境光强度较低时,调低触摸显示屏505的显示亮度。在另一个实施例中,处理器501还可以根据光学传感器515采集的环境光强度,动态调整摄像头组件506的拍摄参数。
接近传感器516,也称距离传感器,通常设置在终端500的前面板。接近传感器516用于采集用户与终端500的正面之间的距离。在一个实施例中,当接近传感器516检测到用户与终端500的正面之间的距离逐渐变小时,由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态;当接近传感器516检测到用户与终端500的正面之间的距离逐渐变大时,由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图5中示出的结构并不构成对终端500的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图6是本申请实施例提供的一种视频存储设备的结构示意图,该视频存储设备600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessing units,CPU)601和一个或一个以上的存储器602,其中,所述存储器602中存储有至少一条指令,所述至少一条指令由所述处理器601加载并执行以实现上述各个方法实施例提供的方法。当然,该视频存储设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该视频存储设备还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由终端中的处理器执行以完成上述实施例中发出报警信息的方法。该计算机可读存储介质可以是非暂态的。例如,所述计算机可读存储介质可以是ROM(Read-OnlyMemory,只读存储器)、RAM(Random Access Memory,随机存取存储器)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (12)

1.一种发出报警信息的方法,其特征在于,所述方法包括:
基于预设的检测周期在目标视频中获取视频帧;
确定当前获取的视频帧中是否存在移动对象,如果当前获取的视频帧中存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧的移动对象侦测结果,其中,所述移动对象侦测结果用于指示所述视频帧中是否包括预设对象类型的移动对象;
如果所述移动对象侦测结果为存在预设对象类型的移动对象,则发出报警信息;
当第一视频帧的移动对象侦测结果为存在预设对象类型的移动对象且所述第一视频帧的前一获取视频帧的移动对象侦测结果为不存在预设对象类型的移动对象时,则根据第一视频帧对应的时间点确定第一开始时间点,当第二视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且所述第二视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第二视频帧对应的时间点确定第一结束时间点;
确定所述第一开始时间点与所述第一结束时间点之间获取的各视频帧中的移动对象的位置变化信息,根据所述位置变化 信息以及目标区域,确定所述第一开始时间点与所述第一结束时间点之间获取的各视频帧中的移动对象的移动类型,所述移动类型包括进入目标区域或离开目标区域;
将所述第一开始时间点、第一结束时间点与所述移动对象的移动类型,添加到开始时间点、结束时间点与移动类型的对应关系中;
当接收到片段查询指令时,获取所述片段查询指令对应的移动类型;
基于所述对应关系和所述片段查询指令对应的移动类型,确定所述片段查询指令对应的至少一对开始时间点与结束时间点;
播放所述至少一对开始时间点与结束时间点之间的视频片段。
2.根据权利要求1所述的方法,其特征在于,所述基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧的移动对象侦测结果,包括:
将当前获取的视频帧输入经过训练的对象侦测模型,得到模型输出值,其中,所述模型输出值用于指示输入的视频帧中是否包括移动对象以及在包括移动对象时移动对象的对象类型;
基于所述模型输出值,确定当前获取的视频帧中是否包括预设对象类型的移动对象,得到所述视频帧的移动对象侦测结果。
3.根据权利要求1所述的方法,其特征在于,所述确定当前获取的视频帧中是否存在移动对象,如果当前获取的视频帧中存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧的移动对象侦测结果,包括:
确定当前获取的视频帧在预设区域内的图像是否存在移动对象,如果当前获取的视频帧在预设区域内的图像存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧在预设区域内的图像的移动对象侦测结果。
4.根据权利要求1所述的方法,其特征在于,所述根据第一视频帧对应的时间点确定第一开始时间点,根据第二视频帧对应的时间点确定第一结束时间点,包括:
将所述第一视频帧对应的时间点之前第一预设时长的时间点确定为所述第一开始时间点,将所述第二视频帧对应的时间点之后第二预设时长的时间点确定为所述第一结束时间点。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定第一开始时间点与第一结束时间点之间获取的各视频帧中的移动对象的对象类型;
将所述第一开始时间点、第一结束时间点与所述移动对象的对象类型,添加到开始时间点、结束时间点与对象类型的对应关系中。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
当接收到片段查询指令时,获取所述片段查询指令对应的对象类型;
基于所述对应关系和所述片段查询指令对应的对象类型,确定所述片段查询指令对应的至少一对开始时间点与结束时间点;
播放所述至少一对开始时间点与结束时间点之间的视频片段。
7.根据权利要求1所述的方法,其特征在于,所述当第二视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且所述第二视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第二视频帧对应的时间点确定第一结束时间点之后,所述方法还包括:
在所述第一结束时间点之后第三预设时长内的第三视频帧的移动对象侦测结果为存在预设对象类型的移动对象且所述第三视频帧的前一获取视频帧的移动对象侦测结果为不存在预设对象类型的移动对象时,则根据第三视频帧对应的时间点确定第二开始时间点,当第四视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且所述第四视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第四视频帧对应的时间点确定第二结束时间点。
8.根据权利要求7所述的方法,其特征在于,所述当接收到移动对象片段回放指令时,播放所述目标视频中所述第一开始时间点与所述第一结束时间点之间的视频片段之后,所述方法还包括:
倍速播放的播放方式播放所述第一结束时间点和所述第二开始时间点之间的视频片段;
播放所述第二开始时间点和所述第二结束时间点之间的视频片段。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当接收到移动对象片段的关联视频回放指令时,播放与所述目标视频的关联视频中位于所述第一开始时间点和所述第一结束时间点之间的视频片段。
10.一种发出报警信息的装置,其特征在于,所述装置包括:
获取模块,用于基于预设的检测周期在目标视频中获取视频帧;
第一确定模块,用于确定当前获取的视频帧中是否存在移动对象,如果当前获取的视频帧中存在移动对象,则基于当前获取的视频帧和经过训练的对象检测模型,确定当前获取的视频帧的移动对象侦测结果,其中,所述移动对象侦测结果用于指示所述视频帧中是否包括预设对象类型的移动对象;
报警模块,用于如果所述移动对象侦测结果为存在预设对象类型的移动对象,则发出报警信息;
回放模块,用于当第一视频帧的移动对象侦测结果为存在预设对象类型的移动对象且所述第一视频帧的前一获取视频帧的移动对象侦测结果为不存在预设对象类型的移动对象时,则根据第一视频帧对应的时间点确定第一开始时间点,当第二视频帧的移动对象侦测结果为不存在预设对象类型的移动对象且所述第二视频帧的前一获取视频帧的移动对象侦测结果为存在预设对象类型的移动对象时,则根据第二视频帧对应的时间点确定第一结束时间点;
第二确定模块,用于确定所述第一开始时间点与所述第一结束时间点之间获取的各视频帧中的移动对象的位置变化信息,根据所述位置变化 信息以及目标区域,确定所述第一开始时间点与所述第一结束时间点之间获取的各视频帧中的移动对象的移动类型,所述移动类型包括进入目标区域或离开目标区域;将所述第一开始时间点、第一结束时间点与所述移动对象的移动类型,添加到开始时间点、结束时间点与移动类型的对应关系中;当接收到片段查询指令时,获取所述片段查询指令对应的移动类型;基于所述对应关系和所述片段查询指令对应的移动类型,确定所述片段查询指令对应的至少一对开始时间点与结束时间点;播放所述至少一对开始时间点与结束时间点之间的视频片段。
11.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如权利要求1至权利要求9任一项所述的发出报警信息的方法所执行的操作。
12.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如权利要求1至权利要求9任一项所述的发出报警信息的方法所执行的操作。
CN202010432607.2A 2020-05-20 2020-05-20 发出报警信息的方法、装置、设备及存储介质 Active CN113706807B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010432607.2A CN113706807B (zh) 2020-05-20 2020-05-20 发出报警信息的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010432607.2A CN113706807B (zh) 2020-05-20 2020-05-20 发出报警信息的方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113706807A CN113706807A (zh) 2021-11-26
CN113706807B true CN113706807B (zh) 2023-02-10

Family

ID=78645349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010432607.2A Active CN113706807B (zh) 2020-05-20 2020-05-20 发出报警信息的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113706807B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115361523B (zh) * 2022-07-13 2024-02-13 重庆甲智甲创科技有限公司 智能监控方法、装置及智能门

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106507129A (zh) * 2016-09-28 2017-03-15 浙江宇视科技有限公司 一种视频智能回放方法及设备
CN108322831A (zh) * 2018-02-28 2018-07-24 广东美晨通讯有限公司 视频播放控制方法、移动终端及计算机可读存储介质
CN109922310A (zh) * 2019-01-24 2019-06-21 北京明略软件***有限公司 目标对象的监控方法、装置及***
CN110738687A (zh) * 2019-10-18 2020-01-31 上海眼控科技股份有限公司 对象跟踪方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681751A (zh) * 2016-01-15 2016-06-15 上海小蚁科技有限公司 用于呈现视频的预览的方法、装置和***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106507129A (zh) * 2016-09-28 2017-03-15 浙江宇视科技有限公司 一种视频智能回放方法及设备
CN108322831A (zh) * 2018-02-28 2018-07-24 广东美晨通讯有限公司 视频播放控制方法、移动终端及计算机可读存储介质
CN109922310A (zh) * 2019-01-24 2019-06-21 北京明略软件***有限公司 目标对象的监控方法、装置及***
CN110738687A (zh) * 2019-10-18 2020-01-31 上海眼控科技股份有限公司 对象跟踪方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113706807A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN110971930B (zh) 虚拟形象直播的方法、装置、终端及存储介质
CN111147878B (zh) 直播中的推流方法、装置及计算机存储介质
CN110798790B (zh) 麦克风异常检测方法、装置及存储介质
CN110839128B (zh) 拍照行为检测方法、装置及存储介质
CN112084811B (zh) 身份信息的确定方法、装置及存储介质
CN111127509B (zh) 目标跟踪方法、装置和计算机可读存储介质
CN108363982B (zh) 确定对象数量的方法及装置
CN110874905A (zh) 监控方法及装置
CN112749590B (zh) 目标检测方法、装置、计算机设备和计算机可读存储介质
CN111754386A (zh) 图像区域屏蔽方法、装置、设备及存储介质
CN111586279B (zh) 确定拍摄状态的方法、装置、设备及存储介质
CN111325701B (zh) 图像处理方法、装置及存储介质
CN113706807B (zh) 发出报警信息的方法、装置、设备及存储介质
CN111428080B (zh) 录像文件的存储方法、搜索方法及装置
CN111723124B (zh) 数据碰撞分析的方法、装置、电子设备和存储介质
CN112241987A (zh) 确定防区的***、方法、装置及存储介质
CN111383251A (zh) 一种跟踪目标对象的方法、装置、监控设备和存储介质
CN111611414A (zh) 车辆检索方法、装置及存储介质
CN112015612B (zh) 一种获取卡顿信息的方法及装置
CN110941458B (zh) 启动应用程序的方法、装置、设备及存储介质
CN113936240A (zh) 确定样本图像的方法、装置、设备及存储介质
CN110717365B (zh) 一种获取图片的方法及装置
CN111860030A (zh) 行为检测方法、装置、设备及存储介质
CN112749583A (zh) 人脸图像分组方法、装置、计算机设备和存储介质
CN111698453B (zh) 视频处理的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant