CN112468735B - 视频处理***和视频处理方法 - Google Patents
视频处理***和视频处理方法 Download PDFInfo
- Publication number
- CN112468735B CN112468735B CN202110100561.9A CN202110100561A CN112468735B CN 112468735 B CN112468735 B CN 112468735B CN 202110100561 A CN202110100561 A CN 202110100561A CN 112468735 B CN112468735 B CN 112468735B
- Authority
- CN
- China
- Prior art keywords
- video
- signal
- event
- target event
- camera terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及一种视频处理***和视频处理方法。该***包括:触发信号生成设备,用于根据目标事件生成对应的触发信号,并将触发信号发送至摄像终端;其中,触发信号包括振动信号、音频信号和实时定位信号中的至少一种;摄像终端,用于采集原视频并根据触发信号生成对应的剪辑指令,根据剪辑指令对采集的原视频进行剪辑,得到与目标事件对应的视频。采用本***可以提高视频处理效率。
Description
技术领域
本申请涉及视频处理技术领域,特别是涉及一种视频处理***和视频处理方法。
背景技术
短视频以其时长较短且信息集中的特点逐渐受到人们的追捧,以一场赛事直播视频为例,当比赛过程中发生了精彩事件时,球员或者观众可能需要再次观看或者分享其精彩事件的视频。
然而,传统的短视频生成和处理方法完全依赖人工识别精彩事件并进行后期视频剪辑,根据剪辑结果对视频进行分发,无法保证生成和处理短视频的高效性和及时性。
发明内容
基于此,有必要针对上述技术问题,提供一种视频处理***和视频处理方法。
一种视频处理***,所述***包括:
触发信号生成设备,用于根据目标事件生成对应的触发信号,并将所述触发信号发送至摄像终端;所述触发信号包括振动信号、音频信号和实时定位信号中的至少一种;
所述摄像终端,用于采集原视频,并根据所述触发信号生成对应的剪辑指令,根据所述剪辑指令对采集的所述原视频进行剪辑,得到与目标事件对应的视频。
在其中一个实施例中,所述***还包括:
智能短视频云设备,用于将所述摄像终端上传的所述目标事件对应的视频进行分组存储和视频处理。
在其中一个实施例中,所述***还包括:
智能短视频云设备,用于将所述摄像终端上传的所述目标事件对应的视频进行分组存储和视频处理。
在其中一个实施例中,所述触发信号生成设备包括:
振动传感器,用于采集目标事件生成的振动信号,将所述振动信号发送至摄像终端;
音频传感器,用于采集所述目标事件生成的音频信号,将所述音频信号发送至所述摄像终端;及
定位设备,用于采集所述目标事件生成的定位信号,对所述定位信号进行分析得到所述定位信号对应的目标事件的事件信息,并将所述目标事件的事件信息发送至所述摄像终端。
在其中一个实施例中,所述振动传感器还用于对所述振动信号进行分析,提取得到所述振动信号中的振动频谱;
根据预设阈值对所述振动频谱进行判断,若所述振动频谱满足预设阈值,则将所述振动信号作为触发信号,并以蓝牙广播的形式发送至所述摄像终端。
在其中一个实施例中,所述音频传感器还用于对所述音频信号进行分析,提取得到的所述音频信号中的声纹特征数据;
根据预设阈值对所述声纹特征数据进行判断,若所述声纹特征数据满足预设阈值,则将所述音频信号作为所述触发信号,并以蓝牙广播的形式发送至所述摄像终端。
在其中一个实施例中,所述音频传感器集成于所述摄像终端内部,还用于对采集到的音频信号进行分析,提取得到的所述音频信号中的声纹特征数据;
根据预设阈值对所述声纹特征数据进行判断,若所述声纹特征数据满足预设阈值,则将所述音频信号作为所述触发信号,并以微电子信号的形式发送至所述摄像终端中的视频剪切模块。
在其中一个实施例中,所述定位设备还用于对各目标对象的位置信息进行实时定位追踪,得到各所述目标对象的位置数据序列;
根据所述位置数据序列,分析得到各目标对象所处的同一目标事件的事件信息,所述事件信息包括事件类型、事件主角和事件结果以及所述同一目标事件发生的位置信息;
根据所述同一目标事件的事件信息生成所述实时定位信号,将所述实时定位信号作为所述触发信号,以蓝牙广播的形式发送至所述摄像终端。
在其中一个实施例中,所述摄像终端还用于将剪辑得到的所述目标事件对应的视频上传至智能短视频云设备,并将所述原视频文件中剪辑出所述目标事件对应的视频后剩余的视频文件进行删除处理。
在其中一个实施例中,所述智能短视频云设备还用于接收至少一个摄像终端上传的目标事件对应的视频,所述视频携带分组标识信息;
根据所述分组标识信息对接收到的多个视频进行分组处理,得到同一目标事件对应的视频;
识别所述目标事件对应的视频中是否包含所述目标事件的事件信息;所述目标事件的事件信息是基于所述定位设备分析得到的通过所述实时定位信号与所述视频同步传输给所述智能短视频云设备的信息;
若所述目标事件对应的视频中不包含所述事件信息,则对所述目标事件对应的视频进行视频分析,提取所述视频中的图像特征,并根据提取出的所述图像特征以及预设的特征属性规则,得到所述目标事件对应的视频中包含的事件类型、事件主角和事件结果。
在其中一个实施例中,所述智能短视频云设备还用于将得到的所述目标事件对应的视频中包含的事件类型、事件主角和事件结果作为所述视频的相关信息,与所述视频一同存储至所述智能短视频云设备的存储器中。
在其中一个实施例中,所述智能短视频云设备还用于根据所述目标事件对应的视频中包含的所述事件主角,识别所述目标事件对应的目标对象;所述目标对象为所述目标事件中的事件主角;及
建立与所述目标对象对应账户的关联关系,并根据所述关联关系将所述视频推送至所述目标对象的对应账户下。
在其中一个实施例中,所述智能短视频云设备还用于若所述目标事件对应的视频中包含所述事件信息,则将所述事件信息作为所述视频的相关信息,与所述视频一同存储至所述智能短视频云设备的存储器中。
一种视频处理方法,所述方法包括:
通过触发信号生成设备根据目标事件生成对应的触发信号,并将所述触发信号发送至摄像终端;所述触发信号包括振动信号、音频信号和实时定位信号中的至少一种;
通过所述摄像终端采集原视频,并根据所述触发信号生成对应的剪辑指令,根据所述剪辑指令对采集的所述原视频进行剪辑,得到与目标事件对应的视频,并发送与所述目标事件对应的视频至智能短视频云设备。
在其中一个实施例中,所述方法还包括:
通过智能短视频云设备对接收到的所述目标事件对应的视频进行分组存储和视频处理。
上述视频处理***和视频处理方法,视频处理***包括:触发信号生成设备,用于根据目标事件生成对应的触发信号,并将所述触发信号发送至摄像终端;所述触发信号包括振动信号、音频信号和实时定位信号中的至少一种;所述摄像终端,用于采集原视频,并根据所述触发信号生成对应的剪辑指令,根据所述剪辑指令对采集的所述原视频进行剪辑,得到与目标事件对应的视频。采用本***,通过触发信号生成设备生成的触发信号触发摄像终端自动化的进行视频剪辑,及时快速的得到目标事件对应的视频段。
附图说明
图1为一个实施例中视频处理***的应用环境图;
图2为一个实施例中篮球赛场上部署视频处理***的应用环境图;
图3为一个实施例中视频处理***的内部架构图;
图4为一个实施例中OpenPose技术实现识别人体关键节点的示意图;
图5为一个实施例中视频处理方法的流程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的视频处理***100,所处的应用环境如图1所示。该***包括触发信号生成设备102和摄像终端104,其中,触发信号生成设备102用于根据目标事件生成对应的触发信号,并将触发信号发送至摄像终端104;触发信号包括振动信号、音频信号和实时定位信号中的至少一种;摄像终端104,用于采集原视频,并根据触发信号生成对应的剪辑指令,根据剪辑指令对采集的原视频进行剪辑,得到与目标事件对应的视频。
可选的,摄像终端104的数目可以是一个也可以是多个,一般为了视角多样性在一个应用场景下需配备多个摄像终端104,布局在应用场景的不同角度进行同步拍摄;摄像终端104可以为智能摄像机也可以为配置摄像头的手机等,本实施例不做限定。可选的,摄像终端104内部也可以集成有音频采集模块,用于对音频类型的触发信号进行采集,无需借助外部音频传感器的采集数据,也可内部进行音频数据的分析和处理。
可选的,在视频处理***100中还包括:智能短视频云设备,智能短视频云设备是包括硬件服务器和计算机软件的***,用于将摄像终端104上传的目标事件对应的视频进行分组存储和视频处理。其中,服务器可以为独立服务器或者是多个服务器组成的服务器集群。
具体地,以一个篮球赛场为例进行说明,布局该视频处理***,如图2所示,摄像终端(也即拍摄终端)部署在篮球赛场两侧,例如,安装在体育场馆内的墙面上,篮球架上面对篮筐的位置、天花板上,智能手机类型的摄像终端安装在三脚架上面。同时生成触发信号的音频传感器也部署在赛场两侧(或者集成在摄像终端内部),振动传感器部署在篮网上,RTLS***(RTLS服务器(含蓝牙基站))部署在场外,各传感器(振动传感器、音频传感器)和RTLS通过蓝牙广播或微电子电路的形式与摄像终端进行通讯,摄像终端与智能短视频云设备通过网络相连,并可进行文件上传操作,智能短视频云设备与客户端的用户账号关联,通过网络将视频传输至客户端用户账号下。
在一个实施例中,如图3所示,提供了一种视频处理***,该***包括:
触发信号生成设备310,用于根据目标事件生成对应的触发信号,并将触发信号发送至摄像终端;触发信号包括振动信号、音频信号和实时定位信号中的至少一种。
在实施中,触发信号生成设备用于根据目标事件生成对应的触发信号,并将触发信号发送至摄像终端;其中,触发信号生成设备可以包括:振动传感器、音频传感器和RTLS(Real Time LocatingSystems,实时定位***),因此,针对一次目标事件,触发信号生成设备包含的各传感器和RTLS可以在现场至少采集到振动信号、音频信号和实时定位信号中的一种。
可选地,目标事件可以为一场赛事直播过程中的精彩事件,以篮球赛事为例,目标事件可以为投篮命中事件、带球过人事件、盖帽事件、篮板事件等,因此本实施例中对于目标事件的具体事件类型不做限定。针对一次目标事件可以引发现场不同的反应,比如,观众反应(欢呼声)、篮网振动反应、球员位置变化等,因此,触发信号生成设备包含的各传感器也对应可以采集到不同的触发信号组合,其具体的组合方式:1、振动信号;2、音频信号;3、实时定位信号;4、振动信号和音频信号;5、振动信号和实时定位信号;6、音频信号和实时定位信号;7、振动信号、音频信号和实时定位信号。
摄像终端320,用于采集原视频,并根据触发信号生成对应的剪辑指令,根据剪辑指令对采集的原视频进行剪辑,得到与目标事件对应的视频。
在实施中,摄像终端,用于采集原视频,并根据触发信号生成对应的剪辑指令,根据剪辑指令对采集的原视频进行剪辑,得到与目标事件对应的视频。
其中,摄像终端一直处于拍摄状态,同时摄像终端内部运行程序实时监听接收到的触发信号,根据接收到的触发信号生成对应的剪辑指令,响应于该剪辑指令对采集的原视频(即当前拍摄缓存的视频)进行剪辑(监听到触发信号的时刻与事件发生的时刻基本吻合,而且触发信号到达各个摄像终端的时刻基本一致),得到与目标事件对应的视频。
具体地,摄像终端根据接收到的触发信号进行分析识别,生成自身设备可执行的剪辑指令,然后,根据剪辑指令对采集的原视频进行剪辑,考虑延迟时间,例如,延迟m秒,则摄像终端内部的运行程序以接收到触发信号的当前时刻为基准,截取当前时刻的前n秒和当前时刻的后m秒,共m+n秒的视频,作为目标事件对应的视频。
由于摄像终端可以接收到多种不同组合方式的触发信号,为了提高摄像终端的处理效率,摄像设备针对不同的触发信号存在处理优先级,即,实时定位信号(RTLS信号)优先于振动信号优先于音频信号,例如,在一种触发信号的组合方式中包含实时定位信号和其他信号,则优先处理实时定位信号,同时,其他类型信号可忽略不做处理;若触发信号的组合方式中包含振动信号和音频信号(不包括实时定位信号),则优先处理振动信号,音频信号可不做处理。
可选的,上述振动信号、音频信号和实时定位信号都可以通过蓝牙通信技术转换为蓝牙广播信号发送给摄像终端。若当摄像终端内部集成了音频采集模块(或称为音频采集装置)时,则摄像终端也可以直接接收和处理音频信号。
上述视频处理***中,触发信号生成设备,用于根据目标事件生成对应的触发信号,并将触发信号发送至摄像终端;触发信号包括振动信号、音频信号和实时定位信号中的至少一种;摄像终端,用于采集原视频,并根据触发信号生成对应的剪辑指令,根据剪辑指令对采集的原视频进行剪辑,得到与目标事件对应的视频。采用本***,通过触发信号生成设备生成的触发信号触发摄像终端自动化的进行视频剪辑,及时快速的得到目标事件对应的视频段。
在一个实施例中,该视频处理***还包括:智能短视频云设备,用于将摄像终端上传的目标事件对应的视频进行分组存储和视频处理。
在实施中,该视频处理***还包括:智能短视频云设备(服务器设备),用于将摄像终端上传的目标事件对应的视频进行分组存储和视频处理。
具体地,摄像终端通过无线或者有线网络与公网相连,摄像终端内部运行程序可以将剪辑后得到的目标事件对应的视频(视频文件)以及该文件的文件属性信息进行关联,(若该视频还携带视频内容中包含的事件信息,则也包含事件信息)通过网络一并上传至处于公网的智能短视频云设备。然后,智能短视频云设备接收到至少一个摄像终端上传的目标事件对应的视频,其中,视频携带分组标识信息,摄像终端上传的视频也即是根据上述视频生成方法中目标事件所产生的触发信号对应生成剪辑指令,并根据剪辑指令对原视频剪辑得到的。其中,可以触发摄像终端进行视频剪辑的触发信号包括振动信号、音频信号和实时定位信号中的至少一种。
在一个实施例中,触发信号生成设备包括:振动传感器,用于采集目标事件生成的振动信号,将振动信号发送至摄像终端;音频传感器,用于采集目标事件生成的音频信号,将音频信号发送至摄像终端;及定位设备,用于采集目标事件生成的定位信号,对定位信号进行分析得到定位信号对应的目标事件的事件信息,并将目标事件的事件信息发送至摄像终端。
在实施中,触发信号生成设备可以包括各种信号采集设备,用于采集因目标事件引发的信号并作为触发信号发送至摄像终端,例如,触发信号生成设备包括振动传感器、音频传感器和RTLS等,振动传感器,用于采集目标事件生成的振动信号,将振动信号作为触发信号发送至摄像终端;音频传感器,用于采集目标事件生成的音频信号,将音频信号作为触发信号发送至摄像终端;以篮球赛事为例,针对不同的精彩事件(目标事件),现场观众观看到精彩事件(目标事件)会发出对应的喝彩声,根据对喝彩声的声音信息的采集,得到对应的音频信号,音频传感器可以采集该音频信号。RTLS(定位设备)用于采集目标事件生成的定位信号,对定位信号进行分析得到定位信号对应的目标事件的事件信息,并将目标事件的事件信息作为触发信号发送至摄像终端。
在一个实施例中,振动传感器还用于对振动信号进行分析,提取得到振动信号中的振动频谱;根据预设阈值对振动频谱进行判断,若振动频谱满足预设阈值,则将振动信号作为触发信号,并以蓝牙广播的形式发送至摄像终端。
在实施中,振动传感器内部集成有用于数据分析处理的微处理芯片,可以对振动信号进行分析,提取振动信号的振动频谱并结合预设的阈值规则,对该振动频谱进行判断,若该振动频谱满足预设阈值,则振动传感器将该振动信号作为触发信号发送至摄像设备。
可选的,以篮球赛事为例,该触发信号中若包含振动信号,则表征发生了投篮命中事件(目标事件)。当振动传感器部署在篮网上时,比赛过程中球员进行投球,引发篮网振动,则其上部署的振动传感器采集到该次振动并生成振动信号,分析判断振动信号,若振动信号的振动频谱中包含的振动数据满足预设阈值时,表示该次投篮的结果为投篮命中,否则,表示该次投篮的结果为投篮未命中,当该次事件为投篮命中时,将该振动信号对应的蓝牙信号以广播的形式发送至摄像终端。
在一个实施例中,音频传感器还用于对音频信号进行分析,提取得到的音频信号中的声纹特征数据;根据预设阈值对声纹特征数据进行判断,若声纹特征数据满足预设阈值,则将音频信号作为触发信号,并以蓝牙广播的形式发送至摄像终端。
在实施中,音频传感器内部还集成有用于数据处理的微处理芯片,可以用于对音频信号进行分析,提取得到音频信号中的声纹特征数据;根据预设阈值对声纹特征数据进行判断,若声纹特征数据满足预设阈值,则将音频信号作为触发信号,并以蓝牙广播的形式发送至摄像终端。其中,声纹特征数据对应的预设阈值可以是根据预设的特征关键字或关键词的声纹信息确定的声纹特征数据阈值。
本实施例中,音频传感器对由事件引发的声音进行采集,得到音频信号,并根据预设的阈值对音频信号中提取出的声纹特征数据值进行声纹判断,确定发生了目标事件,进而将该音频信号作为触发信号发送至摄像终端,以触发摄像终端进行自动化视频剪辑,提高目标事件对应的视频的生成效率。
在一个实施例中,音频传感器集成于摄像终端内部,还用于对采集到的音频信号进行分析,提取得到的音频信号中的声纹特征数据;根据预设阈值对声纹特征数据进行判断,若声纹特征数据满足预设阈值,则将音频信号作为触发信号,并以微电子信号的形式发送至摄像终端中的视频剪切模块。
在实施中,音频传感器集成于摄像终端内部,该音频传感器也可以称为摄像终端内部的音频采集模块,该音频采集模块中集成有用于数据处理的微处理芯片,用于对采集到的音频信号进行分析,提取得到的音频信号中的声纹特征数据;根据预设阈值对声纹特征数据进行判断,若声纹特征数据满足预设阈值,则将音频信号作为触发信号,并以微电子信号的形式发送至摄像终端中的视频剪切模块。
在一个实施例中,定位设备还用于对各目标对象的位置信息进行实时定位追踪,得到各目标对象的位置数据序列;根据位置数据序列,分析得到各目标对象所处的同一目标事件的事件信息,事件信息包括事件类型、事件主角和事件结果以及同一目标事件发生的位置信息;根据同一目标事件的事件信息生成实时定位信号,将实时定位信号作为触发信号,以蓝牙广播的形式发送至摄像终端。
在实施中,定位设备还用于对各目标对象的位置信息进行实时定位追踪,得到各目标对象的位置数据序列;根据位置数据序列,分析得到各目标对象所处的同一目标事件的事件信息,该事件信息包括事件类型、事件主角和事件结果,以及同一目标事件发生的位置信息;定位设备用于根据同一目标事件的事件信息生成实时定位信号(RTLS信号),将实时定位信号作为触发信号,以蓝牙广播的形式发送至摄像终端。
具体地,该实时定位信号是由实现实时定位***(RTLS)的定位设备向摄像终端发送的信号,该定位设备可以通过对目标对象的位置变化以及各目标对象间的相对位置关系,判断发生的目标事件的事件类型、事件主角和事件结果(可以统称为事件三要素),以RTLS部署在篮球赛场上为例,通过对篮球以及多名球员的位置信息的跟踪定位和相对位置分析,可以判断一场篮球比赛中发生的投篮命中(也可对应判断未命中)、带球过人、挡拆、盖帽等事件,针对每一目标事件,识别事件三要素,在识别出事件三要素后RTLS***将事件三要素通过蓝牙通信技术,将事件三要素以及事件发生的位置信息以蓝牙广播信号的形式发送至摄像终端,其中,以蓝牙广播信号形式发送事件三要素以及事件发生的位置信息即对应本实施例触发信号中的实时定位信号。
在一个实施例中,摄像终端还用于将剪辑得到的目标事件对应的视频上传至智能短视频云设备,并将原视频文件中剪辑出目标事件对应的视频后剩余的视频文件进行删除处理。
在实施中,摄像终端还用于将剪辑得到的目标事件对应的视频上传至智能短视频云设备,并将原视频文件中剪辑出目标事件对应的视频后剩余的视频文件进行删除处理。具体地,当多个摄像终端同时拍摄的情况下,摄像终端还用于针对同一目标事件,每个摄像终端对应的一个拍摄角度采集的视频根据该摄像终端的剪辑信号(携带同步时间信息)确定为一组,上传至智能短视频云,对于将原视频文件中剪辑出目标事件对应的视频后剩余的视频文件进行删除处理。
为保证摄像终端足够的存储空间,对于现场采集时缓存的视频文件以及原文件剪辑后剩余的文件,在现场采集结束后可以进行删除处理,以节约摄像终端内存资源。
本实施例中,摄像终端即时清理剪辑后的剩余文件以及时间过久的视频文件,使得摄像终端内部保持足够的存储空间,以用于新的视频存储。
在一个实施例中,智能短视频云设备还用于接收至少一个摄像终端上传的目标事件对应的视频,视频携带分组标识信息;根据分组标识信息对接收到的多个视频进行分组处理,得到同一目标事件对应的视频;识别目标事件对应的视频中是否包含目标事件的事件信息;目标事件的事件信息是基于定位设备分析得到的通过实时定位信号与视频同步传输给智能短视频云设备的信息;若目标事件对应的视频中不包含事件信息,则对目标事件对应的视频进行视频分析,提取视频中的图像特征,并根据提取出的图像特征以及预设的特征属性规则,得到目标事件对应的视频中包含的事件类型、事件主角和事件结果。
在实施中,智能短视频云设备还用于接收至少一个摄像终端上传的目标事件对应的视频,每个视频携带分组标识信息;根据分组标识信息对接收到的多个视频进行分组处理,得到同一目标事件对应的视频。
具体地,摄像终端上传的视频均携带有分组标识,则智能短视频云设备可以根据该分组标识信息对多个摄像终端上传的多个视频或者一个摄像终端上传的多个视频进行同一目标事件维度的分组处理,分组后每一组视频对应为同一目标事件的视频。在目标摄像场景内,例如,篮球场馆内可以部署一个或多个摄像终端,当仅部署一个摄像终端时,针对每一目标事件(例如,投篮事件),仅可对应获取到一个拍摄角度下的视频段,从而,智能短视频云设备根据分组标识将同一个目标事件对应的一个视频段进行分组处理;当部署多个摄像终端时,针对每一目标事件(例如,投篮事件),多个摄像终端可以对应获取到同一目标事件多个拍摄角度下的视频段,从而,智能短视频云设备根据分组标识将同一个目标事件对应的多个视频段分为一组,也即每一组视频对应展示同一目标事件。
在实施中,智能短视频云设备,还用于识别目标事件对应的视频中是否包含目标事件的事件信息;该目标事件的事件信息是基于定位设备分析得到的并通过实时定位信号与视频同步传输给智能短视频云设备的信息;若目标事件对应的视频中不包含事件信息,则对目标事件对应的视频进行视频分析,提取视频中的图像特征,并根据提取出的图像特征以及预设的特征属性规则,得到目标事件对应的视频中包含的事件类型、事件主角和事件结果。
具体地,由于摄像终端接收到的触发信号中可能会包含RTLS信号,如果包含RTLS信号,则RTLS信号中携带有事件信息和事件位置信息,则摄像终端根据RTLS信号生成剪辑指令对原视频进行剪辑,得到的目标事件对应的视频文件中同时也会有RTLS信号中携带的目标事件的事件信息和事件位置信息。进而摄像终端通过网络将视频文件以及相关的事件信息和事件位置信息一并上传至处于公网的智能短视频云设备。则智能短视频云设备对上传的视频均需要识别视频是否携带事件信息;其中,事件信息包括目标事件的三要素:事件类型、事件主角和事件结果,事件位置信息为目标事件发生的位置坐标。
若目标事件对应的视频不包含事件信息和事件位置信息,则智能短视频云设备需要对视频进行分析处理,利用第三方人体多姿态评估技术识别事件中事件主角的动作类型,例如,以一场篮球赛事为例,识别视频中各行为对象的动作类型可以包括:投篮、过人、盖帽等,也可以判断出该动作产生的结果,以及根据动作执行者确定出的目标事件对应的视频中的事件主角,具体智能短视频云设备应用的全部视频图像分析算法:可以利用第三方的CV(Computer Vision,计算机视觉)框架下的BodyPix对事件主角进行识别,提取事件主角的脸部、头发长短及颜色、球衣、球衣号码、球衣姓名等特征。进而,利用视觉技术分析目标事件的全过程,借助OpenCV等第三方图像处理软件对球衣的颜色进行区分,以用于区分球员所属球队。利用第三方检测框架(如SSD、Faster RCNN等)检测视频中的篮球、篮筐以及篮球场内各划线区域,如三分线、三秒区、中心圈等,借助第三方人体多姿态评估框架,如图4所示,利用OpenPose实现对视频中所有运动员身体14个关键节点的识别;通过帧序列(即视频中按时间维度的序列)中对每个球员关节点和篮球位置信息的变化,或者双方两个或者多个球员关节点以及篮球位置信息的变化来识别事件类型和事件结果。具体判断流程如下:
步骤一,持球球员的判定:遍历全场全部球员以及篮球的相对位置,识别出进攻方球员A手掌节点的位置与篮球的位置重合,判定视频中A球员此时持球;
步骤二(a),投篮动作的判定:视频中后续帧序列显示A球员手掌节点高过头顶,且篮球离开A球员手掌,以水平方向朝篮筐运动且在竖直方向先是向上运动然后再向下运动,最后落入到篮筐附近,则判别该次目标事件为一次投篮事件且A球员为事件主角;
步骤三(a),分析视频中篮球和篮筐的位置,若篮球与篮筐位置出现了重合,且在穿过篮网的过程中下降速度明显减小,则***判别事件结果为投篮命中。
步骤二(b),防守球员的判定:遍历全场全部球员以及篮球的相对位置,与持球运动员A球衣颜色不同的球员,且面朝A球员,双臂微张与A球员距离小于某个阈值时,***判定该球员为防守球员B;
步骤三(b)盖帽动作的判定:视频中后续帧序列显示,持球球员A有投篮动作后,防守球员B一个手掌的关节点高过头顶,且与篮球的中心位置距离小于某个阈值,或者篮球离开持球球员A的手掌后位移速度或方向发生明显变化,判定该次目标事件为一次盖帽事件,盖帽成功且B球员为事件主角。
可选的,根据动作执行者来判定事件主角,如投篮、过人等进攻方球员是事件主角,如盖帽、抢断等防守方球员是事件主角。
在一个实施例中,智能短视频云设备还用于将得到的目标事件对应的视频中包含的事件类型、事件主角和事件结果作为视频的相关信息,与视频一同存储至智能短视频云设备的存储器中。
在实施中,智能短视频云设备还用于将得到的目标事件对应的视频中包含的事件类型、事件主角和事件结果作为视频的相关信息,与对应的视频进行关联并与该视频一同存储至智能短视频云设备的存储器中,以用于根据相关信息进行视频的查找和推送。
可选的,智能短视频云设备还可以根据视频中包含的赛事类型、视频时间信息、视频标题等常规搜索条件进行视频搜索。
可选的,各目标事件对应的视频文件存储于分布式文件***中,基于分布式文件***结构实现视频文件的海量存储和高速检索。而视频文件的相关信息(用于作描述视频的元数据)存储在分布式数据库中,视频文件与视频文件的相关信息建立有关联关系,相关关系辅助视频文件的查询。
在一个实施例中,智能短视频云设备还用于根据目标事件对应的视频中包含的事件主角,识别目标事件对应的目标对象;目标对象为目标事件中的事件主角;及建立与目标对象对应账户的关联关系,并根据关联关系将视频推送至目标对象的对应账户下。
可选地,用户可以通过APP或者小程序登录自己的个人账号,得到以自身作为事件主角的目标事件对应的视频,后续智能短视频云设备会根据预设周期以及视频文件上传情况等自动推送视频到对应的用户实体账号中,用户也可以采用“关注”的方式,手动建立于视频与账户的关联关系,以便后续将剪辑后的视频自动推送至账号中。
可选的,视频的分发方式除了智能短视频云设备(服务器端)向用户账号(客户端)进行推送之外,还可以由客户端从服务器端进行拉取,因此,本实施例针对视频分发的具体实施方式不做限定。
在本实施例中,通过视频文件与视频相关信息间建立的关联关系,将视频文件推送给视频中的事件主角,完成了视频的自动化分发,提高了视频分发效率。具体地,一条短视频从现场剪辑、上传、分析、到推送至目标对象的账号,一般不会超过3分钟。
在一个实施例中,智能短视频云设备还用于若目标事件对应的视频中包含事件信息,则将事件信息作为视频的相关信息,与视频一同存储至智能短视频云设备的存储器中。
在实施中,智能短视频云设备还用于若识别出的摄像终端上传的视频文件中携带有RTLS信息,即包含RTLS信号携带的事件信息和事件位置信息,则无需进行视频分析,直接将视频与视频对应的事件信息建立关联关系,并一同存储至智能短视频云的存储器中。
本实施例中,如图5所示,提供了一种视频处理方法,具体步骤如下所示:
步骤501,通过触发信号生成设备根据目标事件生成对应的触发信号,并将触发信号发送至摄像终端;触发信号包括振动信号、音频信号和实时定位信号中的至少一种。
步骤502,通过摄像终端采集原视频,并根据触发信号生成对应的剪辑指令,根据剪辑指令对采集的原视频进行剪辑,得到与目标事件对应的视频,并发送与目标事件对应的视频至智能短视频云设备。
在一个实施例中,该方法还包括:通过智能短视频云设备对接收到的目标事件对应的视频进行分组存储和视频处理。
关于视频处理方法的具体限定可以参见上文中对于视频处理***的限定,在此不再赘述。
应该理解的是,虽然图5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图5中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (14)
1.一种视频处理***,其特征在于,所述***包括:
触发信号生成设备,用于根据目标事件生成对应的触发信号,并将所述触发信号发送至摄像终端;所述触发信号包括振动信号、音频信号和实时定位信号中的至少一种;
所述摄像终端,用于采集原视频,并实时监听所述触发信号,根据所述触发信号的处理优先级对所述触发信号进行处理,根据所述触发信号生成对应的剪辑指令,根据所述剪辑指令对采集的所述原视频进行剪辑,得到与目标事件对应的视频;其中,所述处理优先级为实时定位信号优先于所述振动信号优先于所述音频信号;当一种触发信号的组合方式中包含所述实时定位信号、所述振动信号和所述音频信号,则所述摄像终端用于优先处理所述实时定位信号,其他类型信号不做处理;当一种触发信号的组合方式中包含所述振动信号和所述音频信号,不包含所述实时定位信号,则所述摄像终端用于优先处理所述振动信号,所述音频信号不做处理。
2.根据权利要求1所述的***,其特征在于,所述***还包括:
智能短视频云设备,用于将所述摄像终端上传的所述目标事件对应的视频进行分组存储和视频处理。
3.根据权利要求1所述的***,其特征在于,所述触发信号生成设备包括:
振动传感器,用于采集目标事件生成的振动信号,将所述振动信号发送至摄像终端;
音频传感器,用于采集所述目标事件生成的音频信号,将所述音频信号发送至所述摄像终端;及
定位设备,用于采集所述目标事件生成的定位信号,对所述定位信号进行分析得到所述定位信号对应的目标事件的事件信息,并将所述目标事件的事件信息发送至所述摄像终端。
4.根据权利要求3所述的***,其特征在于,所述振动传感器还用于对所述振动信号进行分析,提取得到所述振动信号中的振动频谱;
根据预设阈值对所述振动频谱进行判断,若所述振动频谱满足预设阈值,则将所述振动信号作为触发信号,并以蓝牙广播的形式发送至所述摄像终端。
5.根据权利要求3所述的***,其特征在于,所述音频传感器还用于对所述音频信号进行分析,提取得到的所述音频信号中的声纹特征数据;
根据预设阈值对所述声纹特征数据进行判断,若所述声纹特征数据满足预设阈值,则将所述音频信号作为所述触发信号,并以蓝牙广播的形式发送至所述摄像终端。
6.根据权利要求3所述的***,其特征在于,所述音频传感器集成于所述摄像终端内部,还用于对采集到的音频信号进行分析,提取得到的所述音频信号中的声纹特征数据;
根据预设阈值对所述声纹特征数据进行判断,若所述声纹特征数据满足预设阈值,则将所述音频信号作为所述触发信号,并以微电子信号的形式发送至所述摄像终端中的视频剪切模块。
7.根据权利要求3所述的***,其特征在于,所述定位设备还用于对各目标对象的位置信息进行实时定位追踪,得到各所述目标对象的位置数据序列;
根据所述位置数据序列,分析得到各目标对象所处的同一目标事件的事件信息,所述事件信息包括事件类型、事件主角和事件结果以及所述同一目标事件发生的位置信息;
根据所述同一目标事件的事件信息生成所述实时定位信号,将所述实时定位信号作为所述触发信号,以蓝牙广播的形式发送至所述摄像终端。
8.根据权利要求1所述的***,其特征在于,所述摄像终端还用于将剪辑得到的所述目标事件对应的视频上传至智能短视频云设备,并将所述原视频文件中剪辑出所述目标事件对应的视频后剩余的视频文件进行删除处理。
9.根据权利要求2所述的***,其特征在于,所述智能短视频云设备还用于接收至少一个摄像终端上传的目标事件对应的视频,所述视频携带分组标识信息;
根据所述分组标识信息对接收到的多个视频进行分组处理,得到同一目标事件对应的视频;
识别所述目标事件对应的视频中是否包含所述目标事件的事件信息;所述目标事件的事件信息是基于定位设备分析得到的通过所述实时定位信号与所述视频同步传输给所述智能短视频云设备的信息;
若所述目标事件对应的视频中不包含所述事件信息,则对所述目标事件对应的视频进行视频分析,提取所述视频中的图像特征,并根据提取出的所述图像特征以及预设的特征属性规则,得到所述目标事件对应的视频中包含的事件类型、事件主角和事件结果。
10.根据权利要求9所述的***,其特征在于,所述智能短视频云设备还用于将得到的所述目标事件对应的视频中包含的事件类型、事件主角和事件结果作为所述视频的相关信息,与所述视频一同存储至所述智能短视频云设备的存储器中。
11.根据权利要求9所述的***,其特征在于,所述智能短视频云设备还用于根据所述目标事件对应的视频中包含的所述事件主角,识别所述目标事件对应的目标对象;所述目标对象为所述目标事件中的事件主角;及
建立与所述目标对象对应账户的关联关系,并根据所述关联关系将所述视频推送至所述目标对象的对应账户下。
12.根据权利要求9所述的***,其特征在于,所述智能短视频云设备还用于若所述目标事件对应的视频中包含所述事件信息,则将所述事件信息作为所述视频的相关信息,与所述视频一同存储至所述智能短视频云设备的存储器中。
13.一种视频处理方法,其特征在于,所述方法包括:
通过触发信号生成设备根据目标事件生成对应的触发信号,并将所述触发信号发送至摄像终端;所述触发信号包括振动信号、音频信号和实时定位信号中的至少一种;
通过所述摄像终端采集原视频,并实时监听所述触发信号,根据所述触发信号的处理优先级对所述触发信号进行处理,根据所述触发信号生成对应的剪辑指令,根据所述剪辑指令对采集的所述原视频进行剪辑,得到与目标事件对应的视频,并发送与所述目标事件对应的视频至智能短视频云设备;其中,所述处理优先级为实时定位信号优先于所述振动信号优先于所述音频信号;当一种触发信号的组合方式中包含所述实时定位信号、所述振动信号和所述音频信号,则所述摄像终端用于优先处理所述实时定位信号,其他类型信号不做处理;当一种触发信号的组合方式中包含所述振动信号和所述音频信号,不包含所述实时定位信号,则所述摄像终端用于优先处理所述振动信号,所述音频信号不做处理。
14.根据权利要求13所述的方法,其特征在于,所述方法还包括:
通过智能短视频云设备对接收到的所述目标事件对应的视频进行分组存储和视频处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110100561.9A CN112468735B (zh) | 2021-01-26 | 2021-01-26 | 视频处理***和视频处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110100561.9A CN112468735B (zh) | 2021-01-26 | 2021-01-26 | 视频处理***和视频处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112468735A CN112468735A (zh) | 2021-03-09 |
CN112468735B true CN112468735B (zh) | 2021-05-11 |
Family
ID=74802375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110100561.9A Active CN112468735B (zh) | 2021-01-26 | 2021-01-26 | 视频处理***和视频处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112468735B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101599179A (zh) * | 2009-07-17 | 2009-12-09 | 北京邮电大学 | 场地运动精彩镜头集锦自动生成方法 |
CN104883607A (zh) * | 2015-06-05 | 2015-09-02 | 广东欧珀移动通信有限公司 | 一种视频截图或剪切的方法、装置及移动设备 |
CN107079201A (zh) * | 2014-08-13 | 2017-08-18 | 英特尔公司 | 用于编辑视频的技术和装置 |
CN110717071A (zh) * | 2018-06-26 | 2020-01-21 | 北京深蓝长盛科技有限公司 | 图像剪辑方法、装置、计算机设备和存储介质 |
CN111494912A (zh) * | 2019-01-31 | 2020-08-07 | 北京深蓝长盛科技有限公司 | 篮球运动辅助***及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8731239B2 (en) * | 2009-12-09 | 2014-05-20 | Disney Enterprises, Inc. | Systems and methods for tracking objects under occlusion |
-
2021
- 2021-01-26 CN CN202110100561.9A patent/CN112468735B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101599179A (zh) * | 2009-07-17 | 2009-12-09 | 北京邮电大学 | 场地运动精彩镜头集锦自动生成方法 |
CN107079201A (zh) * | 2014-08-13 | 2017-08-18 | 英特尔公司 | 用于编辑视频的技术和装置 |
CN104883607A (zh) * | 2015-06-05 | 2015-09-02 | 广东欧珀移动通信有限公司 | 一种视频截图或剪切的方法、装置及移动设备 |
CN110717071A (zh) * | 2018-06-26 | 2020-01-21 | 北京深蓝长盛科技有限公司 | 图像剪辑方法、装置、计算机设备和存储介质 |
CN111494912A (zh) * | 2019-01-31 | 2020-08-07 | 北京深蓝长盛科技有限公司 | 篮球运动辅助***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112468735A (zh) | 2021-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109326310B (zh) | 一种自动剪辑的方法、装置及电子设备 | |
CN109194978A (zh) | 直播视频剪辑方法、装置和电子设备 | |
JPWO2018198373A1 (ja) | 映像監視システム | |
US20050265603A1 (en) | Image processing | |
US9451178B2 (en) | Automatic insertion of video into a photo story | |
CN111163259A (zh) | 一种图像抓拍方法、监控相机及监控*** | |
CN107247733B (zh) | 一种视频片段观看热度分析方法及*** | |
WO2021068553A1 (zh) | 一种监控方法、装置和设备 | |
CN108028969A (zh) | 用于视频处理的***和方法 | |
WO2006009521A1 (en) | System and method for replay generation for broadcast video | |
WO2014106384A1 (zh) | 一种监控录像信息提供方法、装置及视频监控*** | |
CN108540757B (zh) | 监控***及监控方法 | |
CN111586432B (zh) | 空播直播间确定方法、装置、服务器及存储介质 | |
CN108537088B (zh) | 监控方法和*** | |
CN105245845A (zh) | 一种比赛现场根据聚集趋势控制摄像头自动跟拍的方法 | |
CN105320958B (zh) | 一种基于位置信息的图像识别方法及*** | |
CN111741325A (zh) | 视频播放方法、装置、电子设备及计算机可读存储介质 | |
CN112437233B (zh) | 视频生成方法、视频处理方法、装置和摄像设备 | |
CN107092636A (zh) | Cctv影像的检索装置及方法 | |
CN110717071B (zh) | 图像剪辑方法、装置、计算机设备和存储介质 | |
CN108540817B (zh) | 视频数据处理方法、装置、服务器及计算机可读存储介质 | |
CN112468735B (zh) | 视频处理***和视频处理方法 | |
CN109963113A (zh) | 一种感兴趣目标的监控方法及装置 | |
CN108881119B (zh) | 一种视频浓缩的方法、装置和*** | |
US20230075621A1 (en) | Golf digest creating system, mobile imaging unit, and digest creating device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |