CN106375695A - 音视频评分并存储的方法及装置 - Google Patents

音视频评分并存储的方法及装置 Download PDF

Info

Publication number
CN106375695A
CN106375695A CN201610768932.XA CN201610768932A CN106375695A CN 106375695 A CN106375695 A CN 106375695A CN 201610768932 A CN201610768932 A CN 201610768932A CN 106375695 A CN106375695 A CN 106375695A
Authority
CN
China
Prior art keywords
video
sound
audio frequency
cycle
mobile detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610768932.XA
Other languages
English (en)
Other versions
CN106375695B (zh
Inventor
陈羽通
蔡井彬
占木土
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Geek Ruanchuang Xiamen Information Technology Co ltd
Original Assignee
Xiamen Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Network Technology Co Ltd filed Critical Xiamen Network Technology Co Ltd
Priority to CN201610768932.XA priority Critical patent/CN106375695B/zh
Publication of CN106375695A publication Critical patent/CN106375695A/zh
Application granted granted Critical
Publication of CN106375695B publication Critical patent/CN106375695B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Software Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Telephone Function (AREA)

Abstract

本发明提出一种家庭视频评分并存储的方法及装置，该方法包括步骤：采集视频中的声音特征；采集视频中的动作特征；对视频中的声音特征评分；对视频中的动作特征评分；结合声音特征评分和动作特征评分对视频评分；将所有音视频按音视频评分从高到低进行排列，并存储音视频评分前排序位一定范围内的视频。该装置包括声音采集模块、动作采集模块、声音评分模块、动作评分模块、综合评分模块、存储模块。本发明不仅实现较为精准的区分家庭视频片段的精彩程度，还大大节约了存储成本。

Description

音视频评分并存储的方法及装置
技术领域
本发明涉及智能视频技术，具体涉及音视频评分并存储的方法及装置。
背景技术
在智能家居领域中，通过智能摄像技术能够捕捉家庭录像的片段，采集到的音视频片段数量较多，其中有一些枯燥无趣的短音视频片段，因而需要将枯燥无趣的短音视频片段自动过滤掉并筛选出较为精彩的音视频片段，以节约存储的成本，通过人工回放的方式获取用户认为较为精彩的音视频片段并过滤枯燥无趣的短音视频片段显然是较为低效的，因而需要引入一种全新的针对家庭采集音视频的评分机制以过滤出精彩度较高的少量短音视频，从而将大量的枯燥无趣的短音视频片段自动过滤掉，大大减少存储的容量，进而大大节俭存储的成本。
发明内容
为此，本发明提出一种音视频评分并存储的方法及装置，通过对音视频的声音特征以及动作特征赋予不同的权重进行评分，以实现较为精准的区分家庭音视频片段的精彩程度，并引入初步筛选获取精彩度较高的音视频录制方法，以更精确的对音视频评分。由于本发明能将枯燥无趣的片段过滤掉，并且帮用户筛选并提取出精彩程度较高的视频片段，从而让用户在回顾视频时，能够更快的找到自己感兴趣的视频片段，而不会被大量的录制下来的枯燥无味的片段所困扰。
具体方案如下：
音视频评分并存储的方法，包括步骤：
采集音视频中的声音特征；
采集音视频中的动作特征；
对音视频中的声音特征评分；
对音视频中的动作特征评分；
结合声音特征评分和动作特征评分；
将所有音视频按音视频评分从高到低进行排列，并存储音视频评分前排序位一定范围内的视频。
其中，在进行采集音视频中的动作特征步骤中，还包括一设置移动侦测区域的步骤：将音视频中的视频图像帧分割成若干图像块，各若干图像块设为移动侦测区域,并对移动侦测区域编号标记。
其中，所述的采集音视频中的声音特征具体方法是：
将完整的音视频按时间划分为多个声音采集周期；
采集每个声音采集周期内的声音特征：获取声音采集周期内的声音特征，所述的声音特征包括声音平均音量声音的最大值Vmax以及声音的最小值Vmin。
其中，所述的采集音视频中的动作特征具体方法是：
将完整的音视频按时间划分为多个动作采集周期；
采集每个动作采集周期内的动作特征：对该周期内的音视频中图像帧进行移动侦测检测，获取动作采集周期内的动作特征，所述的动作特征包括移动侦测触发区域M、移动侦测触发区域触发的移动侦测次数N。
其中，所述的对音视频中的声音特征评分的具体步骤是：
初始化音视频的声音评分值ScoreV＝0；
计算第m个周期的平均音量信息Vm，其中并对Vm取整；
获取本周期与上一周期的音量差值的绝对值VDm；
计算第m个周期的声音评分值：
ScoreVm＝ScoreVm-1+Vm+|Vm-VDm|/(Vm+VDm)*Vm，其中ScoreVm-1为上一周期的声音评分值；
依次计算下一周期的声音评分值，直到获得最后一个周期的声音评分值，该声音评分值即为音视频的声音特征评分值，
所述的对音视频中的动作特征评分的具体步骤是：
初始化音视频的动作评分值ScoreM＝0；
获取第m个周期的移动侦测触发区域M及移动侦测触发区域触发的移动侦测次数N，记为Dm(M1，N1)...Dm(Mn，Nn)；
获取本周期内的移动侦测触发区域总数NT_dist以及移动侦测触发总次数NT_motion；
获取本周期与上一周期不同的移动侦测触发区域总数NTD_dist；
计算第m个周期的动作评分值：
ScoreMm＝ScoreMm-1+NT_dist+NT_motion+NTD_dist，其中ScoreMm-1为上一周期的动作评分值；
依次计算下一周期的动作评分值，直到获得最后一个周期的动作评分值，该动作评分值即为音视频的动作特征评分值。
其中，所述的结合声音特征评分和动作特征评分对音视频评分的具体方法是：
计算音视频评分Score，其中Score＝ScoreV*rateV+ScoreM*rateM，rateV为声音评分值的权重值，rateM为动作评分值的权重值。
进一步的，在采集音视频的声音特征及动作特征之前,还包括初步筛选录制获取一音视频的步骤,该录制音视频方法包括步骤：
采集至少两个图像帧，并采集声音信息；
设置移动侦测区域：将图像帧分割成若干图像块，各若干图像块设为移动侦测区域；
设定一开始录制检测周期，对该周期内的图像帧进行移动侦测检测，统计出在开始录制检测周期内的移动侦测触发次数、移动侦测触发的不同区域数，并获取在开始录制检测周期内的声音信息中的声音平均音量，若移动侦测触发次数大于移动侦测触发次数阈值、移动侦测触发的不同区域数大于移动侦测触发的不同区域数阈值且声音平均音量大于声音平均音量阈值，则开始音视频录制；
设定一结束录制检测周期，对该周期内的图像帧进行移动侦测检测，统计出在结束录制检测周期内的移动侦测触发次数、移动侦测触发的不同区域数以及视频录制的持续时长，并获取在结束录制检测周期内的声音信息中的声音平均音量，若移动侦测触发次数小于移动侦测触发次数阈值、移动侦测触发的不同区域数小于移动侦测触发的不同区域数阈值、声音平均音量小于声音平均音量阈值或视频录制的持续时长大于时长阈值，则结束音视频录制；
存储从开始录制视频到结束视频录制的时间内的连续图像帧以及声音信息即形成音视频。
音视频评分并存储的装置，包括：
声音特征采集模块，被配置为采集音视频中的声音特征，
动作特征采集模块，被配置为采集音视频中的动作特征，
声音特征评分模块，被配置为对音视频中的声音特征评分，
动作特征评分模块，被配置为对音视频中的动作特征评分，
综合评分模块，被配置为结合声音特征评分和动作特征评分对音视频评分，
存储模块，被配置为将所有音视频按音视频评分从高到低进行排列，并存储音视频评分前排序位一定范围内的视频。
其中，所述的动作特征采集模块包括以一移动侦测区域设置模块：被配置为将音视频中的视频图像帧分割成若干图像块，各若干图像块设为移动侦测区域,并对移动侦测区域编号标记。
其中，所述的声音特征采集模块还用于：将完整的音视频按时间划分为多个声音采集周期；采集每个声音采集周期内的声音特征：获取声音采集周期内的声音特征，所述的声音特征包括声音平均音量声音的最大值Vmax以及声音的最小值Vmin。
其中，所述的动过特征采集模块还用于：将完整的音视频按时间划分为多个动作采集周期；
采集每个动作采集周期内的动作特征：对该周期内的音视频中图像帧进行移动侦测检测，获取动作采集周期内的动作特征，所述的动作特征包括移动侦测触发区域M、移动侦测触发区域触发的移动侦测次数N。
其中，所述的声音特征评分模块还用于：
初始化音视频的声音评分值ScoreV＝0；
计算第m个周期的平均音量信息Vm，其中并对Vm取整；
获取本周期与上一周期的音量差值的绝对值VDm；
计算第m个周期的声音评分值：
ScoreVm＝ScoreVm-1+Vm+|Vm-VDm|/(Vm+VDm)*Vm，其中ScoreVm-1为上一周期的声音评分值；
依次计算下一周期的声音评分值，直到获得最后一个周期的声音评分值，该声音评分值即为音视频的声音特征评分值，
所述的动作特征评分模块还用于：
初始化音视频的动作评分值ScoreM＝0；
获取第m个周期的移动侦测触发区域M及移动侦测触发区域触发的移动侦测次数N，记为Dm(M1，N1)...Dm(Mn，Nn)；
获取本周期内的移动侦测触发区域总数NT_dist以及移动侦测触发总次数NT_motion；
获取本周期与上一周期不同的移动侦测触发区域总数NTD_dist；
计算第m个周期的动作评分值：
ScoreMm＝ScoreMm-1+NT_dist+NT_motion+NTD_dist，其中ScoreMm-1为上一周期的动作评分值；
依次计算下一周期的动作评分值，直到获得最后一个周期的动作评分值，该动作评分值即为音视频的动作特征评分值。
其中，所述的综合评分模块还用于：
计算音视频评分Score，其中Score＝ScoreV*rateV+ScoreM*rateM，rateV为声音评分值的权重值，rateM为动作评分值的权重值。
其中，还包括初步筛选录制获取一音视频的模块,该音视频录制模块包括：
采集模块，被配置为采集至少两个图像帧，并采集声音信息；
移动侦测设置模块，被配置为设置移动侦测区域：将图像帧分割成若干图像块，各若干图像块设为移动侦测区域；
录制开始单元，被配置为设定一开始录制检测周期，对该周期内的图像帧进行移动侦测检测，统计出在开始录制检测周期内的移动侦测触发次数、移动侦测触发的不同区域数，并获取在开始录制检测周期内的声音信息中的声音平均音量，若移动侦测触发次数大于移动侦测触发次数阈值、移动侦测触发的不同区域数大于移动侦测触发的不同区域数阈值且声音平均音量大于声音平均音量阈值，则开始音视频录制；
录制结束单元，被配置为设定一结束录制检测周期，对该周期内的图像帧进行移动侦测检测，统计出在结束录制检测周期内的移动侦测触发次数、移动侦测触发的不同区域数以及视频录制的持续时长，并获取在结束录制检测周期内的声音信息中的声音平均音量，若移动侦测触发次数小于移动侦测触发次数阈值、移动侦测触发的不同区域数小于移动侦测触发的不同区域数阈值、声音平均音量小于声音平均音量阈值或视频录制的持续时长大于时长阈值，则结束音视频录制；
存储单元，被配置为存储从开始录制视频到结束视频录制的时间内的连续图像帧以及声音信息即形成音视频。
传统的网络摄像机在录制视频文件时，并没有对录制文件当中所携带的动作以及声音的信息进行提取并数字化，从而无法为用户对该视频的精彩程度进行数字化评分，从而无法为用户做去粗取精的工作。而本发明的引入，加入了对视频精彩程度评分的机制，能够为用户对大量的视频文件进行精彩程度的排序，并为用户过滤掉低分值的枯燥乏味的视频，从而给用户回放视频文件带来更好的体验；
由于本发明引入了精彩评分的体系，能够自动识别并挑选出高分值的视频片段，将这些片段进行存储，并将其它低分值的片段自动清理删除，从而大大减少了存储的成本，并对经典视频片段的长久存储提供了可行的方案。相比传统的网络摄像机的云存储方案，只能够保存最新一周，一个月或者一年的视频片段，并且需要用户支付高昂的存储费用相比，本发明将在存储时间以及成本上都能改有大幅度的改善，更进一步的本发明引入一初步筛选获得音视频的方法，以更加精确的对视频进行评分。
附图说明
图1为本本发明音视频评分并存储的方法的流程图；
图2为本发明一实施例对图像设置移动侦测区域的示意图；
图3为本发明一实施例采集声音特征及动作特征流程图；
图4为本发明一实施例音视频评分流程示意图。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。现结合附图和具体实施方式对本发明进一步说明。
本领域相关术语的解释：
移动侦测，指检测目标对象是否发生位置移动的变化。
移动侦测触发，指被检测的目标对象发生了位置移动的变化。
如图1所示，为本发明音视频评分并存储的方法的流程图，其包括以下步骤：
采集音视频中的声音特征；
采集音视频中的动作特征；
对音视频中的声音特征评分；
对音视频中的动作特征评分；
结合声音特征评分和动作特征评分对音视频评分；
将所有音视频按音视频评分从高到低进行排列，并存储音视频评分前排序位一定范围内的视频。
应当说明的是，采集音视频中的声音特征的步骤与采集音视频中的动作特征的步骤并无先后顺序的差别，可先采集音视频中的声音特征，也可先采集音视频中的动作特征，同时采集音视频中的声音特征和动作特征也是可行的。
由于本实施例在采集音视频中的声音特征及采集音视频中的动作特征的过程中采用了基于移动侦测机制的方法，因而在进行声音特征及动作特征采集前，还包括有一移动侦测步骤，对画面进行移动侦测的相关设置如下：将音视频中图像帧分割成若干图像块，各若干图像块设为移动侦测区域,并对移动侦测区域编号标记，如图2所示，为本实施例对图像设置移动侦测区域的示意图，其中，将画面等分成60个小的检测区域，水平方向上等分12份，竖直方向上分成5分。每个区域的灵敏度，均设置成80％。本领域的相关技术人员可以灵活地对画面区域划分，以获得一较佳的侦测效果。
如图3所述，为本实施例采集音视频中的声音特征以及采集音视频中的动作特征的流程图；
将完整的音视频按时间划分为多个声音采集周期；
采集每个声音采集周期内的声音特征：对该周期内的音视频中图像帧进行移动侦测检测，获取声音采集周期内的声音特征，所述的声音特征包括声音平均音量声音的最大值Vmax以及声音的最小值Vmin。
将完整的音视频按时间划分为多个动作采集周期；
采集每个动作采集周期内的动作特征：对该周期内的图像帧进行移动侦测检测，获取动作采集周期内的动作特征，所述的动作特征包括移动侦测触发区域M、移动侦测触发区域触发的移动侦测次数N。
此过程中，算法当中的所有参数，均可根据算法在运行过程当中的实际效果进行灵活的调整。默认值为：声音特征采集周期：100ms，动作特征采集周期：200ms。
本实施例中，采集完成后，将数据打包，数据格式采用自定义数据格式，动作特点信息以及声音特点信息分别以各自的采样周期为基本数据单位进行打包成数据包信息。
解析出音视频的数据包信息，并对视频评分，如图4所示，为本实施例对音视频评分的算法流程图。
对音视频中的声音特征评分的具体步骤：
初始化音视频的声音评分值ScoreV＝0；
计算第m个周期的平均音量信息Vm，其中并对Vm取整；
获取本周期与上一周期的音量差值的绝对值VDm；
计算第m个周期的声音评分值：
ScoreVm＝ScoreVm-1+Vm+|Vm-VDm|/(Vm+VDm)*Vm，其中ScoreVm-1为上一周期的声音评分值；
依次计算下一周期的声音评分值，直到获得最后一个周期的声音评分值，该声音评分值即为音视频的声音特征评分值，
对音视频中的动作特征评分的步骤是：
初始化音视频的动作评分值ScoreM＝0；
获取第m个周期的移动侦测触发区域M及移动侦测触发区域触发的移动侦测次数N，记为Dm(M1，N1)...Dm(Mn，Nn)；
获取本周期内的移动侦测触发区域总数NT_dist以及移动侦测触发总次数NT_motion；
获取本周期与上一周期不同的移动侦测触发区域总数NTD_dist；
计算第m个周期的动作评分值：
ScoreMm＝ScoreMm-1+NT_dist+NT_motion+NTD_dist，其中ScoreMm-1为上一周期的动作评分值；
依次计算下一周期的动作评分值，直到获得最后一个周期的动作评分值，该动作评分值即为音视频的动作特征评分值。
最后计算音视频评分Score，其中Score＝ScoreV*rateV+ScoreM*rateM，rateV为声音评分值的权重值，rateM为动作评分值的权重值。在本实施例中rateM职位0.65，rateV值为0.35，应当说明的是，可以根据不同的需求设置不同的权重值。
完成评分后，将所有音视频按音视频评分将序排列，并存储音视频评分前排序位一定范围内的音视频，在本实施例中通过上面步骤中所得出的每个音视频的精彩程度的评分，将排名前20名的20个短音视频以及用户主动进行了收藏或者下载的音视频文件进行保留，其余的音视频片段全部删除。
另外本发明还引入一初步筛选获取精彩度较高的音视频录制方法，以更精确的对音视频评分，该音视频录制方法包括步骤：采集至少两个图像帧，并采集声音信息；
设置移动侦测区域：将图像帧分割成若干图像块，各若干图像块设为移动侦测区域；
设定一开始录制检测周期，对该周期内的图像帧进行移动侦测检测，统计出在开始录制检测周期内的移动侦测触发次数、移动侦测触发的不同区域数，并获取在开始录制检测周期内的声音信息中的声音平均音量，若移动侦测触发次数大于移动侦测触发次数阈值、移动侦测触发的不同区域数大于移动侦测触发的不同区域数阈值且声音平均音量大于声音平均音量阈值，则开始音视频录制；
设定一结束录制检测周期，对该周期内的图像帧进行移动侦测检测，统计出在结束录制检测周期内的移动侦测触发次数、移动侦测触发的不同区域数以及视频录制的持续时长，并获取在结束录制检测周期内的声音信息中的声音平均音量，若移动侦测触发次数小于移动侦测触发次数阈值、移动侦测触发的不同区域数小于移动侦测触发的不同区域数阈值、声音平均音量小于声音平均音量阈值或视频录制的持续时长大于时长阈值，则结束音视频录制；
存储从开始录制视频到结束视频录制的时间内的连续图像帧以及声音信息即形成音视频。
基于上述的音视频评分并存储的方法，本发明还提出一种音视频评分并存储的装置，包括：
声音特征采集模块，被配置为采集音视频中的声音特征，
动作特征采集模块，被配置为采集音视频中的动作特征，
声音特征评分模块，被配置为对音视频中的声音特征评分，
动作特征评分模块，被配置为对音视频中的动作特征评分，
综合评分模块，被配置为结合声音特征评分和动作特征评分对音视频评分，
存储模块，被配置为将所有音视频按音视频评分从高到低进行排列，并存储音视频评分前排序位一定范围内的视频。
其中，所述的动作特征采集模块包括以一移动侦测区域设置模块：被配置为将音视频中的视频图像帧分割成若干图像块，各若干图像块设为移动侦测区域,并对移动侦测区域编号标记。
其中，所述的声音特征采集模块还用于：将完整的音视频按时间划分为多个声音采集周期；采集每个声音采集周期内的声音特征：获取声音采集周期内的声音特征，所述的声音特征包括声音平均音量声音的最大值Vmax以及声音的最小值Vmin。
其中，所述的动过特征采集模块还用于：将完整的音视频按时间划分为多个动作采集周期；
采集每个动作采集周期内的动作特征：对该周期内的音视频中图像帧进行移动侦测检测，获取动作采集周期内的动作特征，所述的动作特征包括移动侦测触发区域M、移动侦测触发区域触发的移动侦测次数N。
其中，所述的声音特征评分模块还用于：
初始化音视频的声音评分值ScoreV＝0；
计算第m个周期的平均音量信息Vm，其中并对Vm取整；
获取本周期与上一周期的音量差值的绝对值VDm；
计算第m个周期的声音评分值：
ScoreVm＝ScoreVm-1+Vm+|Vm-VDm|/(Vm+VDm)*Vm，其中ScoreVm-1为上一周期的声音评分值；
依次计算下一周期的声音评分值，直到获得最后一个周期的声音评分值，该声音评分值即为音视频的声音特征评分值，
所述的动作特征评分模块还用于：
初始化音视频的动作评分值ScoreM＝0；
获取第m个周期的移动侦测触发区域M及移动侦测触发区域触发的移动侦测
次数N，记为Dm(M1，N1)...Dm(Mn，Nn)；
获取本周期内的移动侦测触发区域总数NT_dist以及移动侦测触发总次数NT_motion；
获取本周期与上一周期不同的移动侦测触发区域总数NTD_dist；
计算第m个周期的动作评分值：
ScoreMm＝ScoreMm-1+NT_dist+NT_motion+NTD_dist，其中ScoreMm-1为上一周期的动作评分值；
依次计算下一周期的动作评分值，直到获得最后一个周期的动作评分值，该动作评分值即为音视频的动作特征评分值。
其中，所述的综合评分模块还用于：
计算音视频评分Score，其中Score＝ScoreV*rateV+ScoreM*rateM，rateV为声音评分值的权重值，rateM为动作评分值的权重值。
其中，还包括初步筛选录制获取一音视频的模块,该音视频录制模块包括：
采集模块，被配置为采集至少两个图像帧，并采集声音信息；
移动侦测设置模块，被配置为设置移动侦测区域：将图像帧分割成若干图像块，各若干图像块设为移动侦测区域；
录制开始单元，被配置为设定一开始录制检测周期，对该周期内的图像帧进行移动侦测检测，统计出在开始录制检测周期内的移动侦测触发次数、移动侦测触发的不同区域数，并获取在开始录制检测周期内的声音信息中的声音平均音量，若移动侦测触发次数大于移动侦测触发次数阈值、移动侦测触发的不同区域数大于移动侦测触发的不同区域数阈值且声音平均音量大于声音平均音量阈值，则开始音视频录制；
录制结束单元，被配置为设定一结束录制检测周期，对该周期内的图像帧进行移动侦测检测，统计出在结束录制检测周期内的移动侦测触发次数、移动侦测触发的不同区域数以及视频录制的持续时长，并获取在结束录制检测周期内的声音信息中的声音平均音量，若移动侦测触发次数小于移动侦测触发次数阈值、移动侦测触发的不同区域数小于移动侦测触发的不同区域数阈值、声音平均音量小于声音平均音量阈值或视频录制的持续时长大于时长阈值，则结束音视频录制；
存储单元，被配置为存储从开始录制视频到结束视频录制的时间内的连续图像帧以及声音信息即形成音视频。
本发明对视频精彩程度评分的机制，能够为用户对大量的视频文件进行精彩程度的排序，并为用户过滤低分值的枯燥乏味的视频，从而给用户回放视频文件带来更好的体验；本发明能够自动识别并挑选出高分值的视频片段，将这些片段进行存储，并将其它低分值的片段自动清理删除，从而大大减少了存储的成本，并对经典视频片段的长久存储提供了可行的方案。相比传统的网络摄像机的云存储方案，只能够保存最新一周，一个月或者一年的视频片段，并且需要用户支付高昂的存储费用相比，此方案将在存储时间以及成本上都能改有大幅度的改善。
本发明另外引入的视频录制方法，能初步的达到对音视频的过滤，以进一步的提高评分的精确性。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (14)

1.音视频评分并存储的方法，其特征在于，包括步骤：
采集音视频中的声音特征；
采集音视频中的动作特征；
对音视频中的声音特征评分；
对音视频中的动作特征评分；
结合声音特征评分和动作特征评分对音视频评分；
将所有音视频按音视频评分从高到低进行排列，并存储音视频评分前排序位一定范围内的视频。
2.根据权利要求1所述的音视频评分并存储的方法，其特征在于，在进行采集音视频中的动作特征步骤中，还包括一设置移动侦测区域的步骤：将音视频中的视频图像帧分割成若干图像块，各若干图像块设为移动侦测区域,并对移动侦测区域编号标记。
3.根据权利要求2所述的音视频评分并存储的方法，其特征在于，所述的采集音视频中的声音特征具体方法是：
将完整的音视频按时间划分为多个声音采集周期；
采集每个声音采集周期内的声音特征：获取声音采集周期内的声音特征，所
述的声音特征包括声音平均音量声音的最大值Vmax以及声音的最小值Vmin。
4.根据权利要求2所述的音视频评分并存储的方法，其特征在于，所述的采集音视频中的动作特征具体方法是：
将完整的音视频按时间划分为多个动作采集周期；
采集每个动作采集周期内的动作特征：对该周期内的音视频中图像帧进行移动侦测检测，获取动作采集周期内的动作特征，所述的动作特征包括移动侦测触发区域M、移动侦测触发区域触发的移动侦测次数N。
5.根据权利要求3或4所述的音视频评分并存储的方法，其特征在于，所述的对音视频中的声音特征评分的具体步骤是：
初始化音视频的声音评分值ScoreV＝0；
计算第m个周期的平均音量信息Vm，其中并对Vm取整；
获取本周期与上一周期的音量差值的绝对值VDm；
计算第m个周期的声音评分值：
ScoreVm＝ScoreVm-1+Vm+|Vm-VDm|/(Vm+VDm)*Vm，其中ScoreVm-1为上一周期的声音评分值；
依次计算下一周期的声音评分值，直到获得最后一个周期的声音评分值，该声音评分值即为音视频的声音特征评分值，
所述的对音视频中的动作特征评分的具体步骤是：
初始化音视频的动作评分值ScoreM＝0；
获取第m个周期的移动侦测触发区域M及移动侦测触发区域触发的移动侦测次数N，记为Dm(M1，N1)...Dm(Mn，Nn)；
获取本周期内的移动侦测触发区域总数NT_dist以及移动侦测触发总次数NT_motion；
获取本周期与上一周期不同的移动侦测触发区域总数NTD_dist；
计算第m个周期的动作评分值：
ScoreMm＝ScoreMm-1+NT_dist+NT_motion+NTD_dist，其中ScoreMm-1为上一周期的动作评分值；
依次计算下一周期的动作评分值，直到获得最后一个周期的动作评分值，该动作评分值即为音视频的动作特征评分值。
6.根据权利要求5所述的音视频评分并存储的方法，其特征在于，所述的结合声音特征评分和动作特征评分对音视频评分的具体方法是：
计算音视频评分Score，其中Score＝ScoreV*rateV+ScoreM*rateM，rateV为声音评分值的权重值，rateM为动作评分值的权重值。
7.根据权利要求6所述的音视频评分并存储的方法，其特征在于，在采集音视频的声音特征及动作特征之前,还包括初步筛选录制获取一音视频的步骤,
该录制音视频方法包括步骤：
采集至少两个图像帧，并采集声音信息；
设置移动侦测区域：将图像帧分割成若干图像块，各若干图像块设为移动侦测区域；
设定一开始录制检测周期，对该周期内的图像帧进行移动侦测检测，统计出在开始录制检测周期内的移动侦测触发次数、移动侦测触发的不同区域数，并获取在开始录制检测周期内的声音信息中的声音平均音量，若移动侦测触发次数大于移动侦测触发次数阈值、移动侦测触发的不同区域数大于移动侦测触发的不同区域数阈值且声音平均音量大于声音平均音量阈值，则开始音视频录制；
设定一结束录制检测周期，对该周期内的图像帧进行移动侦测检测，统计出在结束录制检测周期内的移动侦测触发次数、移动侦测触发的不同区域数以及视频录制的持续时长，并获取在结束录制检测周期内的声音信息中的声音平均音量，若移动侦测触发次数小于移动侦测触发次数阈值、移动侦测触发的不同区域数小于移动侦测触发的不同区域数阈值、声音平均音量小于声音平均音量阈值或视频录制的持续时长大于时长阈值，则结束音视频录制；
存储从开始录制视频到结束视频录制的时间内的连续图像帧以及声音信息即形成音视频。
8.音视频评分并存储的装置，其特征在于，包括：
声音特征采集模块，被配置为采集音视频中的声音特征，
动作特征采集模块，被配置为采集音视频中的动作特征，
声音特征评分模块，被配置为对音视频中的声音特征评分，
动作特征评分模块，被配置为对音视频中的动作特征评分，
综合评分模块，被配置为结合声音特征评分和动作特征评分对音视频评分，
存储模块，被配置为将所有音视频按音视频评分从高到低进行排列，并存储音视频评分前排序位一定范围内的视频。
9.根据权利要求8所述的音视频评分并存储的装置，其特征在于，所述的动作特征采集模块包括以一移动侦测区域设置模块：被配置为将音视频中的视频图像帧分割成若干图像块，各若干图像块设为移动侦测区域,并对移动侦测区域编号标记。
10.根据权利要求9所述的音视频评分并存储的装置，其特征在于，所述的声音特征采集模块还用于：将完整的音视频按时间划分为多个声音采集周期；采集每个声音采集周期内的声音特征：获取声音采集周期内的声音特征，所述的声音特征包括声音平均音量声音的最大值Vmax以及声音的最小值Vmin。
11.根据权利要求9所述的音视频评分并存储的装置，其特征在于，所述的动作特征采集模块还用于：将完整的音视频按时间划分为多个动作采集周期；
采集每个动作采集周期内的动作特征：对该周期内的音视频中图像帧进行移动侦测检测，获取动作采集周期内的动作特征，所述的动作特征包括移动侦测触发区域M、移动侦测触发区域触发的移动侦测次数N。
12.根据权利要求10或11所述的音视频评分并存储的装置，其特征在于，所述的声音特征评分模块还用于：
初始化音视频的声音评分值ScoreV＝0；
计算第m个周期的平均音量信息Vm，其中并对Vm取整；
获取本周期与上一周期的音量差值的绝对值VDm；
计算第m个周期的声音评分值：
ScoreVm＝ScoreVm-1+Vm+|Vm-VDm|/(Vm+VDm)*Vm，其中ScoreVm-1为上一周期的声音评分值；
依次计算下一周期的声音评分值，直到获得最后一个周期的声音评分值，该声音评分值即为音视频的声音特征评分值，
所述的动作特征评分模块还用于：
初始化音视频的动作评分值ScoreM＝0；
获取第m个周期的移动侦测触发区域M及移动侦测触发区域触发的移动侦测次数N，记为Dm(M1，N1)...Dm(Mn，Nn)；
获取本周期内的移动侦测触发区域总数NT_dist以及移动侦测触发总次数NT_motion；
获取本周期与上一周期不同的移动侦测触发区域总数NTD_dist；
计算第m个周期的动作评分值：
ScoreMm＝ScoreMm-1+NT_dist+NT_motion+NTD_dist，其中ScoreMm-1为上一周期的动作评分值；
依次计算下一周期的动作评分值，直到获得最后一个周期的动作评分值，该动作评分值即为音视频的动作特征评分值。
13.根据权利要求12所述的音视频评分并存储的装置，其特征在于，所述的综合评分模块还用于：
计算音视频评分Score，其中Score＝ScoreV*rateV+ScoreM*rateM，rateV为声音评分值的权重值，rateM为动作评分值的权重值。
14.根据权利要求13所述的音视频评分并存储的装置，其特征在于,还包括初步筛选录制获取一音视频的模块,该音视频录制模块包括：
采集单元，被配置为采集至少两个图像帧，并采集声音信息；
移动侦测设置单元，被配置为设置移动侦测区域：将图像帧分割成若干图像块，各若干图像块设为移动侦测区域；
录制开始单元，被配置为设定一开始录制检测周期，对该周期内的图像帧进行移动侦测检测，统计出在开始录制检测周期内的移动侦测触发次数、移动侦测触发的不同区域数，并获取在开始录制检测周期内的声音信息中的声音平均音量，若移动侦测触发次数大于移动侦测触发次数阈值、移动侦测触发的不同区域数大于移动侦测触发的不同区域数阈值且声音平均音量大于声音平均音量阈值，则开始音视频录制；
录制结束单元，被配置为设定一结束录制检测周期，对该周期内的图像帧进行移动侦测检测，统计出在结束录制检测周期内的移动侦测触发次数、移动侦测触发的不同区域数以及视频录制的持续时长，并获取在结束录制检测周期内的声音信息中的声音平均音量，若移动侦测触发次数小于移动侦测触发次数阈值、移动侦测触发的不同区域数小于移动侦测触发的不同区域数阈值、声音平均音量小于声音平均音量阈值或视频录制的持续时长大于时长阈值，则结束音视频录制；
存储单元，被配置为存储从开始录制视频到结束视频录制的时间内的连续图像帧以及声音信息即形成音视频。
CN201610768932.XA 2016-08-30 2016-08-30 音视频评分并存储的方法及装置 Active CN106375695B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610768932.XA CN106375695B (zh) 2016-08-30 2016-08-30 音视频评分并存储的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610768932.XA CN106375695B (zh) 2016-08-30 2016-08-30 音视频评分并存储的方法及装置

Publications (2)

Publication Number Publication Date
CN106375695A true CN106375695A (zh) 2017-02-01
CN106375695B CN106375695B (zh) 2019-03-05

Family

ID=57901480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610768932.XA Active CN106375695B (zh) 2016-08-30 2016-08-30 音视频评分并存储的方法及装置

Country Status (1)

Country Link
CN (1) CN106375695B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109218801A (zh) * 2018-08-15 2019-01-15 咪咕视讯科技有限公司 一种信息处理方法、装置及存储介质
CN109977735A (zh) * 2017-12-28 2019-07-05 优酷网络技术（北京）有限公司 运动精彩片段的提取方法及装置
CN110267119A (zh) * 2019-06-28 2019-09-20 北京奇艺世纪科技有限公司 视频精彩度的评价方法及相关设备
CN110263217A (zh) * 2019-06-28 2019-09-20 北京奇艺世纪科技有限公司 一种视频片段标签识别方法及装置
CN111383662A (zh) * 2020-03-18 2020-07-07 斑马网络技术有限公司 Ecu报警音验证方法及***
TWI704805B (zh) * 2019-04-16 2020-09-11 麥奇數位股份有限公司 影片編輯方法及裝置
CN111918122A (zh) * 2020-07-28 2020-11-10 北京大米科技有限公司 视频处理方法、装置、电子设备和可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1633692A (zh) * 2002-02-14 2005-06-29 皇家飞利浦电子股份有限公司 视频内容正向和反向扫描时的图像概要
CN101431689A (zh) * 2007-11-05 2009-05-13 华为技术有限公司 生成视频摘要的方法及装置
CN101557516A (zh) * 2008-04-09 2009-10-14 北京中创信测科技股份有限公司 视频质量评估方法及装置
CN101599179A (zh) * 2009-07-17 2009-12-09 北京邮电大学 场地运动精彩镜头集锦自动生成方法
CN101834982A (zh) * 2010-05-28 2010-09-15 上海交通大学 基于多模态的暴力视频分层筛选方法
CN104008175A (zh) * 2014-06-06 2014-08-27 福州大学 一种情感激励下的视频关键帧自适应提取方法
CN104038717A (zh) * 2014-06-26 2014-09-10 北京小鱼儿科技有限公司 一种智能录制***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1633692A (zh) * 2002-02-14 2005-06-29 皇家飞利浦电子股份有限公司 视频内容正向和反向扫描时的图像概要
CN101431689A (zh) * 2007-11-05 2009-05-13 华为技术有限公司 生成视频摘要的方法及装置
CN101557516A (zh) * 2008-04-09 2009-10-14 北京中创信测科技股份有限公司 视频质量评估方法及装置
CN101599179A (zh) * 2009-07-17 2009-12-09 北京邮电大学 场地运动精彩镜头集锦自动生成方法
CN101834982A (zh) * 2010-05-28 2010-09-15 上海交通大学 基于多模态的暴力视频分层筛选方法
CN104008175A (zh) * 2014-06-06 2014-08-27 福州大学 一种情感激励下的视频关键帧自适应提取方法
CN104038717A (zh) * 2014-06-26 2014-09-10 北京小鱼儿科技有限公司 一种智能录制***

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977735A (zh) * 2017-12-28 2019-07-05 优酷网络技术（北京）有限公司 运动精彩片段的提取方法及装置
CN109218801A (zh) * 2018-08-15 2019-01-15 咪咕视讯科技有限公司 一种信息处理方法、装置及存储介质
TWI704805B (zh) * 2019-04-16 2020-09-11 麥奇數位股份有限公司 影片編輯方法及裝置
CN110267119A (zh) * 2019-06-28 2019-09-20 北京奇艺世纪科技有限公司 视频精彩度的评价方法及相关设备
CN110263217A (zh) * 2019-06-28 2019-09-20 北京奇艺世纪科技有限公司 一种视频片段标签识别方法及装置
CN111383662A (zh) * 2020-03-18 2020-07-07 斑马网络技术有限公司 Ecu报警音验证方法及***
CN111918122A (zh) * 2020-07-28 2020-11-10 北京大米科技有限公司 视频处理方法、装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN106375695B (zh) 2019-03-05

Similar Documents

Publication Publication Date Title
CN106375695A (zh) 音视频评分并存储的方法及装置
CN106162223B (zh) 一种新闻视频切分方法和装置
CN101477626B (zh) 一种在复杂场景的视频中进行人体头肩检测的方法
US8866931B2 (en) Apparatus and method for image recognition of facial areas in photographic images from a digital camera
CN104284240B (zh) 视频浏览方法及装置
CN109637518A (zh) 虚拟主播实现方法及装置
US9685199B2 (en) Editing apparatus and editing method
TW200536389A (en) Intelligent key-frame extraction from a video
CN110298231A (zh) 一种用于篮球比赛视频进球判定的方法及***
CN106134216A (zh) 用于摘要内容服务的广播接收装置及方法
JP6216169B2 (ja) 情報処理装置、情報処理方法
EP1832122A2 (en) Method, system, and program product for measuring audio video synchronization
CN106791389A (zh) 图像处理方法、图像处理装置和终端
CN108337546B (zh) 一种目标对象显示方法及装置
CN107767397A (zh) 移动对象组检测装置和移动对象组检测方法
CN106303333A (zh) 音视频录制方法及装置
CN112989950A (zh) 一种面向多模态特征语义关联特征的暴力视频识别***
EP3516581A1 (en) Automatic selection of cinemagraphs
CN110351579B (zh) 一种视频的智能剪辑方法
US20140111668A1 (en) Content acquisition apparatus and storage medium
CN104170367B (zh) 一种图像捕获方法、装置及计算机可读介质
CN107516060A (zh) 目标检测方法和装置
CN110476437A (zh) 捕获运动并使运动与记录的音频/视频同步
CN109492545B (zh) 一种基于场景及压缩信息的五官定位方法和***
CN111615008B (zh) 基于多设备体验的智能摘要生成和字幕阅读***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220926

Address after: 361000 Room 204, No. 2147, group 2, Zhaishang, Xiamen area, China (Fujian) pilot Free Trade Zone, Xiamen, Fujian Province

Patentee after: Geek ruanchuang (Xiamen) Information Technology Co.,Ltd.

Address before: Room 306, Weiye Building, National High-tech Park, Huli District, Xiamen

Patentee before: BAIWEIJIYI (XIAMEN) NETWORK TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Method and device for audio and video rating and storage

Granted publication date: 20190305

Pledgee: Xiamen Haicang Sub branch of Agricultural Bank of China Co.,Ltd.

Pledgor: Geek ruanchuang (Xiamen) Information Technology Co.,Ltd.

Registration number: Y2024980004688

PE01 Entry into force of the registration of the contract for pledge of patent right