CN107886959B - 一种提取蜜蜂访花视频片段的方法和装置 - Google Patents

一种提取蜜蜂访花视频片段的方法和装置 Download PDF

Info

Publication number
CN107886959B
CN107886959B CN201710944634.6A CN201710944634A CN107886959B CN 107886959 B CN107886959 B CN 107886959B CN 201710944634 A CN201710944634 A CN 201710944634A CN 107886959 B CN107886959 B CN 107886959B
Authority
CN
China
Prior art keywords
video
bee
time stamp
time
timestamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710944634.6A
Other languages
English (en)
Other versions
CN107886959A (zh
Inventor
杨慧鹏
黄家兴
靳婷婷
罗术东
李继莲
吴杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan Yunling Industry and Trade Co.,Ltd.
Original Assignee
Institute of Apicultural Research of Chinese Academy of Agricultural Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Apicultural Research of Chinese Academy of Agricultural Sciences filed Critical Institute of Apicultural Research of Chinese Academy of Agricultural Sciences
Priority to CN201710944634.6A priority Critical patent/CN107886959B/zh
Publication of CN107886959A publication Critical patent/CN107886959A/zh
Application granted granted Critical
Publication of CN107886959B publication Critical patent/CN107886959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种提取蜜蜂访花视频片段的方法和装置，通过根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频，根据第一时间戳和第二时间戳提取蜜蜂访花视频片段；从而利用在视频中，蜜蜂飞过时蜜蜂蜂鸣声的音频信号具有非常显著特征的特点，从视频中音频信号的特征入手，确定蜜蜂访花视频片段在视频中的起始与终止的两个时间戳，再由视频提取软件根据两个时间戳自动提取蜜蜂访花视频片段，相比于人工提取的方法节省了人工成本，相比于利用软件的图像识别方法运算简单，识别的时间短，并提高了对蜜蜂访花视频片段的识别精度与提取精度。

Description

一种提取蜜蜂访花视频片段的方法和装置
技术领域
本发明涉及视频处理技术领域，更具体地，涉及一种提取蜜蜂访花视频片段的方法和装置。
背景技术
在对蜜蜂访问花朵的研究中，需要收集大量蜜蜂访花的视频资料，多个摄像机同时拍摄多个地点的包含有蜜蜂访问花朵的视频，由于无法确定蜜蜂何时会造访所拍摄的花朵，因此只能连续不间断拍摄，再提取出包含蜜蜂的视频片段。
目前提取出包含蜜蜂的视频片段的方法，一种是由人工提取的方法，提取人员根据观察视频的图像或者收听视频的声音查找视频中包含蜜蜂的视频片段，并手工截取这些视频片段；另一种是利用软件的图像识别方法，即利用视频中有蜜蜂存在时图像的特征，并利用软件设识别这些特征，确定包含蜜蜂的视频片段并提取这些视频片段。
人工提取的方法，需要人工一秒一秒的查找，并手工记录时间节点，人工工作量太大；视频中包含有蜜蜂的视频片段往往只有几秒钟，无法根据手工记录的时间戳来自动分割包含蜜蜂的视频片段；而且无论是采用听觉还是视觉来查找，都只能确定包含蜜蜂的视频片段的大概范围，而不能精确到帧(40毫秒级别)，导致提取的精确度低。利用软件的图像识别方法，由于蜜蜂运动速度较快，且在整个图像中的蜜蜂的目标很小，从视频图像序列中识别蜜蜂的运算过程复杂，识别过程的时间非常长，且极容易发生误识或漏识。
发明内容
为了克服上述问题或者至少部分地解决上述问题，本发明提供一种提取蜜蜂访花视频片段的方法和装置。
根据本发明的一个方面，提供一种提取蜜蜂访花视频片段的方法，包括：根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频；根据第一时间戳和第二时间戳提取蜜蜂访花视频片段。
其中，根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，包括：获取视频中音频信号的时域波形；根据包含蜜蜂蜂鸣声的样本视频片段，获取蜜蜂蜂鸣声对应的音频信号能量的阈值范围；根据时域波形和阈值范围，确定第一时间戳和第二时间戳。
其中，根据时域波形和阈值范围，确定第一时间戳和第二时间戳，包括：根据时域波形确定时域波形的包络线；在包络线上选取包络线片段，包络线片段上任意一点的纵坐标的绝对值在阈值范围之内；将包络线片段的起始点在视频中对应的时刻作为第一时间戳，将包络线片段的终止点在视频中对应的时刻作为第二时间戳。
其中，根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳之后，还包括：获取第一时间戳和第二时间戳之间的视频中音频信号的梅尔频率倒谱系数；将梅尔频率倒谱系数输入到已训练的分类器；通过分类器确认第一时间戳和第二时间戳之间的视频中包含蜜蜂。
其中，分类器的训练的步骤包括：获取第一预设数量的蜜蜂蜂鸣声的音频信号的第一梅尔频率倒谱系数和第二预设数量的噪声的音频信号的第二梅尔频率倒谱系数，第一预设数量和第二预设数量处于同一数量级；将第一预设数量的第一梅尔频率倒谱系数和第二预设数量的第二梅尔频率倒谱系数输入到分类器，对分类器进行训练。
其中，根据第一时间戳和第二时间戳提取蜜蜂访花视频片段，包括：根据第一时间戳和第二时间戳分割视频；保留第一时间戳和第二时间戳之间的视频片段，作为蜜蜂访花视频片段。
本发明的另一方面，提供一种提取蜜蜂访花视频片段的装置，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行上述的方法。
本发明的又一方面，提供一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使计算机执行上述的方法。
本发明的又一方面，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机程序，该计算机程序使计算机执行上述的方法。
本发明提供的一种提取蜜蜂访花视频片段的方法和装置，通过根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频，根据第一时间戳和第二时间戳提取蜜蜂访花视频片段；从而利用在视频中，蜜蜂飞过时蜜蜂蜂鸣声的音频信号具有非常显著特征的特点，从视频中音频信号的特征入手，确定蜜蜂访花视频片段在视频中的起始与终止的两个时间戳，再由视频提取软件根据两个时间戳自动提取蜜蜂访花视频片段，相比于人工提取的方法节省了人工成本，相比于利用软件的图像识别方法运算简单，识别的时间短，并提高了对蜜蜂访花视频片段的识别精度与提取精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的提取蜜蜂访花视频片段的方法的流程图；
图2为根据本发明实施例的相同视频片段中音频信号的时域波形和时域波形的包络线的对照图；
图3为根据本发明实施例的相同视频片段中音频信号的时域波形和梅尔频率倒谱系数的对照图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的一个实施例中，参考图1，提供一种提取蜜蜂访花视频片段的方法，包括：S11，根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频；S12，根据第一时间戳和第二时间戳提取蜜蜂访花视频片段。
具体的，在摄像机拍摄蜜蜂访问花朵的视频的过程中，将摄像机定点在花朵旁边长时间拍摄，在拍摄下的视频中，大部分的视频片段中没有蜜蜂，仅小部分的视频片段中有蜜蜂，本实施例中，将视频中出现蜜蜂的视频片段称之为蜜蜂访花视频片段；摄像机在拍摄视频时，附带有声音传感器(如麦克风)，声音传感器会同步记录下周围的声音信息，成为视频中的音频信号；蜜蜂在摄像机定点拍摄的范围内飞行时，蜜蜂飞行时的声音(即蜂鸣声)具有非常显著的特征，蜜蜂蜂鸣声对应的音频信号也具有非常显著的特征，通过分析视频中音频信号的特征，并结合蜜蜂蜂鸣声的音频信号的特征，可确定蜜蜂访花视频片段在视频中的起始时间与终止时间。
本实施例中，通过获取视频中音频信号的特征，确定视频中第一时间戳和第二时间戳，该第一时间戳即蜜蜂访花视频片段在视频中的起始时间，该第二时间戳即蜜蜂访花视频片段在视频中的终止时间，再利用视频提取软件根据第一时间戳与第二时间戳提取这两个时间戳之间的视频片段，将蜜蜂访花视频片段从视频中分离出来，以获得时长短的蜜蜂访花视频片段。
本实施例利用在视频中，蜜蜂飞过时蜜蜂蜂鸣声的音频信号具有非常显著特征的特点，从视频中音频信号的特征入手，确定蜜蜂访花视频片段在视频中的起始与终止的两个时间戳，再由视频提取软件根据两个时间戳自动提取蜜蜂访花视频片段，相比于人工提取的方法节省了人工成本，相比于利用软件的图像识别方法运算简单，识别的时间短，并提高了对蜜蜂访花视频片段的识别精度与提取精度。
基于以上实施例，根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，包括：获取视频中音频信号的时域波形；根据包含蜜蜂蜂鸣声的样本视频片段，获取蜜蜂蜂鸣声对应的音频信号能量的阈值范围；根据时域波形和阈值范围，确定第一时间戳和第二时间戳。
具体的，音频信号的时域波形体现出音频信号的能量随时间变化的关系，蜜蜂在摄像机拍摄的范围内飞行时，蜜蜂飞行时的蜂鸣声对应的时域波形的特征十分明显，其中蜜蜂进入摄像机拍摄范围后蜜蜂蜂鸣声的能量(即声音响度的体现)保持在一个阈值范围内；根据预先获取的包含蜜蜂蜂鸣声的样本视频片段，获取蜜蜂蜂鸣声对应的音频信号能量的阈值范围，再由该阈值范围确定视频中出现蜜蜂时的起始时间与终止时间，即第一时间戳和第二时间戳。
基于以上实施例，根据时域波形和阈值范围，确定第一时间戳和第二时间戳，包括：根据时域波形确定时域波形的包络线；在包络线上选取包络线片段，包络线片段上任意一点的纵坐标的绝对值在阈值范围之内；将包络线片段的起始点在视频中对应的时刻作为第一时间戳，将包络线片段的终止点在视频中对应的时刻作为第二时间戳。
具体的，如图2所示，图2为相同视频片段中音频信号的时域波形和时域波形的包络线；蜜蜂在摄像机拍摄的范围内飞行时，蜜蜂蜂鸣声对应音频信号的能量在一个阈值范围内，据此可以确定视频中包含蜜蜂的视频片段在视频中的起始时间与终止时间；位于图3上方的是视频片段中音频信号的时域波形，时域波形随时间的浮动变化较大，无法选取在阈值范围内的时域波形，但时域波形的包络线，参看图3下方的视频片段中音频信号的时域波形外部的包络线，能体现时域波形连续变化的趋势，易于选取在阈值范围内的包络线片段；本实施例中，在包络线上选取包络线片段，该包络线片段上任意一点的纵坐标的绝对值在阈值范围之内，再将包络线片段的起始点在视频中对应的时刻作为第一时间戳，将包络线片段的终止点在视频中对应的时刻作为第二时间戳。
基于以上实施例，根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳之后，还包括：获取第一时间戳和第二时间戳之间的视频中音频信号的梅尔频率倒谱系数；将梅尔频率倒谱系数输入到已训练的分类器；通过分类器确认第一时间戳和第二时间戳之间的视频中包含蜜蜂。
具体的，如图3所示，图3为相同视频片段中音频信号的时域波形和梅尔频率倒谱系数(Mel Frequency Cepstral Coefficients，简称为MFCCs)；位于图3上方的是视频片段中音频信号的时域波形，位于图3下方的是视频片段中音频信号的梅尔频率倒谱系数，梅尔频率倒谱系数是派生自音频的倒谱表示，能够在更深的层次上体现音频信号的特征，使用视频中音频信号的梅尔频率倒谱系数对视频中是否包含蜜蜂再识别，可以使识别精度更高；同时，由于视频中音频信号的梅尔频率倒谱系数的获取难度比时域波形的获取难度高，运算过程更复杂，本实施例通过仅获取第一时间戳和第二时间戳之间的视频中音频信号的梅尔频率倒谱系数，简化了运算过程。
分类是数据挖掘的一种非常重要的方法。分类的概念是在已有数据的基础上学会一个分类函数或构造出一个分类模型，即通常所说的分类器；本实施例中，经训练的分类器学会一个分类函数或构造出一个分类模型，将梅尔频率倒谱系数输入到已训练的分类器中，通过分类器的分类函数或分类模型判别第一时间戳和第二时间戳之间的视频中包含蜜蜂。本实施例中，分类器包括但不限于支持向量机(Support Vector Machine，SVM)、卷积神经网络(Convolutional Neural Network，CNN)、Adaboost等，例如，如果需要更详细的蜜蜂参数(比如识别不同种类的蜜蜂)，分类器可选用CNN，并对应的增加其训练样本数量。
基于以上实施例，分类器的训练的步骤包括：获取第一预设数量的蜜蜂蜂鸣声的音频信号的第一梅尔频率倒谱系数和第二预设数量的噪声的音频信号的第二梅尔频率倒谱系数，第一预设数量和第二预设数量处于同一数量级；将第一预设数量的第一梅尔频率倒谱系数和第二预设数量的第二梅尔频率倒谱系数输入到分类器，对分类器进行训练。
具体的，分类器的训练大体会经过以下几个步骤：选定样本(包含正样本和负样本)；将样本输入到分类器，并执行分类器算法，生成分类模型。本实施例中，选择第一预设数量的蜜蜂蜂鸣声的音频信号的梅尔频率倒谱系数作为正样本，选择第二预设数量的噪声音频信号的梅尔频率倒谱系数作为负样本，为了保证训练结果的准确性，第一预设数量和第二预设数量处于同一数量级，将第一预设数量的蜜蜂蜂鸣声的音频信号的梅尔频率倒谱系数和第二预设数量的噪声音频信号的梅尔频率倒谱系数输入到分类器，并执行分类器算法对分类器训练，生成分类函数或者分类模型。
基于以上实施例，根据第一时间戳和第二时间戳提取蜜蜂访花视频片段，包括：根据第一时间戳和第二时间戳分割视频；保留第一时间戳和第二时间戳之间的视频片段，作为蜜蜂访花视频片段。
具体的，将第一时间戳和第二时间戳自动输入到视频分割工具(如FFMPEG)中，视频分割工具将这两个时间戳作为视频的分割点，分割视频，并将第一时间戳和第二时间戳之间的视频片段，作为蜜蜂访花视频片段保存起来，从而对视频的分割与保存无需人工参与，即使视频文件的数量众多，也可以通过程序控制实现自动的对视频片段的分割与保存。
作为本发明的又一实施例，提供一种提取蜜蜂访花视频片段的装置，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行上述各方法实施例所提供的方法，例如包括：根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频；根据第一时间戳和第二时间戳提取蜜蜂访花视频片段。
作为本发明的又一个实施例，提供一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频；根据第一时间戳和第二时间戳提取蜜蜂访花视频片段。
作为本发明的又一个实施例，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机程序，该计算机程序使该计算机执行上述各方法实施例所提供的方法，例如包括：根据视频中音频信号的特征确定视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频；根据第一时间戳和第二时间戳提取蜜蜂访花视频片段。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过计算机程序指令相关的硬件来完成，前述的计算机程序可以存储于一计算机可读取存储介质中，该计算机程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种提取蜜蜂访花视频片段的方法，其特征在于，包括：
根据视频中音频信号的特征确定所述视频中第一时间戳和第二时间戳，所述视频为定点长时间连续拍摄的包含蜜蜂访花视频片段的视频；
根据所述第一时间戳和所述第二时间戳提取所述蜜蜂访花视频片段；
所述第一时间戳即蜜蜂访花视频片段在视频中的起始时间，所述第二时间戳即蜜蜂访花视频片段在视频中的终止时间；
所述根据视频中音频信号的特征确定所述视频中第一时间戳和第二时间戳，包括：
获取所述视频中音频信号的时域波形；
根据包含蜜蜂蜂鸣声的样本视频片段，获取所述蜜蜂蜂鸣声对应的音频信号能量的阈值范围；
根据所述时域波形和所述阈值范围，确定所述第一时间戳和所述第二时间戳；
所述根据视频中音频信号的特征确定所述视频中第一时间戳和第二时间戳之后，还包括：
获取所述第一时间戳和所述第二时间戳之间的视频中音频信号的梅尔频率倒谱系数；
将所述梅尔频率倒谱系数输入到已训练的分类器；
通过所述分类器确认所述第一时间戳和所述第二时间戳之间的视频中包含蜜蜂；
所述分类器的训练的步骤包括：
获取第一预设数量的蜜蜂蜂鸣声的音频信号的第一梅尔频率倒谱系数和第二预设数量的噪声的音频信号的第二梅尔频率倒谱系数，所述第一预设数量和所述第二预设数量处于同一数量级；
将第一预设数量的所述第一梅尔频率倒谱系数和第二预设数量的所述第二梅尔频率倒谱系数输入到所述分类器，对所述分类器进行训练；
所述根据所述时域波形和所述阈值范围，确定所述第一时间戳和所述第二时间戳，包括：
根据所述时域波形确定所述时域波形的包络线；
在所述包络线上选取包络线片段，所述包络线片段上任意一点的纵坐标的绝对值在所述阈值范围之内；
将所述包络线片段的起始点在所述视频中对应的时刻作为所述第一时间戳，将所述包络线片段的终止点在所述视频中对应的时刻作为所述第二时间戳。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一时间戳和所述第二时间戳提取所述蜜蜂访花视频片段，包括：
根据所述第一时间戳和所述第二时间戳分割所述视频；
保留所述第一时间戳和所述第二时间戳之间的视频片段，作为所述蜜蜂访花视频片段。
3.一种提取蜜蜂访花视频片段的装置，其特征在于，包括：
至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行如权利要求1或2所述的方法。
4.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行如权利要求1或2所述的方法。
CN201710944634.6A 2017-09-30 2017-09-30 一种提取蜜蜂访花视频片段的方法和装置 Active CN107886959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710944634.6A CN107886959B (zh) 2017-09-30 2017-09-30 一种提取蜜蜂访花视频片段的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710944634.6A CN107886959B (zh) 2017-09-30 2017-09-30 一种提取蜜蜂访花视频片段的方法和装置

Publications (2)

Publication Number Publication Date
CN107886959A CN107886959A (zh) 2018-04-06
CN107886959B true CN107886959B (zh) 2021-07-27

Family

ID=61781338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710944634.6A Active CN107886959B (zh) 2017-09-30 2017-09-30 一种提取蜜蜂访花视频片段的方法和装置

Country Status (1)

Country Link
CN (1) CN107886959B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992970A (zh) * 2020-07-27 2022-01-28 阿里巴巴集团控股有限公司 视频数据处理方法、装置、电子设备及计算机存储介质
CN112118481B (zh) * 2020-09-18 2021-11-23 珠海格力电器股份有限公司 一种音频片段生成方法、装置、播放器及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159834A (zh) * 2007-10-25 2008-04-09 中国科学院计算技术研究所 一种重复性视频音频节目片段的检测方法和***
US20160133274A1 (en) * 2014-10-27 2016-05-12 Mattersight Corporation Predictive video analytics system and methods
CN105872855A (zh) * 2016-05-26 2016-08-17 广州酷狗计算机科技有限公司 视频文件的标注方法及装置
CN105912560A (zh) * 2015-02-24 2016-08-31 泽普实验室公司 基于语音识别检测体育视频精彩部分
CN106055570A (zh) * 2016-05-19 2016-10-26 中国农业大学 一种基于音频数据的视频检索的装置及其视频检索方法
CN107154264A (zh) * 2017-05-18 2017-09-12 北京大生在线科技有限公司 在线教学精彩片段提取的方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010019831A1 (en) * 2008-08-14 2010-02-18 21Ct, Inc. Hidden markov model for speech processing with training method
US8595005B2 (en) * 2010-05-31 2013-11-26 Simple Emotion, Inc. System and method for recognizing emotional state from a speech signal
CN102664006B (zh) * 2012-04-14 2014-05-14 中国人民解放军国防科学技术大学 基于时频域分析的异常人声检测方法
CN103489446B (zh) * 2013-10-10 2016-01-06 福州大学 复杂环境下基于自适应能量检测的鸟鸣识别方法
CN104714633A (zh) * 2013-12-12 2015-06-17 华为技术有限公司 一种终端配置的方法及终端
CN105976811B (zh) * 2016-04-27 2019-07-12 四川大学 一种包含声母的音节切分方法及装置
CN106340309B (zh) * 2016-08-23 2019-11-12 上海索洛信息技术有限公司 一种基于深度学习的狗叫情感识别方法及装置
CN106409298A (zh) * 2016-09-30 2017-02-15 广东技术师范学院 一种声音重录攻击的识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159834A (zh) * 2007-10-25 2008-04-09 中国科学院计算技术研究所 一种重复性视频音频节目片段的检测方法和***
US20160133274A1 (en) * 2014-10-27 2016-05-12 Mattersight Corporation Predictive video analytics system and methods
CN105912560A (zh) * 2015-02-24 2016-08-31 泽普实验室公司 基于语音识别检测体育视频精彩部分
CN106055570A (zh) * 2016-05-19 2016-10-26 中国农业大学 一种基于音频数据的视频检索的装置及其视频检索方法
CN105872855A (zh) * 2016-05-26 2016-08-17 广州酷狗计算机科技有限公司 视频文件的标注方法及装置
CN107154264A (zh) * 2017-05-18 2017-09-12 北京大生在线科技有限公司 在线教学精彩片段提取的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Voice Conversion Using Coefficient Mapping and Neural Network;Agbolade Olaide Ayodeji，et al;《2016 International Conference for Students on Applied Engineering》;20161021;第479-483页 *
母羊3种应激行为下叫声信号的对比分析;刘艳秋等;《中国农业大学学报》;20161108;第21卷(第11期);第57-63页 *

Also Published As

Publication number Publication date
CN107886959A (zh) 2018-04-06

Similar Documents

Publication Publication Date Title
US10929514B2 (en) User registration method and device for smart robots
JP6688340B2 (ja) 表情アイコンを入力するための方法及び装置
US20170065889A1 (en) Identifying And Extracting Video Game Highlights Based On Audio Analysis
CN109492128B (zh) 用于生成模型的方法和装置
CN110121116A (zh) 视频生成方法及装置
CN108986830B (zh) 一种音频语料筛选方法及装置
CN109788345B (zh) 直播控制方法、装置、直播设备及可读存储介质
WO2019058209A1 (en) CALIBRATION SYSTEM FOR CAPTURE AND ANALYSIS OF REACTIONS OF A MEDIA CONTENT PUBLIC
US20180166103A1 (en) Method and device for processing speech based on artificial intelligence
CN111091811B (zh) 语音训练数据的处理方法、装置及存储介质
US10535340B2 (en) Systems and methods for identifying voice
CN107886959B (zh) 一种提取蜜蜂访花视频片段的方法和装置
US10255502B2 (en) Method and a system for generating a contextual summary of multimedia content
CN110677735A (zh) 一种视频定位方法和装置
WO2019128724A1 (zh) 数据处理方法及装置
CN109271929B (zh) 检测方法和装置
CN113947376B (zh) 基于多重生物特征的c/s打卡方法和装置
CN110121033A (zh) 视频编目方法及装置
CN108682436B (zh) 语音对齐方法及装置
CN111488813B (zh) 视频的情感标注方法、装置、电子设备及存储介质
CN110516572B (zh) 一种识别体育赛事视频片段的方法、电子设备及存储介质
CN104170367A (zh) 虚拟快门图像捕获
CN111881734A (zh) 一种自动截取目标视频的方法和装置
JP6693710B2 (ja) 映像解析装置及び映像解析方法
CN114841955A (zh) 一种生物物种的识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230116

Address after: No. 1406, 14/F, Greenland Chuanghai Building, Wangqiong Road, Wuhua District, Kunming City, Yunnan Province, 650000

Patentee after: Yunnan Yunling Industry and Trade Co.,Ltd.

Address before: 100093, No. 1 north ditch, Fragrant Hill, Beijing, Haidian District

Patentee before: INSTITUTE OF APICULTURAL RESEARCH CHINESE ACADEMY OF AGRICULTURAL SCIENCES

TR01 Transfer of patent right