CN106847306B - 一种异常声音信号的检测方法及装置 - Google Patents

一种异常声音信号的检测方法及装置 Download PDF

Info

Publication number
CN106847306B
CN106847306B CN201611219466.6A CN201611219466A CN106847306B CN 106847306 B CN106847306 B CN 106847306B CN 201611219466 A CN201611219466 A CN 201611219466A CN 106847306 B CN106847306 B CN 106847306B
Authority
CN
China
Prior art keywords
sound
energy level
energy
sound signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611219466.6A
Other languages
English (en)
Other versions
CN106847306A (zh
Inventor
秦宇
唐少华
杨利平
龚卫国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201611219466.6A priority Critical patent/CN106847306B/zh
Publication of CN106847306A publication Critical patent/CN106847306A/zh
Application granted granted Critical
Publication of CN106847306B publication Critical patent/CN106847306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种异常声音信号的检测方法及装置。本发明方法包括:检测装置获取待检测声音信号;根据预设的时间划分规则,将该声音信号从时域上划分为N个相邻的声音片段;计算N个声音片段中每个声音片段的信号能量,按照预设的能量等级划分规则,确定N个声音片段分别对应的能量等级;检测装置根据第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定用于表示该声音信号能量等级的变化特征的第一特征向量;检测装置计算第一特征向量与已知的用于表示异常声音信号能量等级的变化特征的特征向量的契合度,在契合度达到预设标准时,判断该声音信号为异常声音信号。本发明能够实现异常声音信号的有效检测。

Description

一种异常声音信号的检测方法及装置
技术领域
本发明涉及通信技术领域,尤其涉及一种异常声音信号的检测方法及装置。
背景技术
随着社会的发展,人们对公共场所安全防范的要求越来越高,对公共场所的安全监控技术的需求也在逐渐增强。视频监控是目前应用最为广泛的公共场所安全监控技术。但是由于设备以及工程安装条件的限制,单一视频监控摄像机的覆盖范围小,且不可避免存在一定的监控死角。同时,由于智能感知技术的缺乏,视频监控***无法及时准确的感知并记录威胁公共安全的事件,往往沦为了事后查阅的工具。威胁公共安全事件的发生常常伴随有各种异常声音,比如***声、尖叫声、枪声、玻璃破碎声等。因此,结合异常声音识别和视频监控是实现公共场所安全智能监控的发展趋势之一。
通用的异常声音识别的技术方案是先利用经典的语音端点检测技术从输入声音信号中检测出异常声音信号,然后利用模式分类方法对所检测出的异常声音信号进行分类,得到分类结果,识别异常声音信号的类别。图1示出了通用的异常声音识别方案的架构示意图,如图1所示,端点检测模块(101)从输入的声音信号中检测出异常声音信号,再输入识别模块(102)进行分类得到分类结果,确定具体的异常声音信号类别。
目前端点检测通常是通过对时域、频域或倒谱域的简单统计特征进行阈值判定来检测出异常声音信号。由于公共场所的声音信号不仅包括各种异常声音,还有复杂的环境噪声,因此,通过端点检测所检测出的异常声音信号中,既包含有真实的异常声音信号,也混杂了大量的环境声音信号。直接对这些声音信号进行分类,不仅需要耗费大量的***资源,而且会导致分类错误。
因此,如何实现对异常声音信号的有效检测,是业界所亟待研究和解决的问题。
发明内容
本申请提供一种异常声音信号的检测方法及装置,用以实现对异常声音信号的有效检测。
第一方面,本申请提供一种异常声音信号的检测方法,该方法包括:
检测装置获取待检测声音信号;
所述检测装置根据预设的时间划分规则,将所述待检测声音信号从时域上划分为N个相邻的声音片段;N为大于或等于1的正整数;
所述检测装置计算所述N个声音片段中每个声音片段的信号能量,按照预设的能量等级划分规则,确定所述N个声音片段分别对应的能量等级;
所述检测装置根据所述声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定第一特征向量;所述第一特征向量用于表示所述声音信号能量等级的变化特征;i为大于0小于N的正整数;
所述检测装置计算所述第一特征向量与第一类特征向量的契合度,在所述第一特征向量与所述第一类特征向量的契合度达到预设标准时,判断所述声音信号为异常声音信号;所述第一类特征向量为已知的用于表示异常声音信号能量等级的变化特征的特征向量。
可以看到,本申请所提供的异常声音信号的检测方案,基于异常声音信号具有区别于背景声音信号的能量变化的特点,对待检测的声音信号的变化过程在时间尺度上进行分割,并在幅值尺度上量化各个时间段的声音信号能量,从而得到待检测声音信号能量变化特点的量化结果,通过比较待检测声音信号能量变化特点的量化结果与已知的异常信号能量变化特点的量化结果,判断待检测的声音信号是否为异常声音信号,因而能够实现对异常声音信号的有效检测。
在一种可能的实现方式中,所述检测装置根据所述声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定第一特征向量,包括:
所述检测装置根据所述声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定所述N个声音片段所对应的共N-1次能量等级变化;
所述检测装置根据所述N个声音片段分别对应的能量等级,确定出M+1个递增能量等级,能量等级值分别为从0到M;M为大于或等于0的正整数;
所述检测装置对所述M+1个能量等级中的任意一个能量等级j,按照下式计算所述N-1次能量等级变化中变化得到该能量等级j的能量等级变化的占比:
Figure BDA0001192486860000031
其中,nk→j表示所述N-1次能量等级变化中能量等级由k变化到j出现的次数;k、j取遍小于等于M的所有非负整数;
所述检测装置根据所述M+1个能量等级分别对应的占比,构造出第一特征向量(P0,…、Pj,…,PM)。
可以看到,检测装置通过上述过程可以得到待检测声音信号所对应的M+1个能量等级中的每个能量等级对应的占比,从而使用所得到的每个能量等级对应的占比构造出用于表示待检测声音信号能量变化特征的第一特征向量,实现对待检测声音信号能量变化特点的量化。
在一种可能的实现方式中,所述检测装置根据所述声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定第一特征向量,包括:
所述检测装置根据所述N个声音片段分别对应的能量等级,确定出M+1个递增能量等级,能量等级值分别为从0到M;M为大于或等于0的正整数;
所述检测装置确定所述M+1个能量等级对应的能量等级变化状态xy;其中,xy表示能量等级由x变化到y,x、y取遍小于等于M的所有非负整数;
所述检测装置根据所述声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定所述N个声音片段对应的共N-1个能量等级变化状态;
所述检测装置对任意一个状态xy,按照下式计算所述N-1个状态中所述任意一个状态xy的占比:其中,nxy表示所述N-1个状态中所述任意一个状态xy出现的次数;
所述检测装置根据每个状态在所述N-1个状态中的占比,得到状态变化概率矩阵;
所述检测装置对所述状态变化概率矩阵中的任意一列元素进行累加,得到所述任意一列对应的累加和;
所述检测装置根据所述状态变化概率矩阵的M+1个列分别对应的累加和,构造出第一特征向量。
可以看到,检测装置通过上述过程可以得到待检测声音信号所对应的共N-1个能量等级变化状态中的每个能量等级变化状态对应的占比,从而通过对所得到的每个能量等级变化状态对应的占比,构造出用于表示待检测声音信号能量变化特征的第一特征向量,实现对待检测声音信号能量变化特点的量化。
在一种可能的实现方式中,所述检测装置计算所述第一特征向量与第一类特征向量的契合度,在所述第一特征向量与所述第一类特征向量的契合度达到预设标准时,判断所述声音信号为异常声音信号,包括:
所述检测装置按照下式计算所述第一特征向量与已知特征向量集合中的每个特征向量之间的距离:其中,v表示所述第一特征向量,vq表示所述已知特征向量集合中的一个特征向量,p表示距离类型,p=1或2,p=1表示曼哈顿距离,p=2表示欧式距离;所述已知特征向量集合中的任意特征向量为第一类特征向量或者为第二类特征向量;所述第二类特征向量为已知的用于表示正常声音信号能量等级的变化特征的特征向量;
所述检测装置确定所述已知特征向量集合中与所述第一特征向量距离最近的K个特征向量;所述K为预设数值;
所述检测装置分别确定所述K个特征向量是否为所述第一类特征向量;
若所述检测装置确定所述K个特征向量中半数或半数以上为所述第一类特征向量,则所述检测装置确定所述第一特征向量与所述第一类特征向量的契合度达到预设标准,所述检测装置判断所述声音信号为异常声音信号。
可以看到,检测装置在确定出用于表示待检测声音信号能量变化特征的第一特征向量之后,可以通过计算该第一特征向量与已知的用于表示异常声音信号能量等级的变化特征的第一类特征向量之间的距离,以及计算该第一特征向量与已知的用于表示正常声音信号能量等级的变化特征的第二类特征向量之间的距离,从而可以根据计算结果,在第一特征向量与第一类特征向量更为契合时,判断待检测的声音信号是否为异常声音信号,进而实现对异常声音信号的有效检测。
在一种可能的实现方式中,所述预设的能量等级划分规则包括:
设置M+1个递增能量等级,能量等级值分别为从0到M,其中任意一个能量等级J对应的信号能量变化范围为
Figure BDA0001192486860000051
0≤J≤M,M为大于或等于0的正整数;b为用以采样声音信号的模数转换器的采样位数;
根据所述M+1个递增能量等级分别对应的信号能量变化范围,确定声音片段的信号能量所落入的信号能量变化范围;
将确定出的信号能量变化范围对应的能量等级确定为所述声音片段对应的能量等级。
可以看到,检测装置能够根据上述预设的能量等级划分规则,在幅值尺度上量化待检测声音信号在各个时间段的声音信号能量,从而能够得到待检测声音信号中的各个声音片段对应的能量等级。
在一种可能的实现方式中,所述声音片段的信号能量为所述声音片段的总信号能量在所述声音片段持续时长上的平均值。
可以看到,由于平均值能够反映一段时间上信号能量的平均水平,并且计算较为简单,因而使用声音片段的总信号能量在该声音片段持续时长上的平均值作为确定声音片段对应的能量等级,能够较好的反映该声音片段的信号能量情况并简化计算。
第二方面,本申请提供一种异常声音信号的检测装置,该检测装置包括:
获取模块,用于获取待检测声音信号;
划分模块,用于根据预设的时间划分规则,将所述待检测声音信号从时域上划分为N个相邻的声音片段;N为大于或等于1的正整数;
第一确定模块,用于计算所述N个声音片段中每个声音片段的信号能量,按照预设的能量等级划分规则,确定所述N个声音片段分别对应的能量等级;
第二确定模块,用于根据所述声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定第一特征向量;所述第一特征向量用于表示所述声音信号能量等级的变化特征;i为大于0小于N的正整数;
判断模块,用于计算所述第一特征向量与第一类特征向量的契合度,在所述第一特征向量与所述第一类特征向量的契合度达到预设标准时,判断所述声音信号为异常声音信号;所述第一类特征向量为已知的用于表示异常声音信号能量等级的变化特征的特征向量。
在一种可能的实现方式中,所述第二确定模块,具体用于:
根据所述声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定所述N个声音片段所对应的共N-1次能量等级变化;
根据所述N个声音片段分别对应的能量等级,确定出M+1个递增能量等级,能量等级值分别为从0到M;M为大于或等于0的正整数;
对所述M+1个能量等级中的任意一个能量等级j,按照下式计算所述N-1次能量等级变化中变化得到该能量等级j的能量等级变化的占比:
Figure BDA0001192486860000061
其中,nk→j表示所述N-1次能量等级变化中能量等级由k变化到j出现的次数;k、j取遍小于等于M的所有非负整数;
根据所述M+1个能量等级分别对应的占比,构造出第一特征向量(P0,…、Pj,…,PM)。
在一种可能的实现方式中,所述第二确定模块,具体用于:
根据所述N个声音片段分别对应的能量等级,确定出M+1个递增能量等级,能量等级值分别为从0到M;M为大于或等于0的正整数;
确定所述M+1个能量等级对应的能量等级变化状态xy;其中,xy表示能量等级由x变化到y,x、y取遍小于等于M的所有非负整数;
根据所述声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定所述N个声音片段对应的共N-1个能量等级变化状态;
对任意一个状态xy,按照下式计算所述N-1个状态中所述任意一个状态xy的占比:
Figure BDA0001192486860000071
其中,nxy表示所述N-1个状态中所述任意一个状态xy出现的次数;
根据每个状态在所述N-1个状态中的占比,得到状态变化概率矩阵;
对所述状态变化概率矩阵中的任意一列元素进行累加,得到所述任意一列对应的累加和;
根据所述状态变化概率矩阵的M+1个列分别对应的累加和,构造出第一特征向量。
在一种可能的实现方式中,所述判断模块,具体用于:
按照下式计算所述第一特征向量与已知特征向量集合中的每个特征向量之间的距离:
Figure BDA0001192486860000072
其中,v表示所述第一特征向量,vq表示所述已知特征向量集合中的一个特征向量,p表示距离类型,p=1或2,p=1表示曼哈顿距离,p=2表示欧式距离;所述已知特征向量集合中的任意特征向量为第一类特征向量或者为第二类特征向量;所述第二类特征向量为已知的用于表示正常声音信号能量等级的变化特征的特征向量;
确定所述已知特征向量集合中与所述第一特征向量距离最近的K个特征向量;所述K为预设数值;
分别确定所述K个特征向量是否为所述第一类特征向量;
若确定所述K个特征向量中半数或半数以上为所述第一类特征向量,则确定所述第一特征向量与所述第一类特征向量的契合度达到预设标准,判断所述声音信号为异常声音信号。
在一种可能的实现方式中,所述预设的能量等级划分规则包括:
设置M+1个递增能量等级,能量等级值分别为从0到M,其中任意一个能量等级J对应的信号能量变化范围为0≤J≤M,M为大于或等于0的正整数;b为用以采样声音信号的模数转换器的采样位数;
根据所述M+1个递增能量等级分别对应的信号能量变化范围,对所述N个声音片段中的任意一个声音片段,确定该声音片段的信号能量所落入的信号能量变化范围;
将确定出的信号能量变化范围对应的能量等级确定为该声音片段对应的能量等级。
在一种可能的实现方式中,所述声音片段的信号能量为所述声音片段的总信号能量在所述声音片段持续时长上的平均值。
第三方面,本申请提供一种异常声音信号的检测装置,该装置包括:存储器和处理器;所述存储器与所述处理器耦合连接;所述存储器用于存储计算机可执行程序代码,所述程序代码包括指令;当所述处理器执行所述指令时,所述指令使所述异常声音信号的检测装置执行上述第一方面和第一方面的各可能实现方式的异常声音信号的检测方法。
由于该异常声音信号的检测装置解决问题的原理以及有益效果可以参见上述第一方面和第一方面的各可能的异常声音信号的检测方法的实施方式以及所带来的有益效果,因此该异常声音信号的检测装置的实施可以参见上述第一方面和第一方面的各可能的异常声音信号的检测方法的实施,重复之处不再赘述。
第四方面,本申请提供一种存储介质,所述存储介质为计算机可读存储介质,所述计算机可读存储介质存储有程序,程序包括指令,所述指令当被具有处理器的电子设备执行时使所述电子设备执行上述第一方面和第一方面的各可能实现方式的异常声音信号的检测方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为通用的异常声音识别方案的架构示意图;
图2为本发明一些实施例所提供的异常声音信号的检测方案应用在异常声音识别方案中的示意图;
图3为本发明一些实施例提供的异常声音信号的检测装置的结构示意图;
图4为本发明一些实施例提供的异常声音信号的检测方法的流程示意图;
图5为本发明一些实施例中对声音信号在幅值上进行量化的示意图;
图6为本发明一些实施例中对声音信号从时域上划分并在幅值上进行量化的示意图;
图7为本发明一些实施例中状态转换机以及状态变化的示意图;
图8为本发明一些实施例提供的异常声音信号的检测装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。
公共场所异常声音识别在于从公共场所的声音信号中检测出异常声音信号,对检测到的异常声音信号进行分类,得到具体的异常声音类别,从而协助于公共场所安全监控的实现。
然而公共场所背景噪声较为突出,目前端点检测通过对时域、频域或倒谱域的简单统计特征进行阈值判定来进行声音信号检测会因其对背景噪声的健壮性差而将部分背景声音信号也检测为异常声音信号,在后续分类时,导致大量***计算资源的浪费;同时,由于公共场所背景声音种类繁多,混杂在检测出的异常声音信号中的背景声音信号极易导致分类错误,算法分类性能下降,影响异常声音识别的准确率。
为了解决上述问题,本发明实施例提出一种异常声音信号的检测方法及装置。本发明实施例所提供的异常声音信号的检测方案主要基于异常声音信号具有区别于背景声音信号的特点(比如,异常声音信号具有持续时间短、瞬时能量高、信号幅度变化剧烈的特点),通过对待检测声音信号的信号特点进行分析,来判断待检测信号是否为异常声音信号,实现对异常声音信号的有效检测。
具体地,本发明实施例所提供的异常声音信号的检测方案,基于异常声音信号具有区别于背景声音信号的能量变化的特点,对待检测的声音信号的变化过程在时间尺度上进行分割,并在幅值尺度上量化各个时间段的声音信号能量,从而得到待检测声音信号能量变化特点的量化结果,通过比较待检测声音信号能量变化特点的量化结果与已知的异常信号能量变化特点的量化结果,判断待检测的声音信号是否为异常声音信号,实现对异常声音信号的有效检测。
基于上述图1可知,通用的异常声音信号识别方案通过异常声音信号检测和异常声音信号分类两个步骤实现对异常声音的识别,本发明实施例所提供的异常声音信号的检测方案具体可应用于改进其中的异常声音信号检测步骤,基于异常声音信号具有区别于背景声音信号的能量变化特点,实现对背景声音信号的过滤。比如基于图1,本发明实施例所提供的异常声音信号的检测方案可用于对端点检测模块101输出的声音信号进行检测,过滤掉混杂其中的大量背景声音信号后,再传输给识别模块102,从而减轻识别模块102的处理负担,保证异常声音信号识别的准确率。
图2示出了本发明一些实施例所提供的异常声音信号的检测方案应用在异常声音信号识别方案中的示意图。
如图2所示,该示例架构在如图1所示的端点检测模块101和识别模块102的基础上,进一步的包括了用以执行本发明实施例所提供的异常声音信号的检测方案的检测装置201。其中,端点检测模块101以及识别模块102的功能以及实现方式可以与通用异常声音信号识别方案中的相同或相似的功能,由于本发明的改进点不在于此,因而,本申请在此不作过多描述。
具体地,检测装置201中用以执行本发明实施例所提供的异常声音信号的检测方案的功能模块具体可以通过硬件、软件编程以及软硬件的组合来实现,硬件具体可包括一个或多个信号处理和/或专用集成电路。
如图2所示,声音信号先输入到端点检测模块101,由端点检测模块101对其中的异常声音信号进行检测,端点检测模块101所输出的掺杂有大量背景噪声信号的异常声音信号,将输入到用以执行本发明实施例所提供的异常声音信号的检测方案的检测装置201中进行进一步地检测,由于检测装置201基于异常声音信号具有区别于背景声音信号的能量变化特点来检测异常声音信号,因而通过检测装置201的检测,将能够过滤掉大部分背景噪声信号,从而输出准确率更高的异常声音信号到识别模块102中进行分类。
可以看到,端点检测模块101输出的声音信号通过检测装置201处理后,再输入到识别模块102时,将不会掺杂有过多的背景噪声信号,因而一方面能够减轻***的处理资源负担,另一方面能够避免对识别准确率的影响,实现对异常声音信号类别的准确识别。
具体地,如图2所示的端点检测模块101、检测装置201以及识别模块102可以分别在相互独立的物理设备上实现,也可以由同一物理设备实现。比如,可以配置包括有处理器和存储器的物理设备来实现检测装置201的功能。
图3示出了本发明一些实施例所提供的检测装置的结构示意图。
如图3所示,该检测装置中包括有处理器301和存储器302,存储器302与处理器301耦合连接。
处理器301可以为中央处理器(central processing unit,CPU),或者是CPU和硬件芯片的组合。上述硬件芯片可以是以下一种或多种的组合:专用集成电路(application-specific integrated circuit,ASIC),现场可编程逻辑门阵列(field-programmablegate array,FPGA),复杂可编程逻辑器件(complex programmable logic device,CPLD)、通用阵列逻辑(generic array logic,GAL)和网络处理器(network processor,NP)。
存储器302中存储程序以指令处理器301工作。存储器302可包括易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器302也可以包括非易失性存储器(non-volatile memory),例如只读存储器(read-only memory,ROM),快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-statedrive,SSD);存储器302还可包括上述种类存储器的组合。
存储器302中存储有计算机可执行程序代码,程序代码包括指令;当处理器301执行所述指令时,所述指令使该检测装置执行本发明实施例所提供的异常声音信号的检测方案的流程。
图4示出了本发明一些实施例提供的异常声音信号的检测方法的流程示意图,该流程具体可通过硬件、软件编程或软硬件的结合来实现。如图4所示,该流程包括如下步骤:
步骤401:检测装置获取待检测声音信号;
步骤402:检测装置根据预设的时间划分规则,将待检测声音信号从时域上划分为N个相邻的声音片段;N为大于或等于1的正整数;
步骤403:检测装置计算该N个声音片段中每个声音片段的信号能量,按照预设的能量等级划分规则,确定该N个声音片段分别对应的能量等级;
步骤404:检测装置根据该声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定第一特征向量;该第一特征向量用于表示该声音信号能量等级的变化特征;i为大于0小于N的正整数;
步骤405:检测装置计算该第一特征向量与第一类特征向量的契合度,在该第一特征向量与第一类特征向量的契合度达到预设标准时,判断该声音信号为异常声音信号;第一类特征向量为已知的用于表示异常声音信号能量等级的变化特征的特征向量。
具体地,图4所示流程中的各步骤可由检测装置中的处理器301通过读取存储器302中的程序代码来执行。
在本发明的一些实施例中,处理器301在执行步骤401获取待检测声音信号时,可以直接获取输入的声音信号;或者,如图2所示的架构中所示出的,在本发明的又一些实施例中,处理器301也可以获取经过端点检测模块101对输入的声音信号进行检测处理后输出的声音信号;或者,在本发明的又一些实施例中,处理器301还可以获取经过其它方式处理后的声音信号,本申请对此不作限定。
处理器301执行步骤402根据预设的时间划分规则,将待检测声音信号从时域上划分为N个相邻的声音片段时,所依据的预设的时间划分规则具体可以是将待检测声音信号从起始时刻到结束时刻等分地划分为N个声音片段;
或者,考虑到异常声音信号在声音信号的起始阶段和结束阶段能量较低,但信号幅值变化大、突变快,在声音信号的持续过程中能量较高且能量变化较小,而环境声音信号并不具备上述特征,在本发明的又一些实施例中,预设的时间划分规则也可以是将待检测声音信号从时域上分割为起始阶段、持续阶段和结束阶段,其中,将起始阶段和结束阶段的时长设置较短,持续阶段的时长设置较长,从而更能体现异常声音信号的特点,此外,还可进一步地对持续阶段进行划分,比如将持续阶段的声音信号在时域上等分为若干个声音片段(假设为t个),按照上述规则待检测声音信号在时域上可被划分为共t+2(这里的t+2即相当于上述的N)个声音片段。
处理器301从时域上划分待检测声音信号得到N个相邻的声音片段之后,便可以进一步地执行步骤403,计算这N个声音片段中每个声音片段的信号能量,按照预设的能量等级划分规则,确定这N个声音片段分别对应的能量等级。
具体地,预设的能量等级划分准则用于将声音信号的能量变化在幅值尺度上通过能量等级进行量化。
本发明的一些实施例中,预设的能量等级划分准则具体可以描述如下:
对于经采样位数为b的模数转换器采样得到的长度为L的声音信号x(n),可确定出该声音信号幅值变化的范围为[-2b-1,2b-1-1],声音信号x(n)中每一点的能量(或可称为信号强度)大小w(n)可表示为w(n)=|x(n)|,n=1,2,…,L,则w(n)的取值范围为[0,2b-1];进而,可将声音信号的能量变化范围[0,2b-1]线性地划分为M+1个信号能量变化范围区间,M为大于或等于0的正整数,并分别对应各个能量变化范围区间设置共M+1个递增的能量等级,即可使用能量等级值为0来表示强度大小分布在零附近,根据能量大小将能量等级值依次设置为0到M,能量越大相应的能量等级值越大,能量等级值为J对应的信号能量变化范围为
Figure BDA0001192486860000141
J=0,1,…M;从而,对于任意一个声音片段,都可以从这M+1个递增能量等级所分别对应的信号能量变化范围,确定出该声音片段的信号能量所落入的信号能量变化范围;进而,能够将所确定出的信号能量变化范围对应的能量等级确定为该声音片段对应的能量等级。
具体地,处理器301计算这N个声音片段中每个声音片段的信号能量,可以是对每个声音片段,分别计算各个声音片段的总信号能量在各个声音片段持续时长上的平均值。进而,处理器301可按照如上述的预设的能量等级划分规则,对于这N个声音片段中的任意一个声音片段,从M+1个递增能量等级所分别对应的信号能量变化范围,确定出该声音片段的信号能量所落入的信号能量变化范围,将所确定出的信号能量变化范围对应的能量等级确定为该声音片段对应的能量等级,通过上述过程,处理器301便可以分别确定出这N个声音片段分别对应的能量等级。
比如,图5示出了本发明一些实施例中对声音信号在幅值上进行量化的一个示例,图6进一步地示出了本发明一些实施例中对声音信号从时域上进行划分并在幅值上进行量化的一个示例。
如图6所示的示例中,声音信号从时域上被划分为起始部分、持续部分以及结束部分,其中的持续部分被进一步地划分为了5个部分,即声音信号从时域上总共被划分为了7个声音片段(N=7),同时,声音信号的信号能量范围被线性地等分为M+1个,对应于能量等级值为从0到M的M+1个递增能量等级;进而,根据对声音信号在各个时间阶段上声音片段的平均能量的计算,可以得到这N个声音片段分别对应的能量等级:依次为2,3,3,4,4,4,0。
处理器301通过执行步骤403确定出这N个声音片段分别对应的能量等级之后,便可以进一步地通过确定这N个声音片段所对应的能量等级的变化,来对该声音信号是否为异常声音信号进行判断。
具体地,在本发明的一些实施例中,处理器301在确定出这N个声音片段对应的能量等级之后,可以按照时间顺序级联这N个声音片段各自对应的能量等级,从而得到该声音信号的能量等级分布。
比如,对于图6所示示例,该声音信号从起始阶段到结束阶段每个时间阶段对应的声音片段的能量等级依次为2,3,3,4,4,4,0,因而可以将该声音信号的能量等级分布表示为(2334440)。
可以看到,能量等级分布表征了声音信号能量的分布情况,由于异常声音信号与环境声音信号在能量变化上存在较明显的差异,因而能量等级分布可用于区分异常声音信号和环境声音信号。
具体地,能量等级分布中每两个相邻的能量等级值,比如第i个声音片段对应的能量等级和第i+1个声音片段对应的能量等级,0<i<N,i为正整数实际上代表了第i个声音片段到第i+1个声音片段对应的能量等级的变化,由于能量等级分布中每两个相邻的能量等级值都代表了一次能量等级的变化,因而能量等级分布能够反映声音信号能量在时域上的变化。
在本发明的一些实施例中,处理器301在确定出这N个声音片段对应的能量等级之后,便能够确定出声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,通过声音信号能量等级的变化特征反映声音信号能量在时域上的变化情况。
具体地,处理器可以使用特征向量作为用来表示声音信号能量等级的变化特征的数学参数,进而可以通过比较用于表示待检测声音信号能量等级变化特征的特征向量与用于表示已知的异常声音信号的能量等级变化特征的特征向量,比如计算契合程度,来对待检测声音信号是否是异常声音信号进行判断。
具体地,在本发明的一些实施例中,处理器301可以根据声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,通过执行以下过程来确定用于表示该声音信号能量等级的变化特征的第一特征向量:
根据声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定该声音信号的N个声音片段所对应的共N-1次能量等级变化;
根据这N个声音片段分别对应的能量等级,确定出M+1个递增能量等级,能量等级值分别为从0到M;M为大于或等于0的正整数;
对这M+1个能量等级中的任意一个能量等级j,按照下式计算所确定的N-1次能量等级变化中变化得到该能量等级j的能量等级变化的占比:
Figure BDA0001192486860000161
其中,nk→j表示N-1次能量等级变化中能量等级由k变化到j出现的次数;k、j取遍小于等于M的所有非负整数;
根据这M+1个能量等级分别对应的占比,构造出第一特征向量(P0,…、Pj,…,PM)。
具体比如,基于图6所示示例,该声音信号从时域上被划分为7(相当于上述的N)个声音片段,能量等级分布为(2334440),假设在本申请中使用AB表示时间上相邻的声音片段的能量等级值从A变化到B,可以看到该声音信号对应了共6(相当于上述的N-1)次能量等级变化,按照时间先后依次为23,33,34,44,44,40;同时,该声音信号的这7个声音片段总共对应了从0到4的共5(相当于上述的M+1)个能量等级;
可以看到,在这6次能量等级变化中,得到能量等级0的能量等级变化次数为1,得到能量等级1的能量等级变化次数为0,得到能量等级2的能量等级变化次数为0,得到能量等级3的能量等级变化次数为2,得到能量等级值为4的能量等级变化次数为3;
因而,可以确定,在这6次能量等级变化中,能量等级0对应的占比为
Figure BDA0001192486860000171
能量等级1对应的占比为0;能量等级2对应的占比为0;能量等级3对应的占比为能量等级4对应的占比为
Figure BDA0001192486860000173
由这5个能量等级所分别对应的5个占比,可构成用于表示该声音信号能量等级的变化特征的第一特征向量(1/6,0,0,1/3,1/2)。
具体地,在本发明的又一些实施例中,处理器301根据声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,还可以通过执行以下过程来确定用于表示该声音信号能量等级的变化特征的第一特征向量:
根据声音信号从时域上被划分出的N个声音片段分别对应的能量等级,确定出M+1个递增能量等级,能量等级值分别为从0到M;M为大于或等于0的正整数;
确定这M+1个能量等级对应的能量等级变化状态xy;其中,xy表示能量等级由x变化到y,x、y取遍小于等于M的所有非负整数;
根据该声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定这N个声音片段对应的共N-1个能量等级变化状态;
对任意一个状态xy,按照下式计算这N-1个状态中任意一个状态xy的占比:
Figure BDA0001192486860000181
其中,nxy表示N-1个状态中任意一个状态xy出现的次数;
根据每个状态在这N-1个状态中的占比,得到状态变化概率矩阵;
对所述状态变化概率矩阵中的任意一列元素进行累加,得到任意一列对应的累加和;
根据状态变化概率矩阵的M+1个列分别对应的累加和,构造出第一特征向量。
比如,状态变化概率矩阵具体可表示为:
Figure BDA0001192486860000182
其任意一列元素可表示为
Figure BDA0001192486860000183
任意一列对应的累加和可表示为:
Figure BDA0001192486860000184
由于状态转换机能够直观描述多个状态在时域上的相互转换,因而可以通过构造状态转换机来描述声音信号所对应的多个能量等级变化状态,所构造的状态转换机中的一个状态可以用于表示一个能量等级变化状态,即可以用于表示一次能量等级的变化,进而可以基于状态转换机来确定用于表示声音信号能量等级变化特征的第一特征向量。
具体地,在本发明的一些实施例中,处理器301根据这N个声音片段对应的能量等级,得到从0到M的共M+1个能量等级。对于共具有M+1个能量等级的声音信号,其任意两个在时间上相邻的声音片段间的能量等级变化都有(M+1)×(M+1)种可能,因而,可构造具有(M+1)×(M+1)个状态的状态转换机,该状态转换机中的一个状态表示一次能量等级变化,该状态转换机中的所有状态:00,01,…,0M;10,11,…,1M;…;x0,x1,…xy…,xM;…;M0,M1,…,MM。
进而,基于所构造出的状态转换机,对待检测的声音信号,处理器301可以根据该声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定出状态转换机各状态之间的转移情况。
比如,仍然基于图6所示示例,图7示出了本发明一些实施例中状态转换机以及状态转换机中状态变化的示意图。如图7所示,该声音信号的7个声音片段总共对应了从0到4的共5个能量等级;进而,可构造出具有25个状态的状态转换机,其所有的状态为:00,01,02,03,04;10,11,12,13,14;20,21,22,23,24;30,31,32,33,34;40,41,42,43,44,该声音信号的能量分布为(2334440),相应地,其能量等级变化状态分别对应与状态机中状态23,33,34,44,44,40,并且状态之间转移为23→33→34→44→44→40(如图7中的①-⑥),状态机中的其它状态则没有在该声音信号对应的所有能量变化状态中出现。
可以看到,通过构造状态转换机能够直观地表现声音信号能量等级变化的情况,进而,在本发明的一些实施例中,处理器301可以根据对该声音信号所构造出的状态转换机中所有状态的转移情况进行统计分析,进而得到用于表示该声音信号能量等级变化特征的第一特征向量。
具体地,在本发明的一些实施例中,处理器301可以先基于声音信号所对应的共M+1个能量等级,构造出具有(M+1)×(M+1)个状态的状态转换机,进而基于所构造出的状态转换机,根据该声音信号中每两个相邻的声音片段对应的能量等级,确定出该声音信号对应的所有能量等级变化状态(N个声音片段对应共N-1个能量等级变化状态),再对状态转换机中的每个状态,确定每个状态在该声音信号所对应的所有能量等级变化状态中的占比(或者也可以理解为确定状态转换机中的每个状态在该声音信号所对应的所有能量等级变化状态中出现的概率,使用状态转换机中的所有状态对应的占比构造该声音信号对应的状态变化概率矩阵;
具体比如,假设在该声音信号所对应的所有能量等级变化状态中,每一个能量等级出现的次数表示为Ni,i=0,1,…,M,能量等级从I变化到J的能量等级变化状态表示为Ni→j,i=0,1,…,M,能量等级从I变化到J的能量等级变化状态在所有能量等级变化状态的占比表示为Pij,该占比Pij可通过下式计算得到:
基于所得到的Pij,可以构造状态变化概率矩阵,比如下表1所示:
表1、状态变化概率矩阵示例
状态 0 1 …… M
0 P<sub>00</sub> P<sub>01</sub> …… P<sub>0M</sub>
1 P<sub>10</sub> P<sub>11</sub> …… P<sub>1M</sub>
…… …… …… …… ……
M P<sub>M0</sub> P<sub>M1</sub> …… P<sub>MM</sub>
其中,该状态变化概率矩阵中的每一个元素代表状态转换机中的每个状态在该声音信号所对应的所有能量等级变化状态中出现的概率,行表示每个状态中前一个时间片段对应的能量等级,列表示每个状态中后一个时间片段所对应的能量等级;
进而,处理器301可以基于该声音信号的状态变化概率矩阵,统计状态变化概率矩阵中每个能量等级由所有其它能量等级变化过来的概率,比如对于能量等级I,它由其它能量等级变化得到的概率Pi可通过下式计算得到:
Figure BDA0001192486860000202
对于矩阵计算来说,上述计算过程也可以认为是将所得到的状态变化矩阵中的任意一列的元素进行累加,得到任意一列对应的累加和,该累加和即代表了该列所代表的能量等级对应的由其它能量等级变化得到的概率;
通过上述过程,处理器301便可以根据状态变化概率矩阵中各个列分别对应的累加和,构造出用于表示该声音信号的能量等级变化特征的第一特征向量,如下表2所示:
表2、第一特征向量示例
状态 概率
0 P<sub>0</sub>
1 P<sub>1</sub>
…… ……
M P<sub>M</sub>
作为一个示例,对于如图6所示的声音信号,根据如图7所示的状态转换机,可以得到该声音信号对应的状态变化概率矩阵,如下表3所示:
表3、示例声音信号对应的状态变化概率矩阵
状态 0 1 2 3 4
0 0 0 0 0 0
1 0 0 0 0 0
2 0 0 0 1/6 0
3 0 0 0 1/6 1/6
4 1/6 0 0 0 2/6
相应地可以得到该声音信号对应的第一特征向量,如下表4所示:
表4、示例声音信号对应的第一特征向量
状态 概率
0 1/6
1 0
2 0
3 2/6
4 3/6
可以看到,处理器301通过上述步骤将确定出用于表示该声音信号能量等级的变化特征的第一特征向量,进而,基于所确定出的第一特征相邻,处理器301便可以根据所确定出的该声音信号对应的第一特征向量与已知的异常声音信号对应的特征向量,来对该声音信号是否属于异常声音信号进行判断。
具体地,在本发明的一些实施例中,处理器301可以基于所确定出的第一特征向量以及已知的用于表示异常声音信号能量等级的变化特征的第一类特征向量,计算第一特征向量与第一类特征向量的契合度,在第一特征向量与第一类特征向量的契合度达到预设标准时,判断该声音信号为异常声音信号。
在本发明的又一些实施例中,处理器301还可以基于所确定出的第一特征向量、已知的用于表示异常声音信号能量等级的变化特征的第一类特征向量、以及已知的用于表示正常声音信号能量等级的变化特征的第二类特征向量,分别计算第一特征向量与第一类特征向量的契合度、以及第一特征向量与第二类特征向量的契合度,在第一特征向量与第一类特征向量的契合度达到预设标准时,判断该声音信号为异常声音信号,在第一特征向量与第二类特征向量的契合度达到预设标准时,判断该声音信号为正常声音信号。
具体比如,处理器301可以被配置为执行以下过程来对声音信号进行判别:
处理器301首先获取预先设置的已知特征向量集合,该已知特征向量集合中包括有设定数目的特征向量,这些特征向量要么属于用于表示异常声音信号能量等级的变化特征的第一类特征向量,要么属于用于表示正常声音信号能量等级的变化特征的第二类特征向量;
进而,处理器301按照下式计算待检测声音信号对应的第一特征向量与该已知特征向量集合中的每个特征向量之间的距离:
Figure BDA0001192486860000221
其中,v表示第一特征向量,vq表示该已知特征向量集合中的一个特征向量,p表示距离类型,p=1或2,p=1表示曼哈顿距离,p=2表示欧式距离;
根据计算结果,处理器301便可以从该已知特征向量集合中确定出与该第一特征向量距离最近的K个特征向量;其中,K为预设的数值;
处理器301分别确定这K个特征向量的类别:如果确定出这K个特征向量中半数或半数以上为第一类特征向量,那么处理器301便可以确定第一特征向量与第一类特征向量的契合度达到预设标准,进而判断该声音信号为异常声音信号。
具体地,处理器301所执行的上述过程具体可以通过配置K近邻分类器来实现,K近邻分类器能够用于将与输入特征向量距离最近的K个已知特征向量中半数以上对应的类别作为输入特征向量对应的类别。
具体地,K近邻分类器可以由处理器301使用已知的若干个异常声音信号对应的第一类特征向量和已知的若干个正常声音信号对应的第二类特征向量构造得到,这些已知的特征向量也可以认为是该K近邻分类器的训练集合。
具体地,通过K近邻分类器便可以实现前述对声音信号进行判别的过程,具体可以描述如下:
基于公式
Figure BDA0001192486860000231
计算输入特征向量xj与该K近邻分类器的训练集合的每个特征向量xi之间的距离;其中,v表示第一特征向量,vq表示该已知特征向量集合中的一个特征向量,p表示距离类型,p=1或2,p=1表示曼哈顿距离,p=2表示欧式距离;
根据计算得到的输入特征向量xj与该K近邻分类器的训练集合的每个声音信号对应的特征向量xi之间的距离;
确定出与该输入特征向量距离最近的K个特征向量,作为其近邻,根据这K个对象对应的声音信号所归属的类别,将这K个特征向量中半数以上的特征向量对应的类别确定为该输入特征向量对应的类别,因而可以确定出该输入特征向量对应的声音信号的类别,实现对声音信号的二分类,区分出声音信号是异常声音信号还是正常声音信号,完成对异常声音信号的检测。
综上所述,本发明实施例所提供的异常声音信号的检测方案,基于异常声音信号具有区别于背景声音信号的能量变化的特点,对待检测的声音信号的变化过程在时间尺度上进行分割,并在幅值尺度上量化各个时间段的声音信号能量,从而得到待检测声音信号能量变化特点的量化结果,通过比较待检测声音信号能量变化特点的量化结果与已知的异常信号能量变化特点的量化结果,判断待检测的声音信号是否为异常声音信号,实现对异常声音信号的有效检测,进而通过本发明实施例所提供的异常声音信号的检测方案改进后的异常声音识别方案能够更准确的对异常声音信号进行分类。
进一步可以看到,本发明实施例中提供的异常声音信号的检测方案提供了声音信号能量的能量等级量化过程。具体地,在本发明实施例所提供的异常声音信号的检测方案中,在时域上将获取的声音信号进行划分,并引入了能量等级的概念,将声音信号能量变化的范围线性划分为若干个能量等级,从而按照能量等级划分顺序对各个声音片段在幅值尺度上进行量化,通过将声音信号的所有声音片段的能量等级级联起来,便可以得到该声音信号的能量等级分布。
进一步还可以看到,本发明实施例中提供的异常声音信号的检测方案提供了用于表示声音信号能量等级变化特性的特征向量的构造过程。具体地,在本发明实施例所提供的异常声音信号的检测方案中,根据声音信号中每两个相邻的声音片段对应的能量等级的变化,能够确定出声音信号所对应的所有能量等级的变化中,各个能量等级由其它能量等级变化得到的概率,进而基于各个能量等级对应的概率,构造出用于表示声音信号能量等级变化特性的特征向量。
应当理解的是,尽管本发明实施例所提供的异常声音信号的检测方案主要用以实现对异常声音信号的有效检测,由于本发明实施例所提供的检测方案主要基于异常声音信号与环境声音信号在能量变化上的差异来实现对异常声音信号的有效检测的,因而本领域技术人员可以很容易想到,本发明实施例所提供的异常声音信号的检测方案还适用于任何在能量变化上明显区别于环境信号或背景信号的一维信号的检测或提取。
为了说明本发明实施例所提供的异常声音信号的检测方案对于实现有效检测异常声音信号的效果,下面将通过本发明实施例所提供的异常声音信号的检测方案应用到实际场景中进行实验所得到的实验数据,来进行具体说明。
具体地,实验环境主要采取:自动取款机(Automatic Teller Machine,ATM),银行,家庭,办公室,商店等多个声音信号较为复杂的环境;实验数据包括:由多个环境声音信号和异常声音信号混合组成的声音信号的数据集合;实验评价指标为:异常声音信号的误检率(即将环境声音信号误识为异常声音信号的百分率)以及异常声音信号的漏检率(即将异常声音信号误识为环境声音信号的百分率);实验过程为:将实验数据分为训练数据和测试数据,对两类数据均提取通过状态变化概率矩阵形成的特征向量,将训练数据的特征向量输入K近邻分类器(K值取11)以形成分类模型,通过该模型对测试数据的特征向量进行分类,统计分类结果,得到评价指标;所得到的评价指标如下表5所示:
表5、不同场景下异常声音检测的误检率、漏检率指标
场景 误检率 漏检率
ATM 0.75% 0
银行 0.75% 0
家庭 3.00% 0
办公室 0.25% 0
商店 2.00% 0
在多个环境下的实验结果表明:通过本发明实施例所提供的异常声音信号的检测方案,在上述五个场景下对异常声音信号的漏检率均为0,误检率较低,不同场景下最高误检率为3%,实验效果良好,即本发明实施例所提供的异常声音信号的检测方案同时保持有极低的漏检率和误检率,这意味着本发明实施例所提供的异常声音信号的检测方案可在保证异常声音信号被正确检出的前提下,还能够过滤掉大量的环境声音信号,进而说明本发明实施例所提供的异常声音信号的检测方案能够有效地检测出声音信号中的异常声音信号,进而能够减轻后续异常声音信号识别的处理负担,提高异常声音信号识别的准确率。
基于相同的技术构思,本发明实施例还提供一种检测装置,该检测装置可执行本发明上述方法实施例。
图8示出了本发明一些实施例所提供的异常声音信号的检测装置的结构示意图。如图8所示,该装置包括:
获取模块801,用于获取待检测声音信号;
划分模块802,用于根据预设的时间划分规则,将所述待检测声音信号从时域上划分为N个相邻的声音片段;N为大于或等于1的正整数;
第一确定模块803,用于计算所述N个声音片段中每个声音片段的信号能量,按照预设的能量等级划分规则,确定所述N个声音片段分别对应的能量等级;
第二确定模块804,用于根据所述声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定第一特征向量;所述第一特征向量用于表示所述声音信号能量等级的变化特征;i为大于0小于N的正整数;
判断模块805,用于计算所述第一特征向量与第一类特征向量的契合度,在所述第一特征向量与所述第一类特征向量的契合度达到预设标准时,判断所述声音信号为异常声音信号;所述第一类特征向量为已知的用于表示异常声音信号能量等级的变化特征的特征向量。
在本发明的一些实施例中,第二确定模块804可以具体用于:
根据所述声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定所述N个声音片段所对应的共N-1次能量等级变化;
根据所述N个声音片段分别对应的能量等级,确定出M+1个递增能量等级,能量等级值分别为从0到M;M为大于或等于0的正整数;
对所述M+1个能量等级中的任意一个能量等级j,按照下式计算所述N-1次能量等级变化中变化得到该能量等级j的能量等级变化的占比:其中,nk→j表示所述N-1次能量等级变化中能量等级由k变化到j出现的次数;k、j取遍小于等于M的所有非负整数;
根据所述M+1个能量等级分别对应的占比,构造出第一特征向量(P0,…、Pj,…,PM)。
在本发明的一些实施例中,第二确定模块804可以具体用于:
根据所述N个声音片段分别对应的能量等级,确定出M+1个递增能量等级,能量等级值分别为从0到M;M为大于或等于0的正整数;
确定所述M+1个能量等级对应的能量等级变化状态xy;其中,xy表示能量等级由x变化到y,x、y取遍小于等于M的所有非负整数;
根据所述声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定所述N个声音片段对应的共N-1个能量等级变化状态;
对任意一个状态xy,按照下式计算所述N-1个状态中所述任意一个状态xy的占比:
Figure BDA0001192486860000271
其中,nxy表示所述N-1个状态中所述任意一个状态xy出现的次数;
根据每个状态在所述N-1个状态中的占比,得到状态变化概率矩阵;
对所述状态变化概率矩阵中的任意一列元素进行累加,得到所述任意一列对应的累加和;
根据所述状态变化概率矩阵的M+1个列分别对应的累加和,构造出第一特征向量。
在本发明的一些实施例中,判断模块805可以具体用于:
按照下式计算所述第一特征向量与已知特征向量集合中的每个特征向量之间的距离:
Figure BDA0001192486860000272
其中,v表示所述第一特征向量,vq表示所述已知特征向量集合中的一个特征向量,p表示距离类型,p=1或2,p=1表示曼哈顿距离,p=2表示欧式距离;所述已知特征向量集合中的任意特征向量为第一类特征向量或者为第二类特征向量;所述第二类特征向量为已知的用于表示正常声音信号能量等级的变化特征的特征向量;
确定所述已知特征向量集合中与所述第一特征向量距离最近的K个特征向量;所述K为预设数值;
分别确定所述K个特征向量是否为所述第一类特征向量;
若确定所述K个特征向量中半数或半数以上为所述第一类特征向量,则确定所述第一特征向量与所述第一类特征向量的契合度达到预设标准,判断所述声音信号为异常声音信号。
在本发明的一些实施例中,预设的能量等级划分规则包括:
设置M+1个递增能量等级,能量等级值分别为从0到M,其中任意一个能量等级J对应的信号能量变化范围为
Figure BDA0001192486860000281
0≤J≤M,M为大于或等于0的正整数;b为用以采样声音信号的模数转换器的采样位数;
根据所述M+1个递增能量等级分别对应的信号能量变化范围,对所述N个声音片段中的任意一个声音片段,确定该声音片段的信号能量所落入的信号能量变化范围;
将确定出的信号能量变化范围对应的能量等级确定为该声音片段对应的能量等级。
在本发明的一些实施例中,声音片段的信号能量可以是声音片段的总信号能量在所述声音片段持续时长上的平均值。
上述本发明一些实施例所提供的异常声音信号的检测装置中的各个功能模块所执行的具体过程可以参见前述实施例的描述,本申请在此将不再赘述。
基于同一发明构思,本发明的一些实施例所提供的异常声音信号的检测装置中各功能模块解决问题的原理以及有益效果可以参见本发明上述方法实施例中所描述的各种实施方式以及所带来的有益效果,重复之处不再赘述。
基于相同的技术构思,本发明实施例还提供了一种存储介质,所述存储介质为计算机可读存储介质,所述计算机可读存储介质存储有至少一个程序,所述程序包括指令,所述指令当被具有处理器的电子设备执行时使所述电子设备执行本发明前述实施例所描述的异常声音信号的检测方法流程,解决问题的原理以及有益效果具体可参见前述实施例的描述,本申请在此将不再赘述。
对于软件实施,这些技术可以用实现这里描述的功能的模块(例如程序、功能等等)实现。软件代码可以储存在存储器单元中,并且由处理器执行。存储器单元可以在处理器内或者在处理器外实现。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种异常声音信号的检测方法,其特征在于,该方法包括:
检测装置获取待检测声音信号;
所述检测装置根据预设的时间划分规则,将所述待检测声音信号从时域上划分为N个相邻的声音片段;N为大于或等于1的正整数;
所述检测装置计算所述N个声音片段中每个声音片段的信号能量,按照预设的能量等级划分规则,确定所述N个声音片段分别对应的能量等级;
所述检测装置根据所述声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定第一特征向量;所述第一特征向量用于表示所述声音信号能量等级的变化特征;i为大于0小于N的正整数;
所述检测装置计算所述第一特征向量与第一类特征向量的契合度,在所述第一特征向量与所述第一类特征向量的契合度达到预设标准时,判断所述声音信号为异常声音信号;所述第一类特征向量为已知的用于表示异常声音信号能量等级的变化特征的特征向量。
2.如权利要求1所述的方法,其特征在于,所述声音信号的信号能量被划分为M+1个递增能量等级,能量等级值分别为从0到M,所述M为大于或等于0的正整数;
所述检测装置根据所述声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定第一特征向量,包括:
所述检测装置根据所述声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定所述N个声音片段所对应的共N-1次能量等级变化;
所述检测装置对所述M+1个能量等级中的任意一个能量等级j,按照下式计算所述N-1次能量等级变化中变化得到该能量等级j的能量等级变化的占比:
Figure FDA0002213859780000011
其中,nk→j表示所述N-1次能量等级变化中能量等级由k变化到j出现的次数;k、j取遍小于等于M的所有非负整数;
所述检测装置根据所述M+1个能量等级分别对应的占比,构造出第一特征向量(P0,…、Pj,…,PM)。
3.如权利要求1所述的方法,其特征在于,所述声音信号的信号能量被划分为M+1个递增能量等级,能量等级值分别为从0到M,所述M为大于或等于0的正整数;
所述检测装置根据所述声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定第一特征向量,包括:
所述检测装置确定所述M+1个能量等级对应的能量等级变化状态xy;其中,xy表示能量等级由x变化到y,x、y取遍小于等于M的所有非负整数;
所述检测装置根据所述声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定所述N个声音片段对应的共N-1个能量等级变化状态;
所述检测装置对任意一个状态xy,按照下式计算所述N-1个状态中所述任意一个状态xy的占比:其中,nxy表示所述N-1个状态中所述任意一个状态xy出现的次数;
所述检测装置根据每个状态在所述N-1个状态中的占比,得到状态变化概率矩阵;
所述检测装置对所述状态变化概率矩阵中的任意一列元素进行累加,得到所述任意一列对应的累加和;
所述检测装置根据所述状态变化概率矩阵的M+1个列分别对应的累加和,构造出第一特征向量。
4.如权利要求1-3中任一项所述的方法,其特征在于,所述检测装置计算所述第一特征向量与第一类特征向量的契合度,在所述第一特征向量与所述第一类特征向量的契合度达到预设标准时,判断所述声音信号为异常声音信号,包括:
所述检测装置按照下式计算所述第一特征向量与已知特征向量集合中的每个特征向量之间的距离:
Figure FDA0002213859780000031
其中,v表示所述第一特征向量,vq表示所述已知特征向量集合中的一个特征向量,p表示距离类型,p=1或2,p=1表示曼哈顿距离,p=2表示欧式距离,所述声音信号的信号能量被划分为M+1个递增能量等级,能量等级值分别为从0到M,所述M为大于或等于0的正整数,所述l取遍小于等于M的所有非负整数,所述v(l)为特征向量v中的第l个元素,所述
Figure FDA0002213859780000032
为特征向量vq中的第l个元素;所述已知特征向量集合中的任意特征向量为第一类特征向量或者为第二类特征向量;所述第二类特征向量为已知的用于表示正常声音信号能量等级的变化特征的特征向量;
所述检测装置确定所述已知特征向量集合中与所述第一特征向量距离最近的K个特征向量;所述K为预设数值;
所述检测装置分别确定所述K个特征向量是否为所述第一类特征向量;
若所述检测装置确定所述K个特征向量中半数或半数以上为所述第一类特征向量,则所述检测装置确定所述第一特征向量与所述第一类特征向量的契合度达到预设标准,所述检测装置判断所述声音信号为异常声音信号。
5.如权利要求1-3中任一项所述的方法,其特征在于,所述预设的能量等级划分规则包括:
设置M+1个递增能量等级,能量等级值分别为从0到M,其中任意一个能量等级J对应的信号能量变化范围为
Figure FDA0002213859780000033
0≤J≤M,M为大于或等于0的正整数;b为用以采样声音信号的模数转换器的采样位数;
所述检测装置按照预设的能量等级划分规则,确定所述N个声音片段分别对应的能量等级,包括:
所述检测装置根据所述M+1个递增能量等级分别对应的信号能量变化范围,确定每个声音片段的信号能量所落入的信号能量变化范围;
所述检测装置将确定出的信号能量变化范围对应的能量等级确定为所述声音片段对应的能量等级。
6.如权利要求5所述的方法,其特征在于,所述声音片段的信号能量为所述声音片段的总信号能量在所述声音片段持续时长上的平均值。
7.一种异常声音信号的检测装置,其特征在于,该检测装置包括:
获取模块,用于获取待检测声音信号;
划分模块,用于根据预设的时间划分规则,将所述待检测声音信号从时域上划分为N个相邻的声音片段;N为大于或等于1的正整数;
第一确定模块,用于计算所述N个声音片段中每个声音片段的信号能量,按照预设的能量等级划分规则,确定所述N个声音片段分别对应的能量等级;
第二确定模块,用于根据所述声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定第一特征向量;所述第一特征向量用于表示所述声音信号能量等级的变化特征;i为大于0小于N的正整数;
判断模块,用于计算所述第一特征向量与第一类特征向量的契合度,在所述第一特征向量与所述第一类特征向量的契合度达到预设标准时,判断所述声音信号为异常声音信号;所述第一类特征向量为已知的用于表示异常声音信号能量等级的变化特征的特征向量。
8.如权利要求7所述的装置,其特征在于,所述声音信号的信号能量被划分为M+1个递增能量等级,能量等级值分别为从0到M,所述M为大于或等于0的正整数;
所述第二确定模块具体用于:
根据所述声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定所述N个声音片段所对应的共N-1次能量等级变化;
对所述M+1个能量等级中的任意一个能量等级j,按照下式计算所述N-1次能量等级变化中变化得到该能量等级j的能量等级变化的占比:
Figure FDA0002213859780000051
其中,nk→j表示所述N-1次能量等级变化中能量等级由k变化到j出现的次数;k、j取遍小于等于M的所有非负整数;
根据所述M+1个能量等级分别对应的占比,构造出第一特征向量(P0,…、Pj,…,PM)。
9.如权利要求7所述的装置,其特征在于,所述声音信号的信号能量被划分为M+1个递增能量等级,能量等级值分别为从0到M,所述M为大于或等于0的正整数;
所述第二确定模块具体用于:
确定所述M+1个能量等级对应的能量等级变化状态xy;其中,xy表示能量等级由x变化到y,x、y取遍小于等于M的所有非负整数;
根据所述声音信号中第i个声音片段到第i+1个声音片段对应的能量等级的变化,确定所述N个声音片段对应的共N-1个能量等级变化状态;
对任意一个状态xy,按照下式计算所述N-1个状态中所述任意一个状态xy的占比:
Figure FDA0002213859780000052
其中,nxy表示所述N-1个状态中所述任意一个状态xy出现的次数;
根据每个状态在所述N-1个状态中的占比,得到状态变化概率矩阵;
对所述状态变化概率矩阵中的任意一列元素进行累加,得到所述任意一列对应的累加和;
根据所述状态变化概率矩阵的M+1个列分别对应的累加和,构造出第一特征向量。
10.如权利要求7-9中任一项所述的装置,其特征在于,所述判断模块具体用于:
按照下式计算所述第一特征向量与已知特征向量集合中的每个特征向量之间的距离:
Figure FDA0002213859780000061
其中,v表示所述第一特征向量,vq表示所述已知特征向量集合中的一个特征向量,p表示距离类型,p=1或2,p=1表示曼哈顿距离,p=2表示欧式距离,所述声音信号的信号能量被划分为M+1个递增能量等级,能量等级值分别为从0到M,所述M为大于或等于0的正整数,所述l取遍小于等于M的所有非负整数,所述v(l)为特征向量v中的第l个元素,所述
Figure FDA0002213859780000062
为特征向量vq中的第l个元素;所述已知特征向量集合中的任意特征向量为第一类特征向量或者为第二类特征向量;所述第二类特征向量为已知的用于表示正常声音信号能量等级的变化特征的特征向量;
确定所述已知特征向量集合中与所述第一特征向量距离最近的K个特征向量;所述K为预设数值;
分别确定所述K个特征向量是否为所述第一类特征向量;
若确定所述K个特征向量中半数或半数以上为所述第一类特征向量,则确定所述第一特征向量与所述第一类特征向量的契合度达到预设标准,判断所述声音信号为异常声音信号。
11.如权利要求7-9中任一项所述的装置,其特征在于,所述预设的能量等级划分规则包括:
设置M+1个递增能量等级,能量等级值分别为从0到M,其中任意一个能量等级J对应的信号能量变化范围为
Figure FDA0002213859780000063
0≤J≤M,M为大于或等于0的正整数;b为用以采样声音信号的模数转换器的采样位数;
所述第一确定模块具体用于:
根据所述M+1个递增能量等级分别对应的信号能量变化范围,对所述N个声音片段中的任意一个声音片段,确定该声音片段的信号能量所落入的信号能量变化范围;
将确定出的信号能量变化范围对应的能量等级确定为该声音片段对应的能量等级。
12.如权利要求11所述的装置,其特征在于,所述声音片段的信号能量为所述声音片段的总信号能量在所述声音片段持续时长上的平均值。
13.一种异常声音信号的检测装置,其特征在于,该装置包括:存储器和处理器;所述存储器与所述处理器耦合连接;所述存储器用于存储计算机可执行程序代码,所述程序代码包括指令;当所述处理器执行所述指令时,所述指令使所述异常声音信号的检测装置执行根据权利要求1-6任一项所述的异常声音信号的检测方法。
14.一种存储介质,其特征在于,所述存储介质为计算机可读存储介质,所述计算机可读存储介质存储有至少一个程序,每个所述程序包括指令,所述指令当被具有处理器的电子设备执行时使所述电子设备执行根据权利要求1-6任一项所述的异常声音信号的检测方法。
CN201611219466.6A 2016-12-26 2016-12-26 一种异常声音信号的检测方法及装置 Active CN106847306B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611219466.6A CN106847306B (zh) 2016-12-26 2016-12-26 一种异常声音信号的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611219466.6A CN106847306B (zh) 2016-12-26 2016-12-26 一种异常声音信号的检测方法及装置

Publications (2)

Publication Number Publication Date
CN106847306A CN106847306A (zh) 2017-06-13
CN106847306B true CN106847306B (zh) 2020-01-17

Family

ID=59135621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611219466.6A Active CN106847306B (zh) 2016-12-26 2016-12-26 一种异常声音信号的检测方法及装置

Country Status (1)

Country Link
CN (1) CN106847306B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110411554B (zh) * 2018-04-27 2022-04-29 华为技术有限公司 一种电机设备检测方法、装置及***
JP7304301B2 (ja) * 2020-02-04 2023-07-06 株式会社日立製作所 音響診断方法、音響診断システム、及び音響診断プログラム
CN116193086A (zh) * 2023-04-28 2023-05-30 深圳宝田建设集团有限公司 一种建筑施工现场的安全监控方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59225441A (ja) * 1983-06-06 1984-12-18 Ricoh Co Ltd 音声入力装置
CN101135614A (zh) * 2006-08-29 2008-03-05 松下电工株式会社 异常监控设备和方法
CN101496095A (zh) * 2006-07-31 2009-07-29 高通股份有限公司 用于信号变化检测的***、方法及设备
CN102148032A (zh) * 2010-12-03 2011-08-10 北京声迅电子有限公司 应用于atm机的异常声音检测方法及***
CN102324229A (zh) * 2011-09-08 2012-01-18 中国科学院自动化研究所 语音输入设备使用异常的检测方法及***
CN103903633A (zh) * 2012-12-27 2014-07-02 华为技术有限公司 检测语音信号的方法和装置
CN104538041A (zh) * 2014-12-11 2015-04-22 深圳市智美达科技有限公司 异常声音检测方法及***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59225441A (ja) * 1983-06-06 1984-12-18 Ricoh Co Ltd 音声入力装置
CN101496095A (zh) * 2006-07-31 2009-07-29 高通股份有限公司 用于信号变化检测的***、方法及设备
CN101135614A (zh) * 2006-08-29 2008-03-05 松下电工株式会社 异常监控设备和方法
CN102148032A (zh) * 2010-12-03 2011-08-10 北京声迅电子有限公司 应用于atm机的异常声音检测方法及***
CN102324229A (zh) * 2011-09-08 2012-01-18 中国科学院自动化研究所 语音输入设备使用异常的检测方法及***
CN103903633A (zh) * 2012-12-27 2014-07-02 华为技术有限公司 检测语音信号的方法和装置
CN104538041A (zh) * 2014-12-11 2015-04-22 深圳市智美达科技有限公司 异常声音检测方法及***

Also Published As

Publication number Publication date
CN106847306A (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
CN106847306B (zh) 一种异常声音信号的检测方法及装置
CN113542241B (zh) 一种基于CNN-BiGRU混合模型的入侵检测方法及装置
CN117349220B (zh) 一种基于pci总线的数据处理方法及***
CN109857618B (zh) 一种监控方法、装置及***
CN109947815B (zh) 一种基于离群点算法的窃电辨识方法
CN113037595B (zh) 异常设备检测方法、装置、电子设备及存储介质
CN113470695A (zh) 声音异常检测方法、装置、计算机设备及存储介质
CN116167010B (zh) 具有智能迁移学习能力的电力***异常事件快速识别方法
CN111291824A (zh) 时间序列的处理方法、装置、电子设备和计算机可读介质
CN111626360A (zh) 用于检测锅炉故障类型的方法、装置、设备和存储介质
WO2020026442A1 (en) Event monitoring apparatus, method and program recording medium
CN113626812A (zh) 基于结构特征筛选及负载扩展的机器学习木马检测方法
CN114582325A (zh) 音频检测方法、装置、计算机设备、存储介质
CN116974268B (zh) 一种控制***电路智能化监测预警方法
CN109508350B (zh) 一种对数据进行采样的方法和装置
CN112632000A (zh) 日志文件聚类方法、装置、电子设备和可读存储介质
CN117095230A (zh) 基于图像大数据智能分析的空气质量低耗评估方法及***
CN113469247B (zh) 网络资产异常检测方法
CN115278757A (zh) 一种检测异常数据的方法、装置及电子设备
CN111654853B (zh) 一种基于用户信息的数据分析方法
Haasnoot et al. FEERCI: a package for fast non-parametric confidence intervals for equal error rates in amortized O (m log n)
JP2018109739A (ja) 音声フレーム処理用の装置及び方法
CN113808088A (zh) 一种污染检测方法及***
CN114625786B (zh) 一种基于风控技术的动态数据挖掘方法及***
CN115237739B (zh) 板卡运行环境的分析方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210428

Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040

Patentee after: Honor Device Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right