CN113899577A - 异常声音探测装置、异常声音生成装置及异常声音生成方法 - Google Patents
异常声音探测装置、异常声音生成装置及异常声音生成方法 Download PDFInfo
- Publication number
- CN113899577A CN113899577A CN202111206117.1A CN202111206117A CN113899577A CN 113899577 A CN113899577 A CN 113899577A CN 202111206117 A CN202111206117 A CN 202111206117A CN 113899577 A CN113899577 A CN 113899577A
- Authority
- CN
- China
- Prior art keywords
- abnormal
- sound
- abnormal sound
- data
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 491
- 238000001514 detection method Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000005856 abnormality Effects 0.000 claims abstract description 138
- 238000009826 distribution Methods 0.000 claims abstract description 87
- 238000003860 storage Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 39
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 38
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 18
- 238000012544 monitoring process Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- QIVUCLWGARAQIO-OLIXTKCUSA-N (3s)-n-[(3s,5s,6r)-6-methyl-2-oxo-1-(2,2,2-trifluoroethyl)-5-(2,3,6-trifluorophenyl)piperidin-3-yl]-2-oxospiro[1h-pyrrolo[2,3-b]pyridine-3,6'-5,7-dihydrocyclopenta[b]pyridine]-3'-carboxamide Chemical compound C1([C@H]2[C@H](N(C(=O)[C@@H](NC(=O)C=3C=C4C[C@]5(CC4=NC=3)C3=CC=CN=C3NC5=O)C2)CC(F)(F)F)C)=C(F)C=CC(F)=C1F QIVUCLWGARAQIO-OLIXTKCUSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
- G05B23/0254—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model based on a quantitative model, e.g. mathematical relationships between inputs and outputs; functions: observer, Kalman filter, residual calculation, Neural Networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M7/00—Vibration-testing of structures; Shock-testing of structures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M99/00—Subject matter not provided for in other groups of this subclass
- G01M99/005—Testing of complete machines, e.g. washing-machines or mobile phones
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0208—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
- G05B23/0213—Modular or universal configuration of the monitoring system, e.g. monitoring system having modules that may be combined to build monitoring program; monitoring system that can be applied to legacy systems; adaptable monitoring system; using different communication protocols
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
- G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
- G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
- G05B23/0283—Predictive maintenance, e.g. involving the monitoring of a system and, based on the monitoring results, taking decisions on the maintenance schedule of the monitored system; Estimating remaining useful life [RUL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37337—Noise, acoustic emission, sound
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
Abstract
本发明提供异常声音探测装置、异常声音生成装置、异常数据生成装置、异常模型学习装置、异常声音生成方法以及记录介质,该异常声音探测装置包括:模型存储单元,存储将预先准备的异常声音数据建模后的概率分布即第1异常模型和将与所述异常声音数据不同的异常声音即追加异常声音建模后的概率分布即第2异常模型;异常度获取单元,对于输入的对象声音数据,组合所述第1异常模型和所述第2异常模型来计算异常度;以及状态判定单元,将所述异常度与规定的阈值比较,判定所述对象声音数据是正常声音还是异常声音。
Description
本申请是申请日为2018年08月24日、申请号为201880057321.1、发明名称为“异常声音探测装置、异常模型学习装置、异常探测装置、异常声音探测方法、异常声音生成装置、异常数据生成装置、异常声音生成方法以及程序”的发明专利申请的分案申请。
技术领域
本发明涉及判定监视对象为正常的状态还是异常的状态的异常探测技术。
背景技术
工厂等中设置的大型的制造机或造型机等业务用设备,仅由于故障而停止运转,并对业务造成很大的阻碍。因此,需要日常地监视其动作状况,在发生异常后立即进行应对。作为解决方案,有业务用设备的管理业者定期地向现场派遣保养员,确认部件的磨损等方法。但是,由于花费极大的人工费或移动费、劳动力,所以难以在全部业务用设备或工厂中实施该方法。作为其解决手段,有在业务用设备的内部设置话筒,日常地监视其动作声音的方法。在该方法中,分析用话筒拾音的动作声音,在发生了被认为异常的声音(以下,称为“异常声音”)后,探测它,通过发出警报,解决上述的问题。这样,利用声音来判定监视对象是正常的状态还是异常的状态的技术称为异常声音探测。
对每个设备的种类或个体设定异常声音的种类和检测方法需要花费成本。因此,希望可以自动设计探测异常声音的规则。作为其解决方法,已知基于统计的方法的异常声音探测(例如,参照非专利文献1)。基于统计的方法的异常声音探测可以大致分为有监督异常声音探测和无监督(unsupervised)异常声音探测。在有监督异常声音探测中,大量收集正常声音和异常声音的学习数据,学习识别器,以将其识别率最大化。另一方面,在无监督异常声音探测中,学习正常声音的学习数据的特征量的概率分布(正常模型),若新收集的声音与正常模型类似(若似然度高)则判定为正常,若不类似(若似然度低)则判定为异常。在产业的应用中,因为难以大量收集异常声音的学习数据,所以在多数情况下,采用无监督异常声音探测。
现有技术文献
非专利文献
非专利文献1:井出剛、杉山将、“異常検知と変化検知”、講談社、pp.6-7、2015年
发明内容
发明要解决的课题
若运用异常声音探测***,有时偶尔会遗漏异常声音。若放任遗漏,则有可能导致重大的事故,所以这里需要使用收集到的异常声音,更新异常声音探测***,以便不再次遗漏相同的异常声音。但是,得到的异常声音的数据量显著少于正常声音的数据量,仍然难以适用监督式异常声音探测。
本发明的目的是,鉴于上述那样的问题点,使用得到的少量异常声音数据,提高无监督异常声音探测的精度。
用于解决课题的手段
为了解决上述的课题,本发明的第一方式的异常声音探测装置包括:存储用正常声音数据学习的正常模型和用异常声音数据学习的异常模型的模型存储单元;对于输入的对象数据,使用正常模型和异常模型计算异常度的异常度获取单元;以及将异常度与规定的阈值比较,判定对象数据是正常还是异常的状态判定单元。该异常模型将至少使用正常模型对多个异常声音数据的每一个算出的异常度的最小值决定为学习时阈值,使用多个正常声音数据、异常声音数据和学习时阈值,决定权重,使得全部异常声音数据被判定为异常、正常声音数据被判定为异常的概率为最小。
为了解决上述的课题,本发明的第二方式的异常模型学习装置包括:用使用正常声音数据学习的正常模型和表现了异常声音数据的异常模型,对多个异常声音数据的每一个计算异常度,将其最小值决定为阈值的阈值决定单元;使用多个正常声音数据、异常声音数据和阈值,更新异常模型的权重,使得全部异常声音数据被判定为异常、正常声音数据被判定为异常的概率为最小的权重更新单元。
为了解决上述的课题,本发明的第三方式的异常探测装置包括:存储用正常时的时间序列数据即正常数据学习的正常模型和用异常时的时间序列数据即异常数据学习的异常模型的模型存储单元;对于输入的对象数据,使用正常模型和异常模型计算异常度的异常度获取单元;以及将异常度与规定的阈值比较,判定对象数据是正常还是异常的状态判定单元。该异常模型将至少使用正常模型对多个异常数据的每一个算出的异常度的最小值决定为学习时阈值,使用多个正常数据、异常数据和学习时阈值,决定权重,使得全部异常数据被判定为异常、正常数据被判定为异常的概率为最小。
为了解决上述的课题,本发明的第四方式的异常声音探测装置包括:存储将预先准备的异常声音数据建模的概率分布即第1异常模型、以及将与异常声音数据不同的异常声音即追加异常声音建模的概率分布即第2异常模型的模型存储单元;对于输入的对象声音数据,组合第1异常模型和第2异常模型,计算异常度的异常度获取单元;以及将异常度与规定的阈值比较,判定对象声音数据为正常声音还是异常声音的状态判定单元。
为了解决上述的课题,本发明的第五方式的异常声音生成装置,至少基于得到的异常声音,生成虚拟异常声音,该异常声音生成装置包括:从得到的异常声音或者基于得到的异常声音的值,得到异常声音遵循的概率分布即异常分布的异常分布获取单元;以及生成虚拟异常声音,使得从异常分布生成的概率高,并且从正常声音遵循的概率分布生成的概率低的异常声音生成单元。
为了解决上述的课题,本发明的第六方式的异常数据生成装置至少基于得到的异常数据,生成虚拟异常数据,所述异常数据生成装置包括:从得到的异常数据或者基于得到的异常数据的值得到异常数据遵循的概率分布即异常分布的异常分布获取单元;以及生成虚拟异常数据,使得从异常分布生成概率高,并且从正常数据遵循的概率分布生成的概率变低的异常数据生成单元。
为了解决上述的课题,本发明的第七方式的异常模型学习装置包括:从得到的异常声音或者基于得到的异常声音的值得到异常声音遵循的概率分布即异常分布的异常分布获取单元;生成虚拟异常声音,使得从异常分布生成的概率高,并且从正常声音遵循的概率分布生成的概率变低的异常声音生成单元;设定阈值,使得从虚拟异常声音算出的全部异常度被判定为异常的阈值设定单元;以及使用得到的正常声音、得到的异常声音或者基于得到的异常声音的值、以及阈值,更新异常模型的参数,使得将异常声音可靠地判定为异常,并且将正常声音判定为异常的概率最小的模型更新单元。
发明的效果
根据本发明的异常声音探测技术,使用得到的少量异常声音数据全部为异常,大量的正常声音数据被误判定为异常的概率为最小的异常模型进行异常声音探测,所以无监督异常声音探测的精度提高。
附图说明
图1是用于说明以往的无监督异常声音探测的图。
图2是表示以往的无监督异常声音探测的概念的图。
图3是表示本发明的无监督异常声音探测的概念的图。
图4是例示异常模型的更新和异常度的变化的图。
图5是例示异常模型学习装置的功能结构的图。
图6是例示异常模型学习方法的处理过程的图。
图7是例示异常声音探测装置的功能结构的图。
图8是例示异常声音探测方法的处理过程的图。
图9A是用于说明AUC最大化的概念的图。图9B是用于说明内曼·皮尔森基准的概念的图。图9C是用于说明有条件的AUC最大化的概念的图。
图10A是例示不优化方差地生成了异常样本时的分布的图。图10B是例示了将方差优化而生成了异常样本时的分布的图。
图11是例示了异常模型学习装置的功能结构的图。
图12是例示了异常模型学习方法的处理过程的图。
图13是例示了异常声音探测装置的功能结构的图。
图14是例示了异常声音探测方法的处理过程的图。
具体实施方式
以下,详细地说明本发明的实施方式。而且,对于附图中具有相同的功能的结构部分附加相同的标号,省略重复说明。
<第一实施方式>
在本实施方式中,从少量的异常声音数据估计异常模型(或者惩罚(penalty)),一边并用它一边计算异常度。在异常模型的估计中使用核密度估计法。在本发明中,不是如以往的核密度估计法那样使用对全部异常声音数据相等的混合权重估计异常模型,而是使用使异常声音探测的精度最大的权重计算异常模型。为了实现它,在本发明中,实现将权重优化的算法,以便在可将得到的异常声音数据全部判定为异常的异常判定阈值之下,使将正常声音数据误判定为异常的概率(假正类率)最小。
<无监督异常声音探测>
参照图1,说明以往的无监督异常声音探测技术。在异常声音探测中,首先通过话筒收录监视对象设备的运转音,得到观测信号x。这里,观测信号x可以是声音波形、将声音波形进行高速傅里叶变换(FFT:Fast Fourier Transform)后的频谱、也可以是使用神经网络等进行特征量提取后的向量。接着,从观测信号x使用正常模型计算异常度A(x),在该异常度A(x)为事先决定的阈值以上的情况下,将观测信号x判定为异常声音。
在无监督异常声音探测中,一般如式(1)、(2)那样求异常度A(x)。
这里,p(x|z=0)是观测信号x为正常状态的设备发出的声音的概率(正常模型),p(x|z=1)是观测信号x为异常状态的设备发出的声音的概率(异常模型)。正常模型和异常模型分别从录音了正常状态以及异常状态的设备发出的声音的数据(学习数据)求出。但是,收集录音了异常状态的设备发出的声音的数据(异常声音数据)在多数情况下很困难。因此,在无监督异常声音探测中,如式(3)所示,一般将异常模型以均匀分布建模。
p(x|z=1)=Uniform[RD]=C…(3)
这里,R是实数全体的集合,D是x的次方数,C是正的常数。通过将式(3)代入式(2),得到式(4)。
即,在无监督异常声音探测中,在不能说观测信号x从正常模型p(x|z=0)生成的情况下,将观测信号x判定为异常声音。图2是表示通过以往的无监督异常声音探测进行对观测信号x=(x1,x2)的异常声音探测的概念图。图2的虚线的圆是正常模型,其圆周为判定是正常还是异常的阈值。用○记号表示的观测信号位于正常模型的中间,所以被判定为正常,用×记号表示的观测信号位于正常模型的外边,所以被判定为异常。
<本实施方式的原理>
若运用异常声音探测***,则偶尔可收集异常声音数据。本实施方式的目的是,使用在运用中得到的少量的异常声音数据,使异常声音探测的精度提高。
《使用了少量的异常声音数据的异常声音探测的升级》
在以往的无监督异常声音探测中,异常声音用异常模型p(x|z=1)表现。而且,在以往的问题设定中,设想完全得不到异常声音数据,所以异常模型p(x|z=1)用均匀分布进行了建模。在本发明中,如图3所示,考虑使用得到的少量的异常声音数据{xn}n=1 N,估计异常模型p(x|z=1)。在图3的例子中,表示在以往的无监督异常声音探测中,发生本来为异常的观测信号进入正常模型(虚线)内被判定为正常的误判定、或者本来为正常的观测信号超出到正常模型(虚线)以外被判定为异常的误判定,但是通过从得到的异常声音数据估计异常模型(点划线),被正确判定。
在使用少量的异常声音数据估计异常模型的方法中,例如可以应用核密度估计法。在将核密度估计法适用于异常模型的估计时,异常模型p(x|z=1)可以如式(5)那样记述。
这里,为0≤α,pn(x|xn)是从第n个异常声音数据xn估计的概率分布。
概率分布pn(x|xn)例如可以使用式(6)的高斯分布。
这里,σ(>0)是方差参数。
概率分布pn(x|xn)除了式(6)的高斯分布之外,还可以利用式(7)的冯·米塞斯分布等。
这里,T是向量的转置,κ是集中度参数,Z(κ)是归一化常数。
于是,异常度A(x)可以如式(8)、式(9)那样计算。
通过使用式(8)、式(9)估计异常模型,如图4中例示的那样,异常度变化。即,因为对与得到的异常声音数据类似的观测信号x的异常度A(x)给予与lnpn(x|xn)成正比的惩罚,所以具有容易将与异常声音数据xn类似的观测信号x判定为异常声音的效果。
《各异常声音数据的加权问题》
异常声音探测的最终目的是正确地判定观测信号是正常声音还是异常声音,而不是正确地估计异常模型。换言之,只要正确地判定观测信号x是正常声音还是异常声音即可,不需要如以往的核密度估计法那样,在直方图的意义上正确地求异常模型。
在本实施方式中,对核密度估计法中的N个各概率分布pn(x|xn)附加不同的权重wn来估计异常模型。即,将式(5)更新为式(10)。
其中,假设权重wn具有以下的性质。
异常度A(x)可以如式(12)、式(13)那样计算。
通过使用式(12)、式(13)估计异常模型,如图4所示,异常度变化。即,该加权通过对误判定为正常声音的可能性高的异常声音数据xn给予较大的权重wn,具有使整体的误判定率降低的作用。这里的问题是这二点:1.最佳的权重满足什么样的性质,2.权重使用什么样的目标函数进行优化较好。
《假正类率最小指标和优化算法》
以下,说明本实施方式的中心的部分即求最佳的权重wn的算法。在异常声音探测***的精度的评价中,一般使用真正类率(TPR:True Positive Rate,可将异常声音正确地判定为异常声音的概率)和假正类率(FPR:False Positive Rate,误将正常声音判定为异常声音的概率)。TPR和FPR可以如下那样求。
TPR(φ,wn)=∫H[A(x)-φ]p(x|z=1)dx…(14)
FPR(φ,wn)=∫H[A(x)-φ]p(x|z=0)dx…(15)
这里H[x]为,若x≥0则为1,若x<0则为0的判定函数。异常声音探测***因为真正类率(TPR)高、且假正类率(FPR)低的一方性能良好,所以使以下的指标最小的***性能最好。
FPR(φ,wn)-TPR(φ,wn)…(16)
在异常声音探测***中,异常声音数据的遗漏成为问题,所以希望N个异常声音数据可靠地判定为异常。为了满足该要求,将从N个异常声音数据求的真正类率(TPR)设为1即可。
由以上,最佳的异常声音探测***只要同时满足式(16)的最小、以及用于不引起遗漏的再发生的式(17)的限制即可。换言之,只要在可将得到的异常声音数据全部判定为异常的阈值之下,更新权重,以使假正类率最小即可。该权重wn的优化,可以通过解式(18)~式(20)的带限制的优化问题来执行。
J(w)=FPR(φw,wn)…(19)
w=(w1,w2,...,wN)T…(20)
式(18)的优化使用近端梯度法等来执行。为了梯度法的执行,将目标函数J(w)变形为对于权重wn可偏微分可能的形式。在目标函数J(w)中不能以权重wn进行微分的是判定函数这里将判定函数用作为光滑函数的S型(Sigmoid)函数近似。
于是,权重wn的更新可以按式(23)~式(27)执行。
以下,详细地说明本发明的第一实施方式。本发明的第一实施方式由估计在异常声音探测中使用的异常模型的异常模型学习装置1、和使用异常模型学习装置1学习的异常模型判定观测信号是正常还是异常的异常声音探测装置2构成。
《异常模型学习装置》
如图5中例示的那样,第一实施方式的异常模型学习装置1包含:输入单元11、初始化单元12、阈值决定单元13、权重更新单元14、权重修正单元15、汇聚判定单元16、以及输出单元17。该异常模型学习装置1通过进行图6中例示的各步骤的处理,实现第一实施方式的异常模型学习方法。
异常模型学习装置1例如是在具有中央运算处理装置(CPU:Central ProcessingUnit)、主存储装置(RAM:Random Access Memory)等的公知或者专用的计算机中读入特别的程序而构成的特别的装置。异常模型学习装置1例如在中央运算处理装置的控制下执行各处理。在异常模型学习装置1中输入的数据或在各处理中得到的数据例如被存储在主存储装置中,主存储装置中存储的数据根据需要被读出至中央运算处理装置,被其它处理使用。异常模型学习装置1的各处理单元的至少一部分也可以由集成电路等硬件构成。
以下,参照图6,说明第一实施方式的异常模型学习装置1执行的异常模型学习方法。
在步骤S11中,输入单元11接受正常模型p(x|z=0)、正常声音数据{xk}k=1 K、异常声音数据{xn}n=1 N、均匀分布权重α、均匀分布常数C、梯度法的步长λ作为输入。α、C、λ的各参数有进行调整的需要,但是例如设定为α=N、C=0.05、λ=10-3左右即可。正常模型p(x|z=0)是使用正常声音数据估计出的概率分布,与以往的无监督异常声音探测中使用的概率分布相同。正常声音数据{xk}k=1 K是收录了正常状态的设备发出的声音的大量的声音数据。异常声音数据{xn}n=1 N是收录了异常状态的设备发出的声音的少量的声音数据。而且,被输入的正常声音数据{xk}k=1 K优选与为了学习正常模型p(x|z=0)而使用的正常声音数据相同,也可以不必相同。
在步骤S12中,初始化单元12将权重wn(n=1,…,N)初始化。例如,以wn←1/N进行初始化即可。
在步骤S13中,对于各异常声音数据xn(n=1,…,N),阈值决定单元13计算式(13),将得到的异常度A(xn)(n=1,…,N)的最小值min(A(xn))决定作为阈值阈值决定单元13将得到的阈值输出到权重更新单元14。
在步骤S14中,权重更新单元14更新权重wn,使得异常声音数据{xn}n=1 N被全部判定为异常、正常声音数据{xk}k=1 K被判定为异常的概率最小。因此,权重更新单元14更新权重wn,使得对于异常声音数据xn计算出的异常度A(xn)越小,给予越大的权重。具体地说,权重更新单元14计算式(23),更新权重wn。这时,在K较大,即,正常声音数据{xk}k=1 K的数多的情况下,可以使用从该正常声音数据{xk}k=1 K随机地选择的K'个正常声音数据来计算式(23)。虽然K'根据计算资源和期望的判定精度进行调整即可,但是例如可以设定为128或1024。权重更新单元14将更新后的权重wn(n=1,…,N)输出到权重修正单元15。
在步骤S15中,权重修正单元15从权重更新单元14接受权重wn(n=1,…,N),修正各权重wn,使得权重wn(n=1,…,N)满足限制。例如,若权重wn中有wn<0的权重,则通过设为wn=0,计算式(28),可以修正权重wn。
在步骤S16中,汇聚判定单元16判定是否满足预先设定的结束条件。汇若满足结束条件,则聚判定单元16将处理进至步骤S17,若不满足,则将处理返回步骤S13。结束条件例如设定为将步骤S13~S15反复执行了100次等即可。
在步骤S17中,输出单元17输出权重wn(n=1,…,N)。
《异常声音探测装置》
如图7中例示的那样,第一实施方式的异常声音探测装置2包括:模型存储单元20、输入单元21、异常度获取单元22、状态判定单元23、以及输出单元24。通过该异常声音探测装置2进行图8中例示的各步骤的处理,实现第一实施方式的异常声音探测方法。
异常声音探测装置2例如是,在具有中央运算处理装置(CPU:Central ProcessingUnit;中央处理器)、主存储装置(RAM:Random Access Memory;随机存取存储器)等的公知或者专用的计算机中读入特别的程序而构成的特别的装置。异常声音探测装置2例如在中央运算处理装置的控制下执行各处理。输入到异常声音探测装置2中的数据或在各处理中得到的数据例如被存储在主存储装置中,主存储装置中存储的数据根据需要被读出至中央运算处理装置,被其它处理利用。异常声音探测装置2的各处理单元的至少一部分也可以由集成电路等硬件构成。异常声音探测装置2具有的各存储单元,例如可以通过由RAM(RandomAccess Memory)等主存储装置、硬盘或光盘或者闪存(Flash Memory;闪速存储器)那样的半导体存储器元件构成的辅助存储装置、或者关系数据库或键值存储等中间件构成。
在模型存储单元20中,存储有正常模型p(x|z=0)、异常模型p(x|z=1)和阈值与异常模型学习装置1同样,正常模型p(x|z=0)是使用正常声音数据估计概率分布的模型,与在以往的无监督异常声音探测中使用的模型是同样的。异常模型p(x|z=1)是通过异常模型学习装置1,使用异常声音数据{xn}n=1 N学习了权重wn(n=1,…,N)的模型。阈值可以是由异常模型学习装置1的阈值决定单元13决定的阈值也可以是预先以手动方式给予的阈值。
以下,参照图8,说明第一实施方式的异常声音探测装置2执行的异常声音探测方法。
在步骤S21中,输入单元21接受成为异常声音探测的对象的观测信号x作为输入。输入单元21将观测信号x输出到异常度获取单元22。
在步骤S22中,异常度获取单元22从输入单元21接受观测信号x,计算式(13),得到异常度A(x)。异常度获取单元22将得到的异常度A(x)输出到状态判定单元23。
在步骤S24中,输出单元24从状态判定单元23接受判定结果,将该判定结果设为异常声音探测装置2的输出。
<第一实施方式的变形例>
在本实施方式中,说明了将声音数据设为对象的异常声音探测,但是本实施方式也能够适用于声音数据以外。例如,本实施方式也可以适用于声音数据以外的时间序列数据或图像数据。为了适用它,只要将x设为适于其适用对象的数据即可。若其为振动传感器或股票价格数据,则将其设为汇总了这些时间序列信息的数据、或将其进行了傅里叶变换后的数据即可,若为图像,则可以设为图像特征量或通过神经网络等对其进行了分析后的结果。在该情况下,异常声音探测装置2具有作为用学习了正常时的数据即正常数据的正常模型、以及学习了异常时的数据即异常数据的异常模型,判定观测数据是正常还是异常的异常探测装置的功能。
在本实施方式中,说明了使用少量的异常声音数据使假正类率最小,但是也可以构成为使用正常声音数据使假负类率最小。即,对于设为对象的数据的种类或设为目标的指标,可在不脱离本实施方式的宗旨的范围内适当变更。
在本实施方式中,说明了将异常模型学习装置1和异常声音探测装置2作为单独装置构成的例子,但是也能够构成兼有学习异常模型的功能和使用学习完毕的异常模型进行异常声音探测的功能的1台异常声音探测装置。即,变形例的异常声音探测装置包括:输入单元11、初始化单元12、阈值决定单元13、权重更新单元14、权重修正单元15、汇聚判定单元16、输出单元17、模型存储单元20、输入单元21、异常度获取单元22、状态判定单元23、以及输出单元24。
<第二实施方式>
在本实施方式中,提供使用得到的少量的异常声音数据,提高无监督异常声音探测的精度的构架。在本实施方式中,从少量的异常声音数据估计异常模型(或者惩罚),一边兼用它们一边计算异常度。异常模型定义作为少量的异常声音和观测信号的类似度。即,对于与到目前为止得到的异常声音类似的观测信号,给予容易判定为异常的惩罚。为了学习该异常模型,提供将权重优化的算法,使得在可将异常数据全部判定为异常的异常判定阈值之下,正常的观测信号误判定为异常的概率即假正类率最小。
<无监督异常声音探测>
异常声音探测是判定发出了输入x的监视对象的状况是正常还是异常的任务。这里,例如式(29)那样,在x中,可以使用排列了观测信号的对数振幅频谱ln|Xt,f|的数据。
x:=(ln|Xt-Q,1|,ln|Xt-Q,2|,...,ln|Xt+Q,F|)T…(29)
这里,t={1,2,...,T}是时间的索引,f={1,2,...,F}是频率的索引,Q是在输入中考虑的先前和未来的帧(frame)数。x不限于此,也可以是从观测信号提取了特征量的结果。
在基于统计的方法的异常声音探测中,如式(30)所示,从输入x计算异常度A(x)。
这里,p(x|z=0)是在监视对象为正常状态时发出x的概率分布(正常模型),p(x|z=1)是在监视对象为异常状态时发出x的概率分布(异常模型)。然后,如式(31)所示,若异常度A(x)大于事先定义的阈值则判断为监视对象异常,若小于阈值则判断为正常。
识别结果=H(A(X)-φ)…(31)
这里,H(·)是若参数为非负则返回1,为负则返回0的阶梯函数。若识别结果为1则将观测信号判定为异常,若为0则判定为正常。
为了计算式(31),必须已知正常模型和异常模型。但是,因为各模型为未知,所以需要从学习数据进行估计。正常模型例如可以通过从事先收集的正常状态的动作声音数据(正常数据),学习以下的混合高斯分布(GMM:Gaussian Mixture Model)来设计。
其中,K为混合数,N(x|μ,∑)是将平均向量μ、方差-协方差矩阵∑设为参数的高斯分布,wk是第k个分布的权重,μk是第k个分布的平均向量,∑k是第k个分布的方差-协方差矩阵。
正常数据容易大量收集,另一方面,收集异常状态的动作声音数据(异常数据)很困难。因此,在“无监督异常声音探测”中,一般省略异常模型,定义式(33)所示异常度A(x)。
A(x)=-ln p(x|Z=0)…(33)
即,在无监督异常声音探测中,若正常模型和观测信号类似则判定为正常,若不类似则判定为异常。
<本实施方式的原理>
若在实际环境中运用无监督异常声音探测***,则有时可收集异常数据。例如,若无监督异常声音探测***探测异常状态,则可以自动地得到异常数据。而且,即使无监督异常声音探测***遗漏了异常状态,只要通过之后的人工检查等发觉异常状态,则可以将此前的观测数据用作异常数据。特别是在后者那样的情况下,若继续遗漏异常状态则导致重大的事故,因此应使用观测到的异常数据更新***。本发明是通过如上述那样使用在运用中得到的异常数据来学习异常模型,使异常声音探测的精度提高的技术。
《异常模型的设计》
考虑从得到的N个异常的样本Y:={yn}n=1 N估计异常模型p(x|Y)。因为监视对象很少处于异常状态,所以N与正常数据的数相比少得多。因此,难以将异常模型通过混合高斯分布那样复杂的统计模型来建模。因此,在本发明中,设为设计式(34)的异常模型。
这里,K(x,yn)是计算x和yn的类似度的函数,gn是第n个异常数据的混合权重,Θn是用于计算x和yn的类似度的参数。即,将异常度A(x)作为式(35)计算。
即,在本实施方式中,通过将异常模型定义作为计算得到的异常数据与观测信号的类似度的加权和的函数,作为若得到的异常数据与观测信号类似则判定为异常那样进行诱导的惩罚项来使用,更新/校正无监督异常声音探测***。
《目标函数的设计》
在作为本实施方式的异常度的式(35)中,应求的参数为gn和Θn。为了使用学习数据求参数,必须适当地设计以数学方式记述了“什么样的参数对于***来说是好的参数”的“目标函数”。在异常声音探测的目标函数中,有时利用将横轴设为将正常的观测信号错误地误判定为异常的概率即假正类率(FPR:False Positive Rate),将纵轴设为可将异常的观测信号正确地判定为异常的概率即真正类率(TPR:TruePositiveRate)时的、曲线的下部面积即AUC(Area Under the Receiver Operating Characteristic Curve,接收机工作特性曲线下面积)来设计目标函数。而且,若以式(35)定义异常度,则真正类率(TPR)和假正类率(FPR)可以如式(36)、式(37)那样定义。
TPR(Θ,gn,φ)=∫H(A(x)-φ)p(x|z=1)dx…(36)
FPR(Θ,gn,φ)=∫H(A(x)-φ)p(x|z=0)dx…(37)
在初始的研究中,进行了学习,以将AUC整体最大化(参照下述参考文献1)。另一方面,在近年的研究中,明白了通过将无监督异常声音探测视为假设检验,学习无监督异常声音探测***,使得将真正类率在对于某个危险率(例如,假正类率)的条件下最大化,从而异常声音探测的性能提高(参照下记参考文献2)。这样的概念称为“内曼·皮尔森基准”。
〔参考文献1〕A.P.Bradley,″The Use of the Area Under the ROC Curve inthe Evaluation of Machine Learning Algorithms,″Pattern Recognition,pp.1145-1159,1996.
〔参考文献2〕Y.Koizumi,et al.,″Optimizing Acoustic Feature Extractorfor Anomalous Sound Detection Based on Neyman-Pearson Lemma,″EUSIPCO,2017.
在异常声音探测***中,若继续异常状态的遗漏则存在导致重大事故的可能性。因为难以得到监视对象设备可获得的全部异常数据,所以难以防止监视对象设备可获得的全部异常状态的遗漏。但是,能够构筑***,使得至少与得到的异常数据类似的异常状态必然被判定为异常。因此,将式(36)的真正类率(TPR)的定义变更为式(38)那样。
TPR(Θ,gn,φ)=∫H(A(x)-φ)p(x|Y)dx…(38)
在该真正类率(TPR)成为1.0的条件下,将使假正类率(FPR)最小的式(39)设为本实施方式的目标函数。以下,将式(39)的目标函数称为“有条件的使AUC最大”。
图9是表示以往的“使AUC最大”(图9A)和“内曼·皮尔森基准”(图9B)、与本实施方式的“有条件的使AUC最大”(图9C)的概念的不同的图。图中的虚线是学习前的接收者动作特性(ROC:Receiver Operating Characteristic,接收器工作特性曲线)曲线,实线是学习后的ROC曲线。并且AUC是ROC曲线和x轴夹住的区域的面积,在AUC最大化中进行学习,使得该面积增加。内曼·皮尔森基准通过使假正类率(FPR)成为确定的值的区域的TPR提高,使AUC最大化(虚线左侧,A1的区域)。另一方面,有条件的使AUC最大等于直接使真正类率(TPR)为1.0的区域的AUC最大(虚线右侧,A2的区域)。即,限制项变化为真正类率(TPR)而不是假正类率(FPR)。即,在有条件的AUC最大化中,将目标函数设为在可将异常数据可靠地判定为异常的条件下,使将正常数据误判定为异常的概率最小的函数。
《学习方法》
TPR(Θ,gn,φρ)=1…(40)
,式(39)可写为式(41)那样。
通过式(38)求真正类率(TPR)方面的困难在于,不能分析地执行上述的积分。因此在本发明中,用采样法近似地执行上述的积分。首先,从估计出的异常分布p(x|Y),虚拟生成I个异常样本Y:={yi}i=1 I。
yi~p(x,Y)…(42)
这里,~是,从右边的概率分布使用虚拟随机数生成法等生成虚拟随机数的运算符。即使在p(x|Y)不是被归一化后的概率分布的情况下,也使用切片采样法等以与其值成正比的概率生成样本。然后,用于使用这些样本满足式(40)的条件是,比从生成的样本求得的全部异常度小。因此,如以下那样决定
这里,β是正的常数。
最后,虽然希望将式(39)最大化,但是式(37)中的假正类率(FPR)内的积分也无法解析地计算。因此,通过从正常数据中,随机地选择J个,使积分近似于从该数据计算的值的和而计算梯度的概率的梯度法来进行优化。
这里,α是步长。其中,作为阶梯函数的H(·)无法求其梯度,所以用S型函数近似。而且,目标函数也可以如式(47)那样变更。
即,在本实施方式中,将目标函数设为以下函数来学习异常模型,该函数以可将从得到的异常数据本身或者使用从得到的异常数据求得的异常模型虚拟生成的异常数据,可靠地判定为异常作为限制条件,使正常数据误判定为异常的概率最小。
<使用了高斯核(kernel)的实现例子>
说明使用使用高斯核实现上述的本实施方式的异常声音探测的原理的例子。如式(48)那样定义本实施方式的异常模型。
这里,0≤λn,d,0≤gn,∑n=1 Ngn=1,ε是正的小的常数。gn是表示与其它的异常数据相比较,第n个异常数据在异常判定中有多重要的参数。而且,λn,d是表示第n个异常数据的第d维在异常判定中有多重要的参数。而且,若采用异常模型p(x|Y)作为概率密度函数,则必须标准化为∫K(x,y)dx=1,而且,必须是∑n=1 Ngn=1。另一方面,若采用异常模型作为对与得到的异常数据类似的观测的惩罚项,则不需要满足概率分布的条件即标准化的限制。因此,在式(48)中不满足∫K(x,y)dx=1。
这里,Categorical表示类别分布。
接着,通过式(43)设定阈值。这样,各参数可以如式(51)、式(52)那样更新。
其中,
,系数γn如以下那样求。
而且,为了满足0≤λn,d,0≤gn,∑n=1 Ngn=1,在每次更新时进行以下的后处理。
而且,为了正则化,λn,d的后处理也可以通过以下进行。
λn,d←max(0,λn,d-ξ)…(59)
这里,设定为ξ=10-7左右即可。
还考虑固定与高斯核的形状有关的参数λn,d,仅学习重要度参数gn。但是,若在这样的状况下进行采样,则如图10A中例示的那样,有在正常的范围内生成异常数据的可能性,由此,TPR的计算中的期待值的近似运算变得不稳定,所以存在阈值无法正确设定的可能性。因此,在固定了λn,d的情况下,不进行使用了采样的阈值设定,需要从得到的异常样本直接进行阈值设定。因为λn,d的倒数为方差,所以通过将λn,d优化,如图10B中例示的那样,在对探测重要的特征量维度上正常数据的范围内不生成异常样本。因此,在本实施方式中,通过学习λn,d,进行使用了采样的阈值设定。
以下,详细地说明本发明的第二实施方式。本发明的第二实施方式由进行上述的异常模型的学习的异常模型学习装置3、和使用异常模型学习装置3学习的异常模型判定观测信号是正常还是异常的异常声音探测装置4构成。
《异常模型学习装置》
如图11中例示的那样,第二实施方式的异常模型学习装置3包括:输入单元31、初始化单元32、异常分布获取单元33、异常声音生成单元34、阈值决定单元35、模型更新单元36、汇聚判定单元37、以及输出单元38。该异常模型学习装置3通过进行图12中例示的各步骤的处理,实现第二实施方式的异常模型学习方法。
异常模型学习装置3例如是在具有中央运算处理装置(CPU:Central ProcessingUnit),主存储装置(RAM:Random Access Memory)等的公知或者专用的计算机中读入特别的程序而构成的特别的装置。异常模型学习装置3例如在中央运算处理装置的控制下执行各处理。输入到异常模型学习装置3的数据或在各处理中得到的数据例如被存储在主存储装置中,主存储装置中存储的数据根据需要被读出至中央运算处理装置,被其它处理使用。异常模型学习装置3的各处理单元的至少一部分也可以由集成电路等硬件构成。
以下,参照图12,说明第二实施方式的异常模型学习装置3执行的异常模型学习方法。
在步骤S31中,输入单元31将正常模型p(x|z=0)、正常声音数据、异常声音数据、以及学习所需要的参数α、β、ε、ξ作为输入接受。α、β、ε、ξ的各参数与环境匹配来设定,但是例如设定为α=10-4,β=5,ε=10-6,ξ=10-7的左右。正常模型p(x|z=0)是使用正常声音数据估计的概率分布,与在以往的无监督异常声音探测中使用的分布是同样的。正常声音数据是收录了正常状态的设备发出的声音的大量的声音数据。异常声音数据是收录了异常状态的设备发出的声音的少量的声音数据。而且,优选被输入的正常声音数据与为了学习正常模型p(x|z=0)而使用的正常声音数据相同,但是也可以不必相同。
在步骤S32中,初始化单元32将λn,d,gn以均匀随机数等进行初始化,以满足0≦λn,d、0≦gn、Σn=1 Ngn=1。初始化单元32将初始化后的参数λn,d、gn输出到异常分布获取单元33。
在步骤S33中,异常分布获取单元33从初始化单元32接受参数λn,d、gn,从输入的异常声音数据生成式(48)的异常模型p(x|Y)。在将步骤S33执行第2次以后时,异常分布获取单元33从学习中的参数λn,d、gn和在步骤S34中虚拟生成的异常样本{yn}n=1 N生成式(48)的异常模型p(x|Y)。异常分布获取单元33将生成的异常模型p(x|Y)输出到异常声音生成单元34。
在步骤S34中,异常声音生成单元34从异常分布获取单元33接受异常模型p(x|Y),通过式(49)、(50)虚拟生成N个异常样本{yn}n=1 N。异常声音生成单元34将虚拟生成的异常样本{yn}n=1 N输出到阈值决定单元35。
在步骤S36中,模型更新单元36从阈值决定单元35接受阈值根据式(51)至式(58)更新异常模型p(x|Y)的参数λn,d、gn。这时,在式(51)、(52)不仅可以使用单纯的梯度下降法,例如也可以使用Adam法等不同的梯度法。
在步骤S37中,汇聚判定单元37判定是否满足预先设定的结束条件。若满足结束条件,则汇聚判定单元37将处理进至步骤S38,若不满足,则将处理返回步骤S33。结束条件例如设定为反复执行了500次步骤S33~S36等。
在步骤S38中,输出单元38输出学习的参数λn,d、gn。
《异常声音探测装置》
如图13中例示的那样,第二实施方式的异常声音探测装置4包括:模型存储单元40、输入单元41、异常度获取单元42、状态判定单元43、以及输出单元44。该异常声音探测装置4通过进行图14中例示的各步骤的处理,实现第二实施方式的异常声音探测方法。
异常声音探测装置4例如是在具有中央运算处理装置(CPU:Central ProcessingUnit;中央处理器)、主存储装置(RAM:Random Access Memory;随机存取存储器)等的公知或者专用的计算机中读入特别的程序而构成的特别的装置。异常声音探测装置4例如,在中央运算处理装置的控制下执行各处理。在异常声音探测装置4中输入的数据或在各处理中得到的数据例如被存储在主存储装置中,主存储装置中存储的数据根据需要被读出至中央运算处理装置,被其它处理利用。异常声音探测装置4的各处理单元的至少一部分也可以由集成电路等硬件构成。异常声音探测装置4具有的各存储单元例如可以由:RAM(RandomAccess Memory)等主存储装置、硬盘、光盘或者闪存(Flash Memory)那样的半导体存储器元件构成的辅助存储装置、或者关系数据库或键值存储等中间件构成。
在模型存储单元40中存储有正常模型p(x|z=0)、异常模型p(x|z=1)和阈值与异常模型学习装置3同样,正常模型p(x|z=0)是使用正常声音数据估计概率分布的模型,与以往的无监督异常声音探测中使用的模型相同。异常模型p(x|z=1)是通过异常模型学习装置3,使用异常声音数据{yn}n=1 N学习了参数λn,d、gn(d=1,…,D;n=1,…,N)的模型。阈值可以是由异常模型学习装置3的阈值决定单元35决定的阈值也可以是预先以手动方式提供的阈值。
以下,参照图14,说明第二实施方式的异常声音探测装置4执行的异常声音探测方法。
在步骤S41中,输入单元41接受设为异常声音探测的对象的观测信号x作为输入。输入单元41将观测信号x输出到异常度获取单元42。
在步骤S42中,异常度获取单元42从输入单元41接受观测信号x,计算式(35),得到异常度A(x)。异常度获取单元42将得到的异常度A(x)输出到状态判定单元43。
在步骤S43中,状态判定单元43从异常度获取单元42接受异常度A(x),计算式(31),判定观测信号x是正常还是异常。状态判定单元43将表示观测信号x是正常还是异常的二值数据的判定结果输出到输出单元44。
在步骤S44中,输出单元44从状态判定单元43接受判定结果,将该判定结果设为异常声音探测装置4的输出。
<第二实施方式的变形例>
在本实施方式中,设为异常模型学习装置3虚拟生成异常样本,学习异常模型的参数的结构,但也可以构成仅具有虚拟生成异常样本的功能的异常声音生成装置。该异常声音生成装置具有第二实施方式的异常模型学习装置3具有的异常分布获取单元33和异常声音生成单元34。该异常声音生成装置例如将正常数据、少量的异常数据、正常模型、学习所需要的参数设为输入,异常分布获取单元33从异常数据得到异常声音遵循的概率分布即异常分布,异常声音生成单元34使用该异常分布,虚拟生成异常样本,将该异常样本设为异常声音生成装置的输出。
在本实施方式中,说明了将异常模型学习装置3和异常声音探测装置4作为单独的装置构成的例子,但是也能够构成兼有学习异常模型的功能和使用学习完毕的异常模型进行异常声音探测的功能的1台异常声音探测装置。即,变形例的异常声音探测装置包括:输入单元31、初始化单元32、异常分布获取单元33、异常声音生成单元34、阈值决定单元35、模型更新单元36、汇聚判定单元37、模型存储单元40、输入单元41、异常度获取单元42、状态判定单元43、以及输出单元44。
在本实施方式中,说明了将声音数据设为对象的异常声音探测,但是本实施方式也能够适用于声音数据以外。例如,本实施方式也可以适用于声音数据以外的时序数据或图像数据。为了使用它,只要将x设为适于该适用对象的数据即可。若其为振动传感器或股票价格数据,则将其设为汇总了这些时间序列信息的数据、或将其进行了傅里叶变换后的数据即可,若为图像,则可以设为图像特征量或通过神经网络等对其进行了分析后的结果。在该情况下,异常声音探测装置2具有使用学习了正常时的数据即正常数据的正常模型、以及学习了异常时的数据即异常数据的异常模型,判定观测数据是正常还是异常的异常探测装置的功能。
以上,说明了本发明的实施方式,但是具体的结构不限于这些实施方式,不用说,在不脱离本发明的宗旨的范围内存在的适当设计的变更等,也包含在本发明中。实施方式中说明的各种的处理不仅按照记载的顺序时序地执行,也可以根据执行处理的装置的处理能力或者需要并行地或者单独地执行。
[程序,记录介质]
在通过计算机实现上述实施方式中说明的各装置中的各种处理功能的情况下,通过程序记述各装置应具有的功能的处理内容。然后,通过计算机执行该程序,在计算机上实现上述各装置中的各种处理功能。
记述了该处理内容的程序可以记录在计算机可读取的记录介质中。作为计算机可读取的记录介质,例如可以是磁记录装置、光盘、光磁记录介质、半导体存储器等任何介质。
而且,该程序的流通例如通过销售、转让、租借等记录了该程序的DVD、CD-ROM等可拆装型记录介质来进行。进而,也可以设为将该程序存储在服务器计算机的存储装置中,经由网络,通过将该程序从服务器计算机转发到其它计算机,使该程序流通的结构。
执行这样的程序的计算机,例如首先将可拆装型记录介质中记录的程序或者从服务器计算机转发的程序暂时存储在自己的存储装置中。然后,在执行处理时,该计算机读取在自身的记录装置中存储的程序,执行按照读取的程序的处理。而且,作为该程序其它执行方式,计算机也可以从可拆装型记录介质直接读取程序,执行按照该程序的处理,进而,也可以在每次从服务器计算机对该计算机转发程序时,逐次执行按照接受的程序的处理。而且,也可以设为通过不进行从服务器计算机向该计算机的程序的转发,仅通过该执行指令和结果取得来实现处理功能的、所谓ASP(Application Service Provider,应用服务提供商)型的服务,执行上述的处理的结构。而且,本方式中的程序中,包含供电子计算机的处理用的信息即基于程序的信息(虽然不是对于计算机的直接的指令,但是具有规定计算机的处理的性质的数据等)。
而且,在本方式中,设为通过在计算机上执行规定的程序来构成本装置,但是也可以硬件性地实现这些处理内容的至少一部分。
Claims (10)
1.一种异常声音探测装置,包括:
模型存储单元,存储将预先准备的异常声音数据建模后的概率分布即第1异常模型和将与所述异常声音数据不同的异常声音即追加异常声音建模后的概率分布即第2异常模型;
异常度获取单元,对于输入的对象声音数据,组合所述第1异常模型和所述第2异常模型来计算异常度;以及
状态判定单元,将所述异常度与规定的阈值比较,判定所述对象声音数据是正常声音还是异常声音。
2.如权利要求1所述的异常声音探测装置,
为了得到可将所述追加异常声音全部判定为异常的概率分布,所述第2异常模型被具有权重地建模,使得对于所述追加异常声音算出的异常度越小,对与该追加异常声音类似的数据给予的权重越大,
所述阈值被设定,使得将全部所述追加异常声音判定为异常声音。
3.一种异常声音生成装置,其至少基于得到的异常声音,生成虚拟异常声音,该装置包括:
异常分布获取单元,从所述得到的异常声音或者基于所述得到的异常声音的值,得到异常声音遵循的概率分布即异常分布;以及
异常声音生成单元,生成所述虚拟异常声音,使得从所述异常分布生成的概率高,并且从正常声音遵循的概率分布生成的概率低。
4.如权利要求3所述的异常声音生成装置,
基于所述得到的异常声音的值是,基于异常模型和所述得到的异常声音得到的值,所述异常模型被优化,使得将异常声音可靠地判定为异常、并且将正常声音判定为异常的概率最小。
5.如权利要求4所述的异常声音生成装置,
所述异常模型被定义作为计算所述得到的异常声音、和判定是正常声音还是异常声音的对象的声音即观测声音的加权类似度的函数。
7.一种异常数据生成装置,其至少基于得到的异常数据,生成虚拟异常数据,该装置包括:
异常分布获取单元,从所述得到的异常数据或者基于所述得到的异常数据的值,得到异常数据遵循的概率分布即异常分布;以及
异常数据生成单元,生成所述虚拟异常数据,使得从所述异常分布生成的概率高,并且从正常数据遵循的概率分布生成的概率低。
8.一种异常模型学习装置,包括:
异常分布获取单元,从得到的异常声音或者基于所述得到的异常声音的值,得到异常声音遵循的概率分布即异常分布;
异常声音生成单元,生成虚拟异常声音,使得从所述异常分布生成的概率高,并且从正常声音遵循的概率分布生成的概率低;
阈值设定单元,设定阈值,使得从所述虚拟异常声音算出的全部异常度被判定为异常;以及
模型更新单元,使用得到的正常声音、所述得到的异常声音或者基于所述得到的异常声音的值、以及所述阈值,更新异常模型的参数,使得将异常声音可靠地判定为异常、并且使正常声音判定为异常的概率最小。
9.一种异常声音生成方法,其至少基于得到的异常声音,生成虚拟异常声音,在该方法中,
异常分布获取单元从所述得到的异常声音或者基于所述得到的异常声音的值,得到异常声音遵循的概率分布即异常分布,
异常声音生成单元生成异常声音,使得从所述异常分布生成的概率高,并且从正常声音遵循的概率分布生成的概率低。
10.一种计算机可读取的记录介质,记录了程序,该程序用于使计算机具有作为权利要求1或2所述的异常声音探测装置、或者权利要求3至5的任意一项所述的异常声音生成装置、或者权利要求7所述的异常数据生成装置、或者权利要求8所述的异常模型学习装置的功能。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-171058 | 2017-09-06 | ||
JP2017171058 | 2017-09-06 | ||
JP2018-003979 | 2018-01-15 | ||
JP2018003979 | 2018-01-15 | ||
CN201880057321.1A CN111108362B (zh) | 2017-09-06 | 2018-08-24 | 异常声音探测装置、异常模型学习装置、异常探测装置、异常声音探测方法、以及记录介质 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880057321.1A Division CN111108362B (zh) | 2017-09-06 | 2018-08-24 | 异常声音探测装置、异常模型学习装置、异常探测装置、异常声音探测方法、以及记录介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113899577A true CN113899577A (zh) | 2022-01-07 |
CN113899577B CN113899577B (zh) | 2024-07-26 |
Family
ID=
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007256153A (ja) * | 2006-03-24 | 2007-10-04 | Hitachi Ltd | 鉄道車両台車異常検知システム |
CN102282516A (zh) * | 2009-02-17 | 2011-12-14 | 株式会社日立制作所 | 异常检测方法及异常检测*** |
JP2012181280A (ja) * | 2011-02-28 | 2012-09-20 | Sogo Keibi Hosho Co Ltd | 音処理装置および音処理方法 |
US20130148817A1 (en) * | 2011-12-09 | 2013-06-13 | Tokyo Electron Limited | Abnormality detection apparatus for periodic driving system, processing apparatus including periodic driving system, abnormality detection method for periodic driving system, and computer program |
CN103325387A (zh) * | 2012-03-23 | 2013-09-25 | 三菱电机株式会社 | 异常声音诊断装置 |
WO2014073261A1 (ja) * | 2012-11-09 | 2014-05-15 | 株式会社 東芝 | プロセス監視診断装置、プロセス監視診断プログラム |
US20150052090A1 (en) * | 2013-08-16 | 2015-02-19 | International Business Machines Corporation | Sequential anomaly detection |
CN104538041A (zh) * | 2014-12-11 | 2015-04-22 | 深圳市智美达科技有限公司 | 异常声音检测方法及*** |
CN105637331A (zh) * | 2013-10-21 | 2016-06-01 | 株式会社日立高新技术 | 异常检测装置、异常检测方法及计算机可读取的存储介质 |
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007256153A (ja) * | 2006-03-24 | 2007-10-04 | Hitachi Ltd | 鉄道車両台車異常検知システム |
CN102282516A (zh) * | 2009-02-17 | 2011-12-14 | 株式会社日立制作所 | 异常检测方法及异常检测*** |
JP2012181280A (ja) * | 2011-02-28 | 2012-09-20 | Sogo Keibi Hosho Co Ltd | 音処理装置および音処理方法 |
US20130148817A1 (en) * | 2011-12-09 | 2013-06-13 | Tokyo Electron Limited | Abnormality detection apparatus for periodic driving system, processing apparatus including periodic driving system, abnormality detection method for periodic driving system, and computer program |
CN103325387A (zh) * | 2012-03-23 | 2013-09-25 | 三菱电机株式会社 | 异常声音诊断装置 |
WO2014073261A1 (ja) * | 2012-11-09 | 2014-05-15 | 株式会社 東芝 | プロセス監視診断装置、プロセス監視診断プログラム |
US20150052090A1 (en) * | 2013-08-16 | 2015-02-19 | International Business Machines Corporation | Sequential anomaly detection |
CN105637331A (zh) * | 2013-10-21 | 2016-06-01 | 株式会社日立高新技术 | 异常检测装置、异常检测方法及计算机可读取的存储介质 |
CN104538041A (zh) * | 2014-12-11 | 2015-04-22 | 深圳市智美达科技有限公司 | 异常声音检测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
US20200209842A1 (en) | 2020-07-02 |
EP3680639A1 (en) | 2020-07-15 |
ES2970507T3 (es) | 2024-05-29 |
JP6947219B2 (ja) | 2021-10-13 |
CN111108362B (zh) | 2022-05-24 |
JPWO2019049688A1 (ja) | 2020-10-01 |
EP3680639A4 (en) | 2021-10-06 |
EP3680639B1 (en) | 2023-11-15 |
CN111108362A (zh) | 2020-05-05 |
WO2019049688A1 (ja) | 2019-03-14 |
US11467570B2 (en) | 2022-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111108362B (zh) | 异常声音探测装置、异常模型学习装置、异常探测装置、异常声音探测方法、以及记录介质 | |
EP4113076B1 (en) | Anomalous sound detection training apparatus, and methods and program for the same | |
CN116757534B (zh) | 一种基于神经训练网络的智能冰箱可靠性分析方法 | |
CN105975443B (zh) | 基于Lasso的网络异常行为检测方法及*** | |
JP7331369B2 (ja) | 異常音追加学習方法、データ追加学習方法、異常度算出装置、指標値算出装置、およびプログラム | |
US20090043715A1 (en) | Method to Continuously Diagnose and Model Changes of Real-Valued Streaming Variables | |
CN110352349A (zh) | 异常音检测装置、异常度计算装置、异常音生成装置、异常音检测学习装置、异常信号检测装置、异常信号检测学习装置、及它们的方法以及程序 | |
CN112039903B (zh) | 基于深度自编码神经网络模型的网络安全态势评估方法 | |
CN111538311A (zh) | 一种基于数据挖掘的机械设备柔性多状态自适应预警方法及装置 | |
US20220283057A1 (en) | Anomaly score estimation apparatus, anomaly score estimation method, and program | |
CN116029221B (zh) | 一种电力设备故障诊断方法、装置、设备及介质 | |
CN112016097A (zh) | 一种预测网络安全漏洞被利用时间的方法 | |
JP6472417B2 (ja) | 特徴量抽出装置、特徴量抽出関数情報生成装置、これらの方法及びプログラム | |
CN115277354A (zh) | 一种面向指挥控制网络管理***的故障检测方法 | |
JP7207540B2 (ja) | 学習支援装置、学習支援方法、及びプログラム | |
CN112486784A (zh) | 诊断和优化数据分析***的方法、设备和介质 | |
CN114169460A (zh) | 样本筛选方法、装置、计算机设备和存储介质 | |
KR20220159672A (ko) | 오토 인코더 기반 이상 데이터 감지 시스템 및 방법 | |
CN117216844A (zh) | 一种桥梁结构损伤检测方法、***和存储介质 | |
CN113899577B (zh) | 异常模型学习装置、方法及记录介质 | |
US20230161653A1 (en) | Method of managing system health | |
Kakati et al. | Remaining useful life predictions for turbofan engine degradation using online long short-term memory network | |
CN112949524B (zh) | 一种基于经验模态分解与多核学习的发动机故障检测方法 | |
CN115398442A (zh) | 用于评估传感器测量值的设备和自动化方法和该设备的应用 | |
US20220260459A1 (en) | Feature extraction apparatus, anomaly score estimation apparatus, methods therefor, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |