CN113468151A - 学习数据处理装置、学习数据处理方法和介质 - Google Patents
学习数据处理装置、学习数据处理方法和介质 Download PDFInfo
- Publication number
- CN113468151A CN113468151A CN202110351043.4A CN202110351043A CN113468151A CN 113468151 A CN113468151 A CN 113468151A CN 202110351043 A CN202110351043 A CN 202110351043A CN 113468151 A CN113468151 A CN 113468151A
- Authority
- CN
- China
- Prior art keywords
- limit value
- measurement values
- time
- outlier determination
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 226
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000005259 measurement Methods 0.000 claims abstract description 348
- 230000007717 exclusion Effects 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 72
- 230000008569 process Effects 0.000 claims abstract description 61
- 238000003379 elimination reaction Methods 0.000 claims description 15
- 230000008030 elimination Effects 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 description 31
- 238000013500 data storage Methods 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 11
- 238000012423 maintenance Methods 0.000 description 10
- 230000005856 abnormality Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明提供学习数据处理装置、学习数据处理方法和介质。学习数据处理装置(10)包括基于包含至少一种测量值的时间序列数据来生成在生成学习模型的学习装置(30)中使用的学习数据的数据处理部(12)。数据处理部(12)执行第一排除处理和第二排除处理中的至少一方的排除处理，该第一排除处理计算时间序列数据中的包含于一个或多个规定期间的测量值的统计值以及基于统计值的离群值判定上限值和离群值判定下限值中的至少一方，从时间序列数据中排除包含于规定期间的测量值中的成为离群值判定上限值以上和离群值判定下限值以下中的至少一方的测量值，该第二排除处理从时间序列数据中排除包含于时间序列数据的测量值中的满足规定条件的测量值。
Description
技术领域
本发明涉及学习数据处理装置、学习数据处理方法和非暂时性计算机可读取介质。
背景技术
以往，已知有学习教师数据并生成判定模型的学习数据处理装置(例如，参照专利文献1)。
专利文献1：日本专利公开公报特开2018-77757号
为了提高判定模型的精度，从用于判定模型的学习的观点出发，要求提高学习数据的质量。
发明内容
本发明是鉴于上述问题而完成的，其目的在于提供一种能够提高学习数据的质量的学习数据处理装置、学习数据处理方法和非暂时性计算机可读取介质。
几个实施方式的学习数据处理装置包括数据处理部，所述数据处理部基于包含至少一种测量值的时间序列数据，生成在生成学习模型的学习装置中使用的学习数据。所述数据处理部执行第一排除处理和第二排除处理中的至少一方的排除处理，所述第一排除处理计算所述时间序列数据中的包含于一个或多个规定期间的测量值的统计值以及基于所述统计值的离群值判定上限值和离群值判定下限值中的至少一方，从所述时间序列数据中排除包含于所述规定期间的测量值中的成为所述离群值判定上限值以上和所述离群值判定下限值以下中的至少一方的测量值，所述第二排除处理从所述时间序列数据中排除包含于所述时间序列数据的测量值中的满足规定条件的测量值。由此，学习数据处理装置能够确定异常的测量值或在测量对象未工作的期间得到的测量值并从学习数据中排除。其结果是，提高了学习数据的质量。
在一个实施方式的学习数据处理装置中，也可以为，所述数据处理部执行所述第一排除处理和所述第二排除处理的双方。由此，与仅执行第一排除处理和第二排除处理中的一方的排除处理的情况相比，学习数据处理装置容易确定异常的测量值和在测量对象未工作的期间得到的测量值。其结果是，提高了学习数据的质量。
在一个实施方式的学习数据处理装置中，也可以为，所述第一排除处理包括如下处理：计算测量值的所述统计值以及基于所述统计值的离群值判定上限值和离群值判定下限值中的至少一方，从所述时间序列数据中排除分别包含于所述多个规定期间的测量值中的成为所述离群值判定上限值以上和所述离群值判定下限值以下中的至少一方的测量值。由此，与将包含于时间序列数据的全部测量值作为对象来确定排除数据的情况相比，提高了异常的测量值的检测精度。其结果是，提高了学习数据的质量。
在一个实施方式的学习数据处理装置中，也可以为，所述多个规定期间包括第一规定期间和作为所述第一规定期间中的一部分期间的第二规定期间，所述第一排除处理包括：第三排除处理，计算包含于所述第一规定期间的测量值的第一统计值以及基于所述第一统计值的第一离群值判定上限值和第一离群值判定下限值中的至少一方，排除包含于所述第一规定期间的测量值中的成为所述第一离群值判定上限值以上和所述第一离群值判定下限值以下中的至少一方的测量值；以及第四排除处理，计算通过执行所述第三排除处理而得到的排除后的测量值中的包含于所述第二规定期间的排除后的测量值的第二统计值以及基于所述第二统计值的第二离群值判定上限值和第二离群值判定下限值中的至少一方，排除包含于所述第二规定期间的所述排除后的测量值中的成为所述第二离群值判定上限值以上和所述第二离群值判定下限值以下中的至少一方的测量值。由此，容易将期望确定为排除数据的测量值确定为排除数据。即，提高了异常的测量值的检测精度。其结果是，提高了学习数据的质量。
在一个实施方式的学习数据处理装置中，也可以为，所述数据处理部基于所述时间序列数据的自相关来设定所述第二规定期间的长度。由此，与时间序列数据配合来构成异常的测量值的检测单元。其结果是，提高了学习数据的质量。
几个实施方式的学习数据处理方法基于包含至少一种测量值的时间序列数据，生成在生成学习模型的学习装置中使用的学习数据。所述学习数据处理方法包括第一步骤和第二步骤中的至少一方的步骤，在所述第一步骤中，计算所述时间序列数据中的包含于一个或多个规定期间的测量值的统计值以及基于所述统计值的离群值判定上限值和离群值判定下限值中的至少一方，从所述时间序列数据中排除包含于所述规定期间的测量值中的成为所述离群值判定上限值以上和所述离群值判定下限值以下中的至少一方的测量值，在所述第二步骤中，从所述时间序列数据中排除包含于所述时间序列数据的测量值中的满足规定条件的测量值。由此，学习数据处理装置能够确定异常的测量值或在测量对象未工作的期间得到的测量值并从学习数据中排除。其结果是，提高了学习数据的质量。
几个实施方式的非暂时性计算机可读取介质存储有学习数据处理程序，所述学习数据处理程序使处理器基于包含至少一种测量值的时间序列数据，生成在生成学习模型的学习装置中使用的学习数据。所述学习数据处理程序使所述处理器执行第一步骤和第二步骤中的至少一方的步骤，在所述第一步骤中，计算所述时间序列数据中的包含于一个或多个规定期间的测量值的统计值以及基于所述统计值的离群值判定上限值和离群值判定下限值中的至少一方，从所述时间序列数据中排除包含于所述规定期间的测量值中的成为所述离群值判定上限值以上和所述离群值判定下限值以下中的至少一方的测量值，在所述第二步骤中，从所述时间序列数据中排除包含于所述时间序列数据的测量值中的满足规定条件的测量值。由此，学习数据处理装置能够确定异常的测量值或在测量对象未工作的期间得到的测量值并从学习数据中排除。其结果是，提高了学习数据的质量。
根据本发明，提供能够提高学习数据的质量的学习数据处理装置、学习数据处理方法和非暂时性计算机可读取介质。
附图说明
图1是表示比较例的学习数据处理***的框图。
图2是表示时间序列数据的一例的曲线图。
图3是表示一个实施方式的学习数据处理***的构成例的框图。
图4是表示包含异常的测量值的时间序列数据的例子的曲线图。
图5是以正态分布近似了图4的时间序列数据中包含的测量值的出现概率的曲线图。
图6是表示时间序列数据和移动数据的例子的曲线图。
图7是表示时间序列数据的自相关的一例的曲线图。
图8是表示学习数据处理方法的步骤的一例的流程图。
附图标记说明：
1 学习***
10 学习数据处理装置(12：数据处理部，14：输入部)
20 数据输入输出装置
30 学习装置
40 学习模型存储装置
50 判定装置
60 数据存储装置
70 输出装置
具体实施方式
(比较例)
如图1所示，比较例的学习***9具备：从测量对象取得测量值的数据输入输出装置92、学习装置93、学习模型存储装置94和判定装置95。学习***9通过将测量值应用于模型来判定测量对象的维护时机。学习***9生成基于学习数据的学习模型作为应用测量值的模型。
数据输入输出装置92取得测量值与时刻数据相关联的时间序列数据。数据输入输出装置92可以包括取得测量值的传感器。数据输入输出装置92可以包括与传感器连接的接口。传感器对测量对象的物理量进行测量并作为测量值输出。时刻数据与传感器测量测量对象的物理量的时刻对应。
学习装置93从数据输入输出装置92取得成为学习数据的时间序列数据，基于学习数据生成学习模型。
学习模型存储装置94存储学习装置93生成的学习模型。
判定装置95从数据输入输出装置92取得成为评价对象数据的时间序列数据，并且基于学习模型对评价对象数据进行评价。
图2表示成为学习数据的时间序列数据的一例。图2的横轴表示时刻。纵轴表示测量值。时间序列数据包含期间P1、期间P2和期间P3。期间P1与数据输入输出装置92连接或设置于测量对象或传感器的期间对应。期间P2与测量对象工作的期间对应。期间P3与测量对象停止的期间对应。
学习装置93基于包含期间P1、P2、P3的全部数据的时间序列数据，生成学习模型。
此处，判定装置95基于在测量对象工作时取得的数据，判定测量对象的状态。作为用于判定的模型，与测量对象的状态无关而基于全部数据生成的学习模型相比，仅基于测量对象工作的期间P2的数据生成的学习模型更适合。换言之，仅提取了测量对象工作的期间P2的数据的学习数据比包含全部数据的学习数据更适合于生成学习模型。
学习装置93被要求基于适合于生成学习模型的学习数据来生成学习模型。即，从生成学习模型的观点出发，要求提高学习数据的质量。
此外，假设在手动进行学习数据的提取的情况下，需要花费大量的劳力而难以实现。要求简单地提高学习数据的质量。
因此，本发明对能够提高学习数据的质量的学习数据处理装置10(参照图3)进行说明。
(实施方式)
如图3所示，本发明的一个实施方式的学习***1包括：学习数据处理装置10、数据输入输出装置20、学习装置30、学习模型存储装置40、判定装置50、数据存储装置60和输出装置70。
<学习***1的功能的概要>
学习***1通过对测量测量对象的物理量而得到的测量值应用模型来评价测量对象的状态，判定对测量对象应采取的动作。测量对象例如可以包括工厂的配管或泵等设备或者电气设备等。此外，学习***1并不限于工厂，也应用于具有需要由传感器测量物理量的设备等的现场等。即，测量对象可以包括现场的设备。
测量对象的物理量例如可以包含表示配管或泵等的振动的加速度或速度。测量对象的物理量例如可以包含配管或泵等的表面温度。测量对象的物理量例如也可以包含在包含于电气设备的电路中流动的电流或施加于电路的电压等。测量对象的物理量不限于这些例子，也可以包含压力、流量、声压或pH等各种物理量。
例如可以通过工厂工作时流过配管的液体或气体的流量来表示测量对象的状态。例如也可以通过工厂工作时的配管的振动的大小来表示测量对象的状态。测量对象的状态可以包括工厂的管理者或维护作业者等能够通过视觉、听觉、触觉或嗅觉等人的感觉识别的状态，也可以包括不能通过人的感觉识别的状态。对测量对象应采取的动作例如可以包括使工厂停止并对工厂进行检查，也可以包括清扫或部件更换。
学习***1生成基于包含在测量对象中测量的过去的测量值的学习数据的学习模型。学习数据可以包含测量对象的一个物理量的测量值或多个物理量各自的测量值。即，学习数据可以包含测量对象中的至少一种物理量的测量值。学习数据可以包含在测量对象的一个或多个位置测量的测量值。学习数据可以包含在一个或多个时刻测量的测量值。学习数据可以包含将测量对象的管理者或维护作业者等能够通过感觉识别的测量对象的状态与测量值相关联的信息。学习数据也可以包含将测量对象的管理者或维护作业者等能够通过感觉识别并判定测量对象的状态的动作与测量值相关联的信息。
学习***1通过对测量对象的测量值应用学习模型来评价测量对象的状态。学习***1输出测量对象的状态的评价结果，或者基于评价结果来判定对测量对象应采取的动作。
<学习***1的各构成部的说明>
以下，对学习***1的各构成部的具体例进行说明。
数据输入输出装置20取得测量值与时刻数据相关联的时间序列数据并输出到学习数据处理装置10。数据输入输出装置20也可以与数据存储装置60连接，取得存储于数据存储装置60的时间序列数据。数据输入输出装置20可以包括取得测量值的传感器。数据输入输出装置20也可以包括与传感器连接的接口。数据输入输出装置20可以将从传感器取得的测量值与取得测量值的时刻数据相关联来生成时间序列数据。时间序列数据可以包含以规定周期取得的测量值。规定周期例如可以是1小时，可以是1天，也可以是其他各种值。时间序列数据也可以包含以不固定的间隔取得的测量值。
传感器对测量对象的物理量进行测量并作为测量值输出。时刻数据与传感器对测量对象的物理量进行了测量的时刻对应。传感器可以包括将配管等的振动检测为速度或加速度的振动传感器。传感器可以包括检测配管的表面等的温度的温度传感器。传感器可以包括通过设置于配管等的压力计检测压力的压力传感器。传感器不限于这些例子，也可以包括检测各种物理量的传感器。
数据输入输出装置20可以取得测量对象的运转信息并输出到学习数据处理装置10。测量对象的运转信息可以包含表示测量对象是工作还是停止的信息。
数据输入输出装置20将测量对象的测量值输出到判定装置50，并且从判定装置50取得测量对象的测量值的评价结果。
学习数据处理装置10具备数据处理部12。数据处理部12从数据输入输出装置20取得时间序列数据，并且对时间序列数据进行处理，生成在学习装置30中使用的学习数据。数据处理部12可以将所生成的学习数据输出到学习装置30。数据处理部12可以将所生成的学习数据存储于数据存储装置60或其他存储装置。学习装置30可以从数据存储装置60或其他存储装置取得学习数据。数据处理部12可以包括CPU(Central Processing Unit，中央处理器)等处理器而构成。数据处理部12可以通过执行规定的程序，实现学习数据处理装置10的各种功能。
数据处理部12可以具备存储部。存储部可以存储用于数据处理部12的动作的各种信息或用于实现数据处理部12的功能的程序等。存储部可以作为数据处理部12的工作存储器发挥功能。存储部例如可以由半导体存储器等构成。存储部也可以与数据处理部12分体构成。
学习数据处理装置10虽然不是必须的，但是还具备输入部14。输入部14可以包括接受来自测量对象的管理者或维护作业者等用户的输入的输入设备。输入部14可以通过输入设备，例如接受对数据处理部12处理时间序列数据的方法进行定义的信息的输入。输入设备例如可以包括键盘或物理键，也可以包括触摸面板或触摸传感器或鼠标等指针设备。输入设备不限定于这些例子，也可以包括其他各种设备。
学习装置30从学习数据处理装置10取得学习数据，基于学习数据生成学习模型并输出到学习模型存储装置40。学习装置30可以包括CPU等处理器而构成。
学习模型存储装置40存储学习装置30生成的学习模型。学习模型存储装置40可以包括磁盘等电磁存储介质而构成。学习模型存储装置40也可以包括半导体存储器等而构成。
判定装置50从学习模型存储装置40取得学习模型。判定装置50从数据输入输出装置20取得包含成为评价对象数据的测量对象的测量值的时间序列数据。判定装置50通过对测量对象的测量值应用学习模型来进行评价，并且基于评价结果来判定测量对象的状态。可以认为判定装置50通过对测量对象的测量值应用学习模型，生成与测量对象的评价结果相关的信息。判定装置50将与测量对象的评价结果相关的信息输出到数据输入输出装置20。与测量对象的评价结果相关的信息可以从数据输入输出装置20输出到数据存储装置60并存储于数据存储装置60。判定装置50可以包括CPU等处理器而构成。
能够由模型的参数表示测量对象的状态。模型可以具有多个参数。判定装置50将从测量对象取得的测量值应用于模型来计算模型的参数。判定装置50基于模型的参数来判定测量对象的状态。判定装置50可以将测量对象的状态表示为得分。得分例如可以是表示测量对象的劣化度的数值。在这种情况下，在得分成为规定值以上的情况下，可以判定为需要进行测量对象的维护。
数据存储装置60可以包括记录器等存储测量数据的装置。数据存储装置60可以包括磁盘等电磁存储介质而构成。数据存储装置60也可以包括半导体存储器等而构成。
输出装置70输出判定装置50的测量对象的状态的判定结果并通知测量对象的管理者或维护作业者等用户。输出装置70可以包括显示设备而构成。显示设备例如可以包括液晶显示器(LCD：Liquid Crystal Display)。显示设备例如可以包括有机EL(Electro-Luminescence，电致发光)显示器或无机EL显示器。显示设备可以包括等离子体显示器(PDP：Plasma Display Panel，等离子体显示面板)。显示设备不限于这些显示器，也可以包括其他各种方式的显示器。显示设备可以包括LED(Light Emission Diode，发光二极管)等发光设备。输出装置70也可以包括扬声器等声音输出设备而构成。
<学习数据的处理>
在学习***1中，学习装置30生成的学习模型的精度越高，判定装置50越能够以高精度判定测量对象的状态。学习模型的精度能够对应于基于从测量对象得到的测量值判定的测量对象的状态与实际的状态一致的概率。此外，学习模型的精度能够对应于表示基于从测量对象得到的测量值计算出的测量对象的状态的得分以何种程度接近与实际状态对应的得分。
学习装置30基于学习数据生成学习模型。学习装置30例如基于将测量对象的状态与该状态下的测量值相关联的学习数据，生成在得到未知的测量值时推定测量对象的状态的学习模型。对于测量对象的状态几乎或完全没有相关性的数据是使学习模型的精度下降的噪声数据。包含于用于生成学习模型的学习数据的噪声数据越少，越能够提高由学习装置30生成的学习模型的精度。
此处，假设数据输入输出装置20取得图2例示的时间序列数据作为传感器的测量值。时间序列数据的期间P1与传感器连接于或设置于测量对象的期间对应。期间P2与测量对象工作的期间对应。期间P3与测量对象停止的期间对应。期间P2的时间序列数据是相对于测量对象的状态具有高相关性的可能性高且为了判定测量对象的状态而有用的数据。另一方面，期间P1或P3的时间序列数据是与测量对象工作时得到的数据不同的数据，是与测量对象的状态几乎或完全没有相关性的数据。因此，与将期间P1、P2、P3的整个期间的时间序列数据生成为学习数据的学习模型相比，仅将期间P2的时间序列数据生成为学习数据的学习模型能够成为高精度。即，期间P2的时间序列数据比整个期间的时间序列数据更适合作为用于生成学习模型的学习数据。
此外，时间序列数据有时包含因传感器的测量的异常或通信的异常等而异常的测量值。此处，假设数据输入输出装置20取得图4例示的时间序列数据作为传感器的测量值。图4的曲线图的横轴表示时刻。图4的曲线图的纵轴表示测量值。在图4的曲线图中，由X表示的数据与前后的时刻的数据相比成为异常低的值，可以认为是异常的测量值。异常的测量值是与测量对象的状态几乎或完全没有相关性的数据的可能性高。由此，与基于包含异常的测量值的时间序列数据生成的学习模型相比，基于排除了异常的测量值的时间序列数据生成的学习模型能够成为高精度。即，排除了异常的测量值的时间序列数据比包含异常的测量值的时间序列数据更适合作为用于生成学习模型的学习数据。
在学习***1中，学习数据处理装置10的数据处理部12从数据输入输出装置20取得时间序列数据，将所取得的时间序列数据作为学习数据进行处理并输出到学习装置30。数据处理部12从包含于时间序列数据的测量值中排除满足规定条件的测量值，以便能够将适合于生成学习模型的学习数据输出到学习装置30。满足规定条件的测量值也称为排除数据。排除数据例如包含测量对象未工作时得到的测量值。排除数据例如包含判定为异常值的测量值。即，从生成学习模型的观点出发，排除数据与使学习数据的质量下降的测量值对应。以下，例示数据处理部12确定排除数据并从时间序列数据中排除的处理来进行说明。
<<离群值(outlier)排除处理>>
数据处理部12计算包含于时间序列数据的全部测量值(例如包含图2的P1、P2、P3的整个期间的测量值)的统计值。在本实施方式中，数据处理部12计算测量值的平均值和标准偏差作为统计值。数据处理部12例如可以计算中央值、最大值或最小值、或者第一四分位数或第三四分位数等其他各种统计量作为统计值。
数据处理部12基于统计值，排除异常的测量值。数据处理部12排除异常的测量值的处理也称为离群值排除处理。数据处理部12例如可以通过以下的步骤来执行离群值排除处理。数据处理部12基于统计值，计算测量值被认为不是异常的、即测量值正常的范围。数据处理部12将偏离计算出的范围的测量值判定为异常的测量值并确定为排除数据。数据处理部12用于判定的范围也称为离群值判定范围。离群值判定范围由上限和下限中的至少一方确定。离群值判定范围的上限和下限分别称为离群值判定上限值和离群值判定下限值。数据处理部12可以将离群值判定下限值以下的测量值判定为异常的测量值。数据处理部12也可以将小于离群值判定下限值的测量值判定为异常的测量值。数据处理部12可以将离群值判定上限值以上的测量值判定为异常的测量值。数据处理部12也可以将超过离群值判定上限值的测量值判定为异常的测量值。
数据处理部12可以通过以下的步骤来执行离群值排除处理。数据处理部12计算各测量值与平均值的差的绝对值。数据处理部12将计算出的绝对值成为标准偏差乘以规定系数后的值以上的测量值确定为排除数据。由此，数据处理部12能够排除异常的测量值。规定系数也称为离群值判定系数或第一系数。离群值判定系数例如可以设定为2，也可以设定为3。离群值判定系数不限于这些例子，也可以设定为任意的正实数。标准偏差乘以离群值判定系数后的值也称为离群值判定阈值。
数据处理部12通过执行离群值排除处理，能够从学习数据中排除因测量错误或干扰的输入等产生的异常的测量值。其结果是，提高了学习数据的质量。离群值排除处理也称为第一排除处理。
<<停止时数据排除处理>>
在包含于时间序列数据的规定的物理量的测量值满足规定条件的情况下，数据处理部12将该测量值确定为排除数据。具体地说，数据处理部12执行将在测量对象未工作的可能性高时取得的数据确定为排除数据并排除的停止时数据排除处理。
例如在加速度的测量值小于规定阈值的情况下，数据处理部12可以判定为得到该测量值时测量对象未工作的可能性高，并且将该测量值确定为排除数据。此外，例如在温度的测量值不包含于作为工作中的温度范围的规定范围的情况下，数据处理部12可以判定为得到该测量值时测量对象未工作的可能性高，并且将该测量值确定为排除数据。数据处理部12也可以将在与确定为排除数据的测量值相同的时刻取得的其他物理量的测量值确定为排除数据。由此，排除在测量对象未工作的可能性高时取得的数据。其结果是，能够提高学习模型的精度。
数据处理部12可以基于包含于时间序列数据的测量值的分布，设定规定阈值或规定范围。例如在包含于时间序列数据的测量值的频数分布具有两个以上的峰值的情况下，数据处理部12可以将某两个峰值之间的测量值设定为规定阈值。例如在包含于时间序列数据的测量值的频率分布具有两个以上的峰值的情况下，数据处理部12也可以以排除规定的峰值的方式设定规定范围。
例如在某个时刻的加速度的测量值小于规定阈值的情况下，数据处理部12可以以排除该时刻的其他物理量的测量值的方式设定其他物理量的阈值。
数据处理部12可以从数据输入输出装置20取得确定测量对象是工作还是停止的信息。数据处理部12基于确定测量对象是工作还是停止的信息，能够判定包含于时间序列数据的测量值是在测量对象工作时得到的还是在测量对象停止时得到的。数据处理部12可以将判定为测量对象未工作时得到的测量值确定为排除数据。
即使在不能取得确定测量对象是工作还是停止的信息的情况下，数据处理部12也能够通过判定测量值是否满足规定条件，将测量对象未工作时得到的测量值确定为排除数据。其结果是，提高了学习数据的质量。停止时数据排除处理也称为第二排除处理。
<<瞬时值排除处理>>
例如在图4所示的时间序列数据中，期望将由X表示的测量值确定为排除数据。由X表示的测量值相对于包含于期间P6的其他测量值具有较大的差。另一方面，由X表示的测量值相对于包含于整个期间(期间P4)的测量值的一部分的测量值(包含于期间P5的测量值)仅具有较小的差。由此，在对包含于整个期间(期间P4)的测量值执行上述离群值排除处理的情况下，由X表示的测量值难以被确定为排除数据。
如下所述，数据处理部12可以计算时间序列数据中的包含于多个规定期间的测量值的统计值以及基于该统计值的离群值判定范围，将偏离离群值判定范围的测量值确定为排除数据。即，数据处理部12可以将时间序列数据中的包含于多个规定期间的测量值作为对象，与离群值排除处理同样地进行判定并确定排除数据。数据处理部12将时间序列数据中的包含于多个规定期间的测量值作为对象，与离群值排除处理同样地进行判定并确定排除数据的处理也称为瞬时值排除处理。
具体地说，数据处理部12通过以下的步骤执行瞬时值排除处理。数据处理部12可以设定时间序列数据中的全部期间作为规定期间，也可以设定一部分期间作为规定期间。规定期间例如与图4的期间P4或期间P5或期间P6对应。数据处理部12将包含于规定期间的测量值作为对象，与离群值排除处理同样地进行判定。数据处理部12变更为不同的规定期间，将包含于该规定期间的测量值作为对象，与离群值排除处理同样地进行判定。即，数据处理部12将分别包含于不同的多个规定期间的测量值作为对象，与离群值排除处理同样地进行判定。
数据处理部12可以设定与时间序列数据中的全部期间(期间P4)对应的第一规定期间和与时间序列数据中的一部分期间(期间P5或期间P6)对应的第二规定期间作为不同的多个规定期间。
数据处理部12可以计算第一统计值作为包含于第一规定期间的测量值的统计值，计算第一离群值判定范围作为基于第一统计值的离群值判定范围，将偏离第一离群值判定范围的测量值确定为排除数据。第一离群值判定范围的上限和下限也分别称为第一离群值判定上限值和第一离群值判定下限值。数据处理部12将包含于第一规定期间的测量值作为对象而执行的离群值排除处理也称为第三排除处理。
数据处理部12可以计算第二统计值作为包含于第二规定期间的测量值的统计值，计算第二离群值判定范围作为基于第二统计值的离群值判定范围，将偏离第二离群值判定范围的测量值确定为排除数据。第二离群值判定范围的上限和下限也分别称为第二离群值判定上限值和第二离群值判定下限值。数据处理部12将包含于第二规定期间的测量值作为对象而执行的离群值排除处理也称为第四排除处理。数据处理部12可以在时间序列数据的整个期间中一边使第二规定期间滑动一边执行第四排除处理。
此外，数据处理部12也可以通过以下的步骤执行瞬时值排除处理。在对包含于图4的时间序列数据的测量值执行上述离群值排除处理的情况下，计算测量值的平均值和标准偏差。如图5所示，基于计算出的平均值和标准偏差，以正态分布近似测量值的出现概率的分布。实线的曲线表示包含于整个期间(期间P4)的测量值的出现概率的分布。虚线的曲线表示包含于期间P6的测量值的出现概率的分布。图5的曲线图的横轴表示测量值。纵轴表示各测量值的出现概率。
包含于整个期间(期间P4)的测量值比包含于期间P6的测量值更宽地分布。因此，包含于期间P4的测量值的标准偏差(σ4)大于包含于期间P6的测量值的标准偏差(σ6)。此外，包含于期间P4的测量值的平均值(Ave_P4)受到包含于期间P5的测量值的影响而小于包含于期间P6的测量值的平均值(Ave_P6)。
此处，由X表示的测量值与包含于期间P4的测量值的平均值(Ave_P4)的差的绝对值(|X-Ave_P4|)小于标准偏差(σ4)乘以系数(k)而得到的离群值判定阈值(σ4×k)。由此，在对包含于整个期间(期间P4)的测量值执行离群值排除处理的情况下，由X表示的测量值不满足作为排除数据的条件而未被确定为排除数据。
另一方面，由X表示的测量值与包含于期间P6的测量值的平均值(Ave_P6)的差的绝对值(|X-Ave_P6|)大于标准偏差(σ6)乘以系数(k)而得到的离群值判定阈值(σ6×k)。由此，在对包含于期间P6的测量值执行离群值排除处理的情况下，由X表示的测量值满足作为排除数据的条件而被确定为排除数据。
时间序列数据中的包含于一部分期间的测量值的平均值和标准偏差也分别称为部分平均值和部分标准偏差。在瞬时值排除处理中使用的系数(k)也称为瞬时值判定系数或第二系数。瞬时值判定系数可以设定为与离群值判定系数相同的值，也可以设定为不同的值。瞬时值判定系数例如可以设定为2，也可以设定为3。瞬时值判定系数不限于这些例子，也可以设定为任意的正实数。标准偏差乘以瞬时值判定系数后的值也称为瞬时值判定阈值。
这样，通过在离群值排除处理中变更作为计算平均值和标准偏差等统计值的对象的测量值的期间，某个测量值被确定或未被确定为排除数据。换言之，将包含于某个期间的测量值作为对象而执行离群值排除处理时被确定为排除数据的测量值由于将包含于不同的期间的测量值作为对象而执行离群值排除处理而可能未被确定为排除数据。
数据处理部12通过执行瞬时值排除处理，容易将如图4中由X表示的测量值那样期望被确定为排除数据的测量值确定为排除数据。即，提高异常的测量值的检测精度。其结果是，提高了学习数据的质量。
<<<判定对象期间的长度的设定例>>>
在瞬时值排除处理中设定的一部分期间也称为判定对象期间。数据处理部12例如可以通过如下所述的方法来设定判定对象期间的长度，以便能够在瞬时值排除处理中适当地确定排除数据。
图6中由实线表示时间序列数据的一例。在图6中横轴表示时刻。时间序列数据包含0到Y的时刻的测量值。纵轴表示测量值。
数据处理部12基于图6例示的时间序列数据，计算时间序列数据的自相关。时间序列数据的自相关表示为与时间序列数据自身移动了规定时间的数据的相关。
具体地说，数据处理部12生成使时间序列数据移动了由Δt表示的时间的数据。使时间序列数据移动了由Δt表示的时间的数据也称为移动数据，在图6中由虚线表示。数据处理部12在各时刻计算时间序列数据的瞬时值与移动数据的瞬时值之积，遍及整个时刻将各时刻的瞬时值之积相加，由此计算时间序列数据与移动数据的相关系数。时间序列数据与移动数据的相关系数在时间序列数据与移动数据完全一致的情况下为最大。移动数据是使时间序列数据移动了Δt的数据。由此，时间序列数据与移动数据的相关系数表示时间序列数据的自相关。
数据处理部12将Δt的值从0变更到Y/2，对Δt的各值计算时间序列数据与移动数据的相关系数。图7的曲线图表示Δt的值和时间序列数据与移动数据的相关系数之间的关系、即时间序列数据的自相关。图7的横轴表示Δt。纵轴表示相关系数。
如图7所示，相关系数具有极大值。相关系数为极大值时的Δt的值能够与时间序列数据的周期的自然数倍的值对应。即，数据处理部12通过确定相关系数为极大值时的Δt的值，能够计算时间序列数据的周期。
此处，在Δt＝0的情况下，由于时间序列数据与移动数据完全一致，所以相关系数为最大。因此，在Δt接近0的情况下，相关系数具有变大的倾向。数据处理部12在检测到相关系数的极大值时，不将Δt小于规定值时的相关系数作为对象。数据处理部12将Δt为规定值以上时的相关系数作为对象来检测极大值，确定相关系数为极大值时的Δt。数据处理部12可以将确定检测相关系数的极大值的范围的规定值设定为例如Y/20。在这种情况下，如图7所示，Δt小于Y/20时的相关系数不是对象。数据处理部12可以将使Δt从0开始变大时相关系数的极小值首次出现时的Δt设定为规定值。
相关系数能够具有多个极大值。由T表示与各极大值对应的Δt的值中的最小值。T能够与时间序列数据的周期对应。数据处理部12可以基于T的值，设定在瞬时值排除处理中使用的判定对象期间的长度。数据处理部12例如可以将判定对象期间的长度设定为T的值本身。数据处理部12例如也可以将判定对象期间的长度设定为T/2。由此，能够在半波的范围内执行瞬时值排除处理。
数据处理部12例如可以将判定对象期间的长度设定为T/4。由此，假设在时间序列数据与正弦波近似的情况下，能够在测量值为有效值以上的范围、即测量值的变化率变小的范围内执行瞬时值排除处理。其结果是，能够进一步高精度地确定排除数据。数据处理部12不限于这些例子，也可以将判定对象期间的长度设定为基于T的各种值。
另一方面，判定对象期间的长度设定为越小的值，瞬时值排除处理的负荷越大。因此，数据处理部12通过将判定对象期间的长度设定为规定值以上，可以降低瞬时值排除处理的负荷。可以适当地确定规定值。
数据处理部12不仅可以通过计算时间序列数据的自相关，还可以通过由傅立叶变换等其他方法对时间序列数据进行处理来推定时间序列数据的周期。数据处理部12可以基于由傅立叶变换等其他方法推定的时间序列数据的周期，设定判定对象期间的长度。
数据处理部12通过基于时间序列数据适当地设定判定对象期间的长度，能够与时间序列数据配合来构成异常的测量值的检测单元。
<<排除数据的特定例>>
例如，如以下的表1所示，时间序列数据包含标签A、标签B和标签C各自的测量值。标签是取得测量值的传感器的标识符。标签A、标签B和标签C分别与对测量对象的加速度、速度和温度进行测量的传感器对应。各标签的测量值与时刻数据相关联。在表1中，时间序列数据包含从TM1到TM5的五个时刻的各标签的测量值。表1所示的单元格中的赋予了网格阴影的单元格的测量值与排除数据对应。
[表1]
数据处理部12基于时刻TM1的标签A的测量值为规定阈值以下，将时刻TM1的标签A的测量值确定为排除数据。此处，用于标签A的测量值的判定的规定阈值例如设定为0.01等适当的值。数据处理部12鉴于标签A与加速度对应，可以判定为在时刻TM1测量对象未工作。数据处理部12可以将判定为测量对象未工作的时刻TM1的标签B和标签C的测量值也确定为排除数据。即，数据处理部12通过停止时数据排除处理，将时刻TM1的各标签的测量值确定为排除数据。
数据处理部12也可以与在时刻TM1测量对象是工作还是停止无关，基于时刻TM1的标签B的测量值为规定阈值以下，将时刻TM1的标签B的测量值确定为排除数据。可以适当地设定用于标签B的测量值的判定的规定阈值。数据处理部12也可以基于时刻TM1的标签C的测量值为规定范围外，将时刻TM1的标签C的测量值确定为排除数据。可以适当地设定用于标签C的测量值的判定的规定范围。
数据处理部12计算各时刻的标签C的测量值的平均值和标准偏差。在测量值与平均值的差的绝对值大于标准偏差乘以规定系数后的值的情况下，数据处理部12将该测量值确定为排除数据。在表1例示的数据中，数据处理部12将时刻TM3的标签C的测量值确定为排除数据。即，数据处理部12通过离群值排除处理，将时刻TM3的标签C的测量值确定为排除数据。
数据处理部12可以对表1所示的时间序列数据执行排除处理，生成表2所示的学习数据。在表2所示的学习数据中，与标签A和标签B的测量值是否满足排除数据的条件无关，排除时刻TM3的全部标签的测量值。这是因为由于标签C的测量值被确定为排除数据，时刻TM3的其他标签(标签A和标签B)的测量值的可靠性有可能下降。
[表2]
| 时刻 | 标签A | 标签B | 标签C |
| TM2 | 1.23 | 12.24 | 20.5 |
| TM4 | 1.11 | 11.98 | 21.5 |
| TM5 | 2.59 | 12.65 | 22.5 |
<<小结>>
如上所述，在本实施方式的学习***1中，学习数据处理装置10能够确定异常的测量值或在测量对象未工作的期间得到的测量值并从学习数据中排除。其结果是，从生成学习模型的观点出发，提高了学习数据的质量。此外，测量对象的管理者或维护作业者等用户不需要指定异常的测量值或指定测量对象未工作的期间的测量值，就能够简单地提高学习数据的质量。
学习数据处理装置10不仅可以执行离群值排除处理、停止时数据排除处理和瞬时值排除处理，还可以执行其他各种排除处理。学习数据处理装置10也可以执行离群值排除处理、停止时数据排除处理和瞬时值排除处理中的至少一种排除处理。由此，提高了学习数据的质量。
学习数据处理装置10也可以执行离群值排除处理和停止时数据排除处理两者。由此，与仅执行一方的排除处理的情况相比，学习数据处理装置10容易确定异常的测量值或在测量对象未工作的期间得到的测量值。其结果是，进一步提高了学习数据的质量。
学习数据处理装置10可以以任意的顺序执行离群值排除处理、停止时数据排除处理和瞬时值排除处理。例如，可以在离群值排除处理之前执行停止时数据排除处理。由此，学习数据处理装置10能够执行与时间序列数据的内容匹配的处理。此外，提高了学习数据处理装置10的动作的自由度。
学习数据处理装置10可以在通过一个排除处理实际上排除了排除数据之后执行其他排除处理。学习数据处理装置10也可以通过一个排除处理确定排除数据，但是实际上未排除而执行其他排除处理，在通过全部排除处理确定了排除数据之后实际上排除排除数据。学习数据处理装置10通过能够适当地选择排除处理的内容，能够执行适合于时间序列数据的内容的处理。
<学习数据处理方法的流程图例>
学习数据处理装置10可以执行在图8的流程图中例示的步骤作为处理时间序列数据来生成学习数据的学习数据处理方法。在图8的流程图中例示的步骤可以作为使构成学习数据处理装置10的数据处理部12的处理器执行的学习数据处理程序来实现。学习数据处理程序可以存储于电磁存储介质等非暂时性计算机可读取介质。
数据处理部12从数据输入输出装置20取得时间序列数据(步骤S1)。
数据处理部12从时间序列数据中确定排除数据(步骤S2)。具体地说，数据处理部12可以执行离群值排除处理来确定排除数据。数据处理部12可以执行停止时数据排除处理来确定排除数据。数据处理部12也可以执行瞬时值排除处理来确定排除数据。数据处理部12可以执行离群值排除处理、停止时数据排除处理和瞬时值排除处理中的至少一种处理。数据处理部12可以以离群值排除处理、停止时数据排除处理和瞬时值排除处理的顺序来执行处理。数据处理部12也可以在离群值排除处理之前执行停止时数据排除处理。
数据处理部12判定是否具有排除数据(步骤S3)。数据处理部12在没有排除数据的情况下(步骤S3：“否”)，前进至步骤S5的步骤。数据处理部12在具有排除数据的情况下(步骤S3：“是”)，执行排除处理(步骤S4)。数据处理部12作为排除处理从时间序列数据中排除包含于时间序列数据的测量值中被确定为排除数据的测量值。
数据处理部12将学习数据输出到学习装置30(步骤S5)。数据处理部12在步骤S3的步骤中判定为没有排除数据而不执行步骤S4的步骤的情况下，将所取得的时间序列数据直接作为学习数据输出。数据处理部12在执行步骤S4的步骤的情况下，将执行了排除处理的时间序列数据作为学习数据输出。数据处理部12在执行步骤S4的步骤后，结束图8的流程图的步骤的执行。
如上所述，通过执行本实施方式的学习数据处理方法，从生成学习模型的观点出发，提高了学习数据的质量。此外，简单地提高了学习数据的质量。
(其他实施方式)
一个实施方式的学习***1可以通过云计算机上的硬件资源实现至少一部分的构成部。例如，学习装置30、学习模型存储装置40或判定装置50等可以通过云计算机上的服务器或存储装置等硬件资源来实现。
此外，学习数据处理装置10可以通过云计算机上的服务器等硬件资源来实现。在这种情况下，学习***1可以将学习数据处理程序发送到云计算机上的服务器等并执行。学习***1可以通过变更学习数据处理程序的内容，适当地变更生成学习数据的处理。学习***1可以基于来自测量对象的管理者或维护作业者等用户的输入，变更学习数据处理程序的内容。学习***1也可以基于来自外部装置的输入，变更学习数据处理程序的内容。此外，学习数据处理装置10、学习装置30、学习模型存储装置40或判定装置50等中的至少一部分可以由边缘计算机或记录器等来实现。
学习数据处理装置10的数据处理部12可以基于定义排除处理的内容的定义文件，对时间序列数据进行处理来生成学习数据。数据处理部12可以基于来自测量对象的管理者或维护作业者等用户的输入来设定定义文件的内容，也可以来自基于外部装置的输入来设定定义文件的内容。定义文件例如包含设定离群值判定系数等规定系数的信息，也可以包含设定离群值判定阈值等规定阈值的信息。定义文件例如可以包含定义在停止时数据排除处理中使用的规定条件的信息。定义文件也可以包含确定数据处理部12执行的排除处理的种类或执行顺序的信息。学习***1通过使学习数据处理装置10参照定义文件来生成学习数据，容易生成与测量对象的构成匹配的学习模型。其结果是，提高了测量对象的状态的判定精度。
以上，参照附图对本发明的实施方式进行了说明，具体的构成不限定于该实施方式，也包括在不脱离本发明的主旨的范围内的各种变更。
Claims (15)
1.一种学习数据处理装置，其特征在于，
包括数据处理部，所述数据处理部基于包含至少一种测量值的时间序列数据，生成在生成学习模型的学习装置中使用的学习数据，
所述数据处理部执行第一排除处理和第二排除处理中的至少一方的排除处理，
所述第一排除处理计算所述时间序列数据中的包含于一个或多个规定期间的测量值的统计值以及基于所述统计值的离群值判定上限值和离群值判定下限值中的至少一方，从所述时间序列数据中排除包含于所述规定期间的测量值中的成为所述离群值判定上限值以上和所述离群值判定下限值以下中的至少一方的测量值，
所述第二排除处理从所述时间序列数据中排除包含于所述时间序列数据的测量值中的满足规定条件的测量值。
2.根据权利要求1所述的学习数据处理装置，其特征在于，
所述数据处理部执行所述第一排除处理和所述第二排除处理的双方。
3.根据权利要求1或2所述的学习数据处理装置，其特征在于，
所述第一排除处理包括如下处理：在进行所述多个规定期间中的排除处理的情况下，计算所述时间序列数据中的包含于不同的多个规定期间的测量值的所述统计值以及基于所述统计值的离群值判定上限值和离群值判定下限值中的至少一方，从所述时间序列数据中排除分别包含于所述多个规定期间的测量值中的成为所述离群值判定上限值以上和所述离群值判定下限值以下中的至少一方的测量值。
4.根据权利要求3所述的学习数据处理装置，其特征在于，
所述多个规定期间包括第一规定期间和作为所述第一规定期间中的一部分期间的第二规定期间，
所述第一排除处理包括：
第三排除处理，计算包含于所述第一规定期间的测量值的第一统计值以及基于所述第一统计值的第一离群值判定上限值和第一离群值判定下限值中的至少一方，排除包含于所述第一规定期间的测量值中的成为所述第一离群值判定上限值以上和所述第一离群值判定下限值以下中的至少一方的测量值；以及
第四排除处理，计算通过执行所述第三排除处理而得到的排除后的测量值中的包含于所述第二规定期间的排除后的测量值的第二统计值以及基于所述第二统计值的第二离群值判定上限值和第二离群值判定下限值中的至少一方，排除包含于所述第二规定期间的所述排除后的测量值中的成为所述第二离群值判定上限值以上和所述第二离群值判定下限值以下中的至少一方的测量值。
5.根据权利要求4所述的学习数据处理装置，其特征在于，
所述数据处理部基于所述时间序列数据的自相关来设定所述第二规定期间的长度。
6.一种学习数据处理方法，基于包含至少一种测量值的时间序列数据，生成在生成学习模型的学习装置中使用的学习数据，其特征在于，
所述学习数据处理方法包括第一步骤和第二步骤中的至少一方的步骤，
在所述第一步骤中，计算所述时间序列数据中的包含于一个或多个规定期间的测量值的统计值以及基于所述统计值的离群值判定上限值和离群值判定下限值中的至少一方，从所述时间序列数据中排除包含于所述规定期间的测量值中的成为所述离群值判定上限值以上和所述离群值判定下限值以下中的至少一方的测量值，
在所述第二步骤中，从所述时间序列数据中排除包含于所述时间序列数据的测量值中的满足规定条件的测量值。
7.根据权利要求6所述的学习数据处理方法，其特征在于，
包括所述第一步骤和所述第二步骤的双方。
8.根据权利要求6或7所述的学习数据处理方法，其特征在于，
在所述第一步骤中，在进行所述多个规定期间中的排除处理的情况下，计算所述时间序列数据中的包含于不同的多个规定期间的测量值的所述统计值以及基于所述统计值的离群值判定上限值和离群值判定下限值中的至少一方，从所述时间序列数据中排除分别包含于所述多个规定期间的测量值中的成为所述离群值判定上限值以上和所述离群值判定下限值以下中的至少一方的测量值。
9.根据权利要求8所述的学习数据处理方法，其特征在于，
所述多个规定期间包括第一规定期间和作为所述第一规定期间中的一部分期间的第二规定期间，
所述第一步骤包括：
第三步骤，计算包含于所述第一规定期间的测量值的第一统计值以及基于所述第一统计值的第一离群值判定上限值和第一离群值判定下限值中的至少一方，排除包含于所述第一规定期间的测量值中的成为所述第一离群值判定上限值以上和所述第一离群值判定下限值以下中的至少一方的测量值；以及
第四步骤，计算通过执行所述第三步骤而得到的排除后的测量值中的包含于所述第二规定期间的排除后的测量值的第二统计值以及基于所述第二统计值的第二离群值判定上限值和第二离群值判定下限值中的至少一方，排除包含于所述第二规定期间的所述排除后的测量值中的成为所述第二离群值判定上限值以上和所述第二离群值判定下限值以下中的至少一方的测量值。
10.根据权利要求9所述的学习数据处理方法，其特征在于，
还包括基于所述时间序列数据的自相关来设定所述第二规定期间的长度的步骤。
11.一种非暂时性计算机可读取介质，存储有学习数据处理程序，所述学习数据处理程序使处理器基于包含至少一种测量值的时间序列数据，生成在生成学习模型的学习装置中使用的学习数据，所述非暂时性计算机可读取介质的特征在于，
所述学习数据处理程序使所述处理器执行第一步骤和第二步骤中的至少一方的步骤，
在所述第一步骤中，计算所述时间序列数据中的包含于一个或多个规定期间的测量值的统计值以及基于所述统计值的离群值判定上限值和离群值判定下限值中的至少一方，从所述时间序列数据中排除包含于所述规定期间的测量值中的成为所述离群值判定上限值以上和所述离群值判定下限值以下中的至少一方的测量值，
在所述第二步骤中，从所述时间序列数据中排除包含于所述时间序列数据的测量值中的满足规定条件的测量值。
12.根据权利要求11所述的非暂时性计算机可读取介质，其特征在于，
所述学习数据处理程序使所述处理器执行所述第一步骤和所述第二步骤的双方。
13.根据权利要求11或12所述的非暂时性计算机可读取介质，其特征在于，
使所述处理器在所述第一步骤中执行如下步骤：在进行所述多个规定期间中的排除处理的情况下，计算所述时间序列数据中的包含于不同的多个规定期间的测量值的所述统计值以及基于所述统计值的离群值判定上限值和离群值判定下限值中的至少一方，从所述时间序列数据中排除分别包含于所述多个规定期间的测量值中的成为所述离群值判定上限值以上和所述离群值判定下限值以下中的至少一方的测量值。
14.根据权利要求13所述的非暂时性计算机可读取介质，其特征在于，
所述多个规定期间包括第一规定期间和作为所述第一规定期间中的一部分期间的第二规定期间，
使所述处理器在所述第一步骤中执行第三步骤和第四步骤，
在所述第三步骤中，计算包含于所述第一规定期间的测量值的第一统计值以及基于所述第一统计值的第一离群值判定上限值和第一离群值判定下限值中的至少一方，排除包含于所述第一规定期间的测量值中的成为所述第一离群值判定上限值以上和所述第一离群值判定下限值以下中的至少一方的测量值，
在所述第四步骤中，计算通过执行所述第三步骤而得到的排除后的测量值中的包含于所述第二规定期间的排除后的测量值的第二统计值以及基于所述第二统计值的第二离群值判定上限值和第二离群值判定下限值中的至少一方，排除包含于所述第二规定期间的所述排除后的测量值中的成为所述第二离群值判定上限值以上和所述第二离群值判定下限值以下中的至少一方的测量值。
15.根据权利要求14所述的非暂时性计算机可读取介质，其特征在于，
所述学习数据处理程序使所述处理器还执行基于所述时间序列数据的自相关来设定所述第二规定期间的长度的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020063701A JP7205514B2 (ja) | 2020-03-31 | 2020-03-31 | 学習データ処理装置、学習データ処理方法、学習データ処理プログラム、及び非一時的なコンピュータ読み取り可能な媒体 |
| JP2020-063701 | 2020-03-31 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113468151A true CN113468151A (zh) | 2021-10-01 |
| CN113468151B CN113468151B (zh) | 2024-07-30 |
Family
ID=
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7333923B1 (en) * | 1999-09-29 | 2008-02-19 | Nec Corporation | Degree of outlier calculation device, and probability density estimation device and forgetful histogram calculation device for use therein |
| US20120267541A1 (en) * | 2009-06-16 | 2012-10-25 | Avanindra Utukuri | Two-Dimensional and Three-Dimensional Position Sensing Systems and Sensors Therefor |
| JP2014059910A (ja) * | 2009-08-28 | 2014-04-03 | Hitachi Ltd | 設備状態監視方法 |
| CN104655160A (zh) * | 2009-06-16 | 2015-05-27 | 百安托国际有限公司 | 二维位置感测***及其传感器 |
| JP2016057651A (ja) * | 2014-09-05 | 2016-04-21 | 株式会社明電舎 | 時系列データの解析方法及び時系列データの異常監視装置 |
| CN107209508A (zh) * | 2015-01-21 | 2017-09-26 | 三菱电机株式会社 | 信息处理装置及信息处理方法 |
| CN107679089A (zh) * | 2017-09-05 | 2018-02-09 | 全球能源互联网研究院 | 一种用于电力传感数据的清洗方法、装置和*** |
| EP3309690A1 (en) * | 2016-10-17 | 2018-04-18 | Tata Consultancy Services Limited | System and method for data pre-processing |
| CN108399248A (zh) * | 2018-03-02 | 2018-08-14 | 郑州云海信息技术有限公司 | 一种时序数据预测方法、装置及设备 |
| JP2018190127A (ja) * | 2017-05-01 | 2018-11-29 | 日本電信電話株式会社 | 判定装置、分析システム、判定方法および判定プログラム |
| CN109634944A (zh) * | 2018-12-05 | 2019-04-16 | 贵州电网有限责任公司凯里供电局 | 一种基于多维度时空分析的网损数据清洗方法 |
| US20190204818A1 (en) * | 2016-11-30 | 2019-07-04 | Hitachi, Ltd. | Data collection system, abnormality detection method, and gateway device |
| CN110727665A (zh) * | 2019-09-23 | 2020-01-24 | 江河瑞通（北京）技术有限公司 | 物联网设备上报数据质量分析方法及*** |
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7333923B1 (en) * | 1999-09-29 | 2008-02-19 | Nec Corporation | Degree of outlier calculation device, and probability density estimation device and forgetful histogram calculation device for use therein |
| US20120267541A1 (en) * | 2009-06-16 | 2012-10-25 | Avanindra Utukuri | Two-Dimensional and Three-Dimensional Position Sensing Systems and Sensors Therefor |
| CN104655160A (zh) * | 2009-06-16 | 2015-05-27 | 百安托国际有限公司 | 二维位置感测***及其传感器 |
| JP2014059910A (ja) * | 2009-08-28 | 2014-04-03 | Hitachi Ltd | 設備状態監視方法 |
| JP2016057651A (ja) * | 2014-09-05 | 2016-04-21 | 株式会社明電舎 | 時系列データの解析方法及び時系列データの異常監視装置 |
| CN107209508A (zh) * | 2015-01-21 | 2017-09-26 | 三菱电机株式会社 | 信息处理装置及信息处理方法 |
| EP3309690A1 (en) * | 2016-10-17 | 2018-04-18 | Tata Consultancy Services Limited | System and method for data pre-processing |
| US20190204818A1 (en) * | 2016-11-30 | 2019-07-04 | Hitachi, Ltd. | Data collection system, abnormality detection method, and gateway device |
| JP2018190127A (ja) * | 2017-05-01 | 2018-11-29 | 日本電信電話株式会社 | 判定装置、分析システム、判定方法および判定プログラム |
| CN107679089A (zh) * | 2017-09-05 | 2018-02-09 | 全球能源互联网研究院 | 一种用于电力传感数据的清洗方法、装置和*** |
| CN108399248A (zh) * | 2018-03-02 | 2018-08-14 | 郑州云海信息技术有限公司 | 一种时序数据预测方法、装置及设备 |
| CN109634944A (zh) * | 2018-12-05 | 2019-04-16 | 贵州电网有限责任公司凯里供电局 | 一种基于多维度时空分析的网损数据清洗方法 |
| CN110727665A (zh) * | 2019-09-23 | 2020-01-24 | 江河瑞通（北京）技术有限公司 | 物联网设备上报数据质量分析方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021163162A (ja) | 2021-10-11 |
| EP3889850A1 (en) | 2021-10-06 |
| JP7205514B2 (ja) | 2023-01-17 |
| US20220036235A1 (en) | 2022-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ahmad et al. | A hybrid prognostics technique for rolling element bearings using adaptive predictive models | |
| AU2016286280B2 (en) | Combined method for detecting anomalies in a water distribution system | |
| US11131988B2 (en) | Diagnostic apparatus, diagnostic method, and diagnostic program | |
| US10747188B2 (en) | Information processing apparatus, information processing method, and, recording medium | |
| US9122273B2 (en) | Failure cause diagnosis system and method | |
| US20180284739A1 (en) | Quality control apparatus, quality control method, and quality control program | |
| CN107710089B (zh) | 工厂设备诊断装置以及工厂设备诊断方法 | |
| JP6164311B1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| CN107077135B (zh) | 用于识别设备中的干扰的方法和辅助*** | |
| CN113574358B (zh) | 异常检测装置及异常检测方法 | |
| US20230375441A1 (en) | Monitoring device and method for segmenting different times series of sensor data points | |
| AU2015315838A1 (en) | Apparatus and method for ensembles of kernel regression models | |
| US20190265088A1 (en) | System analysis method, system analysis apparatus, and program | |
| US20190064789A1 (en) | System analyzing device, system analyzing method, and computer-readable recording medium | |
| JP5771317B1 (ja) | 異常診断装置及び異常診断方法 | |
| US10613830B2 (en) | Data processing device, data processing method, and storage medium | |
| US11378944B2 (en) | System analysis method, system analysis apparatus, and program | |
| KR20220132824A (ko) | 배전설비 상태 이상 개소 감시 시스템 및 방법 | |
| CN113468151B (zh) | 学习数据处理装置、学习数据处理方法和介质 | |
| CN113468151A (zh) | 学习数据处理装置、学习数据处理方法和介质 | |
| US7366639B2 (en) | Methods for establishing alerts and/or alert limits for monitoring mechanical devices | |
| KR101977214B1 (ko) | 이상치 탐지 방법, 이를 이용하는 장치 및 시스템 | |
| US20220365515A1 (en) | Data collection and analysis system, data collection and analysis apparatus, machine learning apparatus, and data collection and analysis method | |
| EP3966651A1 (en) | Method and assistance system for detecting an abnormal behaviour of a device | |
| JP2016045853A (ja) | 異常診断装置及び異常診断方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |