CN102859517A - 时序数据管理装置、***、方法以及程序 - Google Patents
时序数据管理装置、***、方法以及程序 Download PDFInfo
- Publication number
- CN102859517A CN102859517A CN2010800663993A CN201080066399A CN102859517A CN 102859517 A CN102859517 A CN 102859517A CN 2010800663993 A CN2010800663993 A CN 2010800663993A CN 201080066399 A CN201080066399 A CN 201080066399A CN 102859517 A CN102859517 A CN 102859517A
- Authority
- CN
- China
- Prior art keywords
- data
- time series
- series data
- time
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
- G06F16/90344—Query processing by using string matching techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Recording Measured Values (AREA)
Abstract
本发明的课题是在进行时序解析时将范围缩小到有可能符合所指定的检索模式的时序数据来从存储装置中读入。数据蓄积部(120)生成按特定的时间宽度计算出数据序列的特征量的时序索引。并且,数据检索部(130)利用所指定的检索条件的评价式,判定包含在时序索引中的每一时间宽度的特征量,确定适合的数据序列组的时段,并仅对所确定的时段的数据序列进行时序解析。
Description
技术领域
本发明涉及对随着时间的经过持续生成的时序数据进行管理的时序数据管理装置、时序数据管理***、时序数据管理方法以及时序数据管理程序,特别涉及从所蓄积的时序数据高速检索所期望的检索模式(search pattern)的技术。
背景技术
随着RFID(Radio Frequency Identification:射频识别)和GP S(GlobalPositioning System:全球定位***)等传感技术的发达,能够从工厂或办公室等现实世界取得各种传感器数据,将这些应用于实业的事例日益增加。例如,如下应用事例处于实用阶段:通过检查机器从各家庭取得“电使用量”,根据其使用状况预测分析今后的必要电量并最佳地控制发电量的“智能电网(smartgrid)”;通过GPS取得道路上的各车辆的“位置信息”并分析其速度和方向,由此来预测堵塞等交通状况的“交通状况预测”;从工厂等的机械机器或设备等取得电动机转速、压力等“运转信息”,并根据其值或变动事先检测机器的异常或故障的“机器预防维修”等。
为了使用传感器数据,分析数据并理解其动作特性是不可欠缺的。作为传感器数据的特征,可以列举:传感器数据是随着时间的经过持续生成的所谓的“时序数据”,为了理解动作特性,重要的是找出数据随时间的变动或模式。其结果,能够利用从传感器设备取得的机器或设备的特征、倾向,应用于业务。
关于时序数据的分析,可以使用如下方法:“蓄积”数据,对于所蓄积的数据,经过反复试验不断“检索”各种模式的方法。在此,以物流业的证据痕迹管理为例,具体说明时序数据检索的例。
近年来,在物流业,展开应用了传感器数据的高度的运输服务事业的事例日益增加,作为其一例,有对于医疗细胞、药品这类要求稳定运输的货物证明没有粗暴运输的服务。
在各货物上附上冲击计,时时刻刻取得的传感器数据随时蓄积到硬盘等存储装置中。为了证明稳定运输,对于所蓄积的数据进行各种检索。例如,指定提取在“过去三个月期间”传感器的冲击度“表示20以上的值持续5秒以上发生的序列”的检索模式。如果没有提取出该序列,则能够证明被稳定地进行了运输。
在此,说明如上所述的时序数据的检索和现有的关系型数据库(relationaldata base)的检索的不同点。在现有的关系型数据库的检索中,例如“名称”、“住址”等各个数据具有意义,检索的特征在于,针对单个数据,逐个地取出与条件匹配的数据。
与此相对,在时序数据中,虽然各个传感器的值也重要,但是更重要的是从时序数据导出的传感器值的推移。因此,在检索中提取与特定的检索模式(还称为序列模式)匹配的数据序列也重要。
作为这样的时序数据检索的实现方法,考虑数据库关联的学会提出的利用流数据处理***的时序解析处理的方法(例如,非专利文献1)。
现有技术文献
专利文献
专利文献1:日本特开2005-63385号公报
非专利文献
非专利文献1:B.Balcock,S.Babu,M.Datar,R.Motwani and J.Widom,“Models and issues in data stream systems”,In Proc.of PODS 2002,pp.1-16(2002)
发明内容
发明要解决的课题
流数据处理大多用于作为实时解析的用途,但是,作为分批用途,即作为对蓄积数据的解析处理而被利用的情况也多。在这样的用途的时序解析处理中,将蓄积的时序数据全部加载到存储器上,并按时间逐次执行与被指定的序列模式的对照。但是,这样的处理需要对全部时序数据进行扫描,所以需要将成为检索对象的时序数据全部从盘加载到存储器上。
一般,在现实世界中生成的传感器数据的量在大多情况下都很庞大,因此,在现有方法中,存在如下课题:由于盘读入时发生的盘I/O(Input/Output)频发,导致检索性能劣化。
另外,在专利文献1中,公开了对过去的时序数据实现高速的特定模式的类似检索的技术。在该方式中,对所有时序数据预先进行量化运算,在检索时通过进行利用了量化的类似计算,使现有的类似运算实现高速化。但是,在该方式中也需要从盘加载成为运算对象的所有时序数据,盘I/O频发所导致的性能劣化的课题未得到解决。
本发明是用于解决上述课题的发明,其目的在提供一种能够从蓄积的时序数据高速检索所期望的检索模式的时序数据管理装置、时序数据管理***、时序数据管理方法以及时序数据管理程序。
用于解决课题的手段
为了解决上述课题,本发明的时序数据管理装置具有数据蓄积部和数据检索部。数据蓄积部在蓄积时序数据时生成按特定的时段计算出数据序列的特征量的时序索引。并且,数据检索部在检索时序数据时,将所指定的检索条件转换为用于评价时序索引所包含的特征量的评价式,利用该评价式判定时序索引所包含的每一时段的特征量,确定适合的数据序列组的时段并从盘(例如,外部存储装置200)读入,并仅对读入的时数据序列进行时序解析。在对存储在盘上的时数据序列进行时序解析时,能够将范围缩小到有可能符合所指定的检索模式的时序数据来从盘读入。
发明的效果
根据本发明,能够从蓄积的时序数据高速检索所期望的检索模式。
附图说明
图1是例示了本发明的第一实施方式的***的整体结构的图。
图2是例示了时序数据的数据结构的图。
图3是例示了检索询问(query)的记述形式的图。
图4是例示了模式(schema)定义表的图。
图5是例示了时序数据表的图。
图6是例示了索引生成表的图。
图7是例示了时序索引表以及时序索引节点的数据结构的图。
图8是例示了评价式生成规则表的图。
图9是例示了数据接受部接收到时序数据时进行的接收处理的流程图。
图10是例示了数据写入部进行的时序数据写入处理的流程图。
图11是例示了索引生成部进行的索引生成处理的流程图。
图12是例示了检索接受部进行的检索处理的流程图。
图13是例示了索引检索部进行的索引检索处理(时间宽度范围缩小查找)的流程图。
图14是例示了评价式生成部进行的评价式生成处理的流程图。
图15是例示了数据读入部进行的时序数据读入处理的流程图。
图16是例示了时序解析部进行的时序解析处理的流程图。
图17是示意性地示出了索引检索部进行的索引检索处理的流程的图。
图18是例示了本发明第二实施方式的***的整体结构的图。
图19是例示了具有压缩数据的时序数据表的图。
图20是例示了第二实施方式的时序索引表以及时序索引节点的数据结构的图。
图21是例示了数据压缩部进行的数据压缩处理的流程图。
图22是例示了第二实施方式的时序数据写入部进行的数据写入处理的流程图。
图23是例示了第二实施方式的索引生成部进行的索引生成处理的流程图。
图24是例示了第二实施方式的检索接受部进行的检索处理的流程图。
图25是例示了第二实施方式的索引检索部进行的索引检索处理(时间宽度固定查找)的流程图。
图26是例示了第二实施方式的数据读入部进行的时序数据读入处理的流程图。
图27是例示了数据解压部的数据解压处理的流程图。
图28是例示了本发明第三实施方式的***的整体结构的图。
图29是例示了第三实施方式的数据接受部进行的检索处理的流程图。
图30是例示了第三实施方式的索引检索部进行的索引检索处理的流程图。
图31是例示了浏览器(viewer)进行的描绘处理的流程图。
图32是例示了本发明第四实施方式的***的整体结构的图。
图33是例示了第四实施方式的索引生成表的图。
图34是例示了第四实施方式的索引生成部进行的索引生成处理的流程图。
图35是例示了第一实施方式的索引写入部进行的索引写入处理的流程图。
图36是例示了第四实施方式的索引写入部进行的索引写入处理的流程图。
图37是例示了第四实施方式的数据读入部进行的时序数据读入处理的流程图。
图38是例示了索引检索部进行的索引检索处理(时间宽度固定查找)的流程图。
图39是示意性地示出了索引检索部进行的索引检索处理(时间宽度固定查找)的流程的图。
具体实施方式
以下,利用附图对本发明的实施方式进行详细说明。
[第一实施方式]
图1是例示了本发明第一实施方式的***的整体结构的图。本实施方式的***包括时序数据管理装置100、与时序数据管理装置100连接的外部存储装置200、将时序数据300(参照图2)发送到时序数据管理装置100的管理者PC400、将检索询问600(参照图3)发送到时序数据管理装置100的客户端PC500。此外,PC是Personal Computer(个人计算机)的简称。检索询问600以字符串表示处理请求(查询),在将时序数据300的检索命令发行到***时使用。
时序数据管理装置100是进行时序数据300的蓄积和检索的装置。外部存储装置200是存储时序数据表210(时序数据信息)(参照图5)以及时序索引表220(时序索引信息)(参照图7)的存储装置,例如由HDD(Hard Disk Drive:硬盘驱动器)构成。
时序数据300是传感器数据的集合,随着时间经过生成的各个传感器数据被按照时间顺序配置为序列。传感器数据是指从传感器械或设备、机器等取得的测量数据,例如包含转速和压力等运转信息、温度和湿度等物理量、作为其生成时刻的时间戳(time stamp)。
在本实施方式中,将传感器数据作为现实世界中生成的各种计测数据来进行说明,但是在本发明中,只要是包含物理量的数据,并不限定于此。例如,在现实世界以外生成的股价数据也可以成为本发明的对象。
管理者PC400是对时序数据管理装置100进行时序数据300的存储指示和与数据管理相关的各种设定的运用管理者的终端。客户端PC500是对时序数据管理装置100执行检索的用户的终端,发送表示检索请求的检索询问600,并接收检索结果。虽然未图示管理者PC400、客户端PC500而言,但是具有处理器、存储器、输入装置、包括显示部的输出装置等。
下面,对时序数据管理装置100的各构成要素进行说明。
时序数据管理装置100具有处理器101、存储器102、输入装置103和输出装置104,经由盘接口105与外部存储装置200连接。
处理器101例如由CPU(Central Processing Unit:中央处理单元)构成,通过执行读入到存储器102上的时序数据管理程序110来执行该程序的各处理。
时序数据管理程序110的各处理通过在处理器101执行来得以实现,但是,这些也可以通过将数据蓄积部120、数据检索部130等作为进行各处理的处理部而做成集成电路,由此通过硬件来实现。在本实施方式中,将通过处理器101执行各种程序来实现的各处理部作为各处理的主体来进行说明,而在用硬件实现各处理部的情况下,其各处理部成为主体进行各处理。
存储器102例如由RAM(Random Access Memory:随机存取存储器)、闪速存储器等存储介质构成。输入装置103例如由键盘、鼠标等装置构成,输出装置104例如由液晶显示器等装置构成。
接着,对时序数据管理程序110的各构成要素进行说明。
时序数据管理程序110由数据蓄积部120、数据检索部130和设定信息存储区域140构成。
数据蓄积部120执行如下处理:接受时序数据300,并将该数据作为时序数据表210写入外部存储装置200的盘;生成用于缩小在数据检索时从盘读入的数据序列的范围的索引信息,并将该信息作为时序索引表220写入。
数据蓄积部120由数据接受部121、数据写入部122、索引生成部123和索引写入部124构成。
数据接受部121从管理者PC400接受时序数据300,并将该数据发送到数据写入部122和索引生成部123。此外,数据接受部121在发送数据时也可以将数据加工成数据写入部122和索引生成部123容易进行各自的处理的形式,在本实施方式中,对进行加工处理的情况进行说明。
数据写入部122进行如下处理:从数据接受部121接收已加工的时序数据,并将其写入时序数据表210中。
索引生成部123进行如下处理:从数据接受部121接收已加工的时序数据,生成具有时序索引的时序索引表220。时序索引,是指用于在数据检索时把范围缩小到有可能符合时序解析的数据序列并从时序数据表210仅读入该数据序列的索引信息。由此,能够省略不可能符合时序解析处理的数据序列的读入,能够防止盘I/O的频发所导致的检索性能的劣化。此外,在本实施方式的说明中,将“数据序列”定义为时序数据300所包含的、特定时间范围内的时序数据。
时序索引保持以特定时间宽度分割了时序数据300的、按时段计算出的各种特征量。特征量,是指表示特定的时间宽度内的时序数据的倾向或状态的数值,作为属于各数据序列的传感器数据值的集合运算来被计算出。例如,最大值/最小值或平均/方差等任意集合运算能够适用于本发明。除此之外,也可以将特征量彼此进行组合来作为新的特征量。例如还能够使用“最大值”和“最小值”,将序列数据的传感器值的“上下限”用作为特征量。
索引写入部124执行接受索引生成部123生成的时序索引并写入时序索引表220的处理。
数据检索部130进行如下处理:根据来自客户端PC500的检索请求,从时序数据表210提取符合所期望的检索模式的数据序列。数据检索部130由检索接受部131、评价式生成部132、索引检索部133、数据读入部134和时序解析部135构成。
在本实施方式中,其特征在于,数据读入部134从时序数据表210将时序数据读入存储器102上,时序解析部135针对该数据进行与检索询问600的对照处理,但是在从时序数据表210读入时序数据之前,索引检索部133参照时序索引表220的时序索引,把范围缩小到时序解析处理中有可能符合的数据序列。
以下,进一步详细说明各处理部。
检索接受部131具有作为与客户端PC500的接口层的作用,执行如下处理:从客户端PC500接受检索询问600,从时序解析部135接受检索结果并向客户端PC500返回结果。在接受检索询问600后,在适当的时刻调用索引检索部133和数据读入部134,以后对此进行详细说明。
评价式生成部132执行根据检索询问600生成评价式的处理。评价式是指用于判定检索询问600和时序索引的各特征量之间的适合度的式子。在该适合度判定中,确定适合的数据序列,并从时序数据表210读入该数据序列。
例如,在作为特征量具有组合了“最大”和“最小”而得的值即特定的时间宽度内的序列数据的上下限时,检索询问600被转换为用于评价该上下限的式子。例如,在指定了“提取在5秒以上的期间内持续10以上的值的序列”的检索模式的情况下,转换为意味着5秒以上的“最小值为5以上”的式子。适合本式子的序列数据是有可能符合时序解析的序列,反之,不适合本式子的序列数据一定不符合时序解析,因此为读入对象外。
索引检索部133从评价式生成部132接受评价式,进行判定与以特定的时间宽度分割的每时段的特征量的适合度的处理,并从时序索引中提取适合的时段的数据序列的指针信息,将该指针信息输出到数据读入部134。
数据读入部134根据所述指针信息,从时序数据表210读入该指针所表示的数据序列,并输出至时序解析部135。
时序解析部135读入所述数据序列,在存储器上进行与检索询问600的对照处理,提取完全匹配检索询问600的数据序列并输出至检索接受部131。作为时序解析部135进行的处理的最优例,有非专利文献1中记载的流数据处理。在本实施方式的例中,将以该处理为基础说明时序解析部135,但是只要是能够对照数据序列和检索询问600的处理,并不限定于此。
在设定信息存储区域140,作为用于管理时序数据的各种设定信息,有模式定义表141(模式定义信息)(参照图4)、索引生成表142(索引生成信息)(参照图6)、评价式生成规则表143(评价式生成规则信息)(参照图8)。模式定义表141是记载了构成时序数据300的各传感器数据的结构的定义信息。索引生成表142定义了用于生成时序索引的各种设定信息,并由索引生成部123来参照。评价式生成规则表143定义了用于将检索询问600转换为评价式的转换规则,并由评价式生成部132来参照。
接着,对外部存储装置200的构成要素进行说明。
时序数据表210是用于蓄积时序数据300的区域,例如为关系型数据库的表。时序索引表220是用于存储时序索引的表,例如为关系型数据库的表。
图2是例示了时序数据300的数据结构的图。时序数据300是传感器数据301的集合,按时序配置各传感器数据301。传感器数据301是从数据源生成的数据,能够看做为时序数据中的特定瞬间的数据。传感器数据301由数据源名311、时间戳312、传感器值313(313a、313b、313c、313d)构成。
数据源名311是用于识别成为传感器数据301的生成源的数据源的标识符,在本实施方式中作为表示数据源的名称的字符串来使用。但是,只要识别数据源,并不限定于此,例如,如ID号码那样的数值也能够适用本发明。
时间戳312是各传感器数据生成的时刻,在本实施方式中用“公历(四位数)-月-日时:分:秒”表示。但是,只要能够识别时刻,并不限定于此,能够应用任意的时刻形式。
传感器值313是传感器数据的测量值,由一个或多个物理量构成。在本实施方式中,说明了假设一个传感器数据中存在多个传感器值的情形,但是也可以设为一个传感器数据中存在一个传感器值。存在多个的理由是,因为根据数据源有时同时取得多个测量值,例如同时取得“转速”、“压力”等物理数据。
在本实施方式中,作为时序数据300的形式,记述了如图2所示的CSV(Comma-Separated Values:逗号分割取值)文本形式,对输入到时序数据管理装置100的数据接受部121的情况进行说明,但是只要将时序数据300表示为传感器数据的集合并且是数据接受部121能够解释的形式,并不限定于此。例如,以二进制形式表示时序数据300并且输入到数据接受部121的形式等也能够适用于本发明。
时序数据300被输入到时序数据管理装置100。在本实施方式中,对将时序数据300通过管理者PC400手动利用专用命令来输入到时序数据管理装置的情况进行说明,但是,也可以是例如经由时序数据管理装置100和LAN(Local Area Network:局域网)等通信路径从运程主机进行网络通信而输入时序数据的方法。
图3是表示检索询问600的记述形式的一例的图。检索询问600由select_range句的检索范围宽度610、select_items句的检索项目620、where_timerange句的检索对象范围630以及where_condition句的检索条件640构成。
在检索范围宽度610中指定数据序列的时间宽度。在检索项目620中指定要输出的数据源和传感器值。作为时序检索的特征,一般是将通过检索对象范围630和检索条件640指定的数据模式(变动模式)进行组合的指定。此外,数据模式(变动模式)是指表示要提取的数据序列的变动的模式,由数据序列的时间宽度和条件式构成。
关于检索对象范围630,由用户指示作为检索对象的特定的期间,通过检索对象范围指定。在图3所示的例中,将从2010年01月07日7时0分0秒到2010年01月10日12时0分0秒为止的时段作为检索范围,从外部存储装置200的盘读取该区间的时序数据,作为时序解析处理的对象。
在图3所示的检索条件640的例中,示出了根据检索范围宽度610“提取5秒之间燃气发动机1.的压力的平均值(AVG)大于1500的序列数据”。
检索条件640所记述的数据模式由集约运算式和条件判定式构成。集约运算式是指,将检索范围宽度内存在的全部传感器值作为对象的运算,例如能够使用平均值(Avg)、最大值(Max)、最小值(Min)、合计(Sum)等任意式。条件判定式是用于判定通过集约运算式导出的运算结果的关系运算符,例如能够使用不等式运算符(<、>、≧、≦)、等式运算符(=)等任意运算符。
总之,图3所示的例是“提取从2010年01月07日7时0分0秒到2010年01月10日12时0分0秒为止(2010-01-0707:00:00,2010-01-1012:00:00)的时段内燃气发动机1的压力值在5秒内的平均值大于1500的序列数据,并输出燃气发动机1.压力”的检索例。
在本实施方式中,对检索条件640以如上所述的形式记述的情况进行说明,但是只要是能够表达传感器值的变动/状态模式的形式,本发明并不限定于此。
图4是例示了模式定义表141的图。参照图4,说明作为时序数据300的数据形式的模式定义表141(模式定义信息)的一例。数据源名700是用于识别成为传感器数据的生成源的数据源的标识符,在此使用数据源的名称。属性名701存储从各数据源生成的传感器数据的传感器值的类别名。属性名701与数据源名700的各项目相对应,而与属性名701的第n行相对应的项目对应于图2所示的传感器数据301的传感器值313的第n列。例如,在图2和图3所示的例中,313a对应于“水温”,313b对应于“温度”,313c对应于“压力”,313d对应于“转速”。
关于模式定义表141,数据接受部121在接收时序数据300后进行按属性分解各传感器数据的加工处理时,参照该模式定义表141。
图5是例示了时序数据表210的图。参照图5,说明时序数据表210(时序数据信息)的一例。适宜地参照图1。时序数据表210是用于蓄积时序数据300的表,其由ID211、数据源名212、属性名213、时间戳214以及传感器值215构成。
ID211是用于识别各行的识别号码,在各个行中存储一个在各时刻生成的传感器数据的特定的传感器值。数据源名212是用于识别成为传感器数据的生成源的数据源的标识符,例如存储数据源的名称。在属性名213中存储从数据源生成的传感器数据的传感器值的类别名。在时间戳214中记入生成传感器数据的时刻。在传感器值215中存储作为传感器值的数值数据。
如上所述,数据写入部122从数据接受部121接收已加工的各传感器数据,并向时序数据表210写入该数据。此外,在本实施方式中,对于一个时序数据表210混合存储多个属性,但是也可以是按照按属性将表分开的方法。
另外,关于时序数据,说明在RDB(关系型数据库)上存储时序数据的情况,但是例如文件***上直接存储的方式也能够适用于本发明。
图6是例示了索引生成表142的图。索引生成表142(索引生成信息)是在生成时序索引时必要的定义信息,其由数据源名710、属性名711、分割时间宽度712以及特征量计算函数713构成。此外,关于时序索引,以后进行详细说明,其具有以特定的时间宽度分割时序数据并在各时段保持特征量的数据结构。
数据源名710是用于识别成为传感器数据的生成源的数据源的标识符,在属性名711中存储传感器值的传感器类别名。在分割时间宽度712中存储进行分割的一个或多个时间宽度。在特征量计算函数713中存储用作特征量的集约运算函数。
例如,在图6中,在数据源名710为“燃气发动机1”、属性名711为“水温”的情况下,取分割时间宽度712为每1小时、每30分钟、每10分钟,计算出按各个时间宽度分割的特征量。
例如,在时序数据的整个时段为“10:00~12:00”的情况下,关于每1小时分割的“10:00~11:00”、“11:00~12:00”的各种特征量、每30分钟分割的“10:00~10:30”、“10:30~11:00”、“11:00~11:30”、“11:30~12:00”的各种特征量以及每10分钟分割的“10:00~10:10”、“10:10~10:20”、…、“11:50~12:00”的各种特征,在本例中,在时序索引中包含最大值和最小值。
按不同的分割时间宽度保持特征量的理由是,因为在分割时间宽度和检索范围宽度大幅不同的情况下,无法实现高精度的适合度判定,因此预先按不同的分割时间宽度计算特征量,在进行适合判定时选择具有接近检索范围宽度的值的分割时间宽度。
无法实现高精度的适合判定的情况例如为“分割时间宽度>>检索范围宽度”的情况,即使特征量适合于评价式,也仅在局部范围内适合,因此在时序解析处理中其以外的范围不符合的可能性变高。即,是因为会发生时序数据的没必要的读入。
在评价分割时间宽度内的特征量时,存在满足分割时间宽度>检索范围宽度的情况和分割时间宽度<检索范围宽度的情况。后者是通过结合相邻的时间宽度的各特征量来计算相当于多个分割时间宽度的特征量并利用评价式来判定该特征量的方法,关于其细节,以后进行叙述。在此,对前者的方法进行说明。
因此,只要能够提取满足分割时间宽度>检索范围宽度且具有如分割时间宽度和检索范围宽度取尽可能接近的值那样的分割时间宽度的节点,就能够极力防止没必要的数据读入。
例如,在索引数据223(参照图7)所具有的分割时间宽度为每1小时、每30分钟、每10分钟的三层且检索范围宽度为20分钟的情况下,优选提取具有每30分钟的分割时间宽度的节点。
图7是例示了时序索引表220以及时序索引的节点的数据结构的图。图7(a)所示的时序索引表220(时序索引信息)按数据源221的属性名222具有保持各时段的特征量的索引数据223。索引数据223由多个时序索引的节点(时序索引节点)构成,具有索引的树结构(索引树)。
例如,在图7(a)中,时序索引节点230a是保持范围宽度为1小时,例如从2010年01月10日7时0分0秒到2010年01月10日8时0分0秒为止的时段内的各种特征量例如最大值、最小值的节点,时序索引节点230b是保持同样范围宽度为1小时,例如从2010年01月10日8时0分0秒到2010年01月10日9时0分0秒为止的时段内的各种特征量的节点。
作为本实施方式的特征,索引数据223能够分段保持不同的时间宽度的节点。在图7a所示的例中,节点集合240a是时间宽度为1小时的节点的集合,节点集合240b是时间宽度比上位节点小,例如30分钟的节点的集合,节点集合240c是时间宽度更小,例如10分钟的节点的集合。
各节点具有时段,具体而言为范围宽度的开始时刻和结束时刻,在下位节点的时刻带包含在上位节点的时刻带时,上位节点保持向其下位节点的指针信息。例如,时序索引节点230c是具有从2010年01月10日7时0分0秒到2010年01月10日7时30分0秒为止的时段内的特征量的节点,时序索引节点230d是具有从2010年01月10日7时30分0秒到2010年01月10日8时0分0秒为止的时段内的特征量的节点。同样,时序索引节点230g是具有从2010年01月10日7时0分0秒到2010年01月10日7时10分0秒为止的时段内的特征量的节点,时序索引节点230h是具有从2010年01月10日7时10分0秒到2010年01月10日7时20分0秒为止的时段内的特征量的节点,时序索引节点230i是具有从2010年01月10日7时20分0秒到2010年01月10日7时30分0秒为止的特征量的节点。
图7(b)是表示时序索引节点的数据结构的一例的图。时序索引节点230的ID231是用于识别节点的标识符,由索引生成部123对节点分配唯一的号码。时段232是该节点的时段,包含开始时刻232a和结束时刻232b。特征量233是一个或多个特征量。
指针234存储向时序数据表210的传感器数据的指针的信息,指针234a是时序数据的开始时刻即具有开始时刻的传感器数据的指针,指针234b是时序数据的结束时刻即具有结束时刻的传感器数据的指针。
在本实施方式中,对将图5所示的ID211用作指针信息的情况进行说明,但是也能够利用存储各传感器数据的外部存储装置200的物理地址。在下位的节点指针235存储向下位节点的指针排列。例如,如果是图7(a)所示的时序索引节点230c,则存储该节点链接的下位节点即时序索引节点230g、230h、230i的ID231。
在本实施方式中,作为下位的节点指针235使用各节点的ID231,但是例如也能够利用存储各节点的外部存储装置200的物理地址。此外,作为索引数据223的数据形式,只要是二进制形式或XML(Extensible Markup Language:可扩展标记语言)形式等能够表达索引数据223的形式,能够使用任意形式。
图8是例示了评价式生成规则表143的图。参照图8说明评价式生成规则的数据结构。适宜地参照图3。评价式生成规则是用于评价式生成部132根据从客户端PC500接收到的检索询问600生成评价式的规则,该评价式用于判定与索引数据223的各节点所保持的特征量的适合度。
评价式生成规则表143由多个规则的集合构成,提取与检索询问600的检索条件640所记述的字符串匹配的一个规则,生成并存储相对应的评价式。
规则ID721是用于识别各规则的标识符。检索条件模式722是用于对照检索条件640中记述的检索字符串的检索模式字符串,在本实施方式中通过正规表达来实现。评价式723存储要生成的评价式的雏形,生成与检索条件模式722相对应的评价式。
在与规则ID=“01”相对应的检索模式为「检索条件640的字符串从“AVG”或“MIN”或“MAX”开始,接着数个任意的字符串后为“>”,进而“任意数值(设为X)”」的字符串的模式的情况下,评价式被转换为「F_MIN>X、F_MIN<X<F_MAX 」。
例如在指定了如图3所示的检索询问600的情况下,在检索条件640中记述的检索条件式为「AVG(燃气发动机1.压力)>1500」,因此使用ID721为“01”的规则。
此时,作为评价式,选择「F_MIN>$2;F_MIN<$2<F_MAX;」。此外,评价式中的$2是正规表达的后方参照,代入与检索模式匹配的「(¥d+)」的值,在上述例中代入“1500”。此外,图中的F_MIN以及F_MAX、F_SUM是时序索引保持的各时段的特征量。由此,生成用于评价各特征量的评价式,如果向该评价式代入时序索引的各特征量而得的值为真,则认为适合。
例如,在某时段的特征量MAX=1700、MIN=800的情况下,向所述评价式代入特征量时成为「1700>1500;800<1500<1700」,应此判定为适合。这意味着,作为原来的检索条件式,平均值为1500以上的序列数据有可能收敛于上下限值800~1700的范围。
另一方面,在另一时段的特征量MAX=600、MIN=400的情况下,「600>1500;400<1500<600」的式子不适合。这意味着,作为原来的检索条件式,平均值为1500以上的序列数据,必须不符合其上限值为600的序列数据。此外,在评价式723的特征量中,为了与检索条件模式字符串所记述的特征量计算函数区分,在本例中,在前缀附上“F_”。
(数据蓄积部)
接着,参照图9~图11、图35对数据蓄积部120进行说明。适当地参照图1。
图9是例示了数据接受部121接收到时序数据300时进行的接收处理S900的流程图。在接收处理S900中,进行按传感器数据、属性分解时序数据300的加工处理,并进行向数据写入部122和索引生成部123发送已加工的数据的处理。以下,利用图9说明处理的流程。
数据接受部121接受时序数据300(S901),对于存在于各行的所有传感器数据循环进行S903~S910的处理(S902)。数据接受部121取出下一行的传感器数据(S903),从模式定义表141(参照图4)取得与该传感器数据的数据源名710相对应的属性名711一览(S904)。例如在图4所示的“燃气发动机1”的例中,取得“温度”、“压力”、“转速”。
数据接受部121接着对所有属性名循环进行S906~S909的处理(S905)。数据接受部121从在S904中取出的属性名一览取出下一属性名,并从该传感器数据取出传感器值(S906)。例如,在图2的第一行所示的传感器数据的例中,取出传感器值“15.2来作为“水温”。并且,转换为按属性仅具有一个传感器值的传感器数据。转换后,对传感器数据分配用于唯一地识别的ID号码,加工成具有「“ID号码”、“数据源名”、“属性名”、“时间戳”、“传感器值”」的形式的传感器数据(S907)。
数据接受部121进而向数据写入部122顺次发送已加工的传感器数据(S908),并且向索引生成部123发送(S909)。接着,在不存在应取出的属性时,即在刚才的例中对于一个传感器数据完成了对4个属性的加工处理时,结束S906~S909的处理(S910),进入S911。
数据接受部121对存在于时序数据300的所有传感器数据进行所述加工处理,在不存在接着应取出的传感器数据时,结束S903~S910的处理(S911),进入S912。数据接受部121在针对时序数据300取完所有传感器数据时,为了向数据写入部122通知不再存在数据,发送终端数据(S912),同样地向索引生成部123发送终端数据(S913),并结束接收处理S900。
图10是例示了数据写入部122进行的时序数据写入处理S1000的流程图。在时序数据写入处理S1000中,数据写入部122进行如下处理:从数据接受部121接收已加工的传感器数据并随时写入时序数据表210。以下,利用图10说明处理流程。
数据写入部122进行S1002以及S1003的处理,直至接收所有已加工的传感器数据为止(S1001)。数据写入部122从数据接受部121接收已加工的传感器数据(S 1002),并将该数据写入时序数据表210(S1003),在从数据接受部121接收到终端数据时,结束S1002以及S1003的处理(S1004),结束时序数据写入处理S1000。
此外,在本实施方式的例中,进行每接收传感器数据时逐次写入关系型数据库的处理,但是也可以将传感器数据缓存到例如存储器中,统一写入数据库。
图11是例示了索引生成部123进行的索引生成处理S1100的流程图。在索引生成处理S1100中进行如下处理:索引生成部123根据从数据接受部121随时接收的传感器数据计算出各种特征量,生成时序索引,并发送到索引写入部124。以下,利用图11说明处理流程。
索引生成部123从数据接受部121接收传感器数据,读入该数据中包含的数据源名(S1101)。索引生成部123接着从索引生成表142读入相对应的属性名711的一览(S 1102),在存储器上按属性确保特征量计算用缓冲器(S1103)。特征量计算用缓冲器是指,为了针对多个传感器数据进行用于计算出各种特征量的运算临时存储运算对象的传感器数据的存储器上的区域。例如,在图6所示的例中,在接收到的时序数据的数据源名为“燃气发动机1”的情况下,读入4个属性(“水温”、“温度”、“压力”、“转速”),确保4个缓冲区域。
索引生成部123进行按属性生成时序索引的S1105~S1117的处理,直至接收所有传感器数据为止(S1104)。索引生成部123从索引生成表142读入与各属性名相对应的分割时间宽度712的一览和特征量计算函数713的一览(S1105)。在图6所示的例中,在属性名为“水温”的情况下,读入“1小时”、“30分钟”、“10分钟”作为范围宽度一览,读入“MAX”、“MIN”作为特征量计算函数一览。
索引生成部123随时接收传感器数据,并存储到与各属性相对应的缓冲区域(S1106),判定缓冲区域中的时间宽度是否大于分解时间宽度的最大值(S1107),在存储在缓冲区域中的传感器数据的集合即时序数据的时间宽度大于分割时间宽度一览中的最大值时(S1107,是),实施S1108以后的处理,否则(S1107,否),再次返回S 1106随时接收数据。例如,在图6的情况下,属性为“水温”的缓冲区域中的时序数据的时间宽度大于“1小时”时,实施S 1108以后的处理。
索引生成部123从分割时间宽度712的范围宽度一览中,按照分割时间宽度从小到大依次进行S1109~S1114的处理(S1108)。即,在S1108以后的处理中,进行对缓冲区域中的时序数据计算特征量并生成索引数据223的处理。在图6的例的情况下,在属性为“水温”时,按“10分钟”“30分钟”“1小时”的顺序进行处理。这是因为:在生成时序索引节点时,需要向节点指针235代入下位节点的指针,因此需要从下位的时序索引节点开始依次生成。
索引生成部123取出下一范围宽度(分割时间宽度)(S1109),按分割时间宽度分割缓冲器中的时序数据,并在各个范围内通过特征量计算函数进行指定的计算(S1110)。在刚才的例子的情况下,将缓冲器分割成每“10分钟”的时序数据,并对各时序数据计算“最大值”和“最小值”。计算后,进行用于生成时序索引节点的前处理。具体而言,生成时序索引节点,分配该节点的ID号码,并代入各时段的时序数据的“开始时刻”和“结束时刻”、表示开始时刻的传感器数据的“ID号码”、表示结束时刻的传感器数据的“ID号码”、在S1110中计算出的各种“特征量”(S1111)。此外,关于该节点,按在S1110中分割的时段来进行。例如,在图6的例的情况下,由于按“10分钟”分割缓冲器中的时段“1小时”,因此生成共6个节点。
索引生成部123接着判定处理对象的范围宽度(分割时间宽度)是否为范围宽度一览中的最小值(S1112),在处理对象的范围宽度为范围宽度一览中的最小值时(S1112,是),即是时序索引的最下位的范围宽度时,向在S1111中生成的时序索引节点的节点指针235代入“NULL”(S1113),在不是最小值时(S 1112,否),向节点指针235代入多个属于同一范围宽度的、具有下一个下位的范围宽度的时序索引节点的ID号码(S1114),并进入S 1115。
索引生成部123在对所有分割时间宽度结束S1109~S1114的处理时,结束循环处理(S1115),并清除缓冲器(S1116)。然后,索引生成部123调用索引写入处理(S1117),发送数据源名、属性名和索引数据,之后,重复执行S1105~S1117,直至从数据接受部121接收终端数据为止。在接收到全部传感器数据时结束循环处理(S1118),并结束索引生成处理S1100。
此外,索引生成部123也可以在任意时刻重构时序数据的索引。此时,例如在从客户端PC500接收到索引更新命令的时刻等,删除存储在时序索引表220中的旧的索引,取出时序数据表210的所有时序数据,然后进行索引生成处理S1100,由此能够重构新的时序索引。
进而,在该索引重构中,索引生成部123也可以在任意时刻结合时序索引中的相邻时段的特征量,由此计算出相当于多个时间宽度的特征量,能够重构该时序索引。例如,存在分割时间宽度10分钟的相邻的节点A(“最大值:15”、“最小值:8”)、节点B(“最大值:18”、“最小值:10”)的情况下,通过结合两者的特征量,能够生成分割时间宽度20分钟的新的节点C(“最大值:18”、“最小值:8”)。即,索引生成部123对于具有层级结构的时序索引,在任意时刻结合相邻的时间宽度的各特征量,由此能够计算出相当于多个时间宽度的特征量,将多个时间宽度作为新的时间宽度重构时序索引。
进而,索引生成部123也可以不使用索引生成表142(参照图6)的分割时间宽度712,而根据传感器值的变动动态地决定各节点的分割时间宽度。例如,在计算特征量时,如下的处理也能够适用本发明:对于传感器值的变动不足预定的水准的时段,时间宽度取大的值,对于传感器值以预定以上的水准变动的时段,使时间宽度变小。
图35是例示了索引写入部124进行的索引写入处理S3500的流程图。进行将从索引生成部123接收到的时序索引写入时序索引表220的处理。以下,说明处理流程。
索引写入部124从索引生成部123接收数据源名、属性名以及索引树(S3501)。然后,向时序索引表220的数据源名211和属性名222写入所接收到的值,向索引数据223写入索引树(S3502),并结束索引写入处理S3500。
(数据检索部)
接着,参照图12~图17、图38以及图39说明数据检索部130。适当地参照图1。
图12是例示了检索接受部131进行的检索处理S1200的流程图。在检索处理S1200中,从客户端PC500接受检索询问600,依次调用索引检索部133、数据读入部134、时序解析部135的各处理,并将检索结果输出至客户端PC500。以下,利用图12说明处理流程。
检索接受部131在从客户端PC500接受检索询问600时(S1201),向索引检索部133发送该检索询问600,调用后述的索引检索处理(S1202),作为输出,从时序数据表210接收读入对象的时序数据的地址一览。
检索接受部131接着对数据读入部134调用后述的时序数据读入处理(S1203)。在数据读入处理中,输出成为时序解析对象的时序数据来作为输出结果。然后,调用时序解析部135的时序解析处理(S1204),并发送该输出的时序数据。进而,通过时序解析处理进行对照,接收检索结果来作为输出。最后,将该输出数据返回客户端PC500(S1205),结束检索处理S 1200。
图13是例示了索引检索部133进行的索引检索处理(时间宽度范围缩小查找)S1300的流程图。在索引检索处理S1300中,从索引数据223检索具有适合于评价式的特征量的节点组,其中,上述评价式是根据检索询问600生成的。由于该节点表示的时段的序列数据有可能符合检索询问600,因此将该序列数据的指针信息发送到数据读入部134。
如上所述,只要能够提取从索引数据223检索且满足分割时间宽度>检索范围宽度并且具有取尽可能接近检索范围宽度的值那样的分割时间宽度的节点,在读入时序数据时就能够尽量防止没必要的数据读入。作为用于提取这样的节点的检索方法,在本实施方式中说明“时间宽度范围缩小查找”(参照图17)和“时间宽度固定查找”(参照图39)。
图17是示意性地示出了索引检索部133进行的索引检索处理S1300的流程的图。图17所示的时间宽度范围缩小查找是指如下检索方法:利用深度优先检索从上位节点向下位节点逐渐缩小范围宽度(分割时间宽度)的范围,将取检索询问600的检索范围宽度610和索引范围宽度的值接近的值的时刻的范围宽度作为数据读入对象。本方式是在各范围具有的特征量的性质为包含关系时有效的检索方法,上述包含关系是指,某一时间宽度A的特征量包含同一时段的比其窄的范围的时间宽度B的特征量的关系。
例如,将组合“最大值”和“最小值”的序列数据的传感器值的“范围”作为特征量时,时间宽度B的范围必须包含在比其宽的时间宽度A的范围内。例如,在时间宽度为1小时的范围为“10~100”时,包含在其时段的时间宽度为30分钟的范围存在于“10~100”的范围内。以后,为了使说明简洁,将这样的特征量的性质简单记述为“包含可能”。
回到时间宽度范围缩小查找的说明,用于检索时的特征量判定的特征量为包含可能的情况下,适合于上位节点的节点有可能适合于其下位的节点,因此转移到下位节点,即缩小时间宽度的范围,进而对下位节点的特征量进行适合判定。反之,具有不适合上位节点的节点一定不适合于其下位的节点的性质。例如,上位范围的范围为“10~100”、评价式为「“最小值<120<最大值”适合」的情况下,上位范围的最大值小于120,因此不适合,而由于下位范围的最大值包含在上位范围,比上述最大值还小,因此同样不适合,这是显而易见的。因此,在不适合上位范围的节点时,不需要转移到其下位的节点,能够省略不必要的适合处理。
在此,结合图17的具体例对检索的流程进行说明。在图17,作为分割时间宽度,具有“1小时”、“30分钟”、“15分钟”的三层结构。在评价式为「“MIN<78<MAX”适合」且检索范围宽度610为“20分钟”的情况下,检索流程如图17所示。此外,对于图中的各节点,为了使说明简洁,仅记载ID号码、时段、特征量。
首先,由于节点“0001”适合于评价式,因此对其下位节点进行评价。由于节点“0002”不适合,其下位节点即节点“0004”和“0005”一定不适合,因此,在此不进行判定处理。另一方面,由于节点“0003”适合,因此对其下位节点“0006”和“0007”进行判定。结果,节点“0007”适合,因此提取该节点。
接着,返回最上位节点,对节点“0008”进行判定,但是由于在此不适合,因此对其下位的节点不进行判定。由此,能够高效地进行判定处理,因此能够提高时序索引检索时的检索速度。
以下,返回图13,对索引检索处理(时间宽度范围缩小查找)S1300的处理流程进行说明。索引检索部133从检索接受部131接收检索询问600(参照图3),取出该检索询问600的检索条件640中记述的检索条件式(S1301),调用评价式生成部132的评价式生成处理S1400(参照图14),接收评价式来作为输出(S1302)。
索引检索部133接着从索引数据223检索并取出包含在检索询问600的检索对象范围630中记述的检索对象范围内的最上位索引节点组(S1303)。例如,在图7所示的例的情况下,在属于作为最上位节点组的240a的时序索引节点230a、230b,…中,在各节点具有的时段232包含在被指定的检索对象范围内时,进行读入。
索引检索部133接着对当前处理对象的所有节点组进行S1305~S1313的处理(S1304)。在各节点的特征量适合评价式时,进而缩小时间宽度的范围来再次评价,因此转移到下位节点来再次评价特征量。索引检索部133重复进行评价处理,直至到达最下位节点或对象节点的范围宽度(分割时间宽度)变为比检索询问600的检索范围宽度610即检索范围宽度小的值为止(S1305)。
以下,沿着S1305以后的处理说明重复进行的评价处理。索引检索部133在处理对象的范围宽度内,对于属于同一级的所有时序索引节点执行S 1306~S1312。首先,按时间顺序取出一个索引节点(S1306),判定节点所具有的特征量是否适合评价式(S1307)。在不适合时(S1307,否),返回S1306,取出下一时序索引节点。在适合时(S1307,是),判定是否存在向该节点的下位节点的指针(S1308)。在存在时(S1308,是),取出下位节点组(S1309),并判定该节点组的分割时间宽度是否小于检索范围宽度610(S1311),在小的情况下(S1311,是),将刚才适合的索引节点所表示的时序数据的开始指针和结束指针的组合存储到输出用的特定的缓冲区域(S1312)。
在S1311,在下位节点的范围宽度(分割时间宽度)大于等于检索范围宽度610时(S1311,否),处理对象转移到下位节点组,再次回归执行S1304以后的处理。在到达最下位节点或满足处理对象节点的分割时间宽度<检索范围宽度时,结束S1305的循环处理(S1313)。进而,在对处理对象节点的所有S1305~S1313的处理结束时,结束S1304的循环处理。并且,输出在缓冲区域中保持的时序数据的开始指针和结束指针组的一览(S1315),并结束索引检索处理S1300。此外,本指针成为以后从时序数据表210读入的数据序列。将该时序数据的开始/结束指针称为“时序数据区间地址”。
在本处理中,在进行提取满足时间分割宽度>检索范围宽度610的条件且具有取时间分割宽度和检索范围宽度610尽可能接近的值那样的范围的索引的处理时,从上位节点顺序追溯的理由是:由于有效利用在评价式与上位节点的特征量不匹配时属于该节点的下位节点的所有节点的特征量肯定不匹配的时序数据的特征,因此存在能够省略没必要的适合处理的优点。
接着,参照图38和图39对时间宽度固定查找进行说明。时间宽度固定查找是指,仅将满足分割时间宽度>检索范围宽度610且具有取分割时间宽度和检索范围宽度610尽可能接近的值那样的分割时间宽度的节点组作为评价对象的检索方法。
图39是示意性地示出了索引检索部133进行的索引检索处理(时间宽度固定查找)S 1350(参照图38)的流程的图。本方式用于时间宽度范围缩小查找不能有效地发挥作用即在评价中使用的特征量具有“不是包含可能”的性质的情况。具体而言,存在基于时间宽度的范围缩小不能有效地发挥作用的情况等。
例如,在使用平均值“AVG”来作为要评价的特征量且评价式为「“AVG>60”适合」、检索范围宽度为“20分钟”的情况下,若对图39适用时间宽度范围缩小查找,则虽然节点“0001”不适合,但是作为其下位节点的节点“0003”适合,因此结果需要对全部节点进行检索。此时,首先仅将检索对象的分割时间宽度,在本例中为“30分钟”的节点作为检索对象,依次检索节点“0002”、“0003”、“0009”、“0010”、…。
此外,在图39的例中,在检索同一分割时间宽度的各节点时,按时刻顺序进行时序检索,但是本发明并不限定于此。例如,也可以使每一特征量的值具有B树结构,进行B树查找。此外,B树结构,是指分成根节点(root node)、分支节点(branch node)、叶节点(leafnode)的结构。
图38是例示了索引检索部133进行的索引检索处理(时间宽度固定查找)S 1350的流程图。利用图38对时间宽度固定查找的处理流程进行说明。
索引检索部133从检索接受部131接收检索询问600,取出该检索询问600的检索条件640中记述的检索条件式(S1351),调用评价式生成部132的评价式生成处理S1400(参照图14),并接收评价式来作为输出(S1352)。
索引检索部133接着取出满足分割时间宽度>检索范围宽度610且其中分割时间宽度具有最小值的索引节点组(S 1353),并从该节点组中取出与检索询问600的检索对象范围630匹配的节点组(S1354),对于取出的所有节点执行S1356~S1358的处理(S1355)。
索引检索部133取出一个节点(S1356),判定节点的特征量是否适合评价式(S1357),在不适合时(S 1357,否),返回S 1356。在适合时(S 1357,是),将该节点表示的时序数据的开始指针和结束指针的组存储到特定的缓冲区域(S1358)。对于在S 1354中取出的所有节点的处理结束时,结束S1355的循环处理(S1359),输出存在于缓冲区域的时序数据的开始指针、结束指针的组的一览(S1360)。
此外,索引检索部133在检索时也能够结合相邻的时间宽度的各特征量,由此计算出相当于多个分割时间宽度的特征量,并通过评价式判定该特征量,从而确定适合的数据序列组的时段。
例如,在存在分割时间宽度为10分钟的相邻的节点A(“最大值:15”、“最小值:8”)、节点B(“最大值:18”、“最小值:10”)的情况下,通过结合两者的特征量,能够动态地生成分割时间宽度为20分钟的特征量(“最大值:18”、“最小值:8”),并通过评价式进行判定。
图14是例示了评价式生成部132进行的评价式生成处理S1400的流程图。在评价式生成处理S1400中,根据检索询问600所记述的检索条件式,具体而言根据检索条件640中记述的式子来生成评价式。以下,利用图14说明处理流程。
评价式生成部132从索引检索部133接受检索询问600的检索条件640中记述的检索条件式(S1401),并从评价式生成规则表143提取与该检索式匹配的规则(S1402)。例如,在图3的例所示的检索条件式的情况下,提取图8中的规则ID=01的规则。根据所提取的规则,提取并生成相对应的评价式(S1403),并结束评价式生成处理S1400。
图15是例示了数据读入部134进行的时序数据读入处理S1500的流程图。在时序数据读入处理S1500中,从时序数据表210(参照图5)读入有可能符合检索询问600的数据序列。以下,利用图15说明处理流程。
数据读入部134从检索接受部131接受成为读入对象的时序数据区间指针一览(S1501)。如之前说明的那样,时序数据区间指针由成为从时序数据表210提取的提取对象的序列数据的开始地址和结束地址的组构成,作为地址,包含ID211。
数据读入部134对于所有时序数据区间指针,执行以下说明的S1503~S1505的处理(S1502)。取出一个时序数据区间指针(S1503),从时序数据表210读入从上述时序数据区间指针所包含的开始时刻ID到结束时刻ID为止的区间内的传感器数据(S1504),并将读入的时序数据输出至检索接受部131(S1505)。数据读入部134在对于所有时序数据区间指针完成S1503~S1505的处理时,结束循环处理(S1506),并结束时序数据读入处理S1500。
图16是例示了时序解析部135进行的时序解析处理S1600的流程图。时序解析部135在从数据接受部121接受检索询问600时(S1601),在存储器上确保解析用的缓冲区域(S1602),执行S 1604~S1609,直至接收所有数据为止(S1603)。
时序解析部135首先将接收数据逐次存储到缓冲器中(S1604),判定缓冲器中的时序数据的时段是否超过了检索范围宽度610(S1605),在超过时(S1605,是),删除缓冲器中的最旧的数据(S1606)。在为超过时(S1605,否),执行S1607以后的处理。在S1607,利用检索条件640的评价式对缓冲器中的传感器数据的传感器值进行评价,并通过其对照处理判定是否符合(S1608)。在符合时(S1608,是),将缓冲器中的数据序列输出至数据接受部121(S1609),在不符合时(S1608,否),进入S1610。当接收到所有数据时结束S1603的循环处理(S1610),并结束时序解析处理S1600。
以下,如果对本实施方式进行总结,则时序数据管理装置100具有:数据蓄积部120,其将检索对象的时序数据300蓄积到外部存储装置200;数据检索部130,其从蓄积的时序数据300检索符合从客户端PC500输入的检索询问600的数据序列。
数据蓄积部120具有:索引生成部123,其在蓄积时序数据300时,按每一特定的时间宽度(例如,图7的分割时间宽度712)计算出数据序列的特征量(例如,图7的特征量计算函数所示的特征量);索引写入部124,其将计算出的每一时间宽度的数据序列的特征量作为时序索引表220(时序索引信息)来写入外部存储装置200;数据写入部122,其将时序数据300作为时序数据表210(时序数据信息)来写入外部存储装置200。
数据检索部130具有:评价式生成部132,其在检索时序数据300时,根据检索询问600,生成用于判定与时序索引信息的各特征量的适合度的评价式;索引检索部133,其利用评价式判定时序索引信息所包含的每一时段的特征量,并确定适合的数据序列组的时段;数据读入部134,其从时序数据信息提取与确定的时段相对应的数据序列;时序解析部135,其将提取出的数据序列与检索询问的检索条件进行对照。
时序索引信息具有按时序数据300的属性名由多个时序索引构成的索引层级结构(例如,索引数据223),时序索引包括:包含时序数据300的开始时刻和结束时刻的时段232、时段的特征量233、构成索引层级结构的下位的时序索引的节点指针235。
[第二实施方式]
接着,对本发明的第二实施方式进行说明。
图18是示出了本发明第二实施方式的***的整体结构的图。在此,除了第一实施方式的***的整个结构以外,还追加了数据压缩部125和数据解压部136。在本实施方式中,在将时序数据300存储到时序数据表210时,按特定的时间宽度压缩数据序列并进行存储。另外,检索时,通过从时序数据表210读入压缩数据并进行解压,取出数据序列。
与数据压缩部125和数据解压部136关联,由于数据写入部122A、索引生成部123A、检索接受部131A、索引检索部133A、数据读入部134A的部分处理已变更,因此以后进行叙述。所述处理以外的处理与所述的第一实施方式相同,因此省略说明。此外,在图18所示的整体结构中,对于与所述第一实施方式相同的构成要素标注相同的附图标记,并省略说明。
数据压缩部125进行从数据接受部121接受已加工的传感器数据并生成压缩数据的处理。数据解压部136从数据读入部134A接受时序数据的压缩数据并进行解压。
图19是例示了具有压缩数据的时序数据表210的图。时序数据表210A由ID251、数据源名252、属性名253、时段254以及压缩数据255构成。在压缩数据255的各行中压缩存储时间宽度的数据序列。由于ID251、数据源名252、属性名253与第一实施方式相同,因此省略说明。
在图19所示的例中,表示在时段254中记载有存储在压缩数据中的数据序列的时段,与1小时对应的数据被存储在压缩数据255中。压缩数据255是对记载在时段254的时段的传感器数据进行压缩而得的数据,例如以二进制形式进行存储。
压缩数据255能够按多个分割时间宽度分段压缩后存储。例如,如图所示的例中,数据260c是对于各个传感器数据以10分钟的时间宽度单位进行压缩的数据,数据260b是汇集包含在同一时段的数据260c的各个压缩数据并压缩而得的数据,同样,数据260a是汇集包含在同一时段的数据260b压缩而得的数据。在本实施方式中,作为压缩方法,使用ZIP,但是在本发明中能够应用任意算法。
通过压缩传感器数据,能够减少时序数据表210中包含的容量,除了该优点以外,还有如下优点:通过一次盘I/O,能够汇集读入相当于多次盘I/O的传感器数据,所以性能上有利。例如,在传感器数据彼此间隔1秒钟时,在不进行压缩的情况下,为了读入1小时的数据,需要进行3600行的读入,与此相对,在进行压缩的情况下,只进行一次读入就可以。
此外,在本实施方式中,具有以多个分割时间宽度为单位进行分段压缩的结构,但是也可以不具有层级结构,将以任意分割时间宽度单位压缩的数据序列为单位存储到压缩数据255。
图20是例示了第二实施方式的时序索引表220A以及时序索引节点的数据结构的图。图20(a)表示时序索引表220A的数据结构的一例,图20(b)表示构成时序索引节点树的各节点的结构。此外,图20(a)所示的时序索引表220A和图20(b)所示的时序索引节点230A的ID231、开始时刻232a、结束时刻232b、特征量233以及向下位索引的节点指针235与第一实施方式相同,因此省略说明。在本实施方式的例中,作为向时序数据的指针236,示出了包含与该节点相对应的数据序列的压缩数据的ID251(参照图19)。
图21是例示了数据压缩部125进行的数据压缩处理S2100的流程图。数据压缩部125从数据接受部121接收已加工的传感器数据,并读入数据源名(S2101),然后从索引生成表142(参照图6)读入相对应的属性名711的一览(S2102)。为了按照属性在存储器上确保用于生成压缩数据的缓冲器(S2103),按照属性进行S2105~S2113的处理,直至接收所有传感器数据为止(S2104)。
数据压缩部125首先从索引生成表142读入与属性名相对应的分割时间宽度712的一览(S2105),依次接收各传感器数据并存储到缓冲区域(S2106)。数据压缩部125判定缓冲器中的传感器数据的时间宽度是否大于分割时间宽度的最大值(S2107),在大时(S2107,是),进行S2108以后的处理,否则(S2107,否),返回S2106的处理。例如,在图6的数据源名为“燃气发动机1”、属性名为“水温”的情况下,当缓冲器中的传感器数据的时间宽度达到1小时时,进行S2108以后的处理。
数据压缩部125接着从分割时间宽度712的一览中,按照从小到大的分割时间宽度依次进行S2109~S2111的处理。在上述例的情况下,按照10分钟30分钟1小时的顺序执行处理(S2108)。判定处理中的分割时间宽度是否为最小值(S2109),是最小值的情况下(S2109,是),按分割时间宽度汇集缓冲器中的传感器数据来进行压缩(S2110),否则(S2109,否),对于按下位分割时间宽度汇集的压缩数据,进一步按收敛于分割时间宽度的单位汇集来进行压缩(S2111)。在上述例的情况下,将以10分钟单位汇集的三个压缩数据进一步以30分钟单位汇集来进行压缩。当对所有分割时间宽度进行了S2109~S2111的处理时,结束S2108的循环处理(S2112)。
然后,数据压缩部125对压缩数据分配唯一的ID号码,将该ID号码、压缩数据、压缩数据的时段、数据源名以及属性名发送到数据写入部122,并清除缓冲器(S2113)。在对所有传感器数据完成S2105~S2113的处理时,向数据写入部122发送终端数据并结束S2104的循环处理(S2114),结束数据压缩处理S2100。
图22是例示了数据写入部122A进行的数据写入处理S2200的流程图。数据写入部122A执行S2202~S2203,直至从数据压缩部125接收所有压缩数据为止(S2201)。从数据压缩部125接收压缩数据、其ID号码、数据源名、属性名以及时段(S2202),向时序数据表210写入在S2202中接收的各数据(S2203)。并且,在从数据压缩部125接收到终端数据时结束循环处理(S2204),并结束数据写入处理S2200。
图23是表示索引生成部123A进行的索引生成处理S1100A的流程图。关于本处理,除了图11所示的第一实施方式的处理中的S1111被置换成S2401和S2402以外,与第一实施方式相同,因此仅对S2401和S2402进行说明。
在索引生成处理S1100A中,在生成索引节点时,在向时序数据的指针236中代入压缩数据的地址这一点与第一实施方式不同。在指针236(参照图20(b))中,代入包含该节点所表示的序列数据的压缩数据的地址即与时序数据表210A(参照图19)的压缩数据255相对应的ID251。此时,即使是分割时间宽度不同的节点,也会代入相同的地址。例如,在图20(a)所示的例中,对时序索引节点230a、230c、230d、230g、230h、230i代入相同的地址。
回到图23的处理流程的说明,在S2401,索引生成部123A按分割的时段生成时序索引节点,并分配ID号码,代入“ID号码”、各时段的“开始时刻”、“结束时刻”以及在S1110计算出的各种“特征量”。
索引生成部123A接着为了取得该节点所表示的压缩数据的地址,从时序数据表210取出时段254包含S2401中提取的时段的行,并取出其ID251来代入到时序数据的指针236(S2402)。
图24是例示了检索接受部131进行的检索处理S1200A的流程图。本处理除了图12所示的第一实施方式的处理以外,还追加了S2501的解压处理的调用。检索接受部131在S1203的时序数据读入处理中得到压缩数据,然后对该压缩数据进行解压,并经由检索接受部131A发送到时序解析部135(S2501)。
图25是例示了索引检索部133进行的索引检索处理(时间宽度固定查找)S1350A的流程图。与第一实施方式的图38不同的点在于:作为S1358的输出数据,不存储时序数据区间指针,而在S1501中,将节点表示的时序数据换言之压缩数据的指针236(参照图20(b))、开始时刻232a、结束时刻232b存储到缓冲区域中,并且代替S1306,在S1502中,输出存在于缓冲区域的时序数据的指针236、开始时刻232a以及结束时刻232b的一览。对于其他处理,省略说明。此外,时间宽度范围缩小查找也相同。
图26是例示了数据读入部134进行的时序数据读入处理S2600的流程图。与第一实施方式不同的点在于:在读入数据时不使用时序数据区间指针,而使用时序数据指针换言之压缩数据的指针来读入数据。
数据读入部134在从索引检索部133接受读入对象的时序数据指针、开始时刻以及结束时刻的一览时(S2601),对于所有时序数据指针执行S2603~S2605的处理(S2602)。首先,取出下一时序数据指针(S2603),使用该指针从时序数据表210取出图19所示的压缩数据255和时段254(S2604)。然后,将读入的压缩数据255、时段254、在S2601接受的开始时刻和结束时刻输出至检索接受部131(S2605)。此外,由数据解压部136解压存在于压缩数据的时段内的、开始时刻~结束时刻的序列数据。在对所有时序数据指针执行完S2603~S2605的处理时,结束S2602的循环处理,并结束时序数据读入处理S2600。
图27是例示了数据解压部136的数据解压处理S2700的流程图。数据解压部136接受压缩数据、该压缩数据的时段、从压缩数据取出的序列数据的开始时刻和结束时刻的一览(S2701),并根据接收到的时段,确定相当于开始时刻~结束时刻的序列,进行解压处理(S2702)。此外,由于此时压缩数据构成层级结构,因此直到取出传感器数据为止,有时进行多次解压处理。最后,将取出的序列数据输出至时序解析部135(S2703),并结束数据解压处理S2700。
[第三实施方式]
接着,对本发明的第三实施方式进行说明。
图28是例示了本发明第三实施方式的***的整体结构的图。在此,对客户端PC500追加了画面显示用的浏览器(viewer)800。此外,浏览器800是指用于显示/阅览数据和文件的软件。
在本实施方式中,时序索引不用于数据序列的范围缩小处理,而用于将时序索引中保持的各特征量输出至客户端PC500的浏览器800,其中,上述数据序列的范围缩小处理是为了实现时序检索的高速化而执行的处理。
在时序检索中,一般进行如下流程:对输出结果进行图表显示,并且在目视确认结果的同时不断试验变更检索模式。尤其,在图表显示中,利用横轴取时间、纵轴取传感器值的折线图形进行确认的情况较多,但是在输出数据量多的情况下,有时显示费时间,用户确认结果需要长时间等待。根据情况,也存在不缩小检索条件的范围而首先阅览存储在时序数据表210中的所有数据从而掌握倾向的情形,此时影响更显著。在想要阅览数据整体的倾向时,相对于输出结果的正确性,更要求显示速度的高速性。
在本实施方式中,在浏览器800的图形显示中,其特征在于,控制用于实现显示速度的高速化的输出时刻,具体而言,关于作为序列数据的代表值的特征量,最初显示每个宽的时间宽度的特征量,然后慢慢缩小时间宽度来精细地显示。由此,用户不需要长时间等待,能够迅速掌握数据的倾向。
索引检索部133B从检索接受部131B接收检索询问600,并向检索接受部输出从时序索引表220的时序索引中以特定的时间宽度分割的各时段的特征量。检索接受部131B将该输出数据输出至浏览器800。
浏览器800将从检索接受部131B接收到的数据描绘在图形上。在本实施方式中,作为图形,使用将X轴作为时刻、将Y轴作为传感器值的2轴的线图形。由于所述处理以外的处理与第一实施方式相同,因此省略说明。
图29是例示了第三实施方式的检索接受部131B进行的检索处理S2900的流程图。在图12所示的第一实施方式中,在S1202中实施图13所示的索引检索处理S1300,而在图29所示的第三实施方式中,在接受检索询问600后,在S2902中索引检索部133B实施图30的索引检索处理S3000。
此外,在本实施方式中,示出了在S1203以后的处理中输出特征量之后为了输出更准确的数据读入时序数据并输出的例,但是也可以不输出时序数据而仅输出特征量。此时,省略S1203以后的处理。另外,在计算出特征量后,也不需要将时序数据存储到时序数据表210中,可以删除该时序数据。
图30是例示了索引检索部133B进行的索引检索处理S3000的流程图。索引检索部133B从数据接受部121接受检索询问600,从时序索引取出与检索询问600的检索询问的检索对象范围630匹配的最上位节点组(S3001)。接着,从检索询问600取出检索条件640(S3002),直到从最上位节点到达最下位节点为止,执行接下来示出的S3004~S3009的处理(S3003)。
索引检索部133B判定是否存在在S3002取出的检索条件640(S3004),在存在时(S3004,是),即进行指定了条件的检索时,执行S3005、S3006,在不存在时(S3004,否),即不指定条件而指定了全部检索时,执行S3007。
索引检索部133B在S3005中根据条件式来调用评价式生成处理S1400(参照图14)(S3005),接受评价式,对处理对象的所有节点组应用评价式,提取适合的节点组(S3006)。在S3007,提取成为处理对象的所有节点组即具有同一分割时间宽度的所有节点(S3007)。
然后,索引检索部133B提取各节点的特征量、开始时刻以及结束时刻,并输出至数据接受部121。作为在此使用的特征量,能够使用任意特征量,但是在本实施方式中,说明作为典型的特征量使用“平均(AVG)”的情况。这是因为平均值适合说明其时段的数据序列的大致的特征。
在此,特定时段内的特征量被全部输出,由此,为了接着输出详细值,索引检索部133B取出下一个下位层的所有节点组(S3009),再次重复执行S3004以后的处理。当到达最下位节点且对所有节点完成了S3004~S3009的处理时,结束S3003的循环处理(S3010),并结束索引检索处理S3000。
图31是例示了浏览器800进行的描绘处理S3100的流程图。在描绘处理S3100中,对于从数据接受部121接收到的各时段的特征量,最初以宽的时间宽度粗略显示,然后逐渐缩小时间宽度来再次显示。浏览器800直到从数据接受部121接收所有数据为止执行S3102~S3105(S3101)。
浏览器800从检索接受部131B提取各节点的特征量、开始时刻和结束时刻(S3102),判定是否已经在同一时段标示(plot)并描绘特征量(S3103),即,残留有上位时间宽度的粗略的描绘时(S3103,是),删除该标示数据(S3104)。然后,将在S3102提取出的开始时刻~结束时刻标示于画面上的X轴,将该范围内的特征量例如平均值标示于Y轴并进行描绘(S3105)。当接收到所有数据时,结束S3102~S3105的处理,结束S3101的循环处理(S3106),并结束描绘处理S3100。
[第四实施方式]
接着,对本发明的第四实施方式进行说明。
图32是例示了本发明第四实施方式的***的整体结构的图。在本实施方式中,示出了从多个客户端PC500b(500b1、…、500bn)进行时序数据的检索的情况的例。
在执行检索的客户端PC500b(500b1、…、500bn)的数量增加的情况下,担心由于检索负荷增大导致性能劣化。因此,本结构的目的就是,通过分散配置进行检索的装置来使负荷分散,从而防止检索性能的劣化。
除此之外,时序数据300的检索模式根据客户端而存在各种各样的模式。例如,在蓄积有某产品的销售实绩数据时,属于生产管理部门的客户端A为了建立今后的生产计划,检索最近几天的销售模式,而属于经营部门的客户端B为了建立今后的产品计划,检索最近数个月~数年的销售模式。
考虑所述情况,本实施方式的***由蓄积时序数据并保持时序数据表210的一台时序数据管理装置100a(第一管理装置)、保持时序索引表220b(220b1、…、220bn)并根据来自客户端PC的检索请求执行检索的多台时序数据管理装置100b(100b1、…、100bn)(第二管理装置)构成,各装置经由网络接106(106a、106b1、…、106n)能够在网络107之间进行通信地相连接。
此外,假设在检索用的时序数据管理装置100b中存储分别适合于不同的检索模式的时序索引表220b(220b1、…、220bn),但是也能够单纯地为了负荷分散而由多个装置保持同一时序索引表220b。
以下,对本结构进行说明。时序数据管理装置100a是用于蓄积时序数据的装置,在外部存储装置200a(第一存储装置)中具有时序数据表210。除此之外,还进行向任意的时序数据管理装置100b的时序索引表220b生成时序索引的处理。具体而言,索引写入部124进行将由索引生成部123生成的时序索引存储到其他管理装置的外部存储装置的处理。此时,参照索引生成表144来决定参照目的装置。关于细节,以后进行叙述,索引生成表144除了第一实施方式的索引生成表142的构成要素以外,还存储时序索引的存储目的装置地址。
进而,时序数据管理装置100a进行如下处理:其集中管理检索用的时序数据管理装置100b的成为检索对象的时序数据,按照来自时序数据管理装置100b的数据取得请求从时序数据表210取出数据序列,并将其输出至时序数据管理装置100b。
检索用的时序数据管理装置100b是用于执行时序数据的检索的装置,在外部存储装置200b(200b1、…、200bn)(第二存储装置)中具有时序索引表220b。假设利用各检索用的时序数据管理装置100b的客户端PC500b(500b1、…500bn)分别执行不同的检索询问600b(600b1、…600bn),在各装置存储适合于检索模式的时序索引表220b。数据检索部130b(130b1、…130bn)通过参照时序索引表220b缩小对象的数据序列的范围来进行提取,并执行时序解析。
在此,与第一实施方式的处理不同地进行如下处理:在缩小对象的数据序列的范围后,并不从分别连接的存储装置读入数据序列,而是从蓄积用的时序数据管理装置100a管理的时序数据表210经由网络107进行读入。
图33是例示了索引生成表144的表的图。索引生成表144对图6所示的索引生成表142附加生成目的装置地址714。生成目的装置地址714是表示时序索引的生成目的的检索用的数据管理装置的标识符,在本实施方式的例中,使用每一时序数据管理装置100b的IP地址。对于一个时序数据的属性,也可以将多个不同的时序索引配置在不同的时序数据管理装置100b中。例如在图33的例中,在数据源名为“燃气发动机1”、属性名为“水温”的情况下,在地址为“192.168.10.3”的时序数据管理装置100b和地址为“192.168.10.2”的时序数据管理装置100b中生成具有不同的分割时间宽度以及特征量计算函数的时序索引。
另外,对于一个时序数据的属性,也可以在多个时序数据管理装置100b上生成同一时序索引。例如,在数据源名为“燃气发动机1”、属性名为“压力”的情况下,在地址为“192.168.10.1”和“192.168.10.2”的两个时序数据管理装置100b中生成同一时序索引。所述以外的索引生成信息的构成要素与第一实施方式相同,因此省略说明。
图34是例示了索引生成部123进行的索引生成处理S1100C的流程图。本处理除了第一实施方式的图11所示的索引生成处理S1100中的S1105置换成S3405、S1117置换成S3417以外,与第一实施方式相同,因此对S3405以及S3417进行说明。
索引生成部123在生成索引节点时,为了识别时序数据的时序索引的存储目的装置,读入索引生成表144的生成目的装置地址714,这一点与第一实施方式不同。在S3405,索引生成部123从索引生成表144读入与属性名相对应的分割时间宽度712的一览、特征量计算函数713的一览以及生成目的装置地址714。并且,索引生成部123在调用索引写入处理S3600(参照图36)时,除了发送数据源名、属性名、索引数据以外,还发送之前取得的生成目的装置地址(S3417)。
图36是例示了索引写入部124进行的索引写入处理S3600的流程图。在本处理中,进行索引写入部124向时序索引表220b写入时序索引的处理。以下,说明处理流程。
索引写入部124从索引生成部123接收数据源名、属性名、索引树以及生成目的装置地址(S3601)。并且,向与生成目的装置地址所表示的时序数据管理装置100b相连接的外部存储装置200b的时序索引表220b的数据源名211和属性名222写入所接收的值,并向索引数据223写入索引树(S3602)。
此外,在本实施方式中,作为经由网络向指定的地址写入数据的方法,例如,通过安装并调用JDBC(Java数据库互连)以及ODBC(Open DatabaseConnectivity:开放数据库互连)等的公用接(Application ProgrammingInterface:API:应用程序接口)、构成为其他DBMS(DataBase ManagementSystem:数据库管理***)固有的API的数据库连接API来得以实现。
图37是例示了数据读入部134b进行的时序数据读入处理S1500C的流程图。本处理除了第一实施方式的图15所示的时序数据读入处理S1500的S1504置换成S3704以外,与第一实施方式相同,因此对S3704的处理进行说明,省略对其他处理的说明。
在数据读入部134b进行的时序数据读入处理S1500C中进行如下处理(S3704):不从与自身的时序数据管理装置100b连接的外部存储装置200b读入时序数据,而是数据读入部134b经由网络107从与蓄积用的时序数据管理装置100a连接的外部存储装置200a读入时序数据(传感器数据)。
此外,在本实施方式中,在读入数据时,数据读入部134b指定蓄积用的时序数据管理装置100a的IP地址来读入数据,作为其具体方法,与上述时序索引写入处理同样地通过安装并调用JDBC以及ODBC等公用接口、构成为其他DBMS固有的API的数据库连接API来得以实现。
以上,根据本实施方式具体地进行了说明,但是本发明并不限定于所述实施方式,在不脱离其要旨的范围内能够进行各种变更。
根据本实施方式,对存储在盘上的时序数据进行时序解析时,将范围缩小到有可能符合所指定的检索模式的时序数据来从盘读入,由此能够防止盘读入时发生的盘I/O的频发,能够缩小检索所需要的时间。
附图标记说明
100:时序数据管理装置
100a:时序数据管理装置(第一管理装置)
100b:时序数据管理装置(第二管理装置)
101:处理器
102:存储器
103:输入装置
104:输出装置
105:盘接口
110:时序数据管理程序
120:数据蓄积部
121:数据接受部
122:数据写入部
123:索引生成部
124:索引写入部
130:数据检索部
131:检索接受部
132:评价式生成部
133:索引检索部
134:数据读入部
135:时序解析部
140:设定信息存储区域
141:模式定义表(模式定义信息)
142:索引生成表(索引生成信息)
143:评价式生成规则表(评价式生成规则信息)
200:外部存储装置
200a:外部存储装置(第一存储装置)
200b:外部存储装置(第二存储装置)
210:时序数据表(时序数据信息)
220:时序索引表(时序索引信息)
300:时序数据
400:管理者PC
500:客户端PC(客户端)
600:检索询问
610:检索范围宽度(select_range句)
620:检索项目(select_items句)
630:检索对象范围(where_timerange句)
640:检索条件(where_condition句)
Claims (16)
1.一种时序数据管理装置,其具有数据蓄积部和数据检索部,所述数据蓄积部将检索对象的时序数据蓄积在存储装置中,所述数据检索部从蓄积的所述时序数据中检索与从客户端输入的检索询问相应的数据序列,该时序数据管理装置的特征在于,
所述数据蓄积部具有:
索引生成部,其在所述数据蓄积部蓄积所述时序数据时,对每一特定的时间宽度计算出数据序列的特征量;
索引写入部,其将计算出的每一时间宽度的所述数据序列的特征量作为时序索引信息写入所述存储装置;以及
数据写入部,其将所述时序数据作为时序数据信息写入所述存储装置中,
所述数据检索部具有:
评价式生成部,其在所述数据检索部检索所述时序数据时,根据所述检索询问,生成用于判定与所述时序索引信息的各特征量的适合度的评价式;
索引检索部,其利用所述评价式判定包含在时序索引信息中的每一时段的特征量,确定适合的数据序列组的时段;
数据读入部,其从所述时序数据信息提取与确定出的所述时段相对应的数据序列;以及
时序解析部,其将提取出的所述数据序列与所述检索询问的检索条件进行对照。
2.根据权利要求1所述的时序数据管理装置,其特征在于,
所述时序索引信息按所述时序数据的属性名具有由多个时序索引构成的索引层级结构;
所述时序索引包含:包括所述时序数据的开始时刻和结束时刻的时段、所述时段的特征量、构成所述索引层级结构的下位的时序索引的指针。
3.根据权利要求2所述的时序数据管理装置,其特征在于,
所述索引检索部对于所述时序索引,结合相邻时间宽度的各特征量,由此计算出多个时间宽度的特征量,并利用评价式判定计算出的所述特征量,确定适合的数据序列组的时段。
4.根据权利要求1所述的时序数据管理装置,其特征在于,
所述索引生成部在计算所述特定的时间宽度的数据序列的特征量时,按照所述时数据序列的值的变动改变所述特定的时间宽度来计算出所述时间宽度。
5.根据权利要求4所述的时序数据管理装置,其特征在于,
在计算所述时间宽度时,针对所述数据序列的变动不足预定的水准的时段,使时间宽度取大的值,针对所述数据序列以预定以上的水准变动的时段,使时间宽度变小。
6.根据权利要求1所述的时序数据管理装置,其特征在于,
所述索引生成部按多个不同的时间宽度计算出时序数据的特征量,生成具有层级结构的时序索引,在该层级结构中,所述特征量包含在属于同一时段的具有比所述时间宽度宽的范围的时间宽度的特征量中;
所述索引检索部提取具有与包含在所述检索询问中的检索范围宽度近的所述时间宽度的时段,并利用所述评价式判定所述时段的特征量,由此确定时段。
7.根据权利要求6所述的时序数据管理装置,其特征在于,
所述索引检索部对于具有所述层级结构的时序索引,利用所述评价式按照从宽到窄的时间宽度依次判定特征量,在适合时,进而对所述时段,重复进行依次评价属于同一时段的比所述时间宽度窄的时段的特征量的处理,直至接近所述检索范围宽度为止,从而确定适合于所述评价式的时段。
8.根据权利要求6或7所述的时序数据管理装置,其特征在于,
所述索引生成部对于具有所述层级结构的时序索引,在任意时刻结合相邻的时间宽度的各特征量,由此计算出多个时间宽度的特征量,并将所述多个时间宽度作为新的时间宽度重构所述时序索引。
9.根据权利要求1所述的时序数据管理装置,其特征在于,
所述索引生成部计算的特征量是使用了每一特定的时间宽度的数据序列的最小值和最大值的上下限范围,
所述评价式生成部生成包含在所述检索询问中的检索条件来作为用于评价所述上下限范围的评价式,
所述索引检索部比较所述数据序列的上下限范围和评价式来进行判定。
10.根据权利要求1所述的时序数据管理装置,其特征在于,
所述数据蓄积部还具有数据压缩部,在所述数据蓄积部将所述时序数据蓄积到所述存储装置中时,所述数据压缩部将所述时序数据压缩后发送到数据写入部,
所述数据检索部还具有数据解压部,在所述数据检索部检索所述时序数据时,所述数据解压部解压从所述数据读入部发送的所述压缩数据。
11.根据权利要求1所述的时序数据管理装置,其特征在于,
所述客户端具有浏览器,该浏览器将从所述索引检索部接收到的所述数据序列组的时段及其特征量显示在显示部上。
12.根据权利要求11所述的时序数据管理装置,其特征在于,
所述索引生成部按多个不同的时间宽度计算时序数据的特征量,生成具有层级结构的时序索引,在该层级结构中,所述特征量包含在属于同一时段的具有比所述时间宽度宽的范围的时间宽度的特征量中,
所述索引检索部将通过所述评价式判定为适合的时段,按照从宽的范围的特征量到窄的范围的特征量依次分段输出,
所述浏览器将从所述索引检索部接收到的所述特征量分段地重复再描绘来进行显示。
13.根据权利要求11或12所述的时序数据管理装置,其特征在于,
所述索引生成部计算的特征量利用使用了每一特定的时间宽度的数据序列的最小值和最大值的上下限范围,
所述评价式生成部生成包含在所述检索询问中的检索条件来作为用于评价所述上下限范围的评价式,
所述索引检索部根据所述评价式来判定所述数据序列的上下限范围,输出作为适合的时段的特征量的数据序列的平均值,并发送到所述客户端,
所述客户端的浏览器将发送的所述平均值描绘在所述显示部上。
14.一种时序数据管理***,其包括第一管理装置和第二管理装置,所述第一管理装置将检索对象的时序数据蓄积在第一存储装置中,所述第二管理装置检索与从客户端输入的检索询问相应的数据序列,将包含蓄积的所述时序数据的特征量的时序索引信息存储到第二存储装置中,该时序数据管理***的特征在于,
所述第一管理装置具有:
索引生成部,其在所述第一管理装置蓄积所述时序数据时,按每一特定的时间宽度计算出数据序列的特征量;
索引写入部,其将计算出的每一时间宽度的所述数据序列的特征量作为所述时序索引信息写入所述第二存储装置;以及
数据写入部,其将所述时序数据作为时序数据信息写入所述第一存储装置,
所述第二管理装置具有:
评价式生成部,其在所述第二管理装置检索所述时序数据时,根据所述检索询问,生成用于判定与所述时序索引信息的各特征量的适合度的评价式;
索引检索部,其利用所述评价式判定包含在时序索引中的每一时段的特征量,确定适合的数据序列组的时段;
数据读入部,其从所述第一存储装置提取与确定的所述时段相对应的数据序列;以及
时序解析部,其将提取的所述数据序列与所述检索询问的检索条件进行对照。
15.一种时序数据管理方法,其是时序数据管理装置中的时序数据管理方法,该时序数据管理装置具有数据蓄积部和数据检索部,所述数据蓄积部将检索对象的时序数据蓄积到存储装置中,所述数据检索部从蓄积的所述时序数据中检索与从客户端输入的检索询问相应的数据序列,该时序数据管理方法的特征在于,
所述数据蓄积部执行如下步骤:
索引生成步骤,在所述数据蓄积部蓄积所述时序数据时,对每一特定的时间宽度计算出数据序列的特征量;
索引写入步骤,将计算出的每一时间宽度的所述数据序列的特征量作为时序索引信息写入所述存储装置;以及
数据写入步骤,将所述时序数据作为时序数据信息写入所述存储装置,
所述数据检索部执行如下步骤:
评价式生成步骤,在所述数据检索部检索所述时序数据时,根据所述检索询问,生成用于判定与所述时序索引信息的各特征量的适合度的评价式;
索引检索步骤,利用所述评价式判定包含在时序索引信息中的每一时段的特征量,确定适合的数据序列组的时段;
数据读入步骤,从所述时序数据信息提取与确定出的所述时段相对应的数据序列;以及
时序解析步骤,将提取出的所述数据序列与所述检索询问的检索条件进行对照。
16.一种时序数据管理程序,其是时序数据管理装置中的程序,该时序数据管理装置将检索对象的时序数据蓄积在存储装置中,从蓄积的所述时序数据中检索与从客户端输入的检索询问相应的数据序列,该时序数据管理程序的特征在于,
使计算机执行如下处理:
索引生成处理,在蓄积所述时序数据时,对每一特定的时间宽度计算出数据序列的特征量;
索引写入处理,将计算出的每一时间宽度的所述数据序列的特征量作为时序索引信息写入所述存储装置;
数据写入处理,将所述时序数据作为时序数据信息写入所述存储装置;
评价式生成处理,在检索所述时序数据时,根据所述检索询问,生成用于判定与所述时序索引信息的各特征量的适合度的评价式;
索引检索处理,利用所述评价式判定包含在时序索引信息中的每一时段的特征量,确定适合的数据序列组的时段;
数据读入处理,从所述时序数据信息提取与确定出的所述时段相对应的数据序列;以及
时序解析处理,将提取出的所述数据序列与所述检索询问的检索条件进行对照。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2010/058167 WO2011142026A1 (ja) | 2010-05-14 | 2010-05-14 | 時系列データ管理装置、システム、方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102859517A true CN102859517A (zh) | 2013-01-02 |
CN102859517B CN102859517B (zh) | 2016-07-06 |
Family
ID=44914094
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080066399.3A Expired - Fee Related CN102859517B (zh) | 2010-05-14 | 2010-05-14 | 时序数据管理装置、***以及方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9298854B2 (zh) |
JP (1) | JP5503737B2 (zh) |
CN (1) | CN102859517B (zh) |
WO (1) | WO2011142026A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103488727A (zh) * | 2013-09-16 | 2014-01-01 | 河海大学 | 基于周期对数的二维时序数据存储和查询方法 |
CN105900092A (zh) * | 2014-03-26 | 2016-08-24 | 株式会社日立制作所 | 时序数据管理方法以及时序数据管理*** |
CN106777111A (zh) * | 2016-12-15 | 2017-05-31 | 华南师范大学 | 一种超大规模数据的时序检索索引***及方法 |
CN110320885A (zh) * | 2018-03-29 | 2019-10-11 | 江森自控科技公司 | 用于自适应地调节建筑物中故障检测的阈值的***和方法 |
CN110958212A (zh) * | 2018-09-27 | 2020-04-03 | 阿里巴巴集团控股有限公司 | 一种数据压缩、数据解压缩方法、装置及设备 |
CN112514353A (zh) * | 2018-08-26 | 2021-03-16 | It空间株式会社 | 一种食品冷冻容器 |
JPWO2021090356A1 (zh) * | 2019-11-05 | 2021-05-14 | ||
CN114297227A (zh) * | 2021-12-24 | 2022-04-08 | 成都索贝数码科技股份有限公司 | 时序数据库的架构方法、查询方法和时序数据库 |
Families Citing this family (105)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9037698B1 (en) * | 2006-03-14 | 2015-05-19 | Amazon Technologies, Inc. | Method and system for collecting and analyzing time-series data |
US8326836B1 (en) * | 2010-07-13 | 2012-12-04 | Google Inc. | Providing time series information with search results |
JP5652282B2 (ja) * | 2011-03-18 | 2015-01-14 | 富士通株式会社 | 検索制御プログラム、検索制御方法、検索システム |
US20130091266A1 (en) * | 2011-10-05 | 2013-04-11 | Ajit Bhave | System for organizing and fast searching of massive amounts of data |
JP5946059B2 (ja) * | 2012-04-19 | 2016-07-05 | Kddi株式会社 | 処理分散プログラム、画像表示システムおよび処理分散方法 |
US9183153B2 (en) | 2012-05-04 | 2015-11-10 | Battelle Memorial Institute | Method and system for managing power grid data |
US9514183B1 (en) * | 2012-06-01 | 2016-12-06 | EiQ Networks, Inc. | Indexing and searching of large amounts of machine generated data collected from disparate sources |
JP5191578B1 (ja) * | 2012-07-30 | 2013-05-08 | スキルアップジャパン株式会社 | データ検索方法、およびデータ検索装置 |
US9753909B2 (en) | 2012-09-07 | 2017-09-05 | Splunk, Inc. | Advanced field extractor with multiple positive examples |
US8751963B1 (en) | 2013-01-23 | 2014-06-10 | Splunk Inc. | Real time indication of previously extracted data fields for regular expressions |
US8682906B1 (en) | 2013-01-23 | 2014-03-25 | Splunk Inc. | Real time display of data field values based on manual editing of regular expressions |
US20140208217A1 (en) * | 2013-01-22 | 2014-07-24 | Splunk Inc. | Interface for managing splittable timestamps across event records |
WO2014045351A1 (ja) | 2012-09-19 | 2014-03-27 | 株式会社 東芝 | 時系列データ蓄積装置 |
US9953059B2 (en) | 2012-09-28 | 2018-04-24 | Oracle International Corporation | Generation of archiver queries for continuous queries over archived relations |
US9563663B2 (en) | 2012-09-28 | 2017-02-07 | Oracle International Corporation | Fast path evaluation of Boolean predicates |
CN103794006B (zh) * | 2012-10-31 | 2016-12-21 | 国际商业机器公司 | 用于处理多个传感器的时序数据的方法和装置 |
US10956422B2 (en) | 2012-12-05 | 2021-03-23 | Oracle International Corporation | Integrating event processing with map-reduce |
US10298444B2 (en) | 2013-01-15 | 2019-05-21 | Oracle International Corporation | Variable duration windows on continuous data streams |
US9152929B2 (en) * | 2013-01-23 | 2015-10-06 | Splunk Inc. | Real time display of statistics and values for selected regular expressions |
US11816465B2 (en) | 2013-03-15 | 2023-11-14 | Ei Electronics Llc | Devices, systems and methods for tracking and upgrading firmware in intelligent electronic devices |
SG11201508013YA (en) * | 2013-03-29 | 2015-10-29 | Cumulus Systems Inc | Organizing and fast searching of data |
CN105474205A (zh) * | 2013-05-16 | 2016-04-06 | 康维达无线有限责任公司 | 语义命名模型 |
US9418113B2 (en) * | 2013-05-30 | 2016-08-16 | Oracle International Corporation | Value based windows on relations in continuous data streams |
US20160171037A1 (en) * | 2013-07-19 | 2016-06-16 | Ge Intelligent Platforms, Inc. | Model change boundary on time series data |
US10324942B2 (en) * | 2013-07-26 | 2019-06-18 | Snap Inc. | Segment data visibility and management in a distributed database of time stamped records |
US9934259B2 (en) * | 2013-08-15 | 2018-04-03 | Sas Institute Inc. | In-memory time series database and processing in a distributed environment |
KR102067058B1 (ko) * | 2013-08-23 | 2020-02-11 | 엘지전자 주식회사 | 휴대 단말기 및 그 제어 방법 |
US10503732B2 (en) | 2013-10-31 | 2019-12-10 | Micro Focus Llc | Storing time series data for a search query |
CN103605805B (zh) * | 2013-12-09 | 2016-10-26 | 冶金自动化研究设计院 | 一种海量时序数据的存储方法 |
US9361329B2 (en) * | 2013-12-13 | 2016-06-07 | International Business Machines Corporation | Managing time series databases |
US10417258B2 (en) | 2013-12-19 | 2019-09-17 | Exposit Labs, Inc. | Interactive multi-dimensional nested table supporting scalable real-time querying of large data volumes |
US10466217B1 (en) * | 2013-12-23 | 2019-11-05 | Aclima Inc. | Method to combine partially aggregated sensor data in a distributed sensor system |
EP2887236A1 (en) * | 2013-12-23 | 2015-06-24 | D square N.V. | System and method for similarity search in process data |
US9450602B2 (en) * | 2014-01-02 | 2016-09-20 | Sap Se | Efficiently query compressed time-series data in a database |
US9529875B2 (en) * | 2014-01-13 | 2016-12-27 | International Business Machines Corporation | Transforming timeseries and non-relational data to relational for complex and analytical query processing |
JP6364800B2 (ja) * | 2014-02-10 | 2018-08-01 | オムロン株式会社 | 監視装置及び監視方法 |
US9616344B2 (en) * | 2014-03-31 | 2017-04-11 | Electronic Arts Inc. | Two-dimensional database query |
WO2015167562A1 (en) | 2014-04-30 | 2015-11-05 | Hewlett-Packard Development Company, L.P. | Using local memory nodes of a multicore machine to process a search query |
CN105224543A (zh) * | 2014-05-30 | 2016-01-06 | 国际商业机器公司 | 用于处理时间序列的方法和装置 |
US9846567B2 (en) | 2014-06-16 | 2017-12-19 | International Business Machines Corporation | Flash optimized columnar data layout and data access algorithms for big data query engines |
US11734396B2 (en) | 2014-06-17 | 2023-08-22 | El Electronics Llc | Security through layers in an intelligent electronic device |
US10248681B2 (en) | 2014-07-08 | 2019-04-02 | Sap Se | Faster access for compressed time series data: the block index |
US10496656B2 (en) * | 2014-07-08 | 2019-12-03 | Sap Se | Compressing time stamp columns |
US10545936B2 (en) | 2014-07-08 | 2020-01-28 | Sap Se | Linear run length encoding: compressing the index vector |
US10007690B2 (en) | 2014-09-26 | 2018-06-26 | International Business Machines Corporation | Data ingestion stager for time series database |
CN106796520B (zh) * | 2014-10-08 | 2021-04-16 | 斯普兰克公司 | 基于软件的仪器化的实时报告 |
WO2016067749A1 (ja) * | 2014-10-29 | 2016-05-06 | 三菱電機株式会社 | 映像音声記録装置および監視システム |
TWI534704B (zh) * | 2014-11-21 | 2016-05-21 | 財團法人資訊工業策進會 | 時間序列資料處理方法及其系統 |
CN105653559B (zh) | 2014-11-28 | 2019-05-10 | 国际商业机器公司 | 用于在数据库中进行搜索的方法和装置 |
US10452651B1 (en) | 2014-12-23 | 2019-10-22 | Palantir Technologies Inc. | Searching charts |
KR102253592B1 (ko) * | 2014-12-23 | 2021-05-18 | 삼성전자주식회사 | 초기 문턱 전압 분포 변화를 보상할 수 있는 데이터 저장 장치, 이의 작동 방법, 및 이를 포함하는 데이터 처리 시스템 |
US20170212935A1 (en) * | 2015-01-09 | 2017-07-27 | Hitachi, Ltd. | Data management apparatus and data management method |
US20160210021A1 (en) * | 2015-01-21 | 2016-07-21 | Microsoft Technology Licensing, Llc | Computer-Implemented Tools for Exploring Event Sequences |
US9952808B2 (en) | 2015-03-26 | 2018-04-24 | International Business Machines Corporation | File system block-level tiering and co-allocation |
US20180097886A1 (en) * | 2015-03-27 | 2018-04-05 | Nec Corporation | Sensor network system |
US10198159B2 (en) * | 2015-04-28 | 2019-02-05 | Osisoft, Inc. | Multi-context sensor data collection, integration, and presentation |
US9384203B1 (en) * | 2015-06-09 | 2016-07-05 | Palantir Technologies Inc. | Systems and methods for indexing and aggregating data records |
JP6419046B2 (ja) * | 2015-09-15 | 2018-11-07 | 本田技研工業株式会社 | 蓄電システムの故障形態判定装置 |
CN105260404B (zh) * | 2015-09-22 | 2019-03-26 | 北京百度网讯科技有限公司 | 存储时间序列数据的方法和装置 |
US10560483B2 (en) * | 2015-10-28 | 2020-02-11 | Qomplx, Inc. | Rating organization cybersecurity using active and passive external reconnaissance |
US10958435B2 (en) | 2015-12-21 | 2021-03-23 | Electro Industries/ Gauge Tech | Providing security in an intelligent electronic device |
US20170212938A1 (en) * | 2016-01-26 | 2017-07-27 | General Electric Company | Method and apparatus for accessing and calculating industrial information |
WO2017131753A1 (en) * | 2016-01-29 | 2017-08-03 | Entit Software Llc | Text search of database with one-pass indexing including filtering |
WO2017154140A1 (ja) * | 2016-03-09 | 2017-09-14 | 株式会社日立製作所 | データ管理システム及びデータ検索方法 |
JP6543207B2 (ja) * | 2016-03-17 | 2019-07-10 | 株式会社東芝 | データ管理装置、データ管理システムおよびデータ管理方法 |
US11620311B1 (en) * | 2016-08-16 | 2023-04-04 | Amazon Technologies, Inc. | Transformation of directed graph into relational data |
JP2018036991A (ja) * | 2016-09-02 | 2018-03-08 | 株式会社日立製作所 | センサデータ検索システム、センサデータ検索方法及び管理計算機 |
US20180082036A1 (en) * | 2016-09-22 | 2018-03-22 | General Electric Company | Systems And Methods Of Medical Device Data Collection And Processing |
US20180121521A1 (en) * | 2016-10-28 | 2018-05-03 | Salesforce.Com, Inc. | Time-based reporting of data using a database system |
CN113468232A (zh) | 2017-02-27 | 2021-10-01 | 分秒库公司 | 用于查询时间序列数据的可扩展数据库*** |
JP6926539B2 (ja) * | 2017-03-10 | 2021-08-25 | オムロン株式会社 | 制御装置およびプログラム |
JP2018160057A (ja) * | 2017-03-22 | 2018-10-11 | 株式会社東芝 | 情報処理システム、情報処理方法及びプログラム |
US10838931B1 (en) * | 2017-04-28 | 2020-11-17 | EMC IP Holding Company LLC | Use of stream-oriented log data structure for full-text search oriented inverted index metadata |
JP2018206084A (ja) * | 2017-06-05 | 2018-12-27 | 株式会社東芝 | データベース管理システムおよびデータベース管理方法 |
WO2018233823A1 (en) * | 2017-06-21 | 2018-12-27 | Huawei Technologies Co., Ltd. | SYSTEM AND METHOD FOR MANAGING DATA INPUTS BASED ON DATA AGING |
US10216695B1 (en) | 2017-09-21 | 2019-02-26 | Palantir Technologies Inc. | Database system for time series data storage, processing, and analysis |
US11281726B2 (en) * | 2017-12-01 | 2022-03-22 | Palantir Technologies Inc. | System and methods for faster processor comparisons of visual graph features |
US11016986B2 (en) | 2017-12-04 | 2021-05-25 | Palantir Technologies Inc. | Query-based time-series data display and processing system |
US10769132B1 (en) * | 2017-12-12 | 2020-09-08 | Juniper Networks, Inc. | Efficient storage and retrieval of time series data |
US11734704B2 (en) * | 2018-02-17 | 2023-08-22 | Ei Electronics Llc | Devices, systems and methods for the collection of meter data in a common, globally accessible, group of servers, to provide simpler configuration, collection, viewing, and analysis of the meter data |
US11686594B2 (en) | 2018-02-17 | 2023-06-27 | Ei Electronics Llc | Devices, systems and methods for a cloud-based meter management system |
US11754997B2 (en) | 2018-02-17 | 2023-09-12 | Ei Electronics Llc | Devices, systems and methods for predicting future consumption values of load(s) in power distribution systems |
US20190258730A1 (en) * | 2018-02-22 | 2019-08-22 | Beckman Coulter, Inc. | Time slicing massive data processing |
KR102592071B1 (ko) * | 2018-06-06 | 2023-10-19 | 지멘스 악티엔게젤샤프트 | 수치 시계열 데이터에서 범위 검색을 수행하기 위한 방법 및 컴퓨터화된 디바이스 |
US10685283B2 (en) | 2018-06-26 | 2020-06-16 | Sas Institute Inc. | Demand classification based pipeline system for time-series data forecasting |
US10560313B2 (en) | 2018-06-26 | 2020-02-11 | Sas Institute Inc. | Pipeline system for time-series data forecasting |
US11026151B2 (en) | 2018-07-24 | 2021-06-01 | Hewlett Packard Enterprise Development Lp | Determining top N devices for labels |
CN109165217A (zh) * | 2018-08-03 | 2019-01-08 | 北京涛思数据科技有限公司 | 一种时序数据的高效存储方法 |
CN109164980B (zh) * | 2018-08-03 | 2024-02-02 | 北京涛思数据科技有限公司 | 一种时序数据的聚合优化处理方法 |
KR102075540B1 (ko) | 2018-08-17 | 2020-02-10 | 주식회사 마크베이스 | 센서 태그 데이터의 실시간 생성 및 검색 장치 |
JP7188949B2 (ja) * | 2018-09-20 | 2022-12-13 | 株式会社Screenホールディングス | データ処理方法およびデータ処理プログラム |
US11580164B1 (en) * | 2018-11-09 | 2023-02-14 | Palantir Technologies Inc. | Ontology-based time series visualization and analysis |
US11126597B2 (en) * | 2019-01-17 | 2021-09-21 | Servicenow, Inc. | Efficient database table rotation and upgrade |
US11222077B1 (en) | 2019-03-22 | 2022-01-11 | Palantir Technologies Inc. | Chart-based time series model user interface |
JP6702582B2 (ja) * | 2019-05-09 | 2020-06-03 | 株式会社東芝 | データベース管理システムおよびデータベース管理方法 |
US11042459B2 (en) * | 2019-05-10 | 2021-06-22 | Silicon Motion Technology (Hong Kong) Limited | Method and computer storage node of shared storage system for abnormal behavior detection/analysis |
US11863589B2 (en) | 2019-06-07 | 2024-01-02 | Ei Electronics Llc | Enterprise security in meters |
US11397752B1 (en) * | 2019-06-27 | 2022-07-26 | Amazon Technologies, Inc. | In-memory ingestion for highly available distributed time-series databases |
US10936562B2 (en) | 2019-08-02 | 2021-03-02 | Timescale, Inc. | Type-specific compression in database systems |
CN111078755B (zh) * | 2019-12-19 | 2023-07-28 | 远景智能国际私人投资有限公司 | 时序数据的存储查询方法、装置、服务器及存储介质 |
CN112964286B (zh) * | 2021-02-02 | 2023-10-31 | 珠海美佳音科技有限公司 | 数据标记方法、温湿度记录仪及存储介质 |
KR102457964B1 (ko) * | 2021-02-18 | 2022-10-24 | 한국전자기술연구원 | 파편적 데이터 검색 장치 및 방법 |
KR102457965B1 (ko) * | 2021-02-18 | 2022-10-24 | 한국전자기술연구원 | 파편적 데이터 통합 장치 및 방법 |
CN113656397A (zh) * | 2021-07-02 | 2021-11-16 | 阿里巴巴新加坡控股有限公司 | 一种针对时序数据的索引构建及查询的方法、装置 |
US11995084B1 (en) | 2023-10-05 | 2024-05-28 | Timescale, Inc. | Database system for querying time-series data stored in a tiered storage using a cloud platform |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10320400A (ja) * | 1997-05-16 | 1998-12-04 | Hitachi Ltd | 映像の検索方法および装置 |
JP2000222439A (ja) * | 1999-02-01 | 2000-08-11 | Hyundai Electronics Ind Co Ltd | ツリ―構造の動映像索引記述子を用いる検索装置及びその方法 |
JP2001243236A (ja) * | 2000-02-28 | 2001-09-07 | Nippon Telegr & Teleph Corp <Ntt> | 映像特徴抽出方法、映像特徴抽出装置、映像検索方法、映像検索装置、およびそのプログラムを記録した記録媒体 |
CN101562890A (zh) * | 2008-04-18 | 2009-10-21 | ***通信集团公司 | 接纳控制及确定资源分配优先级的方法、相关设备 |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5313560A (en) * | 1990-05-11 | 1994-05-17 | Hitachi, Ltd. | Method for determining a supplemental transaction changing a decided transaction to satisfy a target |
US5418943A (en) * | 1991-10-23 | 1995-05-23 | At&T Corp. | Information system with knowledge base and data base |
DE69523423T2 (de) * | 1994-12-16 | 2002-06-27 | Canon Kk | Anzeigeverfahren von hierarchischen Daten und Informationssystem zur Durchführung |
JP3302522B2 (ja) * | 1994-12-26 | 2002-07-15 | 富士通株式会社 | データベースシステムおよびその情報活用支援装置 |
US5664174A (en) * | 1995-05-09 | 1997-09-02 | International Business Machines Corporation | System and method for discovering similar time sequences in databases |
JPH10143403A (ja) * | 1996-11-12 | 1998-05-29 | Fujitsu Ltd | 情報管理装置および情報管理プログラム記憶媒体 |
GB2347007B (en) * | 1998-12-10 | 2001-02-14 | Nippon Telegraph & Telephone | Learning control information generation method,apparatus and computer readable medium storing learning control information generation program |
US6149894A (en) * | 1999-05-14 | 2000-11-21 | Colgate Palmolive Company | Method for the manufacture of toothpaste |
JP3851493B2 (ja) * | 2000-06-12 | 2006-11-29 | 株式会社日立製作所 | データベース検索方法及びデータベース検索システム並びにデータベース検索プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP4162183B2 (ja) * | 2001-11-12 | 2008-10-08 | 株式会社日立製作所 | データベース管理システムの静的な情報を取得する手段を有する記憶装置 |
JPWO2004025955A1 (ja) * | 2002-08-30 | 2006-01-12 | パイオニア株式会社 | 情報生成装置、情報再生装置及び情報記録装置 |
EP1586057A2 (en) * | 2003-01-15 | 2005-10-19 | Luke Leonard Martin Porter | Time in databases and applications of databases |
JP2005063385A (ja) | 2003-08-20 | 2005-03-10 | Kobe Steel Ltd | 監視方法及び監視装置、並びにプログラム |
US20050060317A1 (en) * | 2003-09-12 | 2005-03-17 | Lott Christopher Martin | Method and system for the specification of interface definitions and business rules and automatic generation of message validation and transformation software |
JP4398777B2 (ja) * | 2004-04-28 | 2010-01-13 | 株式会社東芝 | 時系列データ分析装置および方法 |
JP4683546B2 (ja) * | 2005-07-15 | 2011-05-18 | 国立大学法人 東京大学 | データベースの再編成方法及びデータベース再編成システム |
US7970742B2 (en) * | 2005-12-01 | 2011-06-28 | Oracle International Corporation | Techniques for implementing indexes on columns in database tables whose values specify periods of time |
US7979439B1 (en) * | 2006-03-14 | 2011-07-12 | Amazon Technologies, Inc. | Method and system for collecting and analyzing time-series data |
CN102831214B (zh) * | 2006-10-05 | 2017-05-10 | 斯普兰克公司 | 时间序列搜索引擎 |
US7516128B2 (en) * | 2006-11-14 | 2009-04-07 | International Business Machines Corporation | Method for cleansing sequence-based data at query time |
JP4933222B2 (ja) * | 2006-11-15 | 2012-05-16 | 株式会社日立製作所 | インデックス処理方法及び計算機システム |
US20080120309A1 (en) * | 2006-11-17 | 2008-05-22 | Microsoft Corporation | Storing, maintaining and locating information |
US20080120346A1 (en) * | 2006-11-22 | 2008-05-22 | Anindya Neogi | Purging of stored timeseries data |
US8260783B2 (en) * | 2007-02-27 | 2012-09-04 | Siemens Aktiengesellschaft | Storage of multiple, related time-series data streams |
US7962437B2 (en) * | 2007-11-16 | 2011-06-14 | International Business Machines Corporation | Data comparison using different time periods in data sequences |
US7765346B2 (en) * | 2007-12-14 | 2010-07-27 | Bmc Software, Inc. | Dynamic compression of systems management data |
US8078394B2 (en) * | 2008-02-26 | 2011-12-13 | Microsoft Corp. | Indexing large-scale GPS tracks |
US9245000B2 (en) * | 2008-08-05 | 2016-01-26 | Vmware, Inc. | Methods for the cyclical pattern determination of time-series data using a clustering approach |
US8423493B2 (en) * | 2009-06-29 | 2013-04-16 | Siemens Corporation | Condition monitoring with automatically generated error templates from log messages and sensor trends based on time semi-intervals |
US20110218978A1 (en) * | 2010-02-22 | 2011-09-08 | Vertica Systems, Inc. | Operating on time sequences of data |
JP5423553B2 (ja) * | 2010-04-09 | 2014-02-19 | 株式会社日立製作所 | データベース管理方法、計算機、センサネットワークシステム及びデータベース検索プログラム |
JP5527027B2 (ja) * | 2010-06-04 | 2014-06-18 | 富士通株式会社 | スキーマ定義生成装置、スキーマ定義生成方法およびスキーマ定義生成プログラム |
JP5601066B2 (ja) * | 2010-07-23 | 2014-10-08 | 富士通株式会社 | 情報統合プログラム、装置及び方法 |
WO2012109771A1 (en) * | 2011-02-18 | 2012-08-23 | Hewlett-Packard Development Company, L. P. | Generating test data |
US20120262472A1 (en) * | 2011-04-13 | 2012-10-18 | Honeywell International Inc. | Heatmap timeline for visualization of time series data |
US20130013605A1 (en) * | 2011-07-08 | 2013-01-10 | Stanfill Craig W | Managing Storage of Data for Range-Based Searching |
CN103324642B (zh) * | 2012-03-23 | 2016-12-14 | 日电(中国)有限公司 | 为数据建立索引的***和方法以及数据查询方法 |
WO2014002175A1 (ja) * | 2012-06-26 | 2014-01-03 | 東芝三菱電機産業システム株式会社 | データ管理装置、データ管理方法、及びデータ管理プログラム |
US9087306B2 (en) * | 2012-07-13 | 2015-07-21 | Sas Institute Inc. | Computer-implemented systems and methods for time series exploration |
-
2010
- 2010-05-14 WO PCT/JP2010/058167 patent/WO2011142026A1/ja active Application Filing
- 2010-05-14 JP JP2012514653A patent/JP5503737B2/ja not_active Expired - Fee Related
- 2010-05-14 CN CN201080066399.3A patent/CN102859517B/zh not_active Expired - Fee Related
- 2010-05-14 US US13/643,019 patent/US9298854B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10320400A (ja) * | 1997-05-16 | 1998-12-04 | Hitachi Ltd | 映像の検索方法および装置 |
JP2000222439A (ja) * | 1999-02-01 | 2000-08-11 | Hyundai Electronics Ind Co Ltd | ツリ―構造の動映像索引記述子を用いる検索装置及びその方法 |
JP2001243236A (ja) * | 2000-02-28 | 2001-09-07 | Nippon Telegr & Teleph Corp <Ntt> | 映像特徴抽出方法、映像特徴抽出装置、映像検索方法、映像検索装置、およびそのプログラムを記録した記録媒体 |
CN101562890A (zh) * | 2008-04-18 | 2009-10-21 | ***通信集团公司 | 接纳控制及确定资源分配优先级的方法、相关设备 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103488727B (zh) * | 2013-09-16 | 2017-05-03 | 河海大学 | 基于周期对数的二维时序数据存储和查询方法 |
CN103488727A (zh) * | 2013-09-16 | 2014-01-01 | 河海大学 | 基于周期对数的二维时序数据存储和查询方法 |
CN105900092A (zh) * | 2014-03-26 | 2016-08-24 | 株式会社日立制作所 | 时序数据管理方法以及时序数据管理*** |
CN105900092B (zh) * | 2014-03-26 | 2019-05-14 | 株式会社日立制作所 | 时序数据管理方法以及时序数据管理*** |
CN106777111A (zh) * | 2016-12-15 | 2017-05-31 | 华南师范大学 | 一种超大规模数据的时序检索索引***及方法 |
US11599071B2 (en) | 2018-03-29 | 2023-03-07 | Johnson Controls Tyco IP Holdings LLP | Systems and methods for adaptively tuning thresholds for fault detection in buildings |
CN110320885A (zh) * | 2018-03-29 | 2019-10-11 | 江森自控科技公司 | 用于自适应地调节建筑物中故障检测的阈值的***和方法 |
CN110320885B (zh) * | 2018-03-29 | 2023-09-05 | 江森自控泰科知识产权控股有限责任合伙公司 | 用于自适应地调节建筑物中故障检测的阈值的***和方法 |
CN112514353A (zh) * | 2018-08-26 | 2021-03-16 | It空间株式会社 | 一种食品冷冻容器 |
CN110958212A (zh) * | 2018-09-27 | 2020-04-03 | 阿里巴巴集团控股有限公司 | 一种数据压缩、数据解压缩方法、装置及设备 |
CN110958212B (zh) * | 2018-09-27 | 2022-04-12 | 阿里巴巴集团控股有限公司 | 一种数据压缩、数据解压缩方法、装置及设备 |
JPWO2021090356A1 (zh) * | 2019-11-05 | 2021-05-14 | ||
CN114297227A (zh) * | 2021-12-24 | 2022-04-08 | 成都索贝数码科技股份有限公司 | 时序数据库的架构方法、查询方法和时序数据库 |
Also Published As
Publication number | Publication date |
---|---|
WO2011142026A1 (ja) | 2011-11-17 |
JPWO2011142026A1 (ja) | 2013-07-22 |
US9298854B2 (en) | 2016-03-29 |
US20130103657A1 (en) | 2013-04-25 |
JP5503737B2 (ja) | 2014-05-28 |
CN102859517B (zh) | 2016-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102859517A (zh) | 时序数据管理装置、***、方法以及程序 | |
Etienne et al. | Model-based count series clustering for bike sharing system usage mining: a case study with the Vélib’system of Paris | |
EP1490769B1 (en) | Method and apparatus for compressing log record information | |
CN112699175A (zh) | 一种数据治理***及其方法 | |
US20100287146A1 (en) | System and method for change analytics based forecast and query optimization and impact identification in a variance-based forecasting system with visualization | |
CN1959724B (zh) | 泛在计算环境中工作流上下文信息的获取方法和*** | |
CN104462167B (zh) | 数据分析辅助*** | |
CN103154928A (zh) | 用于处理非参数化的多维的空间和时间人类行为或普遍测量的技术观测数据的网络服务器装配及其相关方法 | |
AU2014100876A4 (en) | Methods, apparatus and systems for data visualisation and related applications | |
CN102937965A (zh) | 一种基于数据模型的元***设计方法 | |
CN109903097A (zh) | 一种用户画像构建方法以及用户画像构建装置 | |
CN102346744B (zh) | 用于在多租户应用***中处理物化表的装置 | |
CN109214730A (zh) | 信息推送方法和装置 | |
CN113722383A (zh) | 一种基于时序情报调查装置及方法 | |
Bora | Data mining and ware housing | |
Zapilko et al. | Performing statistical methods on linked data | |
CN103473305A (zh) | 一种在统计分析中进行决策流程展示的方法及*** | |
CN102075896A (zh) | 一种资费预演方法和*** | |
CN104731804B (zh) | 一种建立通用查询框架的方法及装置 | |
US20120025955A1 (en) | Event processing apparatus and methods | |
CN103309929A (zh) | 存储和检索数据的方法和*** | |
CN115098029A (zh) | 数据处理方法及装置 | |
CN109815244A (zh) | 一种数据处理方法和装置 | |
CN109213909A (zh) | 一种融合搜索与计算的大数据分析***及其分析方法 | |
CN101566987A (zh) | 二次信息资源数据库***及其资源处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160706 Termination date: 20180514 |