CN116244106A - 一种民航数据的数据检测方法、存储介质及电子设备 - Google Patents
一种民航数据的数据检测方法、存储介质及电子设备 Download PDFInfo
- Publication number
- CN116244106A CN116244106A CN202310289206.XA CN202310289206A CN116244106A CN 116244106 A CN116244106 A CN 116244106A CN 202310289206 A CN202310289206 A CN 202310289206A CN 116244106 A CN116244106 A CN 116244106A
- Authority
- CN
- China
- Prior art keywords
- field
- sqr2
- target
- field content
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 33
- 229920000535 Tan II Polymers 0.000 claims description 22
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 101150009293 GAR1 gene Proteins 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0736—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in functional embedded systems, i.e. in a data processing system designed as a combination of hardware and software dedicated to performing a certain function
- G06F11/0739—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in functional embedded systems, i.e. in a data processing system designed as a combination of hardware and software dedicated to performing a certain function in a data processing system embedded in automotive or aircraft systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据处理领域,特别是涉及一种民航数据的数据检测方法、存储介质及电子设备,该方法包括:若目标字段内容与第一字段内容组B1中的任一相同,则将目标字段内容确定为正常字段内容;B1通过以下方法确定:获取历史字段内容组A,A中的ai为目标标识对应的第i个历史事件的事件数据中与目标字段名对应的历史字段内容;获取预设字段内容组B,B中的bj为目标字段名对应的第j个预设字段内容;ai∈B;获取hj=pj/n,pj为A中与bj相同的历史字段内容的数量,n为A中的历史字段内容的数量;若hj≥Q1,则将bj作为第一字段内容,以得到B1。由此,可以提高对目标字段内容进行数据检测的准确率。
Description
技术领域
本发明涉及数据处理领域,特别是涉及一种民航数据的数据检测方法、存储介质及电子设备。
背景技术
随着经济的不断发展,越来越多的人会选择坐飞机作为出行方式,进而几乎每天都会产生大量的民航数据。
为了尽量保证民航数据的数据可靠性,在产生民航数据以后一般会对其进行数据检测,在对任一待检测数据进行数据检测的过程中,一般会确定历史数据中是否存在待检测数据中的每一子数据;其中,历史数据为在待检测数据之前产生的数据,且历史数据和待检测数据均为同一航司的数据;基于此,若历史数据中存在待检测数据中的任一子数据,则该子数据大概率为正常子数据;反之,该子数据大概率为异常子数据。
但是,若历史数据中存在异常的数据,则会出现即使待检测数据的任一子数据为异常子数据,但历史数据中仍存在该子数据的情况,此时该子数据会被误判为正常子数据,因此,对待检测数据进行数据检测的准确率较低。
发明内容
针对上述技术问题,本发明采用的技术方案为:
根据本发明的一方面,提供了一种民航数据的数据检测方法,该数据检测方法包括以下步骤:
S100,在目标标识对应的目标事件的事件数据中,将与目标字段名对应的字段内容作为目标字段内容;目标事件的事件数据包括若干字段名和每一字段名对应的字段内容,目标字段名为任一字段名。
S200,确定目标字段内容是否与第一字段内容组B1中的任一第一字段内容相同;若是,则将目标字段内容确定为正常字段内容。
第一字段内容组B1通过以下方法确定:
S210,获取目标字段名对应的历史字段内容组A=(a1,a2,...,ai,...,an),i=1,2,...,n;其中,ai为目标标识对应的第i个历史事件的事件数据中与目标字段名对应的历史字段内容,n为目标标识对应的历史事件的数量;每一历史事件的事件结束时间均在目标事件的事件执行时间之前;历史事件的事件数据包括每一字段名和每一字段名对应的历史字段内容;目标字段名具有对应的预设字段内容组B=(b1,b2,...,bj,...,bm),j=1,2,...,m;其中,bj为目标字段名对应的第j个预设字段内容,m为目标字段名对应的预设字段内容的数量;ai∈B。
S220,根据A和B,获取第一优先级组H=(h1,h2,...,hj,...,hm);其中,hj为H中的第j个第一优先级,hj=pj/n,pj为a1、a2、...、ai、...、an中与bj相同的历史字段内容的数量。
S230,若hj大于或等于第一阈值Q1,则将bj作为第一字段内容,以得到第一字段内容组B1=(b1 1,b2 1,...,bk 1,...,bq 1),k=1,2,...,q;其中,bk 1为B1中的第k个第一字段内容,q为B1中的第一字段内容的数量;q≤m。
根据本发明的另一方面,还提供了一种非瞬时性计算机可读存储介质,存储介质中存储有至少一条指令或至少一段程序,至少一条指令或至少一段程序由处理器加载并执行以实现上述民航数据的数据检测方法。
根据本发明的另一方面,还提供了一种电子设备,包括处理器和上述非瞬时性计算机可读存储介质。
本发明至少具有以下有益效果:
本发明中在每一历史事件的事件数据中,确定出目标字段名对应的历史字段内容,以得到A,然后确定出H,即确定出了目标字段名对应的每一预设字段内容的第一优先级,从而得到了目标字段名对应的每一预设字段内容在A中的数量占比,再将H中大于或等于Q1的每一第一优先级对应的预设字段内容均作为第一字段内容,以得到B1,此时,B1中的每一第一字段内容的第一优先级较大,即B1中的每一第一字段内容在A中的数量占比均较大;基于此,若目标字段内容与B1中的任一第一字段内容相同,则将目标字段内容确定为正常字段内容。
相比于相关技术中,在A中包括目标字段内容时将目标字段内容确定为正常字段内容,本发明中是基于B1对目标字段内容进行检测的,由于B1中的每一第一字段内容在A中的数量占比均较大,从而每一第一字段内容均与较多的历史字段内容相同,进而可以减小任一第一字段内容为历史事件的事件数据中的异常字段内容的可能性,因此在目标字段内容与B1中的任一第一字段内容相同时将目标字段内容确定为正常字段内容是较为准确的,达到了提高对目标字段内容进行数据检测的准确率的目的。
另外,相比于相关技术中,在A中包括目标字段内容时将目标字段内容确定为正常字段内容,但由于A中较可能存在相同的历史字段内容,因此较可能存在将目标字段内容与相同的历史字段内容进行对比的情况,较为浪费计算资源,本发明中是采用基于B1对目标字段内容进行检测的数据检测方法,由于B1中的任意两个第一字段内容均不同,因此基本上不会出现将目标字段内容与相同的第一字段内容进行对比的情况,可以节省计算资源,还可以提高进行数据检测的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的民航数据的数据检测方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种民航数据的数据检测方法,其中,该方法可以由以下任意一项或其任意组合完成:终端、服务器、其他具备处理能力的设备,本发明实施例对此不作限定。
本发明实施例以服务器为例,下面将参照图1所示的民航数据的数据检测方法的流程图,对民航数据的数据检测方法进行介绍。
该数据检测方法包括以下步骤:
S100,在目标标识对应的目标事件的事件数据中,将与目标字段名对应的字段内容作为目标字段内容。
其中,目标事件的事件数据包括若干字段名和每一字段名对应的字段内容,目标字段名为任一字段名。
具体的,目标标识为目标航司的标识。目标事件为任一已执行且已结束的飞行任务、任一已执行但未结束的飞行任务或任一处于计划中的未执行的飞行任务,本发明实施例对此不作限定。
示例性的,目标字段名为行李转盘对应的标识luggage,且在目标事件的事件数据中,字段名为luggage的字段中的字段内容为A,说明目标事件对应的行李转盘是编号为A的行李转盘;基于此,目标字段内容为A。
S200,确定目标字段内容是否与第一字段内容组B1中的任一第一字段内容相同;若是,则将目标字段内容确定为正常字段内容。
其中,第一字段内容组B1通过以下方法确定:
S210,获取目标字段名对应的历史字段内容组A=(a1,a2,...,ai,...,an),i=1,2,...,n。
其中,ai为目标标识对应的第i个历史事件的事件数据中与目标字段名对应的历史字段内容,n为目标标识对应的历史事件的数量;每一历史事件的事件结束时间均在目标事件的事件执行时间之前;历史事件的事件数据包括每一字段名和每一字段名对应的历史字段内容。目标字段名具有对应的预设字段内容组B=(b1,b2,...,bj,...,bm),j=1,2,...,m;其中,bj为目标字段名对应的第j个预设字段内容,m为目标字段名对应的预设字段内容的数量;ai∈B。
具体的,事件结束时间为飞机降落时间,事件执行事件为飞机起飞时间,历史事件为在目标事件之前已执行且已结束的飞行任务。
示例性的,目标字段名为行李转盘对应的标识luggage,目标事件和历史事件对应的机场中包括编号分别为A、B、C和D的4个行李转盘,基于此,luggage对应的预设字段内容组B=(A,B,C,D),且A、B、C和D均为luggage对应的预设字段内容。对应的,ai为A、B、C、D中的任一。
S220,根据A和B,获取第一优先级组H=(h1,h2,...,hj,...,hm)。
其中,hj为H中的第j个第一优先级,hj=pj/n,pj为a1、a2、...、ai、...、an中与bj相同的历史字段内容的数量。
S230,若hj大于或等于第一阈值Q1,则将bj作为第一字段内容,以得到第一字段内容组B1=(b1 1,b2 1,...,bk 1,...,bq 1),k=1,2,...,q。
其中,bk 1为B1中的第k个第一字段内容,q为B1中的第一字段内容的数量;q≤m。
由此可知,本发明中在每一历史事件的事件数据中,确定出目标字段名对应的历史字段内容,以得到A,然后确定出H,即确定出了目标字段名对应的每一预设字段内容的第一优先级,从而得到了目标字段名对应的每一预设字段内容在A中的数量占比,再将H中大于或等于Q1的每一第一优先级对应的预设字段内容均作为第一字段内容,以得到B1,此时,B1中的每一第一字段内容的第一优先级较大,即B1中的每一第一字段内容在A中的数量占比均较大;基于此,若目标字段内容与B1中的任一第一字段内容相同,则将目标字段内容确定为正常字段内容。
相比于相关技术中,在A中包括目标字段内容时将目标字段内容确定为正常字段内容,本发明中是基于B1对目标字段内容进行检测的,由于B1中的每一第一字段内容在A中的数量占比均较大,从而每一第一字段内容均与较多的历史字段内容相同,进而可以减小任一第一字段内容为历史事件的事件数据中的异常字段内容的可能性,因此在目标字段内容与B1中的任一第一字段内容相同时将目标字段内容确定为正常字段内容是较为准确的,达到了提高对目标字段内容进行数据检测的准确率的目的。
另外,相比于相关技术中,在A中包括目标字段内容时将目标字段内容确定为正常字段内容,但由于A中较可能存在相同的历史字段内容,因此较可能存在将目标字段内容与相同的历史字段内容进行对比的情况,较为浪费计算资源,本发明中是采用基于B1对目标字段内容进行检测的数据检测方法,由于B1中的任意两个第一字段内容均不同,因此基本上不会出现将目标字段内容与相同的第一字段内容进行对比的情况,可以节省计算资源,还可以提高进行数据检测的效率。
可选的,步骤S200包括以下步骤:
S201,确定目标字段内容是否与第一字段内容组B1中的任一第一字段内容相同;若是,则将目标字段内容确定为正常字段内容;否则,进入步骤S300。
基于此,该数据检测方法还包括以下步骤:
S300,确定目标字段内容是否与第二字段内容组B2中的任一第二字段内容相同;若是,则将目标字段内容确定为正常字段内容。
其中,在步骤S220之后,第二字段内容组B2通过以下方法确定:
S310,若hj小于第一阈值Q1,则将bj作为第三字段内容,以得到第三字段内容组B3=(b1 3,b2 3,...,bc 3,...,bd 3),c=1,2,...,d。
其中,bc 3为B3中的第c个第三字段内容,d为B3中的第三字段内容的数量;d≤m。
S320,若bc 3满足预设的先验条件,则将bc 3作为第二字段内容,以得到第二字段内容组B2=(b1 2,b2 2,...,be 2,...,bf 2),e=1,2,...,f。
其中,先验条件为对应的字段内容是可信数据,be 2为B2中的第e个第二字段内容,f为B2中的第二字段内容的数量;f≤d。
由此可知,本发明中在确定出H后,再将H中小于Q1的每一第一优先级对应的预设字段内容均作为第三字段内容,以得到B3,此时,B3中的每一第三字段内容的第一优先级较小,即B3中的每一第三字段内容在A中的数量占比均较小,然后可以再根据先验条件在B3中进行筛选,得到B2;基于此,在目标字段内容与每一第二字段内容均不同的情况下,若目标字段内容与B2中的任一第二字段内容相同,则仍可以将目标字段内容确定为正常字段内容。相比于若任一预设字段内容在A中的数量占比较小,则与该预设字段内容相同的目标字段内容是否为正常字段内容是不确定的,本发明中若任一预设字段内容满足先验条件,即该预设字段内容为可信数据,则即使该预设字段内容在A中的数量占比较小,仍可以将与该预设字段内容相同的目标字段内容确定为正常字段内容,可以提高对目标字段内容进行数据检测的准确率。
可选的,步骤S320包括以下步骤:
S321,若bc 3为预设的若干可信字段内容中的任一,则将bc 3作为第二字段内容,以得到第二字段内容组B2=(b1 2,b2 2,...,be 2,...,bf 2),e=1,2,...,f。
上述步骤S321的一种具体的实施方式可以为,在服务器得到B3后,服务器可以从预设存储空间中获取机场工作人员输入的与目标标识和目标字段名均对应的可信字段内容,然后,若bc 3为预设的若干可信字段内容中的任一,则将bc 3作为第二字段内容,以得到B2。其中,预设存储空间可以为服务器内的存储空间或服务器以外的其他设备内的存储空间。
可选的,步骤S300包括以下步骤:
S301,确定目标字段内容是否与第二字段内容组B2中的任一第二字段内容相同;若是,则将目标字段内容确定为正常字段内容;否则,进入步骤S400。
基于此,该数据检测方法还包括以下步骤:
S400,确定目标字段内容是否与第四字段内容组B4中的任一第四字段内容相同;若是,则将目标字段内容确定为正常字段内容。
其中,在步骤S320之后,第四字段内容组B4通过以下方法确定:
其中,be 5为B5中的第var个第五字段内容,amo为B2中的第五字段内容的数量;amo≤m。
S420,若ai对应的第一目标物标识与第二目标物标识相同,则将ai作为目标历史字段内容,以得到目标历史字段内容组A1=(a1 1,a2 1,...,acha 1,...,acin 1),cha=1,2,...,cin。
其中,第一目标物标识为执行其对应的历史事件的目标物的标识,第二目标物标识为执行目标事件的目标物的标识;acha 1为A1中的第cha个目标历史字段内容,cin为A1中的目标历史字段内容的数量。
具体的,在一种可能的实施方式中,目标物为飞机,第一目标物标识和第二目标物标识可以均为对应的目标物的编号,第一目标物标识和第二目标物标识还可以均为对应的目标物对应的航班号,本发明实施例对此不作限定。
S430,根据A1和B,获取第二优先级组H1=(h1 1,h2 1,...,hj 1,...,hm 1)。
其中,hj 1为H1中的第j个第二优先级,hj 1=pj 1/cin,pj 1为a1 1、a2 1、...、acha 1、...、acin 1中与bj相同的历史字段内容的数量。
S230,若hj 1大于或等于第二阈值Q2,则将bj作为第四字段内容,以得到第四字段内容组B4=(b1 4,b2 4,...,bstr 4,...,bcon 4),str=1,2,...,con。
其中,bstr 4为B4中的第str个第四字段内容,con为B6中的第四字段内容的数量;con≤m。
具体的,0.4≤Q2≤0.7,优选的,Q2=0.5。
由此可知,本发明中在目标字段内容与第二字段内容组B2中的每一第二字段内容均不同的情况下,可以确定目标字段内容是否与B4中的任一第四字段内容相同;若是,则将目标字段内容确定为正常字段内容。由于B4中的每一第四字段内容虽然在A中的数量占比较小,但是在A1中的数量占比较大,由于A1中的每一目标历史字段内容对应的事件对应的目标物的标识均相同,因此可以说明B4中的每一第四字段内容为错误数据的可能性较小,进而可以减小将与任一第四字段内容相同的目标字段内容确定为异常字段内容的可能性,达到了提高对目标字段内容进行数据检测的准确率的目的。
在一种可能的实施方式中,上述第一阈值Q1通过以下方法确定:
S231,获取预设字段内容列表T=(t1,t2,...,tsqr1,...,ttan1),tsqr1=(tsqr1 1,tsqr1 2,...,tsqr1 por1,...,tsqr1 L1(sqr1)),sqr1=1,2,...,tan1,por1=1,2,...,L1(sqr1)。
其中,tsqr1为第sqr1个字段名对应的预设字段内容组,tan1为字段名的数量,tsqr1 por1为第sqr1个字段名对应的第por1个预设字段内容,L1(sqr1)为第sqr1个字段名对应的预设字段内容的数量;B为t1、t2、...、tsqr、...、ttan中的任一。
S232,若L1(sqr1)=m,则将tsqr1作为目标预设字段内容组,并将tsqr1中的每一预设字段内容均作为目标预设字段内容,以得到目标预设字段内容列表T1=(t11,t12,...,t1sqr2,...,t1tan2),t1sqr2=(t1sqr2 1,t1sqr2 2,...,t1sqr2 por2,...,t1sqr2 L2(sqr2)),sqr2=1,2,...,tan2,por2=1,2,...,L2(sqr2)。
其中,t1sqr2为T1中的第sqr2个目标预设字段内容组,tan2为T1中的目标预设字段内容组的数量,t1sqr2 por2为t1sqr2中的第por2个目标预设字段内容,L2(sqr2)为t1sqr2中的目标预设字段内容的数量。
S233,获取历史字段内容列表KE=(ke1,ke2,...,kesqr2,...,ketan2),
kesqr2=(kesqr2 1,kesqr2 2,...,kesqr2 i,...,kesqr2 n)。
其中,kesqr2为KE中的第sqr2个历史字段内容组,kesqr2 i为目标标识对应的第i个历史事件的事件数据中,t1sqr2对应的字段名对应的历史字段内容;A为ke1、ke2、...、kesqr2、...、ketan2中的任一。
S234,根据T1和KE,获取待处理优先级列表LEV=(lev1,lev2,...,levsqr2,...,levtan2),
levsqr2=(levsqr2 1,levsqr2 2,...,levsqr2 por2,...,levsqr2 L2(sqr2))。
其中,levsqr2为LEV中的第sqr2个待处理优先级组,levsqr2 por2为levsqr2中的第por个待处理优先级;levsqr2 por2=gar1sqr2 por2/n,gar1sqr2 por2为kesqr2 1、kesqr2 2、...、kesqr2 i、...、kesqr2 n中与t1sqr2 por2相同的历史字段内容的数量。
S235,根据LEV,获取平均优先级组AVE=(ave1,ave2,...,avesqr2,...,avetan2)。
其中,avesqr2为levsqr2对应的平均优先级,avesqr2=[∑por2=1 L2(sqr2)(levsqr2 por2)]/[L2(sqr2)]。
S236,若AVE对应的数据关联特征值M小于或等于预设阈值,则Q1等于目标平均优先级ave0。
其中,M=[∑sqr2=1 tan2(avesqr2-ave0)2]/tan2,ave0=[∑sqr2=1 tan2(avesqr2)]/tan2。
由此可知,Q1可以根据目标字段名对应的预设字段内容的数量,在T中确定出若干目标预设字段内容组,以得到T1,再基于T1可以得到Q1。T1中的每一目标预设字段内容组中包括的目标预设字段内容的数量均相同,相比于基于维度不同的预设字段内容组确定出Q1,基于维度相同的目标预设字段内容组确定出的Q1较为合理,从而小于Q1的B1为异常数据的可能性较小,进而对与B1中的任一第一字段内容相同的目标字段内容进行检测的检测结果准确率较高,达到了提高对目标字段内容进行数据检测的准确率的目的。
可选的,在步骤S235之后,第一阈值Q1还通过以下方法确定:
S237,若AVE对应的数据关联特征值M大于预设阈值,则Q1等于目标标识对应的预设目标阈值。其中,预设阈值大于或等于0.01,且预设阈值小于或等于0.15,优选的,预设阈值等于0.01
在另一种可能的实施方式中,Q1为预设值pres,可选的,0.005≤pres≤0.1,优选的,pres=0.01。
由此可知,相比于上述步骤S231至步骤S237,本发明中的Q1可以直接采用预设值pres,无需计算,以节省计算资源。
可选的,步骤S400包括以下步骤:
S401,确定目标字段内容是否与第四字段内容组B4中的任一第四字段内容相同;若是,则将目标字段内容确定为正常字段内容;否则,将目标字段内容确定为异常字段内容。
可选的,目标字段名为事件执行时间、事件结束时间、关联事件执行位置或目标物型号对应的标识。
具体的,事件执行时间为飞机起飞时间,事件结束时间为飞机降落时间;基于此,示例性的,事件执行时间对应的标识可以为fly-start,事件结束时间对应的标识可以为fly-stop。
当目标字段名为事件执行时间或事件结束时间对应的标识时,目标字段名对应的预设字段内容可以根据该时间所在的时间段确定,例如,当目标字段名为事件执行时间对应的标识时,则目标字段名对应的预设字段内容为01、02或03,目标字段名对应的预设字段内容为01用于表示对应的事件执行时间在当天的0-8点之间或8点,目标字段名对应的预设字段内容为02用于表示对应的事件执行时间在当天的8-16点之间或16点,目标字段名对应的预设字段内容为03用于表示对应的事件执行时间在当天的16-24点之间或24点。
关联事件为登机、下机后取行李、值机或停机等事件;基于此,示例性的,关联事件执行位置对应的标识可以为board、luggage、check或cease等,其中,目标字段名board对应的预设字段内容为具体的登机口编号,目标字段名luggage对应的预设字段内容为具体的行李转盘编号、目标字段名check对应的预设字段内容为具体的值机柜台编号,目标字段名cease对应的预设字段内容为具体的停机位编号。
目标物型号为飞机型号,目标物型号对应的标识可以为表示飞机型号的标识,例如,目标物型号对应的标识可以为number,其中,目标字段名number对应的预设字段内容为具体的飞机型号。
本发明的实施例还提供了一种非瞬时性计算机可读存储介质,该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。
本发明的实施例还提供了一种电子设备,包括处理器和前述的非瞬时性计算机可读存储介质。
本发明的实施例还提供一种计算机程序产品,其包括程序代码,当程序产品在电子设备上运行时,程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员还应理解,可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明公开的范围由所附权利要求来限定。
Claims (10)
1.一种民航数据的数据检测方法,其特征在于,所述数据检测方法包括以下步骤:
S100,在目标标识对应的目标事件的事件数据中,将与目标字段名对应的字段内容作为目标字段内容;所述目标事件的事件数据包括若干字段名和每一所述字段名对应的字段内容,所述目标字段名为任一所述字段名;
S200,确定所述目标字段内容是否与第一字段内容组B1中的任一第一字段内容相同;若是,则将所述目标字段内容确定为正常字段内容;
所述第一字段内容组B1通过以下方法确定:
S210,获取所述目标字段名对应的历史字段内容组A=(a1,a2,...,ai,...,an),i=1,2,...,n;其中,ai为所述目标标识对应的第i个历史事件的事件数据中与所述目标字段名对应的历史字段内容,n为所述目标标识对应的历史事件的数量;每一所述历史事件的事件结束时间均在所述目标事件的事件执行时间之前;所述历史事件的事件数据包括每一所述字段名和每一所述字段名对应的历史字段内容;所述目标字段名具有对应的预设字段内容组B=(b1,b2,...,bj,...,bm),j=1,2,...,m;其中,bj为所述目标字段名对应的第j个预设字段内容,m为所述目标字段名对应的预设字段内容的数量;ai∈B;
S220,根据A和B,获取第一优先级组H=(h1,h2,...,hj,...,hm);其中,hj为H中的第j个第一优先级,hj=pj/n,pj为a1、a2、...、ai、...、an中与bj相同的历史字段内容的数量;
S230,若hj大于或等于第一阈值Q1,则将bj作为第一字段内容,以得到第一字段内容组B1=(b1 1,b2 1,...,bk 1,...,bq 1),k=1,2,...,q;其中,bk 1为B1中的第k个第一字段内容,q为B1中的第一字段内容的数量;q≤m。
2.根据权利要求1所述的数据检测方法,其特征在于,所述步骤S200包括以下步骤:
S201,确定所述目标字段内容是否与第一字段内容组B1中的任一第一字段内容相同;若是,则将所述目标字段内容确定为正常字段内容;否则,进入步骤S300;
所述数据检测方法还包括以下步骤:
S300,确定所述目标字段内容是否与第二字段内容组B2中的任一第二字段内容相同;若是,则将所述目标字段内容确定为正常字段内容;
在所述步骤S220之后,所述第二字段内容组B2通过以下方法确定:
S310,若hj小于第一阈值Q1,则将bj作为第三字段内容,以得到第三字段内容组B3=(b1 3,b2 3,...,bc 3,...,bd 3),c=1,2,...,d;其中,bc 3为B3中的第c个第三字段内容,d为B3中的第三字段内容的数量;d≤m;
S320,若bc 3满足预设的先验条件,则将bc 3作为第二字段内容,以得到第二字段内容组B2=(b1 2,b2 2,...,be 2,...,bf 2),e=1,2,...,f;其中,所述先验条件为对应的字段内容是可信数据,be 2为B2中的第e个第二字段内容,f为B2中的第二字段内容的数量;f≤d。
3.根据权利要求2所述的数据检测方法,其特征在于,所述步骤S320包括以下步骤:
S321,若bc 3为预设的若干可信字段内容中的任一,则将bc 3作为第二字段内容,以得到第二字段内容组B2=(b1 2,b2 2,...,be 2,...,bf 2),e=1,2,...,f。
4.根据权利要求2所述的数据检测方法,其特征在于,所述步骤S300包括以下步骤:
S301,确定所述目标字段内容是否与第二字段内容组B2中的任一第二字段内容相同;若是,则将所述目标字段内容确定为正常字段内容;否则,进入步骤S400;
所述数据检测方法还包括以下步骤:
S400,确定所述目标字段内容是否与第四字段内容组B4中的任一第四字段内容相同;若是,则将所述目标字段内容确定为正常字段内容;
在所述步骤S320之后,所述第四字段内容组B4通过以下方法确定:
S410,若则将bc 3作为第五字段内容,以得到第五字段内容组B5=(b1 5,b2 5,...,bvar 5,...,bamo 5),var=1,2,...,amo;其中,be 5为B5中的第var个第五字段内容,amo为B2中的第五字段内容的数量;amo≤m;
S420,若ai对应的第一目标物标识与第二目标物标识相同,则将ai作为目标历史字段内容,以得到目标历史字段内容组A1=(a1 1,a2 1,...,acha 1,...,acin 1),cha=1,2,...,cin;其中,所述第一目标物标识为执行其对应的历史事件的目标物的标识,所述第二目标物标识为执行所述目标事件的目标物的标识;acha 1为A1中的第cha个目标历史字段内容,cin为A1中的目标历史字段内容的数量;
S430,根据A1和B,获取第二优先级组H1=(h1 1,h2 1,...,hj 1,...,hm 1);其中,hj 1为H1中的第j个第二优先级,hj 1=pj 1/cin,pj 1为a1 1、a2 1、...、acha 1、...、acin 1中与bj相同的历史字段内容的数量;
S230,若hj 1大于或等于第二阈值Q2,则将bj作为第四字段内容,以得到第四字段内容组B4=(b1 4,b2 4,...,bstr 4,...,bcon 4),str=1,2,...,con;其中,bstr 4为B4中的第str个第四字段内容,con为B6中的第四字段内容的数量;con≤m。
5.根据权利要求1-4中任一项所述的数据检测方法,其特征在于,所述第一阈值Q1通过以下方法确定:
S231,获取预设字段内容列表T=(t1,t2,...,tsqr1,...,ttan1),tsqr1=(tsqr1 1,tsqr1 2,...,tsqr1 por1,...,tsqr1 L1(sqr1)),sqr1=1,2,...,tan1,por1=1,2,...,L1(sqr1);其中,tsqr1为第sqr1个字段名对应的预设字段内容组,tan1为所述字段名的数量,tsqr1 por1为第sqr1个字段名对应的第por1个预设字段内容,L1(sqr1)为第sqr1个字段名对应的预设字段内容的数量;B为t1、t2、...、tsqr、...、ttan中的任一;
S232,若L1(sqr1)=m,则将tsqr1作为目标预设字段内容组,并将tsqr1中的每一预设字段内容均作为目标预设字段内容,以得到目标预设字段内容列表T1=(t11,t12,...,t1sqr2,...,t1tan2),t1sqr2=(t1sqr2 1,t1sqr2 2,...,t1sqr2 por2,...,t1sqr2 L2(sqr2)),sqr2=1,2,...,tan2,por2=1,2,...,L2(sqr2);其中,t1sqr2为T1中的第sqr2个目标预设字段内容组,tan2为T1中的目标预设字段内容组的数量,t1sqr2 por2为t1sqr2中的第por2个目标预设字段内容,L2(sqr2)为t1sqr2中的目标预设字段内容的数量;
S233,获取历史字段内容列表KE=(ke1,ke2,...,kesqr2,...,ketan2),kesqr2=(kesqr2 1,kesqr2 2,...,kesqr2 i,...,kesqr2 n);其中,kesqr2为KE中的第sqr2个历史字段内容组,kesqr2 i为所述目标标识对应的第i个历史事件的事件数据中,t1sqr2对应的字段名对应的历史字段内容;A为ke1、ke2、...、kesqr2、...、ketan2中的任一;
S234,根据T1和KE,获取待处理优先级列表LEV=(lev1,lev2,...,levsqr2,...,levtan2),levsqr2=(levsqr2 1,levsqr2 2,...,levsqr2 por2,...,levsqr2 L2(sqr2));其中,levsqr2为LEV中的第sqr2个待处理优先级组,levsqr2 por2为levsqr2中的第por个待处理优先级;levsqr2 por2=gar1sqr2 por2/n,gar1sqr2 por2为kesqr2 1、kesqr2 2、...、kesqr2 i、...、kesqr2 n中与t1sqr2 por2相同的历史字段内容的数量;
S235,根据LEV,获取平均优先级组AVE=(ave1,ave2,...,avesqr2,...,avetan2);其中,avesqr2为levsqr2对应的平均优先级,avesqr2=[∑por2=1 L2(sqr2)(levsqr2 por2)]/[L2(sqr2)];
S236,若AVE对应的数据关联特征值M小于或等于预设阈值,则Q1等于目标平均优先级ave0;其中,M=[∑sqr2=1 tan2(avesqr2-ave0)2]/tan2,ave0=[∑sqr2=1 tan2(avesqr2)]/tan2。
6.根据权利要求5中所述的数据检测方法,其特征在于,在步骤S235之后,所述第一阈值Q1还通过以下方法确定:
S237,若AVE对应的数据关联特征值M大于所述预设阈值,则Q1等于所述目标标识对应的预设目标阈值。
7.根据权利要求4中所述的方法,其特征在于,所述步骤S400包括以下步骤:
S401,确定所述目标字段内容是否与第四字段内容组B4中的任一第四字段内容相同;若是,则将所述目标字段内容确定为正常字段内容;否则,将所述目标字段内容确定为异常字段内容。
8.根据权利要求1所述的方法,其特征在于,所述目标字段名为事件执行时间、事件结束时间、关联事件执行位置或目标物型号对应的标识。
9.一种非瞬时性计算机可读存储介质,所述存储介质中存储有至少一条指令或至少一段程序,其特征在于,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-8中任意一项的所述方法。
10.一种电子设备,其特征在于,包括处理器和权利要求9中的所述非瞬时性计算机可读存储介质。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310289206.XA CN116244106B (zh) | 2023-03-22 | 2023-03-22 | 一种民航数据的数据检测方法、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310289206.XA CN116244106B (zh) | 2023-03-22 | 2023-03-22 | 一种民航数据的数据检测方法、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116244106A true CN116244106A (zh) | 2023-06-09 |
CN116244106B CN116244106B (zh) | 2023-12-29 |
Family
ID=86635147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310289206.XA Active CN116244106B (zh) | 2023-03-22 | 2023-03-22 | 一种民航数据的数据检测方法、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116244106B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110067647A (ko) * | 2009-12-15 | 2011-06-22 | 한국과학기술원 | 이상 속성을 포함하는 데이터의 검출 방법 및 장치 |
CN106131071A (zh) * | 2016-08-26 | 2016-11-16 | 北京奇虎科技有限公司 | 一种Web异常检测方法和装置 |
CN112468520A (zh) * | 2021-01-28 | 2021-03-09 | 腾讯科技(深圳)有限公司 | 一种数据检测方法、装置、设备及可读存储介质 |
CN113472555A (zh) * | 2020-03-30 | 2021-10-01 | 华为技术有限公司 | 故障检测方法、***、装置、服务器及存储介质 |
WO2021218179A1 (zh) * | 2020-04-28 | 2021-11-04 | 平安科技(深圳)有限公司 | 异常数据查询方法、装置、计算机设备及存储介质 |
CN114329469A (zh) * | 2021-12-24 | 2022-04-12 | 奇安信科技集团股份有限公司 | Api异常调用行为检测方法、装置、设备及存储介质 |
CN115203167A (zh) * | 2022-06-22 | 2022-10-18 | 中国平安财产保险股份有限公司 | 数据检测方法、装置、计算机设备和存储介质 |
-
2023
- 2023-03-22 CN CN202310289206.XA patent/CN116244106B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110067647A (ko) * | 2009-12-15 | 2011-06-22 | 한국과학기술원 | 이상 속성을 포함하는 데이터의 검출 방법 및 장치 |
CN106131071A (zh) * | 2016-08-26 | 2016-11-16 | 北京奇虎科技有限公司 | 一种Web异常检测方法和装置 |
CN113472555A (zh) * | 2020-03-30 | 2021-10-01 | 华为技术有限公司 | 故障检测方法、***、装置、服务器及存储介质 |
WO2021218179A1 (zh) * | 2020-04-28 | 2021-11-04 | 平安科技(深圳)有限公司 | 异常数据查询方法、装置、计算机设备及存储介质 |
CN112468520A (zh) * | 2021-01-28 | 2021-03-09 | 腾讯科技(深圳)有限公司 | 一种数据检测方法、装置、设备及可读存储介质 |
CN114329469A (zh) * | 2021-12-24 | 2022-04-12 | 奇安信科技集团股份有限公司 | Api异常调用行为检测方法、装置、设备及存储介质 |
CN115203167A (zh) * | 2022-06-22 | 2022-10-18 | 中国平安财产保险股份有限公司 | 数据检测方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116244106B (zh) | 2023-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106599269B (zh) | 关键词提取方法及装置 | |
Zhou et al. | Information fusion for combining visual and textual image retrieval | |
CN112883190A (zh) | 文本分类方法、装置、电子设备及存储介质 | |
CN112579621B (zh) | 数据展示方法、装置、电子设备及计算机存储介质 | |
CN116244106B (zh) | 一种民航数据的数据检测方法、存储介质及电子设备 | |
CN111522938A (zh) | 一种人才业绩文档的筛选方法、装置和设备 | |
WO2022095519A1 (zh) | 通关检验方法、装置、电子设备及计算机可读存储介质 | |
CN116306937B (zh) | 一种基于时间序列离线数据的规则提取方法、介质及设备 | |
CN107391627B (zh) | 数据的内存占用分析方法、装置及服务器 | |
CN112308636A (zh) | 一种基于市场需求变化的市场需求值的计算方法和装置 | |
US20230186212A1 (en) | System, method, electronic device, and storage medium for identifying risk event based on social information | |
CN112965943A (zh) | 一种数据处理方法、装置、电子设备以及存储介质 | |
CN116306663B (zh) | 语义角色标注方法、装置、设备以及介质 | |
CN112348225A (zh) | 航迹预测方法、电子设备、非瞬时性计算机可读存储介质 | |
CN111639161A (zh) | 制度信息处理方法、装置、计算机***和介质 | |
CN109766267A (zh) | Cpu高耗代码定位方法、装置、电子设备及存储介质 | |
CN111651625A (zh) | 图像检索方法、装置、电子设备及存储介质 | |
CN111476409B (zh) | 一种新航线开通的预测方法、***及设备 | |
CN114662607A (zh) | 基于人工智能的数据标注方法、装置、设备以及存储介质 | |
CN109800384B (zh) | 一种基于粗糙集信息决策表的基本概率赋值计算方法 | |
CN105787101A (zh) | 一种信息处理方法和电子设备 | |
CN111930955A (zh) | 一种作者命名消歧的方法、装置和电子设备 | |
CN110796492A (zh) | 一种重要特征的确定方法、装置、设备及存储介质 | |
CN117273015B (zh) | 一种语义分析的电子文件归档分类方法 | |
CN116402136B (zh) | 一种基于离线数据的规则提取方法、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |