CN111427892B - 一种活动目标的活动数据区块化管理方法及设备 - Google Patents

一种活动目标的活动数据区块化管理方法及设备 Download PDF

Info

Publication number
CN111427892B
CN111427892B CN202010218687.1A CN202010218687A CN111427892B CN 111427892 B CN111427892 B CN 111427892B CN 202010218687 A CN202010218687 A CN 202010218687A CN 111427892 B CN111427892 B CN 111427892B
Authority
CN
China
Prior art keywords
block
data
cubic
value
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010218687.1A
Other languages
English (en)
Other versions
CN111427892A (zh
Inventor
李彭伟
罗丽莉
刘博�
李子
李亚钊
程浚
欧阳慈
阚凌志
李文强
陈娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 28 Research Institute
Original Assignee
CETC 28 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 28 Research Institute filed Critical CETC 28 Research Institute
Priority to CN202010218687.1A priority Critical patent/CN111427892B/zh
Publication of CN111427892A publication Critical patent/CN111427892A/zh
Application granted granted Critical
Publication of CN111427892B publication Critical patent/CN111427892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种活动目标的活动数据的区块化管理方法及设备,所述方法包括如下步骤:根据对地理空间的划分建立区块结构,并定义区块特征;对活动目标的数据进行分解,并为其创建或检索对应的区块;更新区块中各活动点数据的组成要素,分析各组成要素的数据特征,形成特征数据向量集合;遍历特征数据向量集合,计算特征向量中的数据平均值以及前后数据的差异情况,根据这些平均值和差异值重新分配不同的存储策略;遍历区块列表,计算各区块的时间与空间信息,得出区块档案。本发明通过分析活动目标的历史活动情况,构建了区块化的数据管理模型,能有效的实现数据的快速分析和压缩存储。

Description

一种活动目标的活动数据区块化管理方法及设备
技术领域
本发明涉及计算机数据处理技术领域,具体涉及一种活动目标的活动数据管理方法及设备。
背景技术
随着网络、通信技术的发展,当前各类信息***接入了大量的目标连续活动数据,这些数据具备实时或非实时、连续或离散等特征,给***的数据管理工作带来了挑战。如何有效解决***资源有限和需求快速涌现、应用过程组织不够灵活之间的矛盾,并实现整体能力提升,是摆在该类目标数据综合管理与应用面前的现实问题,突出表现在高效检索、节约存储和深度分析等几个方面。
为达到以上目标,目前,在实际工程实践中主要有两种实现方法,一种是以空间换时间的方法,即将数据全部加载或存放在内存、数据库或文件***中,这种方法的特点是数据记录很详细,各种维度的分析结论都提前存储好,在需要时可以快速的检索到,但存在灵活度不高、存储空间大、不变便移等问题;另外一种方法是以时间换空间,即尽量少存储数据,通过大量的计算来得到不同的分析结论,这种方法的特点是存储占用小,只需保存一部分基础或原始的数据,具备迁移方便、组织灵活等特点,但缺点是计算过程复杂、计算资源消耗大,在离散的数据分析序列中可复用的成果较少,且过程文档不易记录。这两种方法在连续活动目标的历史数据管理方面都有各自的缺点,主要不足之处是,在目标的历史活动过程复杂、即时显示与分析应用要求高时,会面临巨大的存储压力和计算压力。
发明内容
发明目的:针对现有技术的不足,本发明提出一种活动目标的活动数据区块化管理方法,能够以极小的计算开销和存储资源实现数据的存储和管理。
技术方案:第一方面,提供一种活动目标的活动数据区块化管理方法,包括以下步骤:
根据对地理空间的划分建立区块结构,并定义区块特征;
对活动目标的数据进行分解,并为其创建或检索对应的区块;
更新计算区块中各活动点数据的详细组成要素,分析各组成要素的数据特征,形成特征数据向量集合;
遍历特征向量集合,计算特征向量中的数据差异情况,得出平均值、最大值、最小值,再根据这些值重新分配不同的存储策略;
遍历区块列表,计算各区块的时间与空间信息,得出区块档案。
进一步地,所述区块结构通过利用包围盒技术对地理空间的划分来建立,包括:
根据划设的任意多边形计算得出最大平面包围盒;
根据目标活动特征,计算最大高度,得出最大空间包围盒,并规整为2的幂次方大小的空间区块包围盒;
以空间区块包围盒为直径,计算球状空间容器,使得该球形与空间区块底面的相交面完全覆盖所述任意多边形,且不超过所述最大平面包围盒大小,所得球状空间作为确定的区块。
进一步地,所述区块特征包括区块号ID、中心经度CenterLng、中心纬度CenterLat与中心高度CenterAlt、区块大小CubicSize、包围盒半径BBRadius。
进一步地,所述对活动目标的数据进行分解,并为其创建或检索对应的区块包括:
从活动目标的历史数据或实时数据中提取位置信息和时间信息,构成元数据,所述元数据描述形式为MetaData={DataType,DataObject,DataValue,BitMode},其中DataType表示数据类型,DataObject表示数据对象,所述数据对象至少包括经度PntLng、纬度PntLat、高度PntAlt、时间T,DataValue表示数据值,BitMode表示存储该数据值所需的比特位数;
基于元数据中记载的经纬度和高度信息,针对每一个区块进行第一条件判断,将符合第一条件的数据所属目标视为包含在区块中,得到该元数据对应的区块,所述第一条件为:
a)fabs(PntLng-Cubic.CenterLng)>第一阈值
b)fabs((PntLng-(Cubic.CenterLng+Cubic.CubicSize/2))<第一阈值
c)fabs(PntLat–Cubic.CenterLat)>第一阈值
d)fabs((PntLat-(Cubic.CenterLat+Cubic.CubicSize/2))<第一阈值
e)fabs(PntAlt-Cubic.CenterAlt)>第一阈值
f)fabs((PntAlt-(Cubic.CenterAlt+Cubic.CubicSize/2))<第一阈值
其中fabs表示取绝对值,Cubic.CenterLng表示区块的中心经度,Cubic.CubicSize表示区块大小,Cubic.CenterLat表示区块的中心纬度,Cubic.CenterAlt表示区块的中心高度。
若针对每一个区块进行第一条件判断后无法检索到对应的区块,则获取符合以下第二条件的区块,作为该元数据所在的区块,所述第二条件为:
a)该数据点与区块内已有数据点的最近距离小于Cubic.SideDis,Cubic.SideDis表示区块的实际大小;
b)fabs(PntYaw-Cubic.aveYaw)<第一阈值,其中PntYaw表示元数据中记载的航向角,Cubic.aveYaw表示区块的平均航向角。
当经过第一条件和第二条件判断都未检索到合适的区块时,创建新的区块,利用元数据初始化其各组成要素,并将其添加到区块列表中。
进一步地,所述计算特征向量中的数据平均值以及前后数据的差异情况,根据这些平均值和差异值重新分配不同的存储策略包括:
(1)遍历区块内的元数据列表,计算不同元数据的总量;
(2)分析新增加的元数据与已有元数据的差异,计算新增加的元数据值与平均值的差、与前值的差,根据差值进行以下设置:
当新增加的值与前值一致时,将存储特征指示符置0,不执行其他操作;
当新增加的值与前值不一致时,将存储特征指示符置1,DataValue中记录与平均值的差值;
当新增加的值等于平均值时,将存储特征指示符置2,不执行其他操作。
进一步地,所述区块档案包括:区块的包围盒、数据总量、存储总量、数据差异以及与前后区块之间的挂链关系。
第二方面,提供一种计算机设备,所述设备包括:
一个或多个处理器;
存储器;以及
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述程序被处理器执行时实现如本发明第一方面所述的步骤。
有益效果:本发明提出的一种连续活动目标活动数据的区块化管理方法,首先是从实时与非实时、连续与离散的角度来对数据进行区块化组织管理,在实时方面,主要强调计算所属区块的索引,并快速得出包围盒、相似特征、关联要素等信息;在非实时方面,主要强调建立信息档案,提供高效的碰撞检测、信息聚类等操作。在连续性方面,根据其活动数据的特征,开展数据的压缩存储,主要是从节约存储空间的角度考虑,分析计算目标的历史数据的差异性,形成最大值、最小值、平均值等参数,以这几个值为主要存储位,据此为其它数据制定灵活的存储策略,如数据未变化,则不存储,如数据变化差异较小,则缩减存储空间,只存储差异值,用以节约存储空间;另外是从灵活计算角度考虑,对计算的结果进行回馈式存储,支持二次开发利用。在离散性方面,将空间、时间或要素上离散的数据,抽象出一条信息链,并利用该信息链连接数据。本方法实现了连续动态数据的紧压缩存储,节省了***资源;实现了高效的数据检索,提升了应用分析的灵活性;实现了实时与非实时的联动处理,满足了不同的任务背景需求。
附图说明
图1是根据本发明实施例的区块化管理方法工作流程图;
图2是根据本发明实施例的平面包围盒示意图;
图3是根据本发明实施例的空间包围盒示意图;
图4是根据本发明实施例的区块组织示意图;
图5是根据本发明实施例的区块化存储逻辑示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
本发明提出一种连续活动目标活动数据的区块化管理方法,通过建立符合不同特征背景的数据区块,实现数据全生命周期的高效管理。该方法基于区块化理论,首先分解连续活动目标的位置信息,为其创建或检索适当的空间区块;然后实时计算并更新区块中各活动点的详细组成要素,通过分析各组成要素的数据特征,形成特征数据向量集合;接着在前述基础上,遍历特征向量集合,计算特征向量中的数据差异情况,得出平均值、最大值、最小值等统计分析结果,再根据这些值重新分配不同的存储策略,达到数据紧压缩的目的;最后是遍历区块列表,计算各区块的时间与空间信息,得出区块档案,支撑灵活的区块化分析。如图1所示,方法具体包括如下步骤:
步骤1,划分地理区块,建立区块结构,并定义区块特征。
本步骤建立原始区块组织结构,根据需要将地理空间按包围盒划分为若干区块,区块的描述信息包括区块号、中心经纬度与高度、包围盒大小等。在划分时,可根据目标的活动背景,设置目标的最大活动空间,并根据目标特征与活动参数计算该空间的大小,如针对无人机等低慢小目标,区块大小可设置为1KM*1KM*1KM。
在一个实施例中,建立区块结构具体包括以下步骤:
步骤1-1,根据划设的任意多边形先计算得出最大平面包围盒。如图2所示,左边是任意多边形,右边是平面包围盒,通过计算任意多边形最大的左上角经纬度和右下角经纬度,即可得到最大平面包围盒,计算方法是现有技术,亦非本发明的重点,此处不加以赘述。
步骤1-2,根据目标活动特征,计算最大高度,得出最大空间包围盒,计算过程可通过对若干次目标活动范围做标记,比较所有记录点的经纬度和高度值大小并计算最大值和最小值来得出,由于是现有技术故具体不再赘述。图3所示为得到的一个最大空间包围盒示意图。进一步地,通过将该空间包围盒尺寸适当扩展以将其规整为2的幂次方大小,方便数据对齐和计算,便于后续管理,称为空间区块包围盒。
步骤1-3,以空间区块包围盒为直径,同样通过最大值最小值方法计算球状空间容器,该球形与空间区块底面的相交面称为有效投影,该投影面应完全覆盖步骤1-1中的任意多边形,且不超过步骤1-1中的平面包围盒大小。得到该球形容器,则确定了区块。
经过前述步骤可以计算得到区块的位置、大小,目标在区块中的活动路径可视作一个点在区块中的移动轨迹,结合这些活动点的距离、航向等相关属性,定义以下数据结构:
区块描述结构Cubic={ID,CenterLng,CenterLat,CenterAlt,CubicSize,BBRadius,SideDis,MaxDis、MinDis、AveDis、MaxYaw、MinYaw、aveYaw},其中ID表示区块ID号,CenterLng表示中心经度,CenterLat表示中心纬度,CenterAlt表示中心高度,CubicSize表示规整后的区块大小,也可称为标准区块大小或样板区块大小,BBRadius表示包围盒半径,SideDis表示实际区块的大小,也就是最大长度,MaxDis表示活动点间的最大间隔距离,MinDis表示活动点间的最小间隔距离,AveDis表示活动点间的平均距离,MaxYaw表示活动点的最大航向角,MinYaw表示活动点的最小航向角,aveYaw表示活动点的平均航向角,平均航向角取列位置点的航向平均值,用来表示区块内的整体航向平稳度。应当理解,该结构的定义与应用背景相关,本实施例中以无人机为应用背景举例,实际场景下还可以根据需要增加其它的描述,如地标、区域等。
步骤2,对输入数据进行分解,并为其创建或检索对应的区块。
本步骤对实时或非实时输入的目标历史活动数据进行位置分解,在区块管理列表中并为其创建或检索得到相应的区块。
在一个实施例中,定义输入数据的结构DataDescription={PntLng,PntLat,PntAlt,PntYawl,T},其中PntLng表示经度,PntLat表示纬度,PntAlt表示高度,PntYaw表示航向,T表示时间。进行分解和创建/检索区块包括:
步骤2-1,数据分解。根据输入的历史或实时数据,分析其组成要素,提取元信息,主要包括位置和时间。对位置而言,进一步提取其经度、纬度、高度等信息,必要时还可提取姿态的航向角、横滚角、俯仰角等信息。对时间而言,进一步提取其年、月、日、时、分、秒等信息,必要时还可提取更精细的时段信息和时刻信息。
经过上述操作得到以下数据结构:
元信息描述MetaData={DataType,DataObject,DataValue,BitMode},其中DataType表示数据类型,如“位置”,DataObject表示数据对象,如“经度”、“纬度”、“高度”、“时间”,DataValue表示值,如“23.0”,BitMode表示存储该值所需的比特位。
这些元数据构成元信息列表MetaDataSet={MetaDataCount,MetaData1,MetaData1……MetaDatan},其中MetaDataCount表示元数据的总数。
步骤2-2,根据经纬度或高度信息,创建或检索相对应的区块。过程如下:
遍历已有区块,得到具体的Cubic,执行以下过程:
(1)根据包围盒,计算当前数据是否可被包含在该区块中,如满足以下条件,则在一个区块中:
a)fabs(PntLng-Cubic.CenterLng)>0.0000001//经度差,fabs表示取绝对值
b)fabs((PntLng-(Cubic.CenterLng+Cubic.CubicSize/2))<0.0000001//是否在经度包围盒中,fabs表示取绝对值
c)fabs(PntLat–Cubic.CenterLat)>0.0000001//纬度差,fabs表示取绝对值
d)fabs((PntLat-(Cubic.CenterLat+Cubic.CubicSize/2))<0.0000001//是否在纬度包围盒中,fabs表示取绝对值
e)fabs(PntAlt-Cubic.CenterAlt)>0.0000001//高度差,fabs表示取绝对值
f)fabs((PntAlt-(Cubic.CenterAlt+Cubic.CubicSize/2))<0.0000001//是否在高度包围盒中,fabs表示取绝对值
上述条件判断可以理解为:Cubic是一个地理环境中的立方体,这个立方体有经纬度范围、高度,通过确定经纬度和高度则可得到包围盒。还应当说明的是,上述条件中差值阈值为0.0000001仅是示例的作用,表示两者相差很小,也可以是另外的极小值。
(2)若按上述算法未检索到合适的区块,还需进一步分析该数据是否与区块内已有点集合具有相同特征,如空间距离、线性相关度、要素相关度等,本发明主要考虑空间距离与方向两个因素,如满足如下条件,则仍将该点置于该区块中:
i)该数据点与区块内已有数据点的最近距离小于Cubic.SideDis。
ii)fabs(PntYaw-Cubic.aveYaw)<0.0000001//与平均航向角的差,fabs表示取绝对值,小于0.0000001则可认为其与该区块内的其它数据点处于一个活动空间。
(3)当经过前两步都未检索到合适的区块时,则创建新的区块Cubicx,初始其各组成要素,将MetaData填入到区块结构描述中,并将其添加到区块列表CubicList中。
本发明中最新增加的元数据存放在列表的最后。得到的区块如图4所示,区块之间通过顺序编码的区块号来链接。
步骤3,更新区块中各活动点数据的组成要素,分析各组成要素的数据特征,形成特征数据向量集合。
根据步骤2的结果,更新区块的内涵信息:包围盒、数据总量。每添加一组元数据,就是目标又到达一个位置点,活动点数据包括经纬度、高度、航向、时间,将具备相同特征向量集合的数据放在一个区块内。
更优选地,更新区块的所有属性信息,即结构体中描述的信息Cubic={ID,CenterLng,CenterLat,CenterAlt,CubicSize,BBRadius,SideDis,MaxDis、MinDis、AveDis、MaxYaw、MinYaw、aveYaw},更便于后续的分析和计算,这些数据形成的一组描述位置、航向的值作为特征数据向量集合。
步骤4,遍历步骤3形成的特征向量集,计算向量集内数据的特征值,并根据这些特征值制定灵活的存储策略。
具体地,通过以下处理对区块内部的数据进行个性化存储:
(1)遍历区块内的元数据列表MetaDataSet,计算不同元数据的总量。
(2)分析新增加的元数据与已有元数据的差异,每添加一个元数据,计算一次当前所有DataValue的平均值,计算新加的元数据值与平均值的差、与前值的差,设计一个Bit位用于描述与前值的差异特征,0表示与前值一致,1表示不一致,2表示平均值。若为1则记录与平均值的差值,0和2的情况下,则不必记录,由于目标在连续互动过程中一般都呈现出稳定特征,所以存储与平均值的差异,可显著减少存储量。
经过该步骤可达到个性化存储的目标,减少对存储资源的要求,同时提升访问效率。最后存储的逻辑视图如图5所示,每个区块中的小圆圈表示元数据,区块前后关系通过区块号来查找。
步骤6、遍历各区块,计算该区块的档案信息。
遍历区块列表CubicList,更新计算每个区块的包围盒、数据总量、存储总量、差异性等信息,同时获取Cubic之间的挂链关系,如前驱区块Cubicprev,后继区块Cubicnext,经过该步骤能支撑后续的灵活分析。
基于上述区块化的数据管理方法,以一个实例来展示该方法与传统数据管理方法的优势。以侦查用无人机的历史运行数据为例,下面表1示出了传统的目标历史活动数据存储占用情况,以时间为序每一行分别对位置、姿态各维度加以记录,总占用存储空间4800比特。表2为根据本发明的区块化元数据管理逻辑经过压缩后的存储占用情况,数据分解后以元数据的形式存储,并将平均值作为特征的“锚”,相对平均值进行压缩存储,最终占用存储空间590比特,相比传统方法,节省了约90%的存储空间。
表1传统的目标历史活动数据管理方法存储占用示例
Figure BDA0002425309230000081
表2根据本发明的区块化元数据管理逻辑经过压缩后的存储占用示例
Figure BDA0002425309230000082
Figure BDA0002425309230000091
基于与方法实施例相同的技术构思,根据本发明的另一实施例,提供一种计算机设备,所述设备包括:一个或多个处理器;存储器;以及一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述程序被处理器执行时实现方法实施例中的各步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。

Claims (7)

1.一种活动目标的活动数据区块化管理方法,其特征在于,包括以下步骤:
根据对地理空间的划分建立区块结构,并定义区块特征,所述区块结构通过利用包围盒技术对地理空间的划分来建立,包括:根据划设的任意多边形计算得出最大平面包围盒;根据目标活动特征,计算最大高度,得出最大空间包围盒,并规整为2的幂次方大小的空间区块包围盒;以空间区块包围盒为直径,计算球状空间容器,使得该球状空间容器与空间区块底面的相交面完全覆盖所述任意多边形,且不超过所述最大平面包围盒大小,所得球状空间作为确定的区块,所述区块特征包括区块号ID、中心经度CenterLng、中心纬度CenterLat与中心高度CenterAlt、区块大小CubicSize、包围盒半径BBRadius;
对活动目标的数据进行分解,并为其创建或检索对应的区块;
更新区块中各活动点数据的组成要素,分析各组成要素的数据特征,形成特征数据向量集合;
遍历特征数据向量集合,计算特征向量中的数据平均值以及前后数据的差异情况,根据这些平均值和差异值重新分配不同的存储策略;
遍历区块列表,计算各区块的时间与空间信息,得出区块档案。
2.根据权利要求1所述的活动目标的活动数据区块化管理方法,其特征在于,所述对活动目标的数据进行分解,并为其创建或检索对应的区块包括:
从活动目标的历史数据或实时数据中提取位置信息和时间信息,构成元数据,所述元数据描述形式为MetaData={DataType,DataObject,DataValue,BitMode},其中DataType表示数据类型,DataObject表示数据对象,所述数据对象至少包括经度PntLng、纬度PntLat、高度PntAlt、时间T,DataValue表示数据值,BitMode表示存储该数据值所需的比特位数;
基于元数据中记载的经纬度和高度信息,针对每一个区块进行第一条件判断,将符合第一条件的数据所属目标视为包含在区块中,得到该元数据对应的区块,所述第一条件为:
a)fabs(PntLng-Cubic.CenterLng)>第一阈值
b)fabs((PntLng-(Cubic.CenterLng+Cubic.CubicSize/2)))<第一阈值
c)fabs(PntLat–Cubic.CenterLat)>第一阈值
d)fabs((PntLat-(Cubic.CenterLat+Cubic.CubicSize/2)))<第一阈值
e)fabs(PntAlt-Cubic.CenterAlt)>第一阈值
f)fabs((PntAlt-(Cubic.CenterAlt+Cubic.CubicSize/2)))<第一阈值
其中fabs表示取绝对值,Cubic.CenterLng表示区块的中心经度,Cubic.CubicSize表示区块大小,Cubic.CenterLat表示区块的中心纬度,Cubic.CenterAlt表示区块的中心高度。
3.根据权利要求2所述的活动目标的活动数据区块化管理方法,其特征在于,所述方法还包括:若针对每一个区块进行第一条件判断后无法检索到对应的区块,则获取符合以下第二条件的区块,作为该元数据所在的区块,所述第二条件为:
a)数据点与区块内已有数据点的最近距离小于Cubic.SideDis,Cubic.SideDis表示区块的实际大小;
b)fabs(PntYaw-Cubic.aveYaw)<第一阈值,其中PntYaw表示元数据中记载的航向角,Cubic.aveYaw表示区块的平均航向角。
4.根据权利要求3所述的活动目标的活动数据区块化管理方法,其特征在于,所述方法还包括:当经过第一条件和第二条件判断都未检索到合适的区块时,创建新的区块,利用元数据初始化其各组成要素,并将其添加到区块列表中。
5.根据权利要求2所述的活动目标的活动数据区块化管理方法,其特征在于,所述计算特征向量中的数据平均值以及前后数据的差异情况,根据这些平均值和差异值重新分配不同的存储策略包括:
(1)遍历区块内的元数据列表,计算不同元数据的总量;
(2)分析新增加的元数据与已有元数据的差异,计算新增加的元数据值与平均值的差、与前值的差,根据差值进行以下设置:
当新增加的值与前值一致时,将存储特征指示符置0,不执行其他操作;
当新增加的值与前值不一致时,将存储特征指示符置1,DataValue中记录与平均值的差值;
当新增加的值等于平均值时,将存储特征指示符置2,不执行其他操作。
6.根据权利要求1所述的活动目标的活动数据区块化管理方法,其特征在于,所述区块档案包括:区块的包围盒、数据总量、存储总量、数据差异以及与前后区块之间的挂链关系。
7.一种计算机设备,其特征在于,所述设备包括:
一个或多个处理器;
存储器;以及
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置为由所述一个或多个处理器执行,所述程序被处理器执行时实现如权利要求1-6中的任一项所述方法的步骤。
CN202010218687.1A 2020-03-25 2020-03-25 一种活动目标的活动数据区块化管理方法及设备 Active CN111427892B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010218687.1A CN111427892B (zh) 2020-03-25 2020-03-25 一种活动目标的活动数据区块化管理方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010218687.1A CN111427892B (zh) 2020-03-25 2020-03-25 一种活动目标的活动数据区块化管理方法及设备

Publications (2)

Publication Number Publication Date
CN111427892A CN111427892A (zh) 2020-07-17
CN111427892B true CN111427892B (zh) 2022-11-25

Family

ID=71548688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010218687.1A Active CN111427892B (zh) 2020-03-25 2020-03-25 一种活动目标的活动数据区块化管理方法及设备

Country Status (1)

Country Link
CN (1) CN111427892B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000013111A1 (en) * 1998-08-31 2000-03-09 Computer Associates Think, Inc. Method and apparatus for fast and comprehensive dbms analysis
WO2017167063A1 (zh) * 2016-03-30 2017-10-05 阿里巴巴集团控股有限公司 一种数据检索方法和装置、一种数据存储方法和装置
CN107562775A (zh) * 2017-07-14 2018-01-09 阿里巴巴集团控股有限公司 一种基于区块链的数据处理方法及设备
CN109947889A (zh) * 2019-03-21 2019-06-28 佳都新太科技股份有限公司 空间数据管理方法、装置、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000013111A1 (en) * 1998-08-31 2000-03-09 Computer Associates Think, Inc. Method and apparatus for fast and comprehensive dbms analysis
WO2017167063A1 (zh) * 2016-03-30 2017-10-05 阿里巴巴集团控股有限公司 一种数据检索方法和装置、一种数据存储方法和装置
CN107562775A (zh) * 2017-07-14 2018-01-09 阿里巴巴集团控股有限公司 一种基于区块链的数据处理方法及设备
CN109947889A (zh) * 2019-03-21 2019-06-28 佳都新太科技股份有限公司 空间数据管理方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN111427892A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
Eldawy et al. CG_Hadoop: computational geometry in MapReduce
CN110493333B (zh) 一种目标位置点的确定方法、装置、设备及存储介质
Dymczyk et al. Keep it brief: Scalable creation of compressed localization maps
Wang et al. Improving the performance of GIS polygon overlay computation with MapReduce for spatial big data processing
US20130151535A1 (en) Distributed indexing of data
CN111291016A (zh) 一种海量遥感影像数据分层混合存储与索引方法
CN103995861A (zh) 一种基于空间关联的分布式数据装置、方法及***
US20160239597A1 (en) Apparatus and method for performing finite element computation
WO2019019653A1 (zh) 对地形边界进行提取的设备和方法
CN104219088A (zh) 一种基于Hive的网络告警信息OLAP方法
CN113326343B (zh) 基于多级网格和文件索引的路网数据存储方法及***
CN116186571B (zh) 车辆聚类方法、装置、计算机设备及存储介质
CN111427892B (zh) 一种活动目标的活动数据区块化管理方法及设备
CN116796083B (zh) 一种空间数据划分方法及***
Jones et al. The implicit triangulated irregular network and multiscale spatial databases
CN112215123A (zh) 一种目标检测方法、装置及存储介质
CN111737490A (zh) 基于银行渠道的知识图谱本体模型生成方法及装置
CN113449052A (zh) 空间索引的建立方法、空间区域查询方法及装置
Gollub et al. A partitioned approach for efficient graph–based place recognition
CN115393382A (zh) 地图中体素查找方法、装置、计算机设备和存储介质
CN114882496A (zh) 基于深度图像的三维部件相似度计算方法
CN104572648B (zh) 一种基于高性能计算的存储统计***及方法
Migliorini et al. A balanced solution for the partition-based spatial merge join in MapReduce
Han et al. A novel spatio-temporal data storage and index method for ARM-based hadoop server
CN111046244A (zh) 基于PostGIS的电网资源图形叠加分析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No.1 Lingshan South Road, Qixia District, Nanjing City, Jiangsu Province 210046

Applicant after: THE 28TH RESEARCH INSTITUTE OF CHINA ELECTRONICS TECHNOLOGY Group Corp.

Address before: 210007 No. 1 East Garden Street, Qinhuai District, Jiangsu, Nanjing

Applicant before: THE 28TH RESEARCH INSTITUTE OF CHINA ELECTRONICS TECHNOLOGY Group Corp.

GR01 Patent grant
GR01 Patent grant