CN110807133A - 一种智能船舶中传感监测数据处理方法及装置 - Google Patents
一种智能船舶中传感监测数据处理方法及装置 Download PDFInfo
- Publication number
- CN110807133A CN110807133A CN201911068729.1A CN201911068729A CN110807133A CN 110807133 A CN110807133 A CN 110807133A CN 201911068729 A CN201911068729 A CN 201911068729A CN 110807133 A CN110807133 A CN 110807133A
- Authority
- CN
- China
- Prior art keywords
- node
- data
- acquisition
- monitoring
- window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9038—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Genetics & Genomics (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Complex Calculations (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例提供一种智能船舶中传感监测数据处理方法及装置,通过对采集到的数据流进行滑动窗口的划分,对每一子窗口并行计算数据块的支持度值,并对子窗口的数据块进行遗传算法的迭代处理再进行数据块的支持度值的计算,从而把符合要求的数据块合并到一个数据项集,最终对每一子窗口的数据项集的支持度值计算得到最终滑动窗口的数据项集进行数据输出。本发明实施例提供的技术方案,可以有效解决现有智能船舶中监测数据处理能力不强导致定位***、艏向测量***等***不能够准确及时地输出相关信息,不能有效及时地给出决策结果这一技术问题。
Description
技术领域
本发明涉及船舶智能化领域,尤其涉及一种智能船舶中传感监测数据处理方法及装置。
背景技术
随着人类不断增长的资源需求,人们对资源的开发逐渐由陆地转向海洋,由沿岸、近海不断向深海扩 展,人类的各种海洋活动都离不开船舶,需要海洋活动需要工程船具有在水面定位或按照预设路线行驶的 能力。
船舶动力定位***是利用自身的推进***自动保持船舶位置和艏向的计算机控制***,该***是海洋 船舶和钻井平台等油气开发设施以及特种作业工程船的关键***之一。动力定位主要由测量***、控制系 统和推进***组成,其中位置参考***、艏向测量***、运动单元及风传感器构成一个与船的导航***无 关的测量***,该***提供动力定位控制器所需的船的运动及环境信息,动力定位控制器依据测量信息输 出控制信号,由推进***完成船的定位控制任务,因此,连续、准确、可靠的***测量是动力定位***的 安全性及控制性能的有力保证;而目前现有技术上述监测数据处理能力不强,特别是实时处理能力,导致 定位***、艏向测量***等***不能够准确及时地输出相关信息,从而不能有效及时地给出决策结果。因 此,亟待提出一种针对上述数据的数据处理方法。
发明内容
鉴于上述问题,提出了本发明,以便提供一种解决上述问题的智能船舶中传感监测数据处理方法及装 置。
在本发明的一个实施例中,提供了一种智能船舶中传感监测数据处理方法,所述方法包括:
步骤S1、接收所述船舶中多个***的监测数据,得到数据流;对所述数据流设定大小为W1的滑动窗 口SW,在所述滑动窗口SW上分割出多个大小为W2的子窗口NSW;
步骤S2、根据数据属性对当前子窗口NSW的数据块进行划分,得到初始化种群;
步骤S3、计算所述当前子窗口NSW中各所述数据块的支持度值,判断所述各数据块的支持度值是否大 于阈值,如果是,将所述数据块添加到所述当前子窗口NSW的第一有效项集内;
步骤S4、对所述当前子窗口NSW内的数据块进行遗传算法处理,对完成一次遗传算法操作的数据块进 行扫描,对于所述数据块的支持度值大于等于所述阈值的数据块,添加到所述当前子窗口NSW的第一有效 项集中;
步骤S5、判断遗传算法迭代结束条件,如果遗传算法迭代处理的计数比阈值T小,则回到步骤S3继 续进行,否则停止运算,最终得到当前子窗口NSW内数据块的第二有效项集;
步骤S6、对于每个子窗口NSW,基于MPI并行计算模型,使用多线程技术,进行并行计算处理,分别 得到每个子窗口NSW内数据块的第二有效项集。
步骤S7、将每个子窗口NSW内数据块的第二有效项集,与进行L次并行计算获得的有效项集一起组成 有效项集种群,其中,L=W1/W2-1;然后对有效项集种群中每个有效项集的支持度值进行计算,满足支持 度值条件的所述有效项集作为滑动窗口SW内的最终有效项集,输出结果;
步骤S8、数据流流动和滑动窗口的迁移,接收流入的新数据,同时删除过期的旧数据,更新滑动窗口 数据作为新的处理起点。
在本发明的另一个实施例中,提供了一种智能船舶中传感监测数据处理装置,所述装置包括:
接收和数据分割模块,用于接收所述船舶中多个***的监测数据,得到数据流;对所述数据流设定大 小为W1的滑动窗口SW,在所述滑动窗口SW上分割出多个大小为W2的子窗口NSW;
数据属性划分模块,用于根据数据属性对当前子窗口NSW的数据块进行划分,得到初始化种群;
计算分类模块,用于计算所述当前子窗口NSW中各所述数据块的支持度值,判断所述各数据块的支持 度值是否大于阈值,如果是,将所述数据块添加到所述当前子窗口NSW的第一有效项集内;
遗传算法处理分类模块,用于对所述当前子窗口NSW内的数据块进行遗传算法处理,对完成一次遗传 算法操作的数据块进行扫描,对于所述数据块的支持度值大于等于所述阈值的数据块,添加到所述当前子 窗口NSW的第一有效项集中;
迭代处理分类模块,用于判断遗传算法迭代结束条件,如果遗传算法迭代处理的计数比阈值T小,则 回到步骤S3继续进行,否则停止运算,最终得到当前子窗口NSW内数据块的第二有效项集;
多线并行计算分类模块,用于对于每个子窗口NSW,基于MPI并行计算模型,使用多线程技术,进行 并行计算处理,分别得到NSW每个子窗口NSW内数据块的第二有效项集。
数据输出模块,用于将每个子窗口NSW内数据块的第二有效项集,与进行L次并行计算获得的有效项 集一起组成有效项集种群,其中,L=W1/W2-1;然后对有效项集种群中每个有效项集的支持度值进行计算, 满足支持度值条件的所述有效项集作为滑动窗口SW内的最终有效项集,输出结果。
本发明实施例提供的技术方案,通过对采集到的数据流进行滑动窗口的划分,对每一子窗口并行计算 数据块的支持度值,并对子窗口的数据块进行遗传算法的迭代处理再进行数据块的支持度值的计算,从而 把符合要求的数据块合并到一个数据项集,最终对每一子窗口的数据项集的支持度值计算得到最终滑动窗 口的数据项集进行数据输出。本发明实施例提供的技术方案,可以有效解决现有智能船舶中监测数据处理 能力不强导致定位***、艏向测量***等***不能够准确及时地输出相关信息,不能有效及时地给出决策 结果这一技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要 使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技 术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的智能船舶中传感监测数据处理方法的流程示意图;
图2为本发明一实施例提供的数据采集节点故障处理的流程示意图;
图3为本发明一实施例提供的数据采集节点均衡处理的流程示意图;
图4为本发明一实施例提供的智能船舶中传感监测数据处理装置的结构示意图;
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请 实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部 的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例,都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实 施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上 下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,尽管在本申请实施例中可能采用术语第一、第二、第三等来描述部件,但这些部件不应限 于这些术语。这些术语仅用来将部件彼此区分开。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或 “响应于确定”或“响应于监测”。类似地,取决于语境,短语“如果确定”或“如果监测(陈述的条件 或事件)”可以被解释成为“当确定时”或“响应于确定”或“当监测(陈述的条件或事件)时”或“响 应于监测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得 包括一系列要素的商品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括 为这种商品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并 不排除在包括所述要素的商品或者***中还存在另外的相同要素。
实施例1
图1为本发明一实施例提供的一种智能船舶中传感监测数据处理方法,方法包括:
步骤S1、接收所述船舶中多个***的监测数据,得到数据流;对所述数据流设定大小为W1的滑动窗 口SW,在所述滑动窗口SW上分割出多个大小为W2的子窗口NSW;
步骤S2、根据数据属性对当前子窗口NSW的数据块进行划分,得到初始化种群;
步骤S3、计算所述当前子窗口NSW中各所述数据块的支持度值,判断所述各数据块的支持度值是否大 于阈值,如果是,将所述数据块添加到所述当前子窗口NSW的第一有效项集内;
步骤S4、对所述当前子窗口NSW内的数据块进行遗传算法处理,对完成一次遗传算法操作的数据块进 行扫描,对于所述数据块的支持度值大于等于所述阈值的数据块,添加到所述当前子窗口NSW的第一有效 项集中;
步骤S5、判断遗传算法迭代结束条件,如果遗传算法迭代处理的计数比阈值T小,则回到步骤S3继 续进行,否则停止运算,最终得到NSW当前子窗口NSW内数据块的第二有效项集;
步骤S6、对于每个子窗口NSW,基于MPI并行计算模型,使用多线程技术,进行并行计算处理,分别 得到NSW每个子窗口NSW内数据块的第二有效项集。
步骤S7、将每个子窗口NSW内数据块的第二有效项集,与进行L次并行计算获得的有效项集一起组成 有效项集种群,其中,L=W1/W2-1;然后对有效项集种群中每个有效项集的支持度值进行计算,满足支持 度值条件的所述有效项集作为滑动窗口SW内的最终有效项集,输出结果;
步骤S8、数据流流动和滑动窗口的迁移,接收流入的新数据,同时删除过期的旧数据,更新滑动窗口 数据作为新的处理起点。
滑动窗口:在时刻t数据流的数据集S进入W1大小的窗口SW,称为滑动窗口;
嵌套滑动子窗口:在时刻t滑动窗口中的最新数据集Dn,进入到位W3大小的分区窗口NSW,称为嵌 套滑动子窗口;
其中窗口内支持度的计算方法为Fi=Wi/Wz,其中Wi为属性值相同的数据块数,Wz为数据块总数,所 以,Fi为第i个数据块的支持度。
上述实施例提供一种智能船舶中传感监测数据处理方法,通过对采集到的数据流进行滑动窗口的划分, 对每一子窗口并行计算数据块的支持度值,并对子窗口的数据块进行遗传算法的迭代处理再进行数据块的 支持度值的计算,从而把符合要求的数据块合并到一个数据项集,最终对每一子窗口的数据项集的支持度 值计算得到最终滑动窗口的数据项集进行数据输出。本发明实施例提供的技术方案,可以有效解决现有智 能船舶中监测数据处理能力不强导致定位***、艏向测量***等***不能够准确及时地输出相关信息,不 能有效及时地给出决策结果这一技术问题。
实施例2
如图2所示,接收多个***的监测数据包括数据采集,当某个采集节点出现故障时,处理方法如下:
步骤S201、采集节点定时向自己所属的监控节点发送心跳信息;
步骤S202、监控节点S对获取到的受控节点状态信息进行定期检测;
步骤S203、监控节点S检测到某个采集节点A在设定的时间内没有发送心跳信息,则判定采集节点A 失效;
步骤S204、监控节点S从自己获取的全局监控信息中查找往采集节点A传输数据的上游采集节点;
步骤S205、监控节点S向监控节点管理服务器查询这些上游采集节点对应的监控节点以及可以替代采 集节点A的其他采集节点;
步骤S206、监控节点管理服务器返回查询结果给监控节点S;
步骤S207、监控节点S通知查询结果中的所有监控节点,告知该采集节点失效并发送可以替代采集节 点A的其他采集节点信息;
步骤S208、得到通知的监控节点从备选采集节点中选取合适的采集节点B来替代采集节点A,然后通 知其所管理的受控节点将原先发送往采集节点A的数据流转向,发送到采集节点B;需要说明的是当前采 用节点位置和负载结合的方式来选择合适的替代节点B,即选择节点物理位置最为接近,同时CPU用率低 于80%的该节点B;
步骤S209、完成一次采集节点故障处理。
实施例3
如图3所示,接收多个***的监测数据包括数据采集,当某个采集节点出现负载过大时,处理方法如 下:
步骤S301、采集节点定时向自己所属的监控节点发送心跳信息;
步骤S302、监控节点S从采集节点发送的心跳信息中提取该采集节点的负载信息,包括该采集节点的 CPU使用率和内存使用率,并保存该采集节点信息;
步骤S303、监控节点S以一定时间为间隔(例如10分钟)计算一次该层级所有采集节点的平均负载率 Pa,Pa为该层级所有采集节点负载率的平均值;
步骤S304、监控节点S将该层级负载率最高的采集节点H的负载率PH和该层级负载率最低的采集节 点L的负载率PL与Pa对比;
步骤S305、若PH大于Pa值的120%,或者PL小于Pa值的80%,则对该层级采集节点负载进行均衡, 监控节点S首先查找负载率最高的采集节点H,然后随机选择一个采集节点H传输数据的上游采集节点;
步骤S306、监控节点S向监控节点管理服务器查询该上游采集节点对应的监控节点以及可以替代采集 节点H的其他采集节点;
步骤S307、监控节点管理服务器返回查询结果给监控节点S;
步骤S308、监控节点S通知查询结果中的监控节点,告知该采集节点H负载过重并发送替代采集A的 负载率最低的采集节点B的信息;
步骤S309、得到通知的监控节点通知其所管理的采集节点将原先发送往采集节点H的数据流转向,发 送到采集节点B,则在一个心跳周期内只调整一个数据流向,避免对整个数据传输流程造成过大影响;
步骤S310、在下一个心跳周期内,监控节点S继续计算PH、PL与Pa的值,若仍有步骤e中的情况出 现,则继续调整节点负载,否则完成一次采集节点负载均衡流程。
实施例4
图4为本发明一实施例提供的一种智能船舶中传感监测数据处理装置,装置包括:
接收和数据分割模块,用于接收船舶中多个***的监测数据,得到数据流;对数据流设定大小为W1 的滑动窗口SW,在滑动窗口SW上分割出多个大小为W2的子窗口NSW;
数据属性划分模块,用于根据数据属性对当前子窗口NSW的数据块进行划分,得到初始化种群;
计算分类模块,用于计算当前子窗口NSW中各数据块的支持度值,判断各数据块的支持度值是否大于 阈值,如果是,将数据块添加到当前子窗口NSW的第一有效项集内;
遗传算法处理分类模块,用于对当前子窗口NSW内的数据块进行遗传算法处理,对完成一次遗传算法 操作的数据块进行扫描,对于数据块的支持度值大于等于阈值的数据块,添加到当前子窗口NSW的第一有 效项集中;
迭代处理分类模块,用于判断遗传算法迭代结束条件,如果遗传算法迭代处理的计数比阈值T小,则 回到步骤S3继续进行,否则停止运算,最终得到当前子窗口NSW内数据块的第二有效项集;
多线并行计算分类模块,用于对于每个子窗口NSW,基于MPI并行计算模型,使用多线程技术,进行 并行计算处理,分别得到每个子窗口NSW内数据块的第二有效项集。
数据输出模块,用于将每个子窗口NSW内数据块的第二有效项集,与进行L次并行计算获得的有效项 集一起组成有效项集种群,其中,L=W1/W2-1;然后对有效项集种群中每个有效项集的支持度值进行计算, 满足支持度值条件的有效项集作为滑动窗口SW内的最终有效项集,输出结果。
滑动窗口:在时刻t数据流的数据集S进入W1大小的窗口SW,称为滑动窗口;
嵌套滑动子窗口:在时刻t滑动窗口中的最新数据集Dn,进入到位W3大小的分区窗口NSW,称为嵌 套滑动子窗口;
其中窗口内支持度的计算方法为Fi=Wi/Wz,其中Wi为属性值相同的数据块数,Wz为数据块总数,所 以,Fi为第i个数据块的支持度。
接收和数据分割模块,还用于当某个采集节点出现故障时,处理如下的步骤:
步骤S201、采集节点定时向自己所属的监控节点发送心跳信息;
步骤S202、监控节点S对获取到的受控节点状态信息进行定期检测;
步骤S203、监控节点S检测到某个采集节点A在设定的时间内没有发送心跳信息,则判定采集节点A 失效;
步骤S204、监控节点S从自己获取的全局监控信息中查找往采集节点A传输数据的上游采集节点;
步骤S205、监控节点S向监控节点管理服务器查询这些上游采集节点对应的监控节点以及可以替代采 集节点A的其他采集节点;
步骤S206、监控节点管理服务器返回查询结果给监控节点S;
步骤S207、监控节点S通知查询结果中的所有监控节点,告知该采集节点失效并发送可以替代采集节 点A的其他采集节点信息;
步骤S208、得到通知的监控节点从备选采集节点中选取合适的采集节点B来替代采集节点A,然后通 知其所管理的受控节点将原先发送往采集节点A的数据流转向,发送到采集节点B;需要说明的是当前采 用节点位置和负载结合的方式来选择合适的替代节点B,即选择节点物理位置最为接近,同时CPU用率低 于80%的该节点B;
步骤S209、完成一次采集节点故障处理。
接收和数据分割模块,还用于当某个采集节点出现负载过大时,处理如下的步骤:步骤S301、采集节 点定时向自己所属的监控节点发送心跳信息;
步骤S302、监控节点S从采集节点发送的心跳信息中提取该采集节点的负载信息,包括该采集节点的 CPU使用率和内存使用率,并保存该采集节点信息;
步骤S303、监控节点S以一定时间为间隔(例如10分钟)计算一次该层级所有采集节点的平均负载率 Pa,Pa为该层级所有采集节点负载率的平均值;
步骤S304、监控节点S将该层级负载率最高的采集节点H的负载率PH和该层级负载率最低的采集节 点L的负载率PL与Pa对比;
步骤S305、若PH大于Pa值的120%,或者PL小于Pa值的80%,则对该层级采集节点负载进行均衡, 监控节点S首先查找负载率最高的采集节点H,然后随机选择一个采集节点H传输数据的上游采集节点;
步骤S306、监控节点S向监控节点管理服务器查询该上游采集节点对应的监控节点以及可以替代采集 节点H的其他采集节点;
步骤S307、监控节点管理服务器返回查询结果给监控节点S;
步骤S308、监控节点S通知查询结果中的监控节点,告知该采集节点H负载过重并发送替代采集A的 负载率最低的采集节点B的信息;
步骤S309、得到通知的监控节点通知其所管理的采集节点将原先发送往采集节点H的数据流转向,发 送到采集节点B,则在一个心跳周期内只调整一个数据流向,避免对整个数据传输流程造成过大影响;
步骤S310、在下一个心跳周期内,监控节点S继续计算PH、PL与Pa的值,若仍有步骤e中的情况出 现,则继续调整节点负载,否则完成一次采集节点负载均衡流程。
上述实施例提供一种智能船舶中传感监测数据处理装置,通过对采集到的数据流进行滑动窗口的划分, 对每一子窗口并行计算数据块的支持度值,并对子窗口的数据块进行遗传算法的迭代处理再进行数据块的 支持度值的计算,从而把符合要求的数据块合并到一个数据项集,最终对每一子窗口的数据项集的支持度 值计算得到最终滑动窗口的数据项集进行数据输出。本发明实施例提供的技术方案,可以有效解决现有智 能船舶中监测数据处理能力不强导致定位***、艏向测量***等***不能够准确及时地输出相关信息,不 能有效及时地给出决策结果这一技术问题。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包 括一系列要素的商品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为 这种商品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不 排除在包括所述要素的商品或者***中还存在另外的相同要素。
上述说明示出并描述了本发明的若干优选实施例,但如前所述,应当理解本发明并非局限于本文所披 露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述发 明构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱 离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。
Claims (8)
1.一种智能船舶中传感监测数据处理方法,其特征在于,所述方法包括:
步骤S1、接收所述船舶中多个***的监测数据,得到数据流;对所述数据流设定大小为W1的滑动窗口SW,在所述滑动窗口SW上分割出多个大小为W2的子窗口NSW;
步骤S2、根据数据属性对当前子窗口NSW的数据块进行划分,得到初始化种群;
步骤S3、计算所述当前子窗口NSW中各所述数据块的支持度值,判断所述各数据块的支持度值是否大于阈值,如果是,将所述数据块添加到所述当前子窗口NSW的第一有效项集内;
步骤S4、对所述当前子窗口NSW内的数据块进行遗传算法处理,对完成一次遗传算法操作的数据块进行扫描,对于所述数据块的支持度值大于等于所述阈值的数据块,添加到所述当前子窗口NSW的第一有效项集中;
步骤S5、判断遗传算法迭代结束条件,如果遗传算法迭代处理的计数比阈值T小,则回到步骤S3继续进行,否则停止运算,最终得到当前子窗口NSW内数据块的第二有效项集;
步骤S6、对于每个子窗口NSW,基于MPI并行计算模型,使用多线程技术,进行并行计算处理,分别得到每个子窗口NSW内数据块的第二有效项集。
步骤S7、将每个子窗口NSW内数据块的第二有效项集,与进行L次并行计算获得的有效项集一起组成有效项集种群,其中,L=W1/W2-1;然后对有效项集种群中每个有效项集的支持度值进行计算,满足支持度值条件的所述有效项集作为滑动窗口SW内的最终有效项集,输出结果;
步骤S8、数据流流动和滑动窗口的迁移,接收流入的新数据,同时删除过期的旧数据,更新滑动窗口数据作为新的处理起点。
2.根据权利要求1所述的一种智能船舶中传感监测数据处理方法,其特征在于,其中所述支持度值的计算方法为Fi=Wi/Wz,其中Wi为属性值相同的数据块数,Wz为数据块总数,Fi为第i个数据块的支持度。
3.根据权利要求1所述的一种智能船舶中传感监测数据处理方法,其特征在于,所述接收多个***的监测数据包括数据采集,当某个采集节点出现故障时,处理方法如下:
步骤S201、采集节点定时向自己所属的监控节点发送心跳信息;
步骤S202、监控节点S对获取到的采集节点状态信息进行定期检测;
步骤S203、所述监控节点S检测到某个采集节点A在设定的时间内没有发送心跳信息,则判定所述采集节点A失效;
步骤S204、所述监控节点S从自己获取的全局监控信息中查找往所述采集节点A传输数据的上游采集节点;
步骤S205、所述监控节点S向监控节点管理服务器查询所述上游采集节点对应的所述监控节点以及可以替代所述采集节点A的其他采集节点;
步骤S206、所述监控节点管理服务器返回查询结果给所述监控节点S;
步骤S207、所述监控节点S通知查询结果中的所有所述监控节点,告知该采集节点失效并发送可以替代所述采集节点A的其他采集节点信息;
步骤S208、得到通知的所述监控节点从备选采集节点中选取合适的采集节点B来替代所述采集节点A,然后通知其所管理的受控节点将原先发送往所述采集节点A的数据流转向,发送到所述采集节点B。
4.根据权利要求3所述的一种智能船舶中传感监测数据处理方法,其特征在于,所述接收多个***的监测数据包括数据采集,当某个采集节点出现负载过大时,处理方法如下:
步骤S301、所述采集节点定时向自己所属的所述监控节点发送心跳信息;
步骤S302、所述监控节点S从所述采集节点发送的心跳信息中提取所述采集节点的负载信息,包括所述采集节点的CPU使用率和内存使用率,并保存所述采集节点的信息;
步骤S303、所述监控节点S以一定时间为间隔计算一次该层级所有采集节点的平均负载率Pa,Pa为该层级所有所述采集节点负载率的平均值;
步骤S304、所述监控节点S将该层级负载率最高的所述采集节点H的负载率PH和该层级负载率最低的所述采集节点L的负载率PL与Pa对比;
步骤S305、若PH大于Pa值的120%,或PL小于Pa值的80%,则对该层级采集节点负载进行均衡,所述监控节点S首先查找负载率最高的所述采集节点H,然后随机选择一个采集节点H传输数据的上游采集节点;
步骤S306、监所述控节点S向监控节点管理服务器查询所述上游采集节点对应的监控节点以及可以替代所述采集节点H的其他采集节点;
步骤S307、所述监控节点管理服务器返回查询结果给所述监控节点S;
步骤S308、所述监控节点S通知查询结果中的监控节点,告知所述采集节点H负载过重并发送替代所述采集节点H的负载率最低的采集节点B的信息;
步骤S309、得到通知的所述监控节点通知其所管理的采集节点将原先发送往所述采集节点H的数据流转向,发送到所述采集节点B,则在一个心跳周期内调整一个数据流向;
步骤S310、在下一个心跳周期内,所述监控节点S继续计算PH、PL与Pa的值,若仍有步骤S305中的情况出现,则继续调整节点负载,否则完成一次采集节点负载均衡流程。
5.一种智能船舶中传感监测数据处理装置,其特征在于,所述装置包括:
接收和数据分割模块,用于接收所述船舶中多个***的监测数据,得到数据流;对所述数据流设定大小为W1的滑动窗口SW,在所述滑动窗口SW上分割出多个大小为W2的子窗口NSW;
数据属性划分模块,用于根据数据属性对当前子窗口NSW的数据块进行划分,得到初始化种群;
计算分类模块,用于计算所述当前子窗口NSW中各所述数据块的支持度值,判断所述各数据块的支持度值是否大于阈值,如果是,将所述数据块添加到所述当前子窗口NSW的第一有效项集内;
遗传算法处理分类模块,用于对所述当前子窗口NSW内的数据块进行遗传算法处理,对完成一次遗传算法操作的数据块进行扫描,对于所述数据块的支持度值大于等于所述阈值的数据块,添加到所述当前子窗口NSW的第一有效项集中;
迭代处理分类模块,用于判断遗传算法迭代结束条件,如果遗传算法迭代处理的计数比阈值T小,则回到步骤S3继续进行,否则停止运算,最终得到当前子窗口NSW内数据块的第二有效项集;
多线并行计算分类模块,用于对于每个子窗口NSW,基于MPI并行计算模型,使用多线程技术,进行并行计算处理,分别得到NSW每个子窗口NSW内数据块的第二有效项集。
数据输出模块,用于将每个子窗口NSW内数据块的第二有效项集,与进行L次并行计算获得的有效项集一起组成有效项集种群,其中,L=W1/W2-1;然后对有效项集种群中每个有效项集的支持度值进行计算,满足支持度值条件的所述有效项集作为滑动窗口SW内的最终有效项集,输出结果。
6.根据权利要求5所述的一种智能船舶中传感监测数据处理装置,其特征在于,其中所述支持度值的计算方法为Fi=Wi/Wz,其中Wi为属性值相同的数据块数,Wz为数据块总数,Fi为第i个数据块的支持度。
7.根据权利要求5所述的一种智能船舶中传感监测数据处理装置,其特征在于,所述接收和数据分割模块,还用于当某个采集节点出现故障时,处理如下的步骤:
步骤S201、采集节点定时向自己所属的监控节点发送心跳信息;
步骤S202、监控节点S对获取到的采集节点状态信息进行定期检测;
步骤S203、所述监控节点S检测到某个采集节点A在设定的时间内没有发送心跳信息,则判定所述采集节点A失效;
步骤S204、所述监控节点S从自己获取的全局监控信息中查找往所述采集节点A传输数据的上游采集节点;
步骤S205、所述监控节点S向监控节点管理服务器查询所述上游采集节点对应的所述监控节点以及可以替代所述采集节点A的其他采集节点;
步骤S206、所述监控节点管理服务器返回查询结果给所述监控节点S;
步骤S207、所述监控节点S通知查询结果中的所有所述监控节点,告知该采集节点失效并发送可以替代所述采集节点A的其他采集节点信息;
步骤S208、得到通知的所述监控节点从备选采集节点中选取合适的采集节点B来替代所述采集节点A,然后通知其所管理的受控节点将原先发送往所述采集节点A的数据流转向,发送到所述采集节点B。
8.根据权利要求7所述的一种智能船舶中传感监测数据处理装置,其特征在于,所述接收和数据分割模块,还用于当某个采集节点出现负载过大时,处理如下的步骤:
步骤S301、所述采集节点定时向自己所属的所述监控节点发送心跳信息;
步骤S302、所述监控节点S从所述采集节点发送的心跳信息中提取所述采集节点的负载信息,包括所述采集节点的CPU使用率和内存使用率,并保存所述采集节点的信息;
步骤S303、所述监控节点S以一定时间为间隔计算一次该层级所有采集节点的平均负载率Pa,Pa为该层级所有所述采集节点负载率的平均值;
步骤S304、所述监控节点S将该层级负载率最高的所述采集节点H的负载率PH和该层级负载率最低的所述采集节点L的负载率PL与Pa对比;
步骤S305、若PH大于Pa值的120%,或PL小于Pa值的80%,则对该层级采集节点负载进行均衡,所述监控节点S首先查找负载率最高的所述采集节点H,然后随机选择一个采集节点H传输数据的上游采集节点;
步骤S306、监所述控节点S向监控节点管理服务器查询所述上游采集节点对应的监控节点以及可以替代所述采集节点H的其他采集节点;
步骤S307、所述监控节点管理服务器返回查询结果给所述监控节点S;
步骤S308、所述监控节点S通知查询结果中的监控节点,告知所述采集节点H负载过重并发送替代所述采集节点H的负载率最低的采集节点B的信息;
步骤S309、得到通知的所述监控节点通知其所管理的采集节点将原先发送往所述采集节点H的数据流转向,发送到所述采集节点B,则在一个心跳周期内调整一个数据流向;
步骤S310、在下一个心跳周期内,所述监控节点S继续计算PH、PL与Pa的值,若仍有步骤S305中的情况出现,则继续调整节点负载,否则完成一次采集节点负载均衡流程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911068729.1A CN110807133B (zh) | 2019-11-05 | 2019-11-05 | 一种智能船舶中传感监测数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911068729.1A CN110807133B (zh) | 2019-11-05 | 2019-11-05 | 一种智能船舶中传感监测数据处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110807133A true CN110807133A (zh) | 2020-02-18 |
CN110807133B CN110807133B (zh) | 2020-08-04 |
Family
ID=69501323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911068729.1A Active CN110807133B (zh) | 2019-11-05 | 2019-11-05 | 一种智能船舶中传感监测数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110807133B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112398906A (zh) * | 2020-10-14 | 2021-02-23 | 上海海典软件股份有限公司 | 一种互联网平台数据交互方法及装置 |
CN113012412A (zh) * | 2021-03-03 | 2021-06-22 | 福建碧霞环保科技有限公司 | 基于仪表和视频数据动态采集统计分析的智慧数据采集方法及*** |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102541645A (zh) * | 2012-01-04 | 2012-07-04 | 北京航空航天大学 | 一种基于节点状态反馈的节点任务槽动态调整方法 |
US8223010B2 (en) * | 1998-06-22 | 2012-07-17 | Sipco Llc | Systems and methods for monitoring vehicle parking |
CN103471674A (zh) * | 2013-08-05 | 2013-12-25 | 中交一航局第三工程有限公司 | 船舶燃油消耗智能化监控*** |
CN103716182A (zh) * | 2013-12-12 | 2014-04-09 | 中国科学院信息工程研究所 | 一种面向实时云平台的故障检测与容错方法及*** |
CN104503414A (zh) * | 2014-12-29 | 2015-04-08 | 广州文冲船厂有限责任公司 | 一种智能船舶信息监控*** |
CN105740457A (zh) * | 2016-02-15 | 2016-07-06 | 浪潮电子信息产业股份有限公司 | 一种基于cpu+mic协同计算的近期数据流频繁项集挖掘方法 |
CN109649626A (zh) * | 2018-12-21 | 2019-04-19 | 广州文冲船厂有限责任公司 | 一种智能船舶 |
CN109740037A (zh) * | 2019-01-02 | 2019-05-10 | 山东省科学院情报研究所 | 多源、异构流态大数据分布式在线实时处理方法及*** |
-
2019
- 2019-11-05 CN CN201911068729.1A patent/CN110807133B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8223010B2 (en) * | 1998-06-22 | 2012-07-17 | Sipco Llc | Systems and methods for monitoring vehicle parking |
CN102541645A (zh) * | 2012-01-04 | 2012-07-04 | 北京航空航天大学 | 一种基于节点状态反馈的节点任务槽动态调整方法 |
CN103471674A (zh) * | 2013-08-05 | 2013-12-25 | 中交一航局第三工程有限公司 | 船舶燃油消耗智能化监控*** |
CN103716182A (zh) * | 2013-12-12 | 2014-04-09 | 中国科学院信息工程研究所 | 一种面向实时云平台的故障检测与容错方法及*** |
CN104503414A (zh) * | 2014-12-29 | 2015-04-08 | 广州文冲船厂有限责任公司 | 一种智能船舶信息监控*** |
CN105740457A (zh) * | 2016-02-15 | 2016-07-06 | 浪潮电子信息产业股份有限公司 | 一种基于cpu+mic协同计算的近期数据流频繁项集挖掘方法 |
CN109649626A (zh) * | 2018-12-21 | 2019-04-19 | 广州文冲船厂有限责任公司 | 一种智能船舶 |
CN109740037A (zh) * | 2019-01-02 | 2019-05-10 | 山东省科学院情报研究所 | 多源、异构流态大数据分布式在线实时处理方法及*** |
Non-Patent Citations (1)
Title |
---|
林晨等: ""智能船舶集成平台数据采集技术研究与实践"", 《上海船舶运输科学研究所学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112398906A (zh) * | 2020-10-14 | 2021-02-23 | 上海海典软件股份有限公司 | 一种互联网平台数据交互方法及装置 |
CN113012412A (zh) * | 2021-03-03 | 2021-06-22 | 福建碧霞环保科技有限公司 | 基于仪表和视频数据动态采集统计分析的智慧数据采集方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN110807133B (zh) | 2020-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | Sensing data supported traffic flow prediction via denoising schemes and ANN: A comparison | |
CN110807133B (zh) | 一种智能船舶中传感监测数据处理方法及装置 | |
CN115131393B (zh) | 轨迹预测方法、碰撞检测方法、装置、电子设备及介质 | |
CN111159924B (zh) | 用于预测漂移轨迹的方法和装置 | |
CN110738355A (zh) | 一种基于神经网络的城市内涝预测方法 | |
Yang et al. | Maritime traffic flow clustering analysis by density based trajectory clustering with noise | |
CN115618251B (zh) | 船舶轨迹预测方法、装置、电子设备及存储介质 | |
CN115050214B (zh) | 一种基于ais数据的船舶碰撞风险预测方法 | |
CN117764282A (zh) | 一种多传感器数据融合的船舶能源消耗追踪方法 | |
JP7071316B2 (ja) | 車両用情報処理装置 | |
Eljabu et al. | Anomaly detection in maritime domain based on spatio-temporal analysis of ais data using graph neural networks | |
Ji et al. | A dynamic adaptive grating algorithm for AIS-based ship trajectory compression | |
CN116630907A (zh) | 一种基于遥感的船舶航行数字孪生方法、***、终端及存储介质 | |
EP3729765B1 (en) | System and method for predicting the state changes of network nodes | |
CN113806585B (zh) | 一种获取路段通行时长的方法、装置、电子设备及存储介质 | |
KR20230143444A (ko) | 해상 표류체의 표류경로 추정시스템 및 방법 | |
CN113627668B (zh) | 一种超算环境下的数据分析处理*** | |
Timotheou et al. | Moving horizon fault-tolerant traffic state estimation for the cell transmission model | |
Goller et al. | Abnormal Behaviour Detection of Self-Adaptive Agents in Traffic Environments | |
Chen et al. | Travel time prediction on urban networks based on combining rough set with support vector machine | |
Kwun et al. | Prediction of vessel arrival time using auto identification system data | |
CN115619118A (zh) | 一种融合边权注意力深度强化学习的应急物资调度方法 | |
CN114331042A (zh) | 一种船舶碰撞风险分析方法 | |
Mekala et al. | A DRL based 4-r Computation Model for Object Detection on RSU using LiDAR in IloT | |
CN114756975B (zh) | 一种基于双通道的动态液位无线监控***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |