CN112258689A - 船舶数据处理方法、装置和船舶数据质量管理平台 - Google Patents

船舶数据处理方法、装置和船舶数据质量管理平台 Download PDF

Info

Publication number
CN112258689A
CN112258689A CN202011144509.5A CN202011144509A CN112258689A CN 112258689 A CN112258689 A CN 112258689A CN 202011144509 A CN202011144509 A CN 202011144509A CN 112258689 A CN112258689 A CN 112258689A
Authority
CN
China
Prior art keywords
data
ship data
ship
reliability
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011144509.5A
Other languages
English (en)
Other versions
CN112258689B (zh
Inventor
向新桃
房新楠
樊翔
高文
汤瑾璟
蔡笑驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Merchant Ship Design and Research Institute of CSSC No 604 Research Institute
Original Assignee
Shanghai Merchant Ship Design and Research Institute of CSSC No 604 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Merchant Ship Design and Research Institute of CSSC No 604 Research Institute filed Critical Shanghai Merchant Ship Design and Research Institute of CSSC No 604 Research Institute
Priority to CN202011144509.5A priority Critical patent/CN112258689B/zh
Publication of CN112258689A publication Critical patent/CN112258689A/zh
Application granted granted Critical
Publication of CN112258689B publication Critical patent/CN112258689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Complex Calculations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种船舶数据处理方法、装置和船舶数据质量管理平台，涉及船舶数据分析的技术领域，包括根据船舶数据的种类判断船舶数据是否为异常数据；对将异常数据剔除后的船舶数据进行可信度分析；将分析得到的可信度指标与对应的可信度阈值进行比对，并根据对比情况，进行相应处理操作，能够为船舶状态数据提供较为完善的清洗规则，使得清洗处理后的数据更加准确，适应于船舶应用的各种场景。

Description

船舶数据处理方法、装置和船舶数据质量管理平台
技术领域
本发明涉及船舶数据分析的技术领域，尤其是涉及一种船舶数据处理方法、装置和船舶数据质量管理平台。
背景技术
目前船舶智能化已经成为全球航运业的大势所趋，通过智能船舶的总体设计，搭载相关的智能应用，如智能航行、智能船体、智能机舱、智能能效等，实现船舶的辅助决策、远程遥控、无人自主等功能。上述智能应用的正常运行均需船舶相应状态数据。通过梳理船舶各智能应用对于数据采集、存储、分发、船岸传输等场景的功能需求，开发数据管理平台，对数据流进行常规的清洗、分发、存储、船岸回传，减少了各智能应用对于数据处理的需求，使其专注于业务本身的实现。
当前的数据清洗处理方式，一般包括依据固定不变的清洗规则，对具有缺失值、重复值、类型错误等异常数据进行剔除，但船舶状态数据具有随着时间周期进行变化的性质，因此当前的数据清洗方式，并不能适用于船舶领域中的多种应用场景，该方式无法确保清洗处理后的船舶状态数据的准确性。
发明内容
本发明的目的在于提供一种船舶数据处理方法、装置和船舶数据质量管理平台，能够为船舶状态数据提供较为完善的清洗规则，使得清洗处理后的数据更加准确，适应于船舶应用的各种场景。
第一方面，本发明实施例提供了一种船舶数据处理方法，包括：
根据船舶数据的种类判断所述船舶数据是否为异常数据；
对将所述异常数据剔除后的船舶数据进行可信度分析；
将分析得到的可信度指标与对应的可信度阈值进行比对，并根据对比情况，进行相应处理操作。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，根据船舶数据的种类判断所述船舶数据是否为异常数据的步骤，包括：
将所述种类的船舶数据与所述种类的船舶数据对应的预设缺失阈值进行对比，判断所述的船舶数据是否为缺失值；
通过所述船舶数据的数据采集时间判断所述船舶数据是否具有重复异常；
将所述种类的船舶数据的数据类型与所述种类的船舶数据对应的预设数据类型进行对比，判断所述的船舶数据是否具有数据类型异常；
将所述种类的船舶数据的指标参数与所述种类的船舶数据对应的预设指标阈值进行对比，判断所述的船舶数据是否具有异常的取值范围。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，对将所述异常数据剔除后的船舶数据进行可信度分析的步骤，包括：
通过多源数据对比方式，将采集获得的船舶数据与理论计算获得的船舶数据进行相似度比对；
当比对结果的相似度较高时，所述船舶数据的可信度较高。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，对将所述异常数据剔除后的船舶数据进行可信度分析的步骤，包括：
通过统计分析方式计算出预设时段的船舶数据对应的均值和标准差；
根据目标时刻采集获得的船舶数据与所述均值和所述标准差，进行相似度比对；
当比对结果的相似度较高时，所述船舶数据的可信度较高。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，对将所述异常数据剔除后的船舶数据进行可信度分析的步骤，包括：
通过第一种类的船舶数据与第二种类的船舶数据之间的关联规则计算出第一种类与第二种类的船舶数据之间的回归曲线；
根据所述回归曲线与目标时刻采集获得的船舶数据确定所述船舶数据的预测值；
将所述预测值与所述目标时刻采集获得的船舶数据，进行相似度比对；
当比对结果的相似度较高时，所述船舶数据的可信度较高。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，将分析得到的可信度指标与对应的可信度阈值进行比对，并根据对比情况，进行相应处理操作的步骤，包括：
若分析得到的可信度指标低于对应的可信度阈值，则触发预警。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，将分析得到的可信度指标与对应的可信度阈值进行比对，并根据对比情况，进行相应处理操作的步骤，包括：
若分析得到的可信度指标不低于对应的可信度阈值，则根据所述可信度指标，筛选出目标船舶数据，并存储于数据库。
结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述船舶数据的种类包括：经度坐标、维度坐标、舵角、艏向、螺旋桨转速和主机功率。
第二方面，本发明实施例还提供一种船舶数据处理装置，包括：
清洗模块，用于根据船舶数据的种类判断所述船舶数据是否为异常数据；
可信度计算模块，用于对将所述异常数据剔除后的船舶数据进行可信度分析；
对比模块，用于将分析得到的可信度指标与对应的可信度阈值进行比对，并根据对比情况，进行相应处理操作。
第三方面，本发明实施例还提供一种船舶数据质量管理平台，包括如上所述的船舶数据处理装置，还包括用于存放实时采集船舶数据的存储器和数据库以及进行交互的终端。
本发明实施例提供了一种船舶数据处理方法、装置和船舶数据质量管理平台，对各个种类的船舶数据进行清洗判断出异常数据，将该异常数据进行剔除后再进行可信度分析，得到每个种类的船舶数据的可信度指标，将可信度指标与对应的可信度阈值进行比对，并根据具体的比对情况执行相应的处理操作，保证经过上述处理后的船舶数据更加准确，能够适应于各种船舶应用场景。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种船舶数据处理方法流程示意图；
图2为本发明实施例提供的一种经纬度清洗案例示意图；
图3为本发明实施例提供的一种体现转速和主机功率之间的关系示意图；
图4为本发明实施例提供的一种船舶数据处理装置的功能模块示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前的船舶智能化应用，需要应用船舶相应状态数据，通过梳理船舶各智能应用场景对船舶相应状态数据的功能需求，对船舶相应状态数据进行常规清洗处理等操作，以使得处理后的船舶数据能够满足业务应用。但船舶信息化起步晚，技术积累不足，目前还未形成专门针对船舶运营数据的质量分析方法和清洗规则；另一方面，船舶运营环境多变，数据采集和传输常受到恶劣海况的影响，数据质量不高，错误率高。因此，针对智能船运营数据，急需建立一套完善的、专业的数据质量分析方法、清洗规则以及数据质量管理软硬件平台。
随着信息技术的不断发展，各行各业都实现了不同程度的信息化和智能化，积累了大量业务数据。为了使数据服务于应用，需确保其准确性。数据清洗的目的是发现数据中存在的错误，剔除或修正它们，以提高数据质量。
大体上，数据清洗方法可以分为以下几类：
①数据库层面的清洗，包括对缺失值、重复值、类型错误的处理方法；多源数据的对比筛选等。数据库层面的数据清洗与应用领域无关，也不关心数据表达的物理意义。
②基于统计原理的清洗方法，比如，利用统计分布或聚类算法剔除离群点。
③基于领域知识的清洗，比如，利用关联规则剔除不符合规律的点。
④数据噪声的清洗，比如，利用分箱算法或者频谱分析降低噪声。
但现有数据清洗方法的主要目的在于确保数据的准确性，对异常数据的处理方法往往是剔除或者修正。现有方法并不完全适用于工业大数据***，特别是船舶工业。主要原因在于以下两点:(a)工程对象的物理性质会随着其生命周期的衍进而不断变化，因而，所谓“异常数据判断标准”也是不断变化的，无论是基于统计原理，还是关联规则的清洗方法，直接剔除或者修改“异常点”都是不合适的。(b)“异常点”可能表达重要的物理意义，比如传感器故障、设备损坏或者关键性能指标的变化等，因而保留异常点，并提醒工程管理人员开展深入分析是非常必要的。
基于此，本发明实施例提供的一种船舶数据处理方法、装置和船舶数据质量管理平台，能够为船舶状态数据提供较为完善的清洗规则，使得清洗处理后的数据更加准确，适应于船舶应用的各种场景。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种船舶数据处理方法进行详细介绍。
图1为本发明实施例提供的一种船舶数据处理方法流程图。
参照图1，该船舶数据处理方法可包括以下步骤：
步骤S102，根据船舶数据的种类判断所述船舶数据是否为异常数据；
步骤S104，对将所述异常数据剔除后的船舶数据进行可信度分析；
步骤S106，将分析得到的可信度指标与对应的可信度阈值进行比对，并根据对比情况，进行相应处理操作。
在实际应用的优选实施例中，对各个种类的船舶数据进行清洗判断出异常数据，将该异常数据进行剔除后再进行可信度分析，得到每个种类的船舶数据的可信度指标，将可信度指标与对应的可信度阈值进行比对，并根据具体的比对情况执行相应的处理操作，保证经过上述处理后的船舶数据更加准确，能够适应于各种船舶应用场景。
在一些可能的实施例中，数据清洗功能为针对明确的错误数据，应当剔除。其中，错误数据包括缺失值、重复数据、数据类型错误、超过取值范围、变化率超过取值范围等等。
在一些可能的实施例中，步骤S102，包括以下步骤：
步骤1.1)，将所述种类的船舶数据与所述种类的船舶数据对应的预设缺失阈值进行对比，判断所述的船舶数据是否为缺失值；
步骤1.2)，通过所述船舶数据的数据采集时间判断所述船舶数据是否具有重复异常；
步骤1.3)，将所述种类的船舶数据的数据类型与所述种类的船舶数据对应的预设数据类型进行对比，判断所述的船舶数据是否具有数据类型异常；
步骤1.4)，将所述种类的船舶数据的指标参数与所述种类的船舶数据对应的预设指标阈值进行对比，判断所述的船舶数据是否具有异常的取值范围。
在工业大数据和船舶工程领域，运营数据一般为时序数据集。表1为原始数据集典型例子。其中，timestamp表示数据采集时间，可通过该指标判断数据是否发生重复；Longitude和Latitude分别表示船位经度坐标和纬度坐标；其他测量参数如舵角Rudder、艏向Heading、螺旋桨转速NMS、主机功率Ps等也列于表中。
表1：船舶原始数据集案例
Figure BDA0002742020630000081
以经纬坐标为例，错误数据的识别方法可按如下步骤进行：①判断是否为缺失值；②判断是否为重复数据，③判断数据类型(应当为浮点型或整型)是否发生错误；④判断数据是否超过取值范围，其中，纬度和经度坐标应当满足-90°≤Latitude≤90°；-180°≤Longitude<180°；⑤判断数据变化率是否超过取值范围，由于经纬坐标的时间导数表示船舶航行速度，该指标应符合工程常识，通常不会超过50节；再引入工程余量，以60节作为判断标准，若经纬坐标的时间变化率超过60节(0.00027°/s)，可判定为错误值，看参考图2中经纬度清洗案例。
在一些实施例中，数据可信度分析为对于数据可信度不高，但是并不能明确认定为错误数据的数据，将其保留。同时，提出可信度评价指标，可信度评价指标包括：
α1∈[0,1]，表示基于多源对比的可信度分析；
α2∈[0,1]，表示基于统计分析的可信度分析；
α3∈[0,1]，表示基于关联规则的可信度分析。
而通过常规清洗方法剔除明确的错误数据之后，本发明实施例再从多源数据对比，统计分析以及关联规则三个方面标记数据的可信度。作为一种可选的实施例，步骤S104，包括：
步骤2.1)，通过多源数据对比方式，将采集获得的船舶数据与理论计算获得的船舶数据进行相似度比对；
步骤2.2)，当比对结果的相似度较高时，所述船舶数据的可信度较高。
其中，以风速为例，船用风速风向仪可以测量对船风速V1；气象预报数据提供区域内的风速分布，进行空间插值和相对变换之后，也可求得对船风速V2。那么二者之差就可以作为数据可信度评价指标之一，定义为：
Figure BDA0002742020630000091
由上述公式可知，当多源数据V1和V2完全相等，获得可信度α1＝1，表示数据可信；当V1和V2差异增大，α1逐渐降低，理论最低值可以接近0。
作为一种可选的实施例，步骤S104，包括：
步骤3.1)，通过统计分析方式计算出预设时段的船舶数据对应的均值和标准差；
步骤3.2)，根据目标时刻采集获得的船舶数据与所述均值和所述标准差，进行相似度比对；
步骤3.3)，当比对结果的相似度较高时，所述船舶数据的可信度较高。
对于工业大数据***，数据往往表示明确的物理量，数据分布状态在一段时间内应趋于稳定。以主机功率为例，假设某时刻获得舵角数据Rudder。对该时刻之前记录的若干条数据(比如10000条，可由用户配置)做统计分析，求得均值R0和标准差Rstd，那么求得Rudder与R0之差就可作为数据可信度评价指标之一，定义为：
Figure BDA0002742020630000101
其中，由上述公式可知，当新数据舵角数据Rudder与先验分布符合程度越高，可信度α2越接近1，表示船舶数据越可信。
作为一种可选的实施例，步骤S104，还可用以下步骤实现，包括：
步骤4.1)，通过第一种类的船舶数据与第二种类的船舶数据之间的关联规则计算出第一种类与第二种类的船舶数据之间的回归曲线；
步骤4.2)，根据所述回归曲线与目标时刻采集获得的船舶数据确定所述船舶数据的预测值；
步骤4.3)，将所述预测值与所述目标时刻采集获得的船舶数据，进行相似度比对；
步骤4.4)，当比对结果的相似度较高时，所述船舶数据的可信度较高。
对于工业大数据***，数据之间常具备强相关性。以功率和转速之间的关系为例。假设某时刻获得数据螺旋桨转速NMS和主机功率Ps。对该时刻之前的若干条数据(比如10000条，可由用户配置)做回归分析，求得Ps与NMS之间的回归曲线，如图3所示。其中，回归曲线的计算公式如下：
y＝f(x)＝10.787x2-264.12x
其中，y对应主机功率Ps，x对应螺旋桨转速NMS。那么将新测得的数据NMS代入上述公式，可以获得主机功率预测值Ps0，求得Ps0与Ps之差，就可以作为数据可信度评价指标之一，定义为：
Figure BDA0002742020630000102
由上述公式可知，新船舶数据螺旋桨转速NMS和主机功率Ps与上述公式中先验规则符合程度越高，可信度α3越接近1，表示数据越可信。
在获得三个可信度指标之后，可以设计数据异常预警机制和数据筛选功能。其中，低可信度数据处理方法：包括(a)建立数据质量预警机制：当数据可信度低于阈值，提示用户进行人工干预，查找原因。(b)数据筛选：用户根据数据可信度，对数据进行灵活筛选，筛选标准可以由用户根据领域知识灵活设置；从而获得高质量的，符合特定需求的数据集。
在一些实施例中，步骤S106，包括以下步骤：
步骤5.1)，若分析得到的可信度指标低于对应的可信度阈值，则触发预警。
对任意数据项，配置可信度阈值α1,Limit、α2,Limit和α3,Limit。这三个参数与船舶工程领域知识密切相关，应当由经验丰富的设计人员或者航海专业人士来指定。读入新数据后，根据前述三个公式求得可信度指标α1、α2、α3，与三个阈值分别比较，若发生低于阈值的情况，就触发预警，提醒管理人员核查原因。
在一些实施例中，步骤S106，包括以下步骤：
步骤6.1)，若分析得到的可信度指标不低于对应的可信度阈值，则根据所述可信度指标，筛选出目标船舶数据，并存储于数据库。
对每一条数据，求得α1、α2、α3之后，将它们作为新增数据项存入数据库中。分析人员可根据这三个指标筛选出可信度较高的、适用于特定目标的数据集。
作为一种可选的实施例，其中，所述船舶数据的种类包括：经度坐标、维度坐标、舵角、艏向、螺旋桨转速和主机功率。
在一些实施例中，本发明实施例还提供一种船舶数据处理装置，如图4所示，包括：
清洗模块，用于根据船舶数据的种类判断所述船舶数据是否为异常数据；
可信度计算模块，用于对将所述异常数据剔除后的船舶数据进行可信度分析；
对比模块，用于将分析得到的可信度指标与对应的可信度阈值进行比对，并根据对比情况，进行相应处理操作。
在一些可能的实施例中，清洗模块还具体用于配置常规清洗算法，每一次录入新数据，该模块需识别并剔除明确的错误数据。
在一些可能的实施例中，可信度计算模块还具体用于配置数据可信度算法，每一次录入新数据，该模块需计算三个可信度指标，将它们作为新增数据项存如数据库中。
在一些可能的实施例中，对比模块还具体用于配置数据预警***。每一次录入新数据，该模块需查验数据可信度，发生可信度低于阈值的情况时，该模块需提醒管理人员核查原因。
在一些可能的实施例中，对比模块还具体用于数据筛选。用户可指定的可信度筛选范围，获得想要的数据集。
在一些可能的实施例中，本发明实施例还提供一种船舶数据质量管理平台，包括如上所述的船舶数据处理装置，还包括用于存放实时采集船舶数据的存储器和数据库以及进行交互的终端。
本发明实施例提供的船舶数据处理装置，与上述实施例提供的船舶数据处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本发明实施例所提供的船舶数据处理方法、装置以及船舶数据质量管理平台的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例提供的船舶数据处理方法的步骤。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例的船舶数据处理方法的步骤。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种船舶数据处理方法，其特征在于，包括：
根据船舶数据的种类判断所述船舶数据是否为异常数据；
对将所述异常数据剔除后的船舶数据进行可信度分析；
将分析得到的可信度指标与对应的可信度阈值进行比对，并根据对比情况，进行相应处理操作。
2.根据权利要求1所述的船舶数据处理方法，其特征在于，根据船舶数据的种类判断所述船舶数据是否为异常数据的步骤，包括：
将所述种类的船舶数据与所述种类的船舶数据对应的预设缺失阈值进行对比，判断所述的船舶数据是否为缺失值；
通过所述船舶数据的数据采集时间判断所述船舶数据是否具有重复异常；
将所述种类的船舶数据的数据类型与所述种类的船舶数据对应的预设数据类型进行对比，判断所述的船舶数据是否具有数据类型异常；
将所述种类的船舶数据的指标参数与所述种类的船舶数据对应的预设指标阈值进行对比，判断所述的船舶数据是否具有异常的取值范围。
3.根据权利要求1所述的船舶数据处理方法，其特征在于，对将所述异常数据剔除后的船舶数据进行可信度分析的步骤，包括：
通过多源数据对比方式，将采集获得的船舶数据与理论计算获得的船舶数据进行相似度比对；
当比对结果的相似度较高时，所述船舶数据的可信度较高。
4.根据权利要求1所述的船舶数据处理方法，其特征在于，对将所述异常数据剔除后的船舶数据进行可信度分析的步骤，包括：
通过统计分析方式计算出预设时段的船舶数据对应的均值和标准差；
根据目标时刻采集获得的船舶数据与所述均值和所述标准差，进行相似度比对；
当比对结果的相似度较高时，所述船舶数据的可信度较高。
5.根据权利要求1所述的船舶数据处理方法，其特征在于，对将所述异常数据剔除后的船舶数据进行可信度分析的步骤，包括：
通过第一种类的船舶数据与第二种类的船舶数据之间的关联规则计算出第一种类与第二种类的船舶数据之间的回归曲线；
根据所述回归曲线与目标时刻采集获得的船舶数据确定所述船舶数据的预测值；
将所述预测值与所述目标时刻采集获得的船舶数据，进行相似度比对；
当比对结果的相似度较高时，所述船舶数据的可信度较高。
6.根据权利要求1所述的船舶数据处理方法，其特征在于，将分析得到的可信度指标与对应的可信度阈值进行比对，并根据对比情况，进行相应处理操作的步骤，包括：
若分析得到的可信度指标低于对应的可信度阈值，则触发预警。
7.根据权利要求6所述的船舶数据处理方法，其特征在于，将分析得到的可信度指标与对应的可信度阈值进行比对，并根据对比情况，进行相应处理操作的步骤，包括：
若分析得到的可信度指标不低于对应的可信度阈值，则根据所述可信度指标，筛选出目标船舶数据，并存储于数据库。
8.根据权利要求1所述的船舶数据处理方法，其特征在于，所述船舶数据的种类包括：经度坐标、维度坐标、舵角、艏向、螺旋桨转速和主机功率。
9.一种船舶数据处理装置，其特征在于，包括：
清洗模块，用于根据船舶数据的种类判断所述船舶数据是否为异常数据；
可信度计算模块，用于对将所述异常数据剔除后的船舶数据进行可信度分析；
对比模块，用于将分析得到的可信度指标与对应的可信度阈值进行比对，并根据对比情况，进行相应处理操作。
10.一种船舶数据质量管理平台，其特征在于，包括如权利要求9所述的船舶数据处理装置，还包括用于存放实时采集船舶数据的存储器和数据库以及进行交互的终端。
CN202011144509.5A 2020-10-26 2020-10-26 船舶数据处理方法、装置和船舶数据质量管理平台 Active CN112258689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011144509.5A CN112258689B (zh) 2020-10-26 2020-10-26 船舶数据处理方法、装置和船舶数据质量管理平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011144509.5A CN112258689B (zh) 2020-10-26 2020-10-26 船舶数据处理方法、装置和船舶数据质量管理平台

Publications (2)

Publication Number Publication Date
CN112258689A true CN112258689A (zh) 2021-01-22
CN112258689B CN112258689B (zh) 2022-12-13

Family

ID=74263629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011144509.5A Active CN112258689B (zh) 2020-10-26 2020-10-26 船舶数据处理方法、装置和船舶数据质量管理平台

Country Status (1)

Country Link
CN (1) CN112258689B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177597A (zh) * 2021-04-30 2021-07-27 平安国际融资租赁有限公司 模型训练数据确定方法、检测模型训练方法、装置及设备
CN113268751A (zh) * 2021-05-21 2021-08-17 海南太美航空股份有限公司 一种航班数据管控方法、***、存储介质及电子设备
CN116049157A (zh) * 2023-01-04 2023-05-02 北京京航计算通讯研究所 一种质量数据分析方法及***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903010A (zh) * 2012-09-25 2013-01-30 浙江图讯科技有限公司 一种用于面向工矿企业的安全生产云服务平台的基于支持向量机的异常判断方法
CN104573393A (zh) * 2015-01-28 2015-04-29 北京师范大学 一种基于贝叶斯理论的土壤水分站点数据升尺度方法
CN107358347A (zh) * 2017-07-05 2017-11-17 西安电子科技大学 基于工业大数据的装备集群健康状态评估方法
CN109711682A (zh) * 2018-12-13 2019-05-03 中国船舶工业***工程研究院 一种数据驱动的船舶总体状态评估方法
CN110245880A (zh) * 2019-07-02 2019-09-17 浙江成功软件开发有限公司 一种污染源在线监控数据作弊识别方法
CN110618290A (zh) * 2019-09-09 2019-12-27 中国船舶重工集团公司第七0七研究所九江分部 一种速度信息融合方法
CN110990393A (zh) * 2019-12-17 2020-04-10 清华苏州环境创新研究院 一种行业企业数据异常行为的大数据识别方法
CN111080502A (zh) * 2019-12-17 2020-04-28 清华苏州环境创新研究院 一种区域企业数据异常行为的大数据识别方法
CN211237137U (zh) * 2019-10-30 2020-08-11 广东交科检测有限公司 一种多源信息融合的桥梁防船撞监测预警***
CN111598156A (zh) * 2020-05-14 2020-08-28 北京工业大学 基于多源异构数据融合的pm2.5预测模型

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102903010A (zh) * 2012-09-25 2013-01-30 浙江图讯科技有限公司 一种用于面向工矿企业的安全生产云服务平台的基于支持向量机的异常判断方法
CN104573393A (zh) * 2015-01-28 2015-04-29 北京师范大学 一种基于贝叶斯理论的土壤水分站点数据升尺度方法
CN107358347A (zh) * 2017-07-05 2017-11-17 西安电子科技大学 基于工业大数据的装备集群健康状态评估方法
CN109711682A (zh) * 2018-12-13 2019-05-03 中国船舶工业***工程研究院 一种数据驱动的船舶总体状态评估方法
CN110245880A (zh) * 2019-07-02 2019-09-17 浙江成功软件开发有限公司 一种污染源在线监控数据作弊识别方法
CN110618290A (zh) * 2019-09-09 2019-12-27 中国船舶重工集团公司第七0七研究所九江分部 一种速度信息融合方法
CN211237137U (zh) * 2019-10-30 2020-08-11 广东交科检测有限公司 一种多源信息融合的桥梁防船撞监测预警***
CN110990393A (zh) * 2019-12-17 2020-04-10 清华苏州环境创新研究院 一种行业企业数据异常行为的大数据识别方法
CN111080502A (zh) * 2019-12-17 2020-04-28 清华苏州环境创新研究院 一种区域企业数据异常行为的大数据识别方法
CN111598156A (zh) * 2020-05-14 2020-08-28 北京工业大学 基于多源异构数据融合的pm2.5预测模型

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177597A (zh) * 2021-04-30 2021-07-27 平安国际融资租赁有限公司 模型训练数据确定方法、检测模型训练方法、装置及设备
CN113268751A (zh) * 2021-05-21 2021-08-17 海南太美航空股份有限公司 一种航班数据管控方法、***、存储介质及电子设备
CN116049157A (zh) * 2023-01-04 2023-05-02 北京京航计算通讯研究所 一种质量数据分析方法及***
CN116049157B (zh) * 2023-01-04 2024-05-07 北京京航计算通讯研究所 一种质量数据分析方法及***

Also Published As

Publication number Publication date
CN112258689B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN112258689B (zh) 船舶数据处理方法、装置和船舶数据质量管理平台
CN108038044B (zh) 一种面向连续被监测对象的异常检测方法
JP2022523563A (ja) 機械学習および人工知能を使用する、機械異常の近リアルタイム検出ならびに分類
WO2014145977A1 (en) System and methods for automated plant asset failure detection
US7716152B2 (en) Use of sequential nearest neighbor clustering for instance selection in machine condition monitoring
CN111782484B (zh) 一种异常检测方法及装置
CN110570544A (zh) 飞机燃油***故障识别方法、装置、设备和存储介质
CN117114454B (zh) 一种基于Apriori算法的直流套管状态评估方法及***
CN109359138A (zh) 一种基于核密度估计的异常检测方法及装置
CN115858794B (zh) 用于网络运行安全监测的异常日志数据识别方法
CN113269327A (zh) 一种基于机器学习的流量异常预测方法
CN110266527B (zh) 基于空间相关性的传感器节点故障分类报警方法及装置
Tang et al. Traffic outlier detection by density-based bounded local outlier factors
CN116292241A (zh) 一种输油泵机组的故障诊断预警方法及***
CN113468210A (zh) 基于特征工程的机器人故障诊断方法及***
CN110011847B (zh) 一种传感云环境下的数据源质量评估方法
Morgan et al. Detection and diagnosis of incipient faults in heavy-duty diesel engines
CN117436712B (zh) 一种施工挂篮运行风险实时监测方法及***
CN112380073B (zh) 一种故障位置的检测方法、装置及可读存储介质
CN116628554B (zh) 一种工业互联网数据异常的检测方法、***和设备
CN115329493B (zh) 一种基于离心泵数字孪生模型的叶轮机械故障检测方法
CN115144548B (zh) 有害气体成分实时监测***及其监测方法
CN114674511B (zh) 一种用于剔除时变环境因素影响的桥梁模态异常预警方法
US11228606B2 (en) Graph-based sensor ranking
CN111722297B (zh) 目标存在概率的计算方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant