CN111091226B - 一种基于实际航运业务和数据挖掘的运力预测方法 - Google Patents
一种基于实际航运业务和数据挖掘的运力预测方法 Download PDFInfo
- Publication number
- CN111091226B CN111091226B CN201911093827.0A CN201911093827A CN111091226B CN 111091226 B CN111091226 B CN 111091226B CN 201911093827 A CN201911093827 A CN 201911093827A CN 111091226 B CN111091226 B CN 111091226B
- Authority
- CN
- China
- Prior art keywords
- ship
- data
- voyage
- port
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000007418 data mining Methods 0.000 title claims abstract description 15
- 230000002159 abnormal effect Effects 0.000 claims abstract description 7
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims abstract description 4
- 230000007306 turnover Effects 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 9
- 230000001788 irregular Effects 0.000 claims description 5
- 230000001174 ascending effect Effects 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000007667 floating Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000010006 flight Effects 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000004579 marble Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于实际航运业务和数据挖掘的运力预测方法,首先从实际航运行业数据中提取出船舶实验数据,并基于时间一致性检测以及预设船舶航行规律过滤和清除船舶实验数据中包含的异常数据,接着将邻近航次合并为一条有效船舶历史航次;接下来对基础数据和处理后的航线数据进行特征选择,获得有效实验数据集;然后根据航线和船型,计算有效实验数据集中不同船型和航线的航次周转期,根据船舶标识,计算有效实验数据集中不同船舶的船舶周转期;最后根据有效实验数据集、不同船型和航线的航次周转期以及不同船舶的船舶周转期,对可用运力进行预测。本发明可以得到高质量的实验数据,并实时预测航次时长,进而预测市场可用运力。
Description
技术领域
本发明涉及数据挖掘技术领域,具体涉及一种基于实际航运业务和数据挖掘的运力预测方法。
背景技术
大数据具有数据体量大、类型多、处理速度快、数据真实性强和价值密度低等特点。对大数据进行分析,挖掘大数据所蕴涵的价值,应用前景广阔。目前大数据技术已经融入各行各业,在评价、预测方面发挥了重要作用。大数据能帮助政府实现市场经济调控、公共卫生安全防范、灾难预警、社会舆论监督;可以帮助航空公司节省运营成本;帮助企业提升营销的针对性,降低物流和库存的成本等。
船舶行业是个传统的行业,与互联网和大数据技术结合相对滞后一些。但船舶行业绝对是一个全球性且规模庞大的行业,联系着设计、制造和货物运输,联系着贸易市场和人们的生活,数据来源广泛,蕴涵着许多潜在价值的知识与信息,需要去挖掘和发现。因此多个大数据在船舶行业的应用都在启动。欧洲已经发表了“MUNIN(Maritime UnmannedNavigation thoughIntelligence Network)”项目,旨在发展新一代控制***与通信技术,显示并控制在港和离港的船舶,这无疑推动了信息化船舶与信息化航运的发展。2014年7月,日本船舶技术研究协会着手船舶“大数据路标”工作,通过搜集多艘船舶的航行及其相关数据形成大数据,计划为船舶的节能航行、船型开发、装备远程维护等项目所使用。何山和马云涌提出了未来航运信息化的发展的趋势,论述了航运业对大数据技术的迫切需求,同时也为船舶行业大数据应用提供了启示。此外,在航运业的低谷期,人们也在积极探索大数据时代给航运业的转型发展所带来的积极影响。
本申请发明人在实施本发明的过程中,发现现有技术的方法,至少存在如下技术问题:
通过收集和对营运船舶监测获取的数据进行统计分析以及价值挖掘,可以获得很多有价值的数据信息。然而根据考察当前中国沿海航运的实际情况,目前虽然已有一些公司提供实时查询船舶动态,能够为船东、货主、船舶代理、货运代理、船员及其家属,提供船舶实时动态,能给船舶安全航行管理、港口调度计划、物流带来一定的遍历,但是由于无法全面且准确获取可用运力数据,从而无法对运力进行有效预测,目前只能从各个消息网片面的获取市场上可用运力的信息进行船货供需预估。
由此可知,现有技术中存在运力预测中实验数据质量低以及预测效果不佳的技术问题。
发明内容
有鉴于此,本发明提供了一种基于实际航运业务和数据挖掘的运力预测方法,用以解决或者至少部分解决现有技术中存在的运力预测中实验数据质量低以及预测效果不佳的技术问题。
为了解决上述技术问题,本发明提供了一种基于实际航运业务和数据挖掘的运力预测方法,包括:
步骤S1:从实际航运行业数据中提取出船舶实验数据,并基于时间一致性检测以及预设船舶航行规律过滤和清除船舶实验数据中包含的异常数据,获得处理后的船舶实验数据,其中,处理后的船舶实验数据包括基础数据和历史航线数据,基础数据包括船型、船舶标识,历史航线数据包括航次;
步骤S2:根据航线数据中航线的时间连续性和预设规则,将邻近航次合并为一条有效船舶历史航次,获得处理后的航线数据;
步骤S3:对基础数据和处理后的航线数据进行特征选择,获得有效实验数据集;
步骤S4:根据航线和船型,计算有效实验数据集中不同船型和航线的航次周转期,根据船舶标识,计算有效实验数据集中不同船舶的船舶周转期;
步骤S5:根据有效实验数据集、不同船型和航线的航次周转期以及不同船舶的船舶周转期,对可用运力进行预测。
在一种实施方式中,基础数据包括船舶基础属性数据和港口基础属性数据,港口基础属性数据包括港口名,步骤S1具体包括:
将基础数据中包含的不规则港口名与收集的规则港口数据集进行相似性映射、通过船舶航次的可溯源性,基于邻近时间填充航次的缺失值,根据唯一性规则、连续型规则和空值规则清除不一致数据。
在一种实施方式中,步骤S2具体包括:
步骤S2.1:将历史航线数据按照船舶标识进行分组,并根据时间进行升序排列;
步骤S2.2:根据航线的起始港,终点港,航次时间是否与相邻航次的数值具备一致性,以及停泊时长的合理性,对航线数据的有效性进行判断;
步骤S2.3:如果当前航次有效,则判断相邻航次的装卸货时长是否在给定阈值内,如果在,则将当前航次与相邻航次进行合并,重复执行步骤S2.2~S2.3,直到所有船舶的航线数据处理完毕。
在一种实施方式中,基础数据和处理后的航线数据中包括连续型数据、文本属性数据以及与决策航次时间的数据,步骤S3具体包括:
对连续型数据进行离散化处理、对文本属性数据进行属性数值规约、对决策航次时间的数据进行泛化,获得有效实验数据集。
在一种实施方式中,连续型数据包括船型,对连续型数据进行离散化处理,包括:按区间进行数据监督离散化操作,根据航运通用分组方式进行分类并离散化。
在一种实施方式中,文本属性数据包括装货港和卸货港,对文本属性数据进行属性数值规约包括:
建立装货港与卸货港组合的映射关系,规约为有效航线数据,当装货港或者卸货港缺失时,采用标准装货港和标准卸货港进行填充。
在一种实施方式中,步骤S5具体包括:
根据有效实验数据集、不同船型和航线的航次周转期以及不同船舶的船舶周转期,设置两种运力计算方式,其中,第一种运力计算方式为根据设定的时间段计算筛选出可用船舶,第二种运力计算方式为选定某一船舶,计算未来可用船期;
根据设置的运力计算方式,对运力进行预测。
在一种实施方式中,根据设置的运力预测方式,对运力进行预测,包括:
筛选出“当前时间+从当前位置到达装货港所需天数+当前时间至指定未来时间的航次数*周转期=指定未来时间”并且“船型=指定船型±10%”的所有船舶,作为可用船舶,其中,当前航次卸货港缺失,则周转期取船舶周转期,否则取航次周转期;
计算出“指定的船舶从当前位置到达下一个装货港所需天数+未来航次数*船舶周转期<=k”的航次数n,并列出当前时间+从当前位置到达下一个装货港所需天数+{0,1,…,n}*周转期所对应的日期序列,作为未来可用船期,其中,k为指定的未来天数,当前航次卸货港缺失,则周转期取船舶周转期,否则取航次周转期。
本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:
本发明提供的一种基于实际航运业务和数据挖掘的运力预测方法,首先对从实际航运行业数据中提取出的船舶实验数据进行过滤,可以过滤和清除异常数据,从而得到处理后的船舶实验数据,接着根据航线数据中航线的时间连续性和预设规则,将邻近航次进行合并,可以将多条邻近航线按指定规则规范化为一条有效船舶历史航次,接下来,对基础数据和处理后的航线数据进行特征选择,获得有效实验数据集,即得到高质量的实验数据,然后从两个维度计算船舶运力的周转期,最后,根据有效实验数据集、不同船型和航线的航次周转期以及不同船舶的船舶周转期,对可用运力进行预测,本发明可以将船舶隐式数据转换为实际业务中可用的显式数据,一方面可以得到运力预测中高质量的实验数据,另一方面可以实时预测航次时长,进而预测市场可用运力,从而提高预测的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于实际航运业务和数据挖掘的运力预测方法的整体流程图;
图2为本发明一种实施方式中运力预测方法的流程图;
图3是本发明实施例的有效航次数据的生成流程图;
图4是本发明实施例的指定时间段预测可用运力的流程图;
图5是本发明实施例的指定船舶预测可用船期的流程图。
具体实施方式
本发明的目的在于针对航运交易中相关人员无法全面且准确获取可用运力数据的问题,提供一种采用大数据挖掘技术对运力数据处理和预测的方法,从而得到高质量实验数据以及提高预测的效果的目的。
为了达到上述目的,本发明的主要构思如下:
基于实际航运业务中船舶流动规律,通过数据集成生成高质量的有效实验数据,对连续属性数据和文本属性数据进行自定义区间离散化以及属性规约等操作,将船舶隐式数据转换为实际业务中可用的显式数据,实时预测航次时长,进而预测市场可用运力。本发明公开了一种通过大数据分析和处理得到船舶运力规律的方法,采用区间数据离散化等方法完成数据预处理操作;结合航运业务分析有效特征,并针对船舶和时间段预测可用运力。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本实施例提供了一种基于实际航运业务和数据挖掘的运力预测方法,请参见图1,该方法包括:
步骤S1:从实际航运行业数据中提取出船舶实验数据,并基于时间一致性检测以及预设船舶航行规律过滤和清除船舶实验数据中包含的异常数据,获得处理后的船舶实验数据,其中,处理后的船舶实验数据包括基础数据和历史航线数据,基础数据包括船型、船舶标识,历史航线数据包括航次。
具体来说,可以基于数据挖掘中数据收集和数据清理技术,采用定时调度持续获取实验数据,并在获取过程中检测时间一致性以及船舶航行规律过滤和清除异常数据。
在一种实施方式中,基础数据包括船舶基础属性数据和港口基础属性数据,港口基础属性数据包括港口名,步骤S1具体包括:
将基础数据中包含的不规则港口名与收集的规则港口数据集进行相似性映射、通过船舶航次的可溯源性,基于邻近时间填充航次的缺失值,根据唯一性规则、连续型规则和空值规则清除不一致数据。
具体来说,包括船舶基础属性、历史航次、当前航次数据、当前位置信息、通用港口数据集等数据。船舶航行规律可以通过历史数据分析得到,通用港口名数据集可以预先获取。
步骤S1中数据处理的实施过程说明如下:
提取并整理目前中国沿海干散货船的基础数据集并命名为ShipData,记为S={s1,s2,…,st},其中,基础数据集可以从船讯网以及航运公司获取,包括船舶的基础信息,包含船名,mmsi(船舶业内唯一标识,即船舶标识),船长,船宽,船型,空载吃水,满载吃水,平均航速等。数据集ShipData的大小规模为t×s,即数据集包含t条船舶记录,t=1680,si表示第i条记录,i∈[1,t];每条数据船舶记录si包含s个属性,s=14,表示为si={a1,a2,…,as},aij表示第i条船舶数据记录的第j个属性,j∈[1,s]。
通过获取收集的干散货船数据集中所有船舶近四个月历史航线数据并命名为DataInit,记为U={x1,x2,…,xn},按照船舶唯一标识mmsi以及航线到达目的港的时间升序排列。数据集DataInit的大小规模为n×m,即数据集包含n条航线历史记录,n=32637,xi表示第i条记录,i∈[1,n];每条数据历史航线记录xi包含m个属性,m=18,表示为xi={a1,a2,…,am},aij表示第i条航线数据历史记录的第j个属性,j∈[1,m]。针对原始数据(即历史航线数据)的异常数据问题,根据同时间航线唯一性进行过滤;针对每条历史记录的部分属性(起始港和目的港的到港时间以及离港时间)分别存在于邻近航线,根据时间线连续性进行数据项填充。针对原始数据中与通用命名不符的不规则港口名,收集并整理通用港口数据集PA={p1,p2,…,pn},建立原始数据中不规则港口名与通用港口数据集PA的相似性映射关系,填充规范的港口表示属性值。
步骤S2:根据航线数据中航线的时间连续性和预设规则,将邻近航次合并为一条有效船舶历史航次,获得处理后的航线数据。
具体来说,可以根据目前航运业务中,船货交易中航次的通用概念,指定有效船舶历史航次为:从装货港到卸货港再回到装货港的航次,装货港即出发港,可以指定为北方港口,卸货港即目的港口,可以指定为南方和江阴港口。采用步骤S1所得实验数据,根据船舶航线的时间线连续性,采用数据挖掘中数据转换和数据集成将多条邻近航线按指定规则规范化为一条有效船舶历史航次。循环执行规则直至所有数据处理完毕,生成有效实验数据。
在一种实施方式中,步骤S2具体包括:
步骤S2.1:将历史航线数据按照船舶标识进行分组,并根据时间进行升序排列;
步骤S2.2:根据航线的起始港,终点港,航次时间是否与相邻航次的数值具备一致性,以及停泊时长的合理性,对航线数据的有效性进行判断;
步骤S2.3:如果当前航次有效,则判断相邻航次的装卸货时长是否在给定阈值内,如果在,则将当前航次与相邻航次进行合并,重复执行步骤S2.2~S2.3,直到所有船舶的航线数据处理完毕。
具体来说,请参见图3,为有效航次数据的生成流程,根据采用步骤S1所得处理后的船舶实验数据,给定装货港集合PL={p1,p2,…,pn},给定装卸货所需时间阈值Tmin,Tmax,按船舶分组和时间排序处理初始航线数据,遍历所有航线数据。
遍历规则如下:
起始港ps,目的港pe,停港时长LT:
其中,若航线fA=1(即起始港属于装货港,目的港不属于装货港,航次装卸时长在给定阈值内);则ps为一有效航次的装货港,依次检查后续航线:
其中,若航线fB=1(即起始港不属于装货港,航次装卸时长在给定阈值内),则该航线ps为该有效航次的卸货港。集成两条航线数据为一有效航次数据。循环执行规则直至所有数据处理完毕,生成有效实验数据。
步骤S3:对基础数据和处理后的航线数据进行特征选择,获得有效实验数据集。
具体来说,对基础数据和处理后的航线数据进行特征选择,即对基础数据和处理后的航线数据中不同的属性数据进行规范化处理,从而得到有效的高质量的船舶数据。
在一种实施方式中,基础数据和处理后的航线数据中包括连续型数据、文本属性数据以及与决策航次时间的数据,步骤S3具体包括:
对连续型数据进行离散化处理、对文本属性数据进行属性数值规约、对决策航次时间的数据进行泛化,获得有效实验数据集。
具体来说,可以基于数据挖掘中数据规约和数据变换技术,按照属性重要度对步骤S1中基础数据和步骤2中处理后的航线数据进行特征选择,特征选择具体包括:对船型等连续型数据采用按区间进行数据监督离散化操作,根据航运通用分组方式分为k类并离散化。对文本属性数据(装货港,卸货港等)进行属性数值规约,建立装货港与卸货港组合的映射关系,规约为可处理数据,当卸货港缺失,按船型取标准航线(装货港-江阴,装货港-南方);将与决策航次时间的数据进行泛化,获得航次的最终决策属性,其中,决策属性指直接影响预测的运力结果的属性,一部分从原始数据中得到,一部分通过多次处理多个维度的数据整合得到。通过上述处理,最后获得高质量的有效实验数据。
其中,连续型数据包括船型,对连续型数据进行离散化处理,包括:按区间进行数据监督离散化操作,根据航运通用分组方式进行分类并离散化。
文本属性数据包括装货港和卸货港,对文本属性数据进行属性数值规约包括:
建立装货港与卸货港组合的映射关系,规约为有效航线数据,当装货港或者卸货港缺失时,采用标准装货港和标准卸货港进行填充。
在具体的实施过程中,根据航运中船货交易的通用处理方法,根据属性重要度对基础数据和处理后的航线数据进行特征选择,对船型等连续数据自定义区间,进行数据监督离散化操作,记自定义区间分隔数据集KD=[k1,k2,…,kn],单位万吨,区间离散化定义如下:
其中i∈[1,n],ki第i个分隔数。fC表示属性值离散化后结果。
采用大数据基于规则的转换,将不易用计算方法处理的文本数据进行数值规约后转换为易处理的数值数据。将步骤S2中处理后的航线数据中历史航次数据属性装货港pd和卸货港pu组合记为有效航线,建立航线映射数据集VD=[v1,v2,…,vn],装货港与卸货港缺失时,使用标准装货港和标准卸货港填充。
其中k为航线映射后的数值,vk为有效航线,航次记录的装货港pd和卸货港pu与vk对应,fD表示数值规约后的结果。
请参见图2,为本发明一种实施方式中运力预测方法的流程图,其仅列出了步骤S1~S5的部分操作,并不是全部,包括步骤S1中填充实验数据的缺失值,S2中重新生成有效航次实验数据,步骤S3中特征选择:对连续属性进行离散化,对文本型属性进行规约,步骤S4计算航次周转期和船舶周转期,最后步骤S5预测指定时间段可用运力以及预测船舶可用船期。
步骤S4:根据航线和船型,计算有效实验数据集中不同船型和航线的航次周转期,根据船舶标识,计算有效实验数据集中不同船舶的船舶周转期。
具体来说,步骤S4是根据步骤3所得的高质量有效数据集,从两个维度来计算船舶运力的周转期。
在具体的实施过程中,通过分析航次时长的分布,数据数值相差较大,具有极端值,因此采用众数作为数据集中趋势程度,基于统计学方法将航次时长属性值进行分组,求取每个分组的频数,频数数值越大表明该组标志值对于总体水平所起的作用也越大,反之,频数数值越小,表明该组标志值对于总体水平所起的作用越小。因此获取具有最大频数的对应组数据集的平均数,作为最具有代表性的航次周转期。
步骤S5:根据有效实验数据集、不同船型和航线的航次周转期以及不同船舶的船舶周转期,对可用运力进行预测。
在一种实施方式中,步骤S5具体包括:
根据有效实验数据集、不同船型和航线的航次周转期以及不同船舶的船舶周转期,设置两种运力计算方式,其中,第一种运力计算方式为根据设定的时间段计算筛选出可用船舶,第二种运力计算方式为选定某一船舶,计算未来可用船期;
根据设置的运力计算方式,对运力进行预测。
具体来说,本发明通过分析船货交易的规则,以航运从业人为实体的角度出发,制定两个计算可用运力的模式或方法。
其中,根据设置的运力预测方式,对运力进行预测,包括:
筛选出“当前时间+从当前位置到达装货港所需天数+当前时间至指定未来时间的航次数*周转期=指定未来时间”并且“船型=指定船型±10%”的所有船舶,作为可用船舶,其中,当前航次卸货港缺失,则周转期取船舶周转期,否则取航次周转期;
计算出“指定的船舶从当前位置到达下一个装货港所需天数+未来航次数*船舶周转期<=k”的航次数n,并列出当前时间+从当前位置到达下一个装货港所需天数+{0,1,…,n}*周转期所对应的日期序列,作为未来可用船期,其中,k为指定的未来天数,当前航次卸货港缺失,则周转期取船舶周转期,否则取航次周转期。
具体来说,第一种计算方式中,设定时间段,表示指定未来某一天为开始时间以及结束时间(可选)。当前时间至指定未来时间的航次数=(指定未来时间-当前时间)/T,向下取整数。实际计算时,目标船型吨位的浮动范围为±10%,实际船期可向后浮动7天以内。通过对不同船舶进行循环计算,可计算出未来一段时间中可用的船舶。当结束时间缺失或者等于开始时间时,返回开始时间该天的可用船舶。
第二种计算方式中,是选定某一船舶,计算未来可用船期(例如未来k天的可用船期),通过循环计算,可计算出一批船舶未来的可用船期。第2种情况的计算方法。
在具体的实施过程中,针对第(1)种情况指定未来某一天为开始时间,结束时间(可选)。计算筛选出可用船舶。请参见图4,具体算法如下:
指定未来某一天为开始时间记为Ts,结束时间(可选)记为Te,指定船型记为ST,则目标船舶吨位的浮动范围为[0.9ST,1.1ST],从基础数据集ShipData中筛选出吨位st位于目标船舶吨位浮动范围内的目标船舶数据集,根据船舶唯一标识mmsi整合步骤S4中所得船舶周转期和航次周转期数据以及船舶当前航次数据。
针对每艘目标船舶,若当前航次卸货港缺失则当前周转期T取船舶周转期,反则取航次周转期。记当前航次到达装货港时间为Td,使用Tr表示该船舶下一次到达装货港时间即运力释放时间。则:
Tr=Td+T
记当前时间为Tnow,则当前时间至指定未来时间Ts的航次数计算方法为:
根据“当前时间+从当前位置到达装货港所需天数+当前时间至指定未来时间的航次数*船舶周转期T=指定未来时间”并且“船型=指定船型±10%”的筛选条件,指定该船舶是否属于结果船舶的计算方法定义如下为:
fE=Tr+Nv×T
fE为该船舶经过Nv个航次后,运力再次释放的时间,Te值缺失时,取值TS当天24点整。若:
fE∈[Ts,Te]
则该船舶将在指定时间段内运力释放,为可用运力。遍历所有目标船舶,获得可用运力数据集。
针对第(2)种情况指定某船舶,计算该船舶未来k天内的可用船期。请参见图5,具体算法如下:
根据船舶唯一标识mmsi整合步骤S4中所得船舶周转期和航次周转期数据以及船舶当前航次数据。若当前航次卸货港缺失则当前周转期T取船舶周转期,反则取航次周转期。则当前时间到未来k天内船舶的航次数计算方法定义为:
记当前航次到达装货港时间为Td,使用Tr表示该船舶下一次到达装货港时间即运力释放时间。则:
Tr=Td+T
船舶未来k天内可用船期的计算方式定义如下:
f(n)=Td+nT,n∈[1,Nv]
f(n)为船舶k天内运力释放的时间计算结果。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (6)
1.一种基于实际航运业务和数据挖掘的运力预测方法,其特征在于,包括:
步骤S1:从实际航运行业数据中提取出船舶实验数据,并基于时间一致性检测以及预设船舶航行规律过滤和清除船舶实验数据中包含的异常数据,获得处理后的船舶实验数据,其中,处理后的船舶实验数据包括基础数据和历史航线数据,基础数据包括船型、船舶标识,历史航线数据包括航次;
步骤S2:根据航线数据中航线的时间连续性和预设规则,将邻近航次合并为一条有效船舶历史航次,获得处理后的航线数据;
步骤S3:对基础数据和处理后的航线数据进行特征选择,获得有效实验数据集;
步骤S4:根据航线和船型,计算有效实验数据集中不同船型和航线的航次周转期,根据船舶标识,计算有效实验数据集中不同船舶的船舶周转期;
步骤S5:根据有效实验数据集、不同船型和航线的航次周转期以及不同船舶的船舶周转期,对可用运力进行预测;
其中,步骤S5具体包括:
根据有效实验数据集、不同船型和航线的航次周转期以及不同船舶的船舶周转期,设置两种运力计算方式,其中,第一种运力计算方式为根据设定的时间段计算筛选出可用船舶,第二种运力计算方式为选定某一船舶,计算未来可用船期;
根据设置的运力计算方式,对运力进行预测;
其中,根据设置的运力预测方式,对运力进行预测,包括:
筛选出“当前时间+从当前位置到达装货港所需天数+当前时间至指定未来时间的航次数*周转期=指定未来时间”并且“船型=指定船型±10%”的所有船舶,作为可用船舶,其中,当前航次卸货港缺失,则周转期取船舶周转期,否则取航次周转期;
计算出“指定的船舶从当前位置到达下一个装货港所需天数+未来航次数*船舶周转期<=k”的航次数n,并列出当前时间+从当前位置到达下一个装货港所需天数+{0,1,…,n}*周转期所对应的日期序列,作为未来可用船期,其中,k为指定的未来天数,当前航次卸货港缺失,则周转期取船舶周转期,否则取航次周转期。
2.如权利要求1所述的方法,其特征在于,基础数据包括船舶基础属性数据和港口基础属性数据,港口基础属性数据包括港口名,步骤S1具体包括:
将基础数据中包含的不规则港口名与收集的规则港口数据集进行相似性映射、通过船舶航次的可溯源性,基于邻近时间填充航次的缺失值,根据唯一性规则、连续型规则和空值规则清除不一致数据。
3.如权利要求1所述的方法,其特征在于,步骤S2具体包括:
步骤S2.1:将历史航线数据按照船舶标识进行分组,并根据时间进行升序排列;
步骤S2.2:根据航线的起始港,终点港,航次时间是否与相邻航次的数值具备一致性,以及停泊时长的合理性,对航线数据的有效性进行判断;
步骤S2.3:如果当前航次有效,则判断相邻航次的装卸货时长是否在给定阈值内,如果在,则将当前航次与相邻航次进行合并,重复执行步骤S2.2~S2.3,直到所有船舶的航线数据处理完毕。
4.如权利要求1所述的方法,其特征在于,基础数据和处理后的航线数据中包括连续型数据、文本属性数据以及与决策航次时间的数据,步骤S3具体包括:
对连续型数据进行离散化处理、对文本属性数据进行属性数值规约、对决策航次时间的数据进行泛化,获得有效实验数据集。
5.如权利要求4所述的方法,其特征在于,连续型数据包括船型,对连续型数据进行离散化处理,包括:按区间进行数据监督离散化操作,根据航运通用分组方式进行分类并离散化。
6.如权利要求4所述的方法,其特征在于,文本属性数据包括装货港和卸货港,对文本属性数据进行属性数值规约包括:
建立装货港与卸货港组合的映射关系,规约为有效航线数据,当装货港或者卸货港缺失时,采用标准装货港和标准卸货港进行填充。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911093827.0A CN111091226B (zh) | 2019-11-11 | 2019-11-11 | 一种基于实际航运业务和数据挖掘的运力预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911093827.0A CN111091226B (zh) | 2019-11-11 | 2019-11-11 | 一种基于实际航运业务和数据挖掘的运力预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111091226A CN111091226A (zh) | 2020-05-01 |
CN111091226B true CN111091226B (zh) | 2022-06-14 |
Family
ID=70394072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911093827.0A Active CN111091226B (zh) | 2019-11-11 | 2019-11-11 | 一种基于实际航运业务和数据挖掘的运力预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111091226B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111625217A (zh) * | 2020-05-08 | 2020-09-04 | 江苏新扬子造船有限公司 | 一种基于am二次开发统计一定重量以上船用阀件的方法 |
CN111966927B (zh) * | 2020-07-02 | 2023-12-01 | 海南太美航空股份有限公司 | 目标航线测算方法及*** |
CN111966926B (zh) * | 2020-07-02 | 2023-12-01 | 海南太美航空股份有限公司 | 目标航线测算方法及*** |
CN112699467A (zh) * | 2020-12-29 | 2021-04-23 | 香港理工大学深圳研究院 | 一种港口国监督检查船舶和检查员分配的方法 |
CN113610347B (zh) * | 2021-07-05 | 2024-04-05 | 上海海事大学 | 一种船舶航运市场运力评估方法 |
CN113780952B (zh) * | 2021-09-16 | 2024-03-15 | 上海船舶运输科学研究所有限公司 | 一种集装箱班轮航线运力分析方法及*** |
CN113837801B (zh) * | 2021-09-24 | 2024-05-28 | 中远海运科技股份有限公司 | 船舶的识别方法 |
CN116095114B (zh) * | 2023-01-11 | 2023-11-03 | 上海船舶运输科学研究所有限公司 | 一种基于物联网模式的船岸数据传输的方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103645705A (zh) * | 2013-12-05 | 2014-03-19 | 中国海洋石油总公司 | 一种lng多点运输船运力预测调度方法 |
CN106529781A (zh) * | 2016-11-02 | 2017-03-22 | 合肥飞友网络科技有限公司 | 一种航线运力评估***及其工作方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160162835A1 (en) * | 2013-07-19 | 2016-06-09 | Nippon Yusen Kabushiki Kaisha | Device for allocating ships, method for allocating ships, program and recording media thereof |
-
2019
- 2019-11-11 CN CN201911093827.0A patent/CN111091226B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103645705A (zh) * | 2013-12-05 | 2014-03-19 | 中国海洋石油总公司 | 一种lng多点运输船运力预测调度方法 |
CN106529781A (zh) * | 2016-11-02 | 2017-03-22 | 合肥飞友网络科技有限公司 | 一种航线运力评估***及其工作方法 |
Non-Patent Citations (2)
Title |
---|
New inland river channel transit capacity evaluation method based on dynamic quaternion ship domain model;Shaoman Liu 等;《 2015 54th Annual Conference of the Society of Instrument and Control Engineers of Japan (SICE)》;20151001;全文 * |
采用改进模拟植物生长算法的世界石油船队总运力预测;王诺 等;《上海海事大学学报》;20190630;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111091226A (zh) | 2020-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111091226B (zh) | 一种基于实际航运业务和数据挖掘的运力预测方法 | |
Barua et al. | Machine learning for international freight transportation management: A comprehensive review | |
Yan et al. | Emerging approaches applied to maritime transport research: Past and future | |
Wang et al. | Quantitative analysis of the impact of COVID-19 on ship visiting behaviors to ports-A framework and a case study | |
Yang et al. | Can we trust the AIS destination port information for bulk ships?–Implications for shipping policy and practice | |
Pani et al. | Prediction of late/early arrivals in container terminals-a qualitative approach | |
Pani et al. | A data mining approach to forecast late arrivals in a transhipment container terminal | |
CN112016730A (zh) | 港口泊位装卸效率挖掘方法、装置、设备和储存介质 | |
CN109409811A (zh) | 一种物流调度方法、装置、计算机设备和存储介质 | |
Štepec et al. | Machine learning based system for vessel turnaround time prediction | |
CN116843071B (zh) | 一种用于智慧港口的运输网络运行指数预测方法及装置 | |
Cristea et al. | Operational shipping intelligence through distributed cloud computing | |
CN115456474A (zh) | 一种基于人工智能的港口运营调度方法及*** | |
Wang et al. | Fundamental challenge and solution methods in prescriptive analytics for freight transportation | |
Bai et al. | Identifying port congestion and evaluating its impact on maritime logistics | |
Zhong et al. | A novel oil port risk and efficiency performance measured by using AIS data and maritime open data: the case of Guangzhou, China | |
Asborno et al. | Assigning a commodity dimension to AIS data: Disaggregated freight flow on an inland waterway network | |
Bonham et al. | Analysing port and shipping operations using big data | |
Chen | Research on Marine Economic Development Information Management System Based on Supply Chain Technology | |
Suprata et al. | Analysing the cause of idle time in loading and unloading operation at Indonesian international port container terminal: Port of Tanjung Priok case study | |
Zhou et al. | Estimation of shipment size in seaborne iron ore trade | |
CN113807579B (zh) | 一种基于机器学习的航班抵港延误时间预测方法 | |
CN115456258A (zh) | 竞争对手船舶运力预测方法、计算机可读介质 | |
CN114037257A (zh) | 一种特种船舶竞争力分析方法及*** | |
Lirn et al. | Potential for Transport in Asia Pacific Region |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |