具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,下面结合附图并举实施例,对本发明的技术方案进行详细说明。
本申请实施例中提供一种铁路货运数据处理方法,应用于用于处理铁路货运数据的设备上。在具体实现时,对铁路货运数据的处理可以使用一台设备完成,也可以使用多台设备完成,该设备也可以为铁路货运***中的一台,或多台服务器;为了描述方便,下文称用于处理铁路货运数据的设备为数据处理设备。
数据处理设备在处理铁路货运数据之前,先获取相关数据,具体如下:
获取的铁路货运数据包括:内部铁路货运数据和外部铁路货运数据;
数据数量设备在铁路货运***之外的,且与铁路货运相关的网站上通过爬取技术定向获取外部铁路货运数据。
其中,定向获取的外部铁路货运数据,如铁路相关政府部门网站上的相关政策信息,铁路货运相关行业网站相关指标数据以及铁路货运相关企业的生产数据,铁路货运相关的重点企业网站生产数据以及库存数据等。
数据处理设备在铁路货运***的服务器的数据库中获取内部铁路货运数据。
其中,获取的内部铁路货运数据,如内部数据来源主要包括铁路货运***内部的所有业务过程中产生的数据,铁路货运服务过程中设计的相关客户相关信息,在完成铁路货运服务之后的相关客户评价等数据。
这里的铁路货运***,针对本申请实施例,也可以称之为铁路货运营销辅助决策***,铁路货运***包括:铁路货运电子商务***、铁路货运计划管理***、货调***、货票***、铁路统计***(十八点统计***)等。
数据处理设备获取到内部铁路货运数据和外部铁路货运数据之后,需对获取的相关铁路货运数据进行初步处理,以便能够成为可分析的结构化数据,由于对外部铁路货运数据和内部铁路货运数据的获取方式不一样,因此,对获取的两部分数据的处理方式不一样,但最终目的都是处理为可分析的结构化数据,以便用于分析铁路货运的相关情况,如,货运量增加、减少等。具体处理方式如下:
针对从网站上通过爬取技术定向获取的外部铁路数据的具体处理为:
数据处理设备抽取从网站上通过爬取技术定向获取的外部铁路数据中的文本数据,获取预设目标相关的数据信息;建立基于语义、语境的文本引擎,基于建立的文本引擎将所述与预设目标相关的数据信息中的非结构、半结构数据处理为可分析的结构化数据。
具体实现时,可以在网站上定向爬取数据时,实现网页去噪功能,去除与目标数据相关度较低的数据,可以使用NUTCH开源框架二次开发的项目,搭建分布式爬虫引擎;在建立文本引擎时,可以使用ICTCLAS汉语分词***为框架开发的***为基础。
针对从铁路货运内部***获取的铁路货运数据的具体处理为:
数据处理设备通过数据库直接获取相关铁路货运数据,只需使用DW、OLAP,以及DM技术进行数据分析,抽取出目标数据,即需要的数据即可。
处理设备将处理后的外部铁路货运数据和内部铁路货运数据存储,后续使用存储的这两部分数据进行数据分析和决策。
下面结合附图,详细说明本申请实施例中针对存储的铁路货运数据如何进行决策性处理,以用于在需要分析需求预警和装车预警的前提下辅助决策铁路货运情况。
参见图1,图1为本申请实施例中在分析需要预警情况下铁路货运数据处理流程示意图。具体步骤为:
步骤101,数据处理设备当接收到通过客户端输入的需求预警分析指令时,根据本地存储的铁路货运数据确定第一预设时间与第二预设时间内第一铁路货运分析目标对应的装车数的比较结果,并发送给所述客户端使所述客户端显示。
本步骤中接收到的需求预警分析指令中携带第一预设时间、第二预设时间,以及第一铁路货运分析目标。
其中,具体实现时,可以在铁路货运***的网站上显示时间选择框,用于输入需要进行需求预警分析的两个时间段,以及预警按钮,用户,或决策者通过输入时间段,并点击该按钮输入需求预警分析指令;
这里的第一预设时间和第二预设时间可以为环比或同比时间;如第一预设时间和第二预设时间为同比时间;第一预设时间为1天,且为昨日(2015年9月22日),则第二预设时间为1天,且为2014年9月22日。
如第一预设时间和第二预设时间为环比时间,第一预设时间为1个月,如2015年9月,第二预设时间也为1月,如2015年8月。
这里只是举例说明第一预设时间和第二预设时间为同长度时间,至于第一预设时间和第二预设时间为环比或同比时间,还是两个需要的时间段的均可,如昨天和前天,这里通常以天为单位进行统计,也可以根据实际应用在需要的时间内进行统计。
其中,所述第一铁路货运分析目标为下述任一分类信息:品类信息、发局信息、发站信息、发货人信息、到站信息、收货人信息;
在具体应用中,可以根据铁路货运***中的订单信息中相关的分类信息增加或减少分类信息。
在实际应用中,铁路货运分析目标可以根据实际需要确定,这里不作具体限制。
针对装车数的比较结果,在具体应用中可以根据实际确定包含的内容,如显示第一预设时间的装车数,以及第一预设时间的装车数和第二预设时间的装车数的差值;也可以仅显示第一预设时间的装车数和第二预时间的装车数的差值等。
这里的比较结果还可以根据实际需要同时显示同比和环比的结果;如果第一预设时间、第二预设时间大于1天,那么可以显示平均每天的装车数,也可以显示装车数的总量,总之,可以根据实际需要灵活确定比较结果,用于呈现给用户。
数据处理设备上存储铁路货运数据时,通常存储到数据库中,当接收到通过客户端发送的需求预警分析指令时,将该指令中携带的第一预设时间、第二预设时间和第一货运分析目标作为参数在数据库中查找结果集,数据库将结果集返回;并根据返回的结果计算第一预设时间和第二预设时间内第一货运分析目标对应的差值。
数据处理设备根据预先定义的报表语义层和设计器形成装车预警报表模板,以预先确定的使客户端显示的内容确定;模板包含第一货运分析目标,第一预设时间的装车数,以及第一预设时间与第二预设时间的装车数的差值。结合查询结果集和报表引擎将结果形成JSP文件并发送给客户端浏览器实现指标展示、多维分析、即席查询、数据挖掘等,这里只是提供一种条件结果查询方式,以及发送客户端数据的一种方式,具体实现时,并不对此作限制。
终端在显示第一预设时间与第二预设时间内铁路货运分析目标对应的装车数的比较结果时,可以通过一个弹出窗口显示第一铁路货运分析目标对应的装车数的比较结果。
参见图2,图2为本申请实施例中针对需求预警请求显示的需求预警界面示意图。
图2中可见,第一铁路货运分析目标为发局信息;第一预设时间为昨日,并同时显示了与昨日对应的同比和环比的装车数的比较结果;如第一预设时间为2011年5月6日,那么环比对应的时间,即第二预设时间为2011年4月6日;那么同比对应的时间,即第二预设时间为2010年5月6日。
图2中显示了部分发局信息,通过滑动条可以显示实际存在的所有发局的信息,一个界面显示几个发局信息,根据实际页面的大小确定;需求预警的界面大小也可以根据实际应用确定,也可以进行全屏显示等。
步骤102,该数据处理设备接收到通过客户端在显示的比较结果中选择的任一比较结果的指令时,获取该第一铁路货运分析目标对应的订单信息,并发送给所述客户端使所述客户端显示。
在显示的比较结果中,即显示的预警界面中,用户可以选择自己关注的任一比较结果;如选择了太(太原)对应的同比比较结果,则显示第一铁路货运分析目标(发局信息)对应的订单信息。
在具体实现时,可以点击或者右键选择关注的比较结果,用于输入选择比较结果的指令。
参见图3,图3为本申请实施例中需求预警界面显示订单信息的示意图。
图3中针对第一铁路货运分析目标(发局信息)显示的订单信息中包括:品类、发站和发货人。
用户可以查看订单信息中的任一分类信息对应的装车数的同比比较结果。
步骤103,该数据处理设备接收到通过客户端在所述订单信息中选择显示一分类信息的指令时,根据所述铁路货运数据确定对应时间内该分类信息所对应的装车数的比较结果并发送给所述客户端,使所述客户端显示。
如果当前由于选择某个同比结果而显示的订单信息,则在选择该订单信息中的一分类信息而发送的指令时,该指令携带的对应时间为(2011年5月6日,2010年5月6日),并携带该分类信息,使数据处理设备获知需要获取的哪个阶段的数据。
该指令中携带的时间为弹出订单信息的比较结果对应的时间;根据当前阶段日期值,以及对应的分类信息计算装车数的数据库SQL查询脚本,脚本自动根据业务要求进行前台显示当前装车数、装车数比较值显示排序、分组、汇总求和、查询条件记录等功能;将数据库SQL脚本发送给Oracle数据库,进行数据计算并将结果集返回给逻辑处理层;逻辑处理层将数据结果集加工,再发送给客户端使客户端进行图形化展示。
参见图4,图4为本申请实施例中针对订单信息中的发站显示的比较结果的示意图。该图中显示太局(太原局)内的各发站同比显示的装车数的比较结果,用于体现太原局内同比下降需求车数在局内各站的具体变化情况。
参见图5,图5为本申请实施例中针对订单信息中的发货人显示的比较结果的示意图。该图中显示太局(太原局)的各发货人同比显示的装车数的比较结果。用于体现太原局同比下降需求车数在发货人处的变化情况。
参见图6,图6为本申请实施例中针对订单信息中的品类显示的比较结果的示意图。该图中显示太局(太原局)的各品类同比显示的装车数的比较结果。用于体现太原局同比需求车数分品类的变化情况。
下面结合附图,详细描述装车预警中铁路货运数据处理过程。
在进行装车预警的相关处理之前,预先配置第一分类信息与第二分类信息的关联关系;第二分类信息与第三分类信息的关联关系;在实际应用中,可以根据需要关联的分类信息确定关联的个数。
如可以到第一分类信息与第二分类信息的关联信息结束,也可以在第三分类信息之后继续关联第四分类信息。
本实施例中的第一分类信息与第二铁路货运分析目标相同。
参见图7,图7为本申请实施例中在分析装车预警情况下铁路货运数据处理流程示意图。具体步骤为:
步骤701,当数据处理设备接收到通过客户端输入的装车预警分析指令时,根据本地存储的铁路货运数据确定第三预设时间与第四预设时间内第二铁路货运分析目标对应的装车数的比较结果,并发送给客户端使所述客户端显示。
第三预设时间同第四预设时间也可以为环比或同步时间,第三预设时间同第四预设时间为同长度时间。具体实现同第一预设时间和第二预设时间,这里不再一一列举。
第二铁路货运分析目标为下述任一分类信息:品类信息、发局信息、发站信息、发货人信息、到站信息、收货人信息。在具体应用中,可以根据铁路货运***中的订单信息中相关的分类信息增加或减少分类信息。
第一铁路货运分析目标和第二铁路货运分析目标可以相同,也可以不同。
参见图8,图8为本申请实施例中显示装车预警界面示意图。图中以第一分类信息为品类信息为例,并显示第三预设时间为昨日,第四预设时间为上月的日均为例;第三预设时间为本月月均,第四预设时间为上月月均为例,以及第三预设时间为本旬累均,第四预设时间为上旬日均。
步骤702,该数据处理设备接收到通过客户端在显示的比较结果中选择的任一比较结果的指令时,根据本地存储的铁路货运数据确定对应时间内第二分类信息所对应的装车数的比较,并发送给所述客户端使所述客户端显示。
如在图8中选择昨日-金矿--479,则显示昨日-金矿—发局对应的比较结果。参见图9,图9为本申请实施例装车预警界面下显示发局对应的比较结果的示意图。
图9中显示品类(金矿)对应的各发局信息(第二分类信息)对应的时间内装车数的比较结果。图9中显示各发局对应的昨日装车数,以及较上月日均数的比较结果。
步骤703,该数据设备接收到通过客户端在显示的第二分类信息对应的装车数的比较结果中选择的任一比较结果的指令时,根据本地存储的铁路货运数据确定对应时间内第三分类信息所对应的装车数的比较结果,并发送给所述客户端使所述客户单显示。
参见图10,图10为本申请实施例装车预警界面下显示发站对应的比较结果的示意图。
图10中显示品类钢铁对应的沈局的各发站信息(第三分类信息)对应的时间内装车数的比较结果。图10中显示了沈局对应的各发站所对应的昨日装车数,以及较上月日均数的比较结果。
在具体实现时,如果到达图10,即钻取到第三分类信息(发站)时,已经发现问题,或者不需要继续获知相关装车信息,则到此结束,如果还未发现问题,或者还需要进一步获知下一类分类信息,则继续在图10中的发站对应的数据中选择感兴趣的数据进行装车数的显示。
参见图11,图11为本申请实施例装车预警界面下显示客户对应的比较结果的示意图。图11显示的内容为选择图10中南芬站对应的较上月日均-154后,显示给用户的界面。图11中显示南芬站的两个客户的装车数的比较结果。
参见图12,图12为本申请实施例装车预警界面下显示到站对应的比较结果的示意图。图12显示的内容为选择图11中本溪钢铁(集团)有限责任公司对应的较上月日均-81后,显示给用户的界面。图12中显示本溪钢铁(集团)有限责任公司的一个到站-本溪的装车数的比较结果。
参见图13,图13为本申请实施例装车预警界面下显示收货单位对应的比较结果的示意图。图13显示的内容为选择图12中到站本溪对应的较上月日均-81后,显示给用户的界面。图13中显示到站-本溪的一个收货单位-本钢板材股份有限公司原料厂对应的装车数的比较结果。
在具体实现时,对于同比或环比的比较的不同结果可以使用不同颜色显示,以便用户更方便的识别,如同比或环比增长时,使用红色数字显示,同比或环比下降时,使用绿色数字显示,对此不作限制。
本申请实施例中以一种数据钻取方式显示装车预警相关信息;当通过客户端选择当前阶段周期(第三预设时间)和对比阶段周期(第四预设时间)来对比当前周期下的铁路装车数及对比周期相比较当前周期的装车数变化情况。
本实施例的具体做法为:根据第三预设时间和第一分类信息,以及第四预设时间和第二分类信息分别确定装车数的数据库SQL查询脚本,脚本自动根据业务要求进行为客户端配置的显示确定装车数、装车数比较值显示排序、分组、汇总求和、查询条件记录等功能;然后使用者(决策者)通过点击一级页面(步骤701显示的页面)中某一个对比数值来进行装车数变化情况相关数据钻取查看。
根据客户端上对应的具体数值,***会将该数值对应的查询条件传输到逻辑处理层。根据使用者点击的比较值生成该数值计算对应的筛选条件,即配置有关联关系的分类信息,以及当前选择的比较结果对应的时间,该筛选条件作为下一步数据钻取的输入参数形成新的查询条件,并生成符合新的查询条件生成查询脚本,脚本自动根据业务要求进行下钻后的二级页面(第二分类信息,即步骤702显示的页面)装车数、装车数比较值的显示。显示结果具有排序、分组、汇总求和、查询条件记录等功能;使用者可以继续点击二级页面的某个数值进行进一步数据钻取,钻取方法可以参照在第一级页面的钻取方法。
参见图14,图14为本申请实施例中铁路货运数据处理***示意图。图14中的客户端用于使用者(决策者)输入指令,并将对应的指令发送给数据处理设备;在接收到数据处理设备返回的结果时,显示给使用者。
数据处理设备,在接收到使用者发送的指令时,查询、获取、处理出符合指令要求的数据并发送给客户端。
铁路货运***和铁路货运相关网站为铁路货运数据的来源,铁路货运***为内部铁路货运数据的来源,铁路货运相关网站为外部铁路货运数据的来源。
服务器集群用户管理、协调整个铁路货运***,数据处理设备获取并存储服务器集群中的铁路货运数据,并进行初步处理,以及决策处理。
在实际应用中,数据处理设备也可以为服务器集群中的一个或多个服务器,具体如何部署该***,根据实施环境和具体条件确定,这里不作限制。
基于同样的发明构思,本申请实施例中还提出一种铁路货运数据处理装置。参见图15,图15为本申请实施例中应用于上述技术的装置结构示意图。该装置包括:储存单元1501、接收单元1502、处理单元1503和发送单元1504;
存储单元1501,用于存储铁路货运数据;
接收单元1502,用于接收通过客户端发送的指令;
处理单元1503,用于当接收单元1502接收到通过客户端输入的需求预警分析指令时,该需求预警分析指令中携带第一预设时间、第二预设时间,以及第一铁路货运分析目标;根据本地存储的铁路货运数据确定第一预设时间与第二预设时间内第一铁路货运分析目标对应的装车数的比较结果,其中,所述第一铁路货运分析目标为下述任一分类信息:品类信息、发局信息、发站信息、发货人信息、到站信息、收货人信息;当接收单元1502接收到通过客户端在显示的第一铁路货运分析目标对应的装车数的比较结果中选择的任一比较结果的指令时,获取该第一铁路货运分析目标对应的订单信息;当接收单元1502接收到通过客户端在所述订单信息中选择显示一分类信息的指令时,根据所述铁路货运数据确定对应时间内该分类信息所对应的装车数的比较结果;
发送单元1504,用于将处理单元1503确定的第一预设时间与第二预设时间内第一铁路货运分析目标对应的装车数的比较结果发送给所述客户端,使所述客户端显示;将处理单元1503获得的订单信息发送给所述客户端,使所述客户端显示;将处理单元1503根据所述铁路货运数据确定对应时间内该分类信息所对应的装车数的比较结果发送给所述客户端,使所述客户端显示。
较佳地,
存储单元1501,进一步用于配置第一分类信息与第二分类信息的关联关系;第二分类信息与第三分类信息的关联关系;所述第一分类信息为第二铁路货运分析目标;
发送单元1504,进一步用于将第三预设时间与第四预设时间内第一分类信息对应的装车数的比较结果发送给所述客户端,使所述客户端显示。
处理单元1503,进一步用于当接收单元1502接收到通过客户端输入的装车预警分析指令时,该装车预警分析指令携带第三预设时间、第四预设时间,以及第二铁路货运目标;根据本地存储的铁路货运数据确定第三预设时间与第四预设时间内第二铁路货运分析目标对应的装车数的比较结果,并触发发送单元1504将所述比较结果发送给所述客户端,使所述客户端显示;其中,所述第二铁路货运分析目标为下述任一分类信息:品类信息、发局信息、发站信息、发货人信息、到站信息、收货人信息;当接收单元1502接收到通过客户端在显示的比较结果中选择的任一比较结果的指令时,根据本地存储的铁路货运数据确定对应时间内第二分类信息所对应的装车数的比较结果并触发发送单元1504发送给所述客户端,使所述客户端显示;当接收单元1502接收到通过客户端在显示的第二分类信息对应的装车数的比较结果中选择的任一比较结果的指令时,根据本地存储的铁路货运数据确定对应时间内第三分类信息对应的装车数的比较结果并触发发送单元1504发送给所述客户端,使所述客户端显示。
较佳地,
铁路货运数据包括:内部铁路货运数据和外部铁路货运数据;
处理单元1503,进一步用于在铁路货运***之外的,且与铁路货运相关的网站上通过爬取技术定向获取外部铁路货运数据;在铁路货运***中的服务器上的数据库中获取内部铁路货运数据;并将获取的外部铁路货运数据,以及内部铁路货运数据处理为可分析的结构化数据,存储到存储单元1501。
较佳地,
处理单元1503,具体用于将获取的外部铁路货运数据处理为可分析的结构化数据时,抽取从网站上通过爬取技术定向获取的外部铁路数据中的文本数据,获取预设目标相关的数据信息;建立基于语义、语境的文本引擎,基于建立的文本引擎将所述与预设目标相关的数据信息中的非结构、半结构数据处理为可分析的结构化数据。
综上所述,本申请通过根据铁路货运数据确定某两段时间之间铁路货运分析目标对应的装车数的比较结果,使用户能够根据显示结果查看到对应时间内其他分类信息对应的装车数的比较结果,使铁路货运***增加多维铁路货运数据处理和显示功能,提高设备处理能力,以及用户体验和辅助决策功能。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。