CN109684322A - 一种用于自动海事稽核的数据处理***和方法 - Google Patents

一种用于自动海事稽核的数据处理***和方法 Download PDF

Info

Publication number
CN109684322A
CN109684322A CN201811601257.7A CN201811601257A CN109684322A CN 109684322 A CN109684322 A CN 109684322A CN 201811601257 A CN201811601257 A CN 201811601257A CN 109684322 A CN109684322 A CN 109684322A
Authority
CN
China
Prior art keywords
data
analysis
shipping bill
module
subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811601257.7A
Other languages
English (en)
Other versions
CN109684322B (zh
Inventor
白晶
武芳
钟璐潞
闫彦
曲国臣
桑学昆
王静
卢栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiaotong Network Technology Co Ltd
China Waterborne Transport Research Institute
Original Assignee
China Jiaotong Network Technology Co Ltd
China Waterborne Transport Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiaotong Network Technology Co Ltd, China Waterborne Transport Research Institute filed Critical China Jiaotong Network Technology Co Ltd
Priority to CN201811601257.7A priority Critical patent/CN109684322B/zh
Publication of CN109684322A publication Critical patent/CN109684322A/zh
Application granted granted Critical
Publication of CN109684322B publication Critical patent/CN109684322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083Shipping

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种用于自动海事稽核的数据处理***及方法,包括数据采集与清洗子***,用于获取原始舱单数据,对原始舱单数据进行清洗和转换并将清洗、转换后的舱单数据传输给稽核分析子***;稽核分析子***,根据参考数据,对清洗、转换后的舱单数据进行数据完整性和/或准确性分析;自动稽核子***,根据分析数据生成稽核结果,判断舱单数据中是否包含异常数据,对异常数据进行标识、追踪和处置;统计分析子***采用OLAP多维分析方法对稽核结果和异常数据进行实时统计分析,生成分析报告;参数配置模块,用于分配用户权限、记录稽核任务的执行日志和用户使用日志;对外接口模块,用于实现与外部数据或平台对接。

Description

一种用于自动海事稽核的数据处理***和方法
技术领域
本发明涉及港口收费管理***的技术领域,特别是一种用于自动海事稽核的数据处理***和方法。
背景技术
目前,我国港口建设费征收方式主要包括两种:一种是海事管理机构直接征收港口建设费,另一种是船舶代理公司、货物承运人、港口经营人等代收单位来代收港口建设费。
目前的征收***主要是代收为主的征收管理***,海事人员需要通过日常稽查、专项稽查、专案稽查等多种稽查方式对规费的征收各个环节进行稽查来获取规费数据,这样就存在两个问题:
1、由于需要大量人员进行稽查加重了海事管理机构的工作强度且效率较低;
2、在稽查过程中,海事人员获得的数据也不够准确。
发明内容
本发明的目的就是为了解决上述现有技术中存在的问题,提出一种利用第三方进出口申报信息数据的与参考数据进行分析,从而可以获取准确实时的稽查数据的用于自动海事稽核的数据处理***和方法。
为了达到上述目的,本发明采用的技术方案为:
一种用于自动海事稽核的数据处理***,包括数据采集与清洗子***、稽核分析子***、自动稽核子***、统计分析子***、参数配置模块和对外接口模块,其中:
数据采集与清洗子***用于获取原始舱单数据,将获取的原始舱单数据进行清洗、转换,并将清洗、转换后的舱单数据传输给稽核分析子***;
稽核分析子***根据参考数据库中的参考数据,对清洗、转换后的舱单数据进行数据完整性和/或准确性分析;
自动稽核子***用于根据分析数据生成稽核结果,以及判断所述舱单数据中是否包含异常数据,并对异常数据进行标识、追踪以及处置;
统计分析子***采用OLAP多维分析方法对稽核结果和异常数据进行实时统计分析,并生成分析报告;
参数配置模块用于分配用户权限,并记录稽核任务的执行日志和用户使用日志;
对外接口模块用于实现与外部数据或平台对接。
一种用于自动海事稽核的数据处理方法,包括:
对原始舱单数据进行采集、清洗和转换;
根据参考数据库中的参考数据对清洗、转换后的舱单数据进行数据完整性和/或准确性分析;
根据所述分析数据生成稽核结果,以及判断所述舱单数据中是否包含异常数据,并对异常数据进行标识、追踪和处置;
利用OLAP多维分析方法对稽核结果和异常数据进行实时统计分析,并生成分析报告。
本发明获得了以下有益效果:
本发明通过设置数据采集及清洗子***、稽核分析子***、自动稽核子***、统计与分析子***、参数配置模块和对外接口模块,将采集、清洗后的数据与第三方比对信息数据库中的外贸数据、海事比对信息数据库中的代收单位日常业务数据与参考数据进行比对分析,能够有效的检验代收单位上报数据的准确性;另外利用OLAP多维分析方法对舱单数据进行统计分析,不需要更多的人力成本,从而提高了监管效率同时也降低了成本。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明的一种用于自动海事稽核的数据处理***的一个实施例的模块结构示意图;
图2是本发明的对外接口模块的一个实施例的结构示意图;
图3是本发明的一种用于自动海事稽核的数据处理方法的一个实施例的流程示意图;
图4A-4C是本发明的数据采集、清洗过程的一个实施例的流程示意图。
具体实施方式
以下描述用于公开本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例,本领域技术人员可以想到其他显而易见的变形。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
可以理解的是,术语“一”应理解为“至少一”或“一个或多个”,即在一个实施例中,一个元件的数量可以为一个,而在另外的实施例中,该元件的数量可以为多个,术语“一”不能理解为对数量的限制。
在这里使用的术语仅用于描述各种实施例的目的且不意在限制。如在此使用的,单数形式意在也包括复数形式,除非上下文清楚地指示例外。另外将理解术语“包括”和/或“具有”当在该说明书中使用时指定所述的特征、数目、步骤、操作、组件、元件或其组合的存在,而不排除一个或多个其它特征、数目、步骤、操作、组件、元件或其组的存在或者附加。
下面将结合附图具体说明本发明的一种用于海事稽核管理的数据处理***的实施方式。
一、一种用于自动海事稽核的数据处理***
用于自动海事稽核的数据处理******包括一个或多个数据库,这里对本发明的数据处理***的一个实施例中所涉及的各个数据库进行说明,该数据处理***包括:
a、第三方比对信息数据库,用于存放经过清洗、转换的海关单位的船舶进出口报关信息以及船舶代理公司的出口外贸数据;
b、海事比对信息数据库,用于存放经过清洗、转换的来自于港口建设费征收管理***(即代收***)的代收单位日常业务数据;
c、海事稽核稽查数据库,是用于存放对海事管理工作者稽核稽查过程及结果、代收单位对异常的处理过程相关数据;
d、代收单位数据库,是用于存放代收单位的基本相关信息,如单位名称、注册地址、法人、单位资质、联系电话等;
e、参数配置数据库,是用于存放包括机构信息、用户信息、***角色、***资源、***菜单等内容,同时还包括***日志管理、数据字典、附件表等数据。
图1为本发明的一种用于自动海事稽核的数据处理***的一个实施例的模块结构示意图,请参见图1,本实施中,该数据处理***包括数据采集与清洗子***、稽核分析子***、自动稽核子***、统计分析子***、参数配置模块和对外接口模块,其中:
数据采集与清洗子***用于获取原始舱单数据,将获取的原始舱单进行清洗、转换,并将清洗、转换后的舱单数据传输给稽核分析子***、第三方比对信息数据库和海事比对信息数据库;所述原始舱单数据来自于代收单位数据库和海事稽核稽查数据库的原始舱单数据;具体的,可以对残缺、错误、重复的原始舱单数据进行清洗以及通过平滑处理、合计处理、泛化处理、规格化处理等对原始舱单数据进行转换;
稽核分析子***根据参考数据库总的参考数据,对清洗、转换后的舱单数据进行数据完整性和/或准确性分析;
自动稽核子***用于根据分析数据生成稽核结果,以及判断所述舱单数据中是否包含异常数据,并对异常数据进行标识、追踪以及将异常数据发送给统计分析子***处置;
统计分析子***采用OLAP(即:在线分析处理)多维分析方法对稽核结果和异常数据进行实时统计分析,并生成分析报告;
参数配置模块用于分配用户权限,并记录稽核任务的执行日志和用户使用日志;
对外接口模块用于实现与外部数据或平台对接。二、各个子***的说明
下面将对本实施例中的数据处理***的各个子***或模块的结构和/或工作过程进行说明。
1、数据采集与清洗子***
本实施例中的数据采集与清洗子***包括源数据获取模块和数据清洗转换模块,其中:
所述源数据获取模块用于采集原始舱单数据,并将所述原始舱单数据传输给数据清洗转换模块;所述原始舱单数据来源于代收单位数据库和海事稽核稽查数据库,所述代收单位数据库中存储用以开展代征工作的港口建设费征收管理***的海事船舶数据;所述海事稽核稽查数据库中存储经海关审核过的船舶进出口报关信息和由船舶代理公司申报获得的出口外贸数据(即“第三方舱单数据”);
所述数据清洗转换模块将上述原始舱单数据进行清洗、转换;并将清洗、转换后的舱单数据存储到稽核分析子***、第三方比对信息数据库和海事比对信息数据库中。
具体的,源数据获取模块可以定时到第三方舱单数据接口模块和海事港建费稽核管理数据库(即第三方比对信息数据库和海事比对信息数据库)的数据源端进行探询以获取原始舱单数据;
本实施例中,依据不同的数据库接口,数据采集与清洗的流程可分为以下几部分:
(1)利用定时器每天在空闲时间通过调用第三方舱单数据接口模块来采集前7天的第三方原始舱单数据;
(2)数据清洗转换模块将采集到的第三方原始舱单数据进行清洗、转换获得第三方舱单数据,将该第三方舱单数据传输并存储到稽核分析子***、海事港建费稽核数据库,且将舱单处置状态设为“0”;
(3)读取海事港建费稽核数据库中所有舱单处置状态为“0”的舱单数据;
(4)通过传入船舶IMO号(即:船舶名称代码)、船舶航次、进出口标记等调用海事船舶数据接口模块以获取海事船舶数据,将海事船舶数据存储至海事港建费稽核管理数据库中,并通过船舶代码来调用舱单货物和集装箱数据接口模块以获取舱单对应的提单数据和集装箱数据,将该提单数据和集装箱数据清洗、转换并保存至海事港建费稽核管理数据库,设置舱单处置状态为1;
其中,在获取海事船舶数据以及获取提单数据和集装箱数据之前,可先判断是否存在海事船舶数据或者提单数据和集装箱数据:若该数据不存在,则进一步判断当前时间与电子提单创建时间的时间间隔是否大于预设时间间隔,若所述时间间隔大于预设时间间隔,则将该舱单数据标记为异常数据,并将舱单处置状态设为“8”,若所述时间间隔小于或等于预设时间间隔,则表示该舱单数据为正常数据,舱单处置状态不变。
(5)读取海事港建费稽核管理数据库中所有处置状态为“1”的舱单数据;
(6)调用第三方舱单货物和集装箱数据接口模块,判断是否存在第三方货物和集装箱数据;
若存在所述第三方货物和集装箱数据,则清洗、转换和存储该第三方货物和集装箱数据至海事港建费稽核管理数据库中,并将舱单处置状态设为“2”;
若不存在所述第三方货物和集装箱数据,则判断当前时间与创建该舱单的时间间隔是否大于预设时间间隔,若大于预设时间间隔,则表明不存在第三方集装箱,将该舱单数据标记为异常数据,并将舱单设置状态设置为“8”;若小于或等于时间间隔,则表明该舱单数据正常,舱单设置状态不变。
本实施例中,该预设间隔可以设置为90天,可以理解的是,该预设间隔并不限于此,还可以设置为其他时长。
2、稽核分析子***
本实施例中的稽核分析子***用于导入征管数据,并对征管数据进行一致性分析,具体的,该子***包括:
数据分析模块,用于根据所述参考数据库中的参考数据对所述清洗、转换后的舱单数据进行数据完整性和/或准确性分析,获得分析结果;即将清洗、转换后的舱单数据分别与第三方比对信息数据库中的外贸数据(即:经海关单位审核过和船舶代理公司的第三方舱单数据)、海事比对信息数据库中的代收单位日常业务数据进行比对分析;
本实施例中,可以对舱单数据进行数据完整性分析,例如判断海事***中与海关***中是否均包含各个核对项以判断数据是否完整,所述核对项可以是舱单数量和集装箱数量;还可以对舱单数据进行数据准确性分析,例如可以通过检索“航次号”、“船舶IMO号(即:船舶代码)”、“集装箱编号”等来锁定唯一的集装箱,再依据参考数据进行逐单比对,以确保每个集装箱信息都准确无误;
分析结果查看模块,用于显示所述分析结果,当稽核分析子***的分析结果存在异常时,可以通过飘红显示和/或信息提示来提醒用户进行异常结果查看。
3、自动稽核子***
本实施例中的自动稽核子***包括:
稽核模块,用于根据所述分析数据确定该舱单数据中是否包含异常数据,对异常数据进行标记,并生成带有异常标记的稽核结果;即向用户显示上述比对后的分析结果,并根据用户的指令确定是否将比对后的分析结果列为稽核异常项并进行标记,生成最终的稽核结果;
处置模块,用于追踪和处置所述异常数据;即代收单位的修改更新所述稽核异常项,并将更新后的结果反馈给用户,供用户完成对异常项整改情况的追踪。
4、统计分析子***
本实施例中的统计分析子***主要用于对稽核数据进行统计,具体的,该子***包括:
统计模块,可根据代征单位名称、业务类型、时间范围等对辖区内的总体舱单、辖区内的总体集装箱总数、已完成稽核稽查的舱单、已完成稽核稽查的集装箱数、发现的稽核稽查问题舱单和/或发现的稽核稽查问题集装箱数等进行统计获得统计结果,并按照所述统计结果发生的频率进行排序;具体的,可以根据稽核过程中的发现的异常项的错误原因、业务类型等选项并选定一定的征费时间范围(例如,可以是3年或5年),对该数据处理***中标记为异常的数据进行按年、季度或月份的求和计算,并按发生频率从大到小进行排序显示;
分析模块,可根据代征单位名称、业务类型和征费时间范围等对稽核原因并采用OLAP多维分析方法进行聚类分析,并生成分析报告。
5、参数配置模块
本实施例中的参数配置模块包括:
***配置模块,用于设定和存储多个配置项,所述配置项包括:海事管理机构信息、代收机构信息和用户信息等;具体的,该***管理模块可与外部平台(例如海事4A认证***,即:统一安全管理平台)对接,由外部平台实现组织机构、用户、角色的统一管理,并提供统一用户、统一认证、统一权限、统一工作台、统一菜单、统一集成管理平台,该参数配置模块可以直接使用外部平台统一部署的组织机构、用户、角色数据;
日志管理模块,用于记录稽核任务的执行时间和执行结果以及用户的操作历史;具体的,该日志管理模块用于对稽核监控任务的执行日志和用户的使用日志进行管理;其中稽核监控任务的执行日志主要用于记录稽核任务的执行时间和执行结果,该执行时间和执行结果是稽核结果的重要数据来源;该用户使用日志主要用于记录用户使用该自动海事稽核的数据处理***的操作历史,该操作历史是对用户行为进行审计的重要依据。
6、对外接口模块
本实施例中的对外接口模块包括:
业务接口模块,用于实现货物进出口数据的有线或无线互连;
门户接口模块,用于与外部平台对接以实现集成联用,以实现用户集成、角色集成、机构集成、单点登录和待办任务等;
其中,所述业务接口模块包括以下模块中的一个或多个:
海事船舶数据接口模块,用于获取海事船舶数据,包括进口船舶数据和出口船舶数据;
舱单货物和集装箱数据接口模块,通过例如舱单关键字获取舱单对应的提单数据和集装箱数据;
第三方舱单数据接口模块,用于获取代收单位的海关进口预报舱单数据和出口清洁舱单数据;
第三方舱单货物和集装箱数据接口模块,通过例如舱单关键字用于获取第三方货物和集装箱数据;
核销备注接口模块,用于获取对所述舱单数据分析后产生的异常数据;
稽核异常数据接口模块,用于获取和查询所述异常数据,具体的,该接口模块用于获取代收单位的海关进口预报舱单数据和出口清洁舱单数据。
三、一种用于自动海事稽核的数据处理方法
图3是本发明的一种用于自动海事稽核的数据处理方法的一个实施例的流程示意图,图4A-4C是本发明的数据采集、清洗过程的一个实施例的流程示意图;参见图3及图4A-4C,本实施例的数据处理方法,包括以下几个步骤:
步骤100:对原始舱单数据进行采集、清洗和转换;
步骤200:根据参考数据库中的参考数据对清洗、转换后的舱单数据进行数据完整性和/或准确性分析;
步骤300:根据所述分析数据生成稽核结果,以及判断所述舱单数据中是否包含异常数据,并对异常数据进行标识、追踪和处置;
步骤400:利用OLAP多维分析方法对稽核结果和异常数据进行实时统计分析,并生成分析报告。其中,步骤100包括以下几个子步骤:
步骤110:调用第三方舱单数据接口模块以采集第三方原始舱单数据;
步骤120:对所述第三方原始舱单数据进行清洗、转换并存储,将舱单处置状态设为“0”;
步骤130:读取所有处置状态为“0”的第三方舱单数据;
步骤140:调用海事船舶数据接口模块,判断是否存在海事船舶数据;
步骤141:若存在海事船舶数据,则调用舱单货物和集装箱数据接口模块获取舱单对应的提单数据和集装箱数据,并清洗、转换和存储该提单数据和集装箱数据,设置舱单处置状态为“1”;
步骤142:若不存在海事船舶数据,则将该舱单数据标记为异常数据并将舱单处置状态设为“8”;
步骤150:读取所有处置状态为“1”的舱单数据;
步骤160:调用第三方舱单货物和集装箱数据接口模块,判断是否存在第三方货物和集装箱数据;
步骤161:若存在所述第三方货物和集装箱数据,则清洗、转换和存储该第三方货物和集装箱数据,并将舱单处置状态设为“2”;
步骤162:若不存在所述第三方货物和集装箱数据,则将该舱单数据标记为异常数据,并将舱单设置状态设置为“8”。
本实施例中的用于自动海事稽核的数据处理方法与上述数据处理***的工作流程大致相同,在此不再赘述说明。
本发明在软件架构方面,采用基于JavaEE平台的三层结构,结合大型企业应用框架和组件来实现。其前端页面是应用程序与用户之间的接口,主要用于向用户展示信息,并提供用户操作的输入输出控件;应用层主要负责用户数据的传输与转换;业务逻辑层则是本模块的主要核心内容,包括各种业务逻辑过程的处理;数据访问层主要负责将数据保存到数据库中,对数据进行持久化操作;在数据处理方面,采用OWB和SQL相结合的方式,综合二者优点,快速建立ETL数据处理工程,加上SQL的灵活性特点,极大提高ETL的开发速度和效率。
本发明的有益效果是:
本发明通过设置数据采集及清洗子***、稽核分析子***、自动稽核子***、统计与分析子***、参数配置模块和对外接口模块,将采集、清洗后的数据与第三方比对信息数据库中的外贸数据、海事比对信息数据库中的代收单位日常业务数据与参考数据进行比对分析,能够有效的检验代收单位上报数据的准确性;另外利用OLAP多维分析方法对舱单数据进行统计分析,不需要更多的人力成本,从而提高了监管效率同时也降低了成本。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。需要说明的是,本发明附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和获得机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与获得机指令的组合来实现。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个获得机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该获得机软件产品存储在一个存储介质中,包括若干指令用以使得一台获得机机器(可以是个人获得机,服务器,或者网络机器等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种用于自动海事稽核的数据处理***,其特征在于,包括数据采集与清洗子***、稽核分析子***、自动稽核子***、统计分析子***、参数配置模块和对外接口模块,其中:
数据采集与清洗子***用于获取原始舱单数据,将获取的原始舱单数据进行清洗、转换,并将清洗、转换后的舱单数据传输给稽核分析子***;
稽核分析子***根据参考数据库中的参考数据,对清洗、转换后的舱单数据进行数据完整性和/或准确性分析;
自动稽核子***用于根据分析数据生成稽核结果,以及判断所述舱单数据中是否包含异常数据,并对异常数据进行标识、追踪以及处置;
统计分析子***采用OLAP多维分析方法对稽核结果和异常数据进行实时统计分析,并生成分析报告;
参数配置模块用于分配用户权限,并记录稽核任务的执行日志和用户使用日志;
对外接口模块用于实现与外部数据或平台对接。
2.根据权利要求1所述的数据处理***,其特征在于,所述数据采集与清洗子***包括源数据获取模块和数据清洗转换模块,其中:
源数据获取模块用于采集原始舱单数据,并将所述原始舱单数据传输给数据清洗转换模块;
所述数据清洗转换模块将所述原始舱单数据进行清洗、转换,并将清洗、转换后的舱单数据传输和存储到稽核分析子***。
3.根据权利要求1所述的数据处理***,其特征在于,所述稽核分析子***包括:
数据分析模块,用于根据所述参考数据库中的参考数据对所述清洗、转换后的舱单数据进行数据完整性和/或准确性分析,获得分析结果;
分析结果查看模块,用于显示所述分析结果。
4.根据权利要求1所述的数据处理***,其特征在于,自动稽核子***包括:
稽核模块,用于根据所述分析数据确定该舱单数据中是否包含异常数据,对异常数据进行标记,并生成带有异常标记的稽核结果;
处置模块,用于追踪和处置所述异常数据。
5.根据权利要求1所述的数据处理***,其特征在于,所述统计分析子***包括:
统计模块,用于对辖区内的总体舱单、辖区内的总体集装箱总数、已完成稽核稽查的舱单、已完成稽核稽查的集装箱数、发现的稽核稽查问题舱单和/或发现的稽核稽查问题集装箱数进行统计并排序;
分析模块,采用OLAP多维分析方法对稽核结果和异常数据进行聚类分析,并生成分析报告。
6.根据权利要求1所述的数据处理***,其特征在于,所述参数配置模块包括:
***配置模块,用于设定和存储多个配置项,所述配置项包括海事管理机构信息、代收机构信息和用户信息;
日志管理模块,用于记录稽核任务的执行时间和执行结果以及用户的操作历史。
7.根据权利要求1所述的***,其特征在于,所述对外接口模块包括:
业务接口模块,用于实现与外部业务数据的有线或无线互连;
门户接口模块,用于与外部平台对接以实现集成联用。
8.根据权利要求7所述的***,其特征在于,所述业务接口模块包括以下模块中的一个或多个:
海事船舶数据接口模块,用于获取海事船舶数据,包括进口船舶数据和出口船舶数据;
舱单货物和集装箱数据接口模块,用于获取舱单对应的提单数据和集装箱数据;
第三方舱单数据接口模块,用于获取代收单位的海关进口预报舱单数据和出口清洁舱单数据;
第三方舱单货物和集装箱数据接口模块,用于获取第三方货物和集装箱数据;
核销备注接口模块,用于获取对所述舱单数据分析后产生的异常数据;
稽核异常数据接口模块,用于获取和查询所述异常数据;
重新获取舱单数据接口模块,用于再次获取舱单数据。
9.一种用于自动海事稽核的数据处理方法,其特征在于,包括:
对原始舱单数据进行采集、清洗和转换;
根据参考数据库中的参考数据对清洗、转换后的舱单数据进行数据完整性和/或准确性分析;
根据所述分析数据生成稽核结果,以及判断所述舱单数据中是否包含异常数据,并对异常数据进行标识、追踪和处置;
利用OLAP多维分析方法对稽核结果和异常数据进行实时统计分析,并生成分析报告。
10.根据权利要求9所述的数据处理方法,其特征在于,对原始舱单数据进行采集、清洗和转换包括:
调用第三方舱单数据接口模块以采集原始舱单数据;
对所述原始舱单数据进行清洗、转换并存储,将舱单处置状态设为“0”;
读取所有处置状态为“0”的舱单数据;
调用海事船舶数据接口模块,判断是否存在海事船舶数据;若存在海事船舶数据,则调用舱单货物和集装箱数据接口模块获取舱单对应的提单数据和集装箱数据,并清洗、转换和存储该提单数据和集装箱数据,设置舱单处置状态为“1”;若不存在海事船舶数据,则将该舱单数据标记为异常数据并将舱单处置状态设为“8”;
读取所有处置状态为“1”的舱单数据;
调用第三方舱单货物和集装箱数据接口模块,判断是否存在第三方货物和集装箱数据;若存在所述第三方货物和集装箱数据,则清洗、转换和存储该第三方货物和集装箱数据,并将舱单处置状态设为“2”;若不存在第三方货物和集装箱数据,则将该舱单数据标记为异常数据,并将舱单设置状态设置为“8”。
CN201811601257.7A 2018-12-26 2018-12-26 一种用于自动海事稽核的数据处理***和方法 Active CN109684322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811601257.7A CN109684322B (zh) 2018-12-26 2018-12-26 一种用于自动海事稽核的数据处理***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811601257.7A CN109684322B (zh) 2018-12-26 2018-12-26 一种用于自动海事稽核的数据处理***和方法

Publications (2)

Publication Number Publication Date
CN109684322A true CN109684322A (zh) 2019-04-26
CN109684322B CN109684322B (zh) 2021-01-22

Family

ID=66189645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811601257.7A Active CN109684322B (zh) 2018-12-26 2018-12-26 一种用于自动海事稽核的数据处理***和方法

Country Status (1)

Country Link
CN (1) CN109684322B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061732A (zh) * 2019-12-05 2020-04-24 深圳迅策科技有限公司 一种基于大数据处理的报表生成方法
CN111309717A (zh) * 2020-01-23 2020-06-19 普信恒业科技发展(北京)有限公司 一种稽核方法及***
CN111429068A (zh) * 2020-03-31 2020-07-17 天津市商务局(天津市人民政府口岸服务办公室) 一种数据监管方法、装置及***
CN115658795A (zh) * 2022-12-12 2023-01-31 交通运输部水运科学研究所 一种支持多场景评价的海事业务数据指标管理方法与***
CN115982665A (zh) * 2023-03-21 2023-04-18 北京东华博泰科技有限公司 一种用于水轮机量测数据的质量异常稽核方法及***

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6094651A (en) * 1997-08-22 2000-07-25 International Business Machines Corporation Discovery-driven exploration of OLAP data cubes
CN101110863A (zh) * 2007-08-16 2008-01-23 南京联创科技股份有限公司 增值业务综合结算分析方法
CN101894319A (zh) * 2010-06-28 2010-11-24 中国烟草总公司湖南省公司 一种烟草企业数据质量管理***及方法
CN104915793A (zh) * 2015-06-30 2015-09-16 北京西塔网络科技股份有限公司 基于大数据分析挖掘的公共信息智能分析平台
CN106056292A (zh) * 2016-06-03 2016-10-26 武汉铁锚焊接材料股份有限公司 一种业务经营智能决策支持***及其方法
CN107230017A (zh) * 2017-05-26 2017-10-03 安徽皖通科技股份有限公司 一种公路水路建设与运输市场信用信息服务***
CN107256443A (zh) * 2017-04-18 2017-10-17 国网信通亿力科技有限责任公司 基于业务和数据集成的线损实时计算方法
CN107423390A (zh) * 2017-07-21 2017-12-01 上海德拓信息技术股份有限公司 一种基于oltp‑olap混合关系型数据库***内部的数据实时同步算法
US20180027413A1 (en) * 2016-06-02 2018-01-25 Duo Security, Inc. Method for automatic possession-factor authentication
CN108470228A (zh) * 2017-02-22 2018-08-31 国网能源研究院 财务数据稽核方法及稽核***
CN108564254A (zh) * 2018-03-15 2018-09-21 国网四川省电力公司绵阳供电公司 基于大数据的配电设备状态可视化平台

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6094651A (en) * 1997-08-22 2000-07-25 International Business Machines Corporation Discovery-driven exploration of OLAP data cubes
CN101110863A (zh) * 2007-08-16 2008-01-23 南京联创科技股份有限公司 增值业务综合结算分析方法
CN101894319A (zh) * 2010-06-28 2010-11-24 中国烟草总公司湖南省公司 一种烟草企业数据质量管理***及方法
CN104915793A (zh) * 2015-06-30 2015-09-16 北京西塔网络科技股份有限公司 基于大数据分析挖掘的公共信息智能分析平台
US20180027413A1 (en) * 2016-06-02 2018-01-25 Duo Security, Inc. Method for automatic possession-factor authentication
CN106056292A (zh) * 2016-06-03 2016-10-26 武汉铁锚焊接材料股份有限公司 一种业务经营智能决策支持***及其方法
CN108470228A (zh) * 2017-02-22 2018-08-31 国网能源研究院 财务数据稽核方法及稽核***
CN107256443A (zh) * 2017-04-18 2017-10-17 国网信通亿力科技有限责任公司 基于业务和数据集成的线损实时计算方法
CN107230017A (zh) * 2017-05-26 2017-10-03 安徽皖通科技股份有限公司 一种公路水路建设与运输市场信用信息服务***
CN107423390A (zh) * 2017-07-21 2017-12-01 上海德拓信息技术股份有限公司 一种基于oltp‑olap混合关系型数据库***内部的数据实时同步算法
CN108564254A (zh) * 2018-03-15 2018-09-21 国网四川省电力公司绵阳供电公司 基于大数据的配电设备状态可视化平台

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钟华杰等: "关于港口建设费低值货物征管的思考", 《中国水运》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061732A (zh) * 2019-12-05 2020-04-24 深圳迅策科技有限公司 一种基于大数据处理的报表生成方法
CN111309717A (zh) * 2020-01-23 2020-06-19 普信恒业科技发展(北京)有限公司 一种稽核方法及***
CN111429068A (zh) * 2020-03-31 2020-07-17 天津市商务局(天津市人民政府口岸服务办公室) 一种数据监管方法、装置及***
CN111429068B (zh) * 2020-03-31 2021-04-23 天津市商务局(天津市人民政府口岸服务办公室) 一种数据监管方法、装置及***
CN115658795A (zh) * 2022-12-12 2023-01-31 交通运输部水运科学研究所 一种支持多场景评价的海事业务数据指标管理方法与***
CN115982665A (zh) * 2023-03-21 2023-04-18 北京东华博泰科技有限公司 一种用于水轮机量测数据的质量异常稽核方法及***

Also Published As

Publication number Publication date
CN109684322B (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN109684322A (zh) 一种用于自动海事稽核的数据处理***和方法
CN103971192A (zh) 一种智能化实验室管理***
CN115423289B (zh) 智能板材加工车间数据处理方法及终端
CN112181955A (zh) 一种用于重载铁路综合大数据平台信息共享的数据规范治理方法
Becker et al. A practical process mining approach for compliance management
Zuting et al. A synchronized strategy to minimize vehicle dispatching time: a real example of steel industry
Sumito et al. Influence of internal audit and internal control system on quality of the financial statement
CN109242431A (zh) 一种基于数据体系的企业管理方法及其***
Bognár et al. Multi-Method Risk Assessment Process for Sustainable Business—A compliance research Follow-up Case Study
Yuliana et al. Re-engineering and Technology Development on Reference Sample of Business Process (Case Study on Health Laboratory Service Company)
Efimova et al. Elimination of losses in information services based on approaches of IT-service management
Son Simulation-based manufacturing accounting for modern management
CN107742180A (zh) 一种船舶物资资材成本日反映方法及***
Wang et al. Towards a reference model for knowledge driven data provision processes
CN114445090A (zh) 一种用于企业排污许可的跟踪管理***
Fitharti et al. The Impact of Downtime Against Service Performance System Indonesia National Single Window (INSW)
Xiong et al. Detecting Data Flow Errors Across Processes in Business Process Collaboration
Fauth et al. Ontology for building permit authorities (OBPA) for advanced building permit processes
CN109697602A (zh) 一种用于规费征稽的数据处理***
RU174580U1 (ru) Автоматизированная система рационализаторской работы (деятельности)
Munawar Extract Transform Loading (ETL) Based Data Quality for Data Warehouse Development
US20240193519A1 (en) Systems and methods for system-wide granular access risk management
RU174649U1 (ru) Автоматизированная система контроля рационализаторской работы (деятельности)
Falgenti et al. The design of production modules of ERP systems based on requirements engineering for Electronic Manufacturing Services company
Zhang et al. Study on the construction of the pricing parameter model of aero engine digital control system test

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant