CN116150129A - 入海排污口数据整编评估方法 - Google Patents

入海排污口数据整编评估方法 Download PDF

Info

Publication number
CN116150129A
CN116150129A CN202310416350.5A CN202310416350A CN116150129A CN 116150129 A CN116150129 A CN 116150129A CN 202310416350 A CN202310416350 A CN 202310416350A CN 116150129 A CN116150129 A CN 116150129A
Authority
CN
China
Prior art keywords
data
drain
outlet
file
sewage outlet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310416350.5A
Other languages
English (en)
Other versions
CN116150129B (zh
Inventor
杨朋金
王钦钦
赵玉慧
宋晓丽
王光峻
王晓亮
王利明
张馨星
王荣元
曲亮
魏计房
邓春梅
王鑫平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hengtianyi Information Technology Co ltd
NORTH CHINA SEA ENVIRONMENTAL MONITORING CENTER OF STATE OCEANIC ADMINISTRATION
Original Assignee
Qingdao Hengtianyi Information Technology Co ltd
NORTH CHINA SEA ENVIRONMENTAL MONITORING CENTER OF STATE OCEANIC ADMINISTRATION
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hengtianyi Information Technology Co ltd, NORTH CHINA SEA ENVIRONMENTAL MONITORING CENTER OF STATE OCEANIC ADMINISTRATION filed Critical Qingdao Hengtianyi Information Technology Co ltd
Priority to CN202310416350.5A priority Critical patent/CN116150129B/zh
Publication of CN116150129A publication Critical patent/CN116150129A/zh
Application granted granted Critical
Publication of CN116150129B publication Critical patent/CN116150129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/156—Query results presentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/164—File meta data generation
    • G06F16/166—File name conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种入海排污口数据整编评估方法，属于数据处理领域，包括以下步骤：S1、设计排污口档案数据库；S2、将排污口的资料压缩包形成的文件实时上传至排污口档案数据库，对历史档案资料自动录入至排污口档案数据库；S3、进行多维度数据联合检索，创建新任务。本发明的优点是：解决多人协同操作、移动端数据分级缓释、精准导航定位、超大文件实时传输、批量数据高效归并输出、多源历史资料分拣入库、多维度联合检索等方面的问题。

Description

入海排污口数据整编评估方法
技术领域
本发明涉及一种入海排污口数据整编评估方法，属于数据处理领域。
背景技术
伴随云数据库、CDN节点加速、Elasticsearch搜索引擎等技术手段的普及，入海排污口资料产生、集成、应用的技术方法发生变革，数据资料逐步由传统的纸质资料时代进入数字资料时代。目前入海排口数据整编评估开始出现手机端输入、云上存储、PC端管理的趋势，但是当入海排污口数量突破至五千后，多人协同操作、移动端数据分级缓释、精准导航定位、超大文件实时传输、批量数据高效归并输出、多源历史资料分拣入库、多维度联合检索等方面亟需建立新的方式方法。
传统的入海排污口管理以工业排口为主，数量少，其资料以文字资料居多。随着入海排污口认识的深入以及手机、无人机等电子产品的普及，纳入管理的入海排污口种类及数量剧增，电子照片和视频资料逐渐增多，传统的纸质台账式整编评估模式已不适用于新形式下的整编评估要求。
发明内容
为克服现有技术的缺陷，本发明建立一种入海排污口数据整编评估方法，为省市级入海排污口监督管理提供了高效的解决方案。
本发明提供一种入海排污口数据整编评估方法，本发明的技术方案是：
一种入海排污口数据整编评估方法，其特征在于，包括以下步骤：
S1、设计排污口档案数据库；
S2、将排污口的资料压缩包形成的文件实时上传至排污口档案数据库，对历史档案资料自动录入至排污口档案数据库；
S3、进行多维度数据联合检索，创建新任务。
所述的步骤S1具体为：
采用横向和纵向相结合的方式设计排污口档案数据表，横向数据为排污口固定属性档案表，纵向数据为排污口监测项表；入海排污口数据非归一化数据，多源数据不可能含有一致的监测项，同时存在数据库中未包含监测项的可能，该监测项表将根据数据的监测项进行增补，形成排污口监测项表；
所述的排污口档案数据表包括排污口的固定档案属性内容，该固定档案属性包括排污口编码和排污口名称；所述的排污口监测项表包括排污口所有的监测项；
所述监测项包括：排污口经纬度、点位位置、所属行政区划、详细地址、排放状况、污水来源、入海方式、周边环境、排污口类型、现场照片和视频以及描述、排污口状态、是否非法、是否合理、是否竖牌、是否标注路径、是否销号、排污口整治状况、污水排放量、主要污染物类型、责任主体和相应联系方式、排污口设立和撤销时间、现场感官和流量、COD、氨氮、总氮、总磷、盐度、pH、悬浮物、氯化物、六价铬、有机碳、BOD、砷、汞、铜、铅、镉、铬、锌、镍、油类、挥发酚、粪大肠菌群数、挥发性卤代烃、行政审核状态以及备注情况。
在所述的步骤S2中，当将排污口的资料压缩包形成的文件实时上传时，具体为：
2-1、将多种类型文件打包成压缩文件：
Figure SMS_1
；
Figure SMS_2
：排污口数据，/>
Figure SMS_3
：排污口压缩包，/>
Figure SMS_4
：排污口数据Excel，/>
Figure SMS_5
：排污口视频文件，/>
Figure SMS_6
：排污口图片文件；所述的压缩文件通过upload控件将本地文件上传到浏览器内存中；
2-2、采用slice切片的方法对内存中10M以上的文件进行切分，每次固定切分10M大小的分片，同时计算当前切出分片的顺序号以及文件切片的总个数，然后生成uuid连带分片以及分片的顺序号，通过构建的form表单进行提交到服务器；若提交失败，会每隔2秒再重新提交分片文件，若提交成功，继续下一个分片，直到所有分片提交成功；
2-3、使用文件提取器MutipartHttpServletRequest定向提取每次的分片文件，同时根据uuid以及分片顺序号进行校验并存储为临时文件
Figure SMS_7
；创建文件流，之后循环分片顺序号，并依次将分片写入缓冲区，同时设置文件流指针偏移量，然后从缓冲区中依次提取字节数据，写入创建的文件流中，同时按照字节数据长度后移文件流指针偏移量，直至所有分片数据全部按照顺序写入文件流；删除分片的临时文件，同时将合并后文件路径保存到数据库，/>
Figure SMS_8
，其中，F1：第1个切片文件，F2：第2个切片文件，F3：第3个切片文件，F4：第4个切片文件，Fn：第n个切片文件，F是切片文件的总和。
所述的步骤2-1中，将图片以及视频存储到服务器物理硬盘，然后联合图片视频的路径将提报的数据转换成排污口档案资料实体，根据实体中数据，循环检索排污口监测项表获取相应监测项ID，最后将实体中数据与监测项ID对应存储入库。
所述的步骤S3具体为：
3-1、以关键信息查询所有排污口集合，只保留排污口关键信息，所述关键信息包括排污口编号、排污口经纬度以实现地图中快速叠加点位；当点击或选择排污口查看时，以排污口编码对排污口档案进行检索显示；
3-2、所述地图采用OpenLayers的地图，使用内置cluster方法，将所有点位集合叠加到地图中，设置点位聚合的像素距离为40，同时计算点位之间像素距离，将小于40的点位进行聚合显示。
在所述的步骤S2中，当对历史档案资料自动录入至排污口档案数据库时，具体为：
2-4、使用GetDirectories方法遍历检索文件夹，拆分文件夹并获取排查时间以及对应排查时间内的排污编码；
2-5、使用GetFiles方法遍历检索文件夹内的文件，关联相应文件的排污口编码和排查时间；
2-6、使用Move方法移动图片视频文件到相应物理路径下，并以排查时间加排污口编码和序号进行重命名文件，然后将对应文件路径对应排污口编码进行数据存储入库。
在所述的步骤3-1中，具体为：
以任务为操作集合，以排污口为操作单元，当多人同时操作排污口档案数据时，首先将排污口从操作集合中取出，并以synchronized对排污口进行加锁，以时间先后进行抢占，其他人欲操作时，根据排污口编码从操作集合中进行检索，由于排污口已从操作集合中取出，故提示排污口正在***作，并重新分配线程将本次操作数据以草稿数据形式进行存储；当数据操作结束后，自动检查同一排污口的档案表数据和草稿表数据，并以数据操作人员的角色优先级进行排序。
在所述的步骤3-1中，对任务和排污口检索步骤为：
设置内置排污口编号
Figure SMS_9
、任务名称/>
Figure SMS_10
、任务区域/>
Figure SMS_11
和排查人员/>
Figure SMS_12
作为检索条件，根据需要选择多维度检索，其它检索条件On还包括排污口类型、排放状况、入海方式、排污口状态以及数据归档方式；
根据实际业务需求，排污口的排查监测以任务为基础单元，需排查的排污口的信息组成一个数据集合，其中关联了排污口基础属性档案表、监测项目数据表；其中排污口档案基础属性档案表中包含排污口的编码、国标编码、名称，监测项目数据表中包含排污口编码、排污口经纬度、点位位置、所属行政区划、详细地址、排放状况、污水来源、入海方式、周边环境、排污口类型、现场照片和视频以及描述、排污口状态、是否非法、是否合理、是否竖牌、是否标注路径、是否销号、排污口整治状况、污水排放量、主要污染物类型、责任主体和相应联系方式、排污口设立和撤销时间、现场感官和流量、COD、氨氮、总氮、总磷、盐度、pH、悬浮物、氯化物、六价铬、有机碳、BOD、砷、汞、铜、铅、镉、铬、锌、镍、油类、挥发酚、粪大肠菌群数、挥发性卤代烃、行政审核状态以及备注情况，排污口任务表中包含了任务名称、所属任务区域、排查人员集合、排污口编码集合，排污口基础属性档案表、监测项目数据表以及排查任务表通过排污口编码对进行数据关联，以供用户进行检索；
关联排污口基础属性档案表、监测项目数据表以及排查任务表进行动态匹配检索，筛选符合条件的排污口数据：
Figure SMS_13
，其中，i为根据检索条件所获取的数据的总数，n为前台页面分页展示结果中每页的数据条数；
在进行任务创建时，以Excel文件选定任务范围，使用EasyPOI工具，使用importExcel方法提取任务中排污口编码数据，同时写入缓冲区，根据缓冲区内排污口编码对比检索排污口档案数据表，获取基础档案数据信息生成任务。
不同类型排污口关注的监测项不同，某一特定排污口在数据库存在多个监测项无信息的情况，无信息监测项对于排污口评估无意义，当检索排污口资料时，根据排污口编码遍历检索排污口档案数据表数据，同时将检索到的所有数据中监测项数据不为空的监测项合并为一个基础集合，最后以基础属性字段同时联合此监测项集合合并为此排污口属性列，形成信息匹配、剔除无效监测项的数据集合，其中所述基础属性字段包含排污口编码、国标编码、名称，监测项集合包括排污口经纬度、点位位置、所属行政区划、详细地址、排放状况、污水来源、入海方式、周边环境、排污口类型、现场照片和视频以及描述、排污口状态、是否非法、是否合理、是否竖牌、是否标注路径、是否销号、排污口整治状况、污水排放量、主要污染物类型、责任主体和相应联系方式、排污口设立和撤销时间、现场感官和流量、COD、氨氮、总氮、总磷、盐度、pH、悬浮物、氯化物、六价铬、有机碳、BOD、砷、汞、铜、铅、镉、铬、锌、镍、油类、挥发酚、粪大肠菌群数、挥发性卤代烃、行政审核状态以及备注情况的集合，属性列数据缺失时以空数据填充；当导出排污口资料时，根据排污口编码集合遍历检索所有排污口档案数据表数据，同时将检索到的所有数据中监测项数据不为空的监测项合并为一个基础集合，最后以排污口编码和名称为基础属性字段，同时联合此监测项集合合并显示排污口属性列，属性列数据缺失时以空数据填充。
本发明的优点是：解决多人协同操作、移动端数据分级缓释、精准导航定位、超大文件实时传输、批量数据高效归并输出、多源历史资料分拣入库、多维度联合检索等方面的问题。
附图说明
图1是本发明的多维度数据联合评估时流程示意图。
具体实施方式
下面结合具体实施例来进一步描述本发明，本发明的优点和特点将会随着描述而更为清楚。但这些实施例仅是范例性的，并不对本发明的范围构成任何限制。本领域技术人员应该理解的是，在不偏离本发明的精神和范围下可以对本发明技术方案的细节和形式进行修改或替换，但这些修改和替换均落入本发明的保护范围内。
参见图1，本发明涉及一种入海排污口数据整编评估方法，包括以下步骤：
S1、设计排污口档案数据库；
S2、将排污口的资料压缩包形成的文件实时上传至排污口档案数据库，对历史档案资料自动录入至排污口档案数据库；
S3、进行多维度数据联合检索，创建新任务。
所述的步骤S1具体为：采用横向和纵向相结合的方式设计排污口档案数据表，横向数据为排污口固定属性档案表，纵向数据为排污口监测项表；入海排污口数据非归一化数据，多源数据不可能含有一致的监测项，同时存在数据库中未包含监测项的可能，该监测项表将根据数据的监测项进行增补，形成排污口监测项表；
所述的排污口档案数据表包括排污口的固定档案属性内容，该固定档案属性包括排污口编码和排污口名称；所述的排污口监测项表包括排污口所有的监测项；
所述监测项包括：排污口经纬度、点位位置、所属行政区划、详细地址、排放状况、污水来源、入海方式、周边环境、排污口类型、现场照片和视频以及描述、排污口状态、是否非法、是否合理、是否竖牌、是否标注路径、是否销号、排污口整治状况、污水排放量、主要污染物类型、责任主体和相应联系方式、排污口设立和撤销时间、现场感官和流量、COD、氨氮、总氮、总磷、盐度、pH、悬浮物、氯化物、六价铬、有机碳、BOD、砷、汞、铜、铅、镉、铬、锌、镍、油类、挥发酚、粪大肠菌群数、挥发性卤代烃、行政审核状态以及备注情况。
在所述的步骤S2中，当将排污口的资料压缩包形成的文件实时上传时，具体为：
2-1、将多种类型文件打包成压缩文件：
Figure SMS_14
；
Figure SMS_15
：排污口数据，/>
Figure SMS_16
：排污口压缩包，/>
Figure SMS_17
：排污口数据Excel，/>
Figure SMS_18
：排污口视频文件，/>
Figure SMS_19
：排污口图片文件；所述的压缩文件通过upload控件将本地文件上传到浏览器内存中。
排查过程中拍摄的排污口照片基本为10M/张，每个排污口6-8张，无人机高清视频200M/个，每个排污口1-2个，同一区市范围内集中排查后进行分类整理，然后进行数据上传，每天的排查数据基本以GB为数据单位，直接打包上传会占用大量带宽，同时有可能会导致浏览器卡死，对压缩包进行切片后，开启单独线程进行数据上传，带宽占用率降低，同时***流畅度相对应也进行了提升。
在所述的步骤2-1中，将图片以及视频存储到服务器物理硬盘，然后联合图片视频的路径将提报的数据转换成排污口档案资料实体，根据实体中数据，循环检索排污口监测项表获取相应监测项ID，最后将实体中数据与监测项ID对应存储入库。
2-2、采用slice切片的方法对内存中10M以上的文件进行切分，每次固定切分10M大小的分片，同时计算当前切出分片的顺序号以及文件切片的总个数，然后生成uuid连带分片以及分片的顺序号，通过构建的form表单进行提交到服务器；若提交失败，会每隔2秒再重新提交分片文件，若提交成功，继续下一个分片，直到所有分片提交成功
2-3、使用文件提取器MutipartHttpServletRequest定向提取每次的分片文件，同时根据uuid以及分片顺序号进行校验并存储为临时文件
Figure SMS_20
；创建文件流，之后循环分片顺序号，并依次将分片写入缓冲区，同时设置文件流指针偏移量，然后从缓冲区中依次提取字节数据，写入创建的文件流中，同时按照字节数据长度后移文件流指针偏移量，直至所有分片数据全部按照顺序写入文件流；删除分片的临时文件，同时将合并后文件路径保存到数据库，/>
Figure SMS_21
，其中，F1：第1个切片文件，F2：第2个切片文件，F3：第3个切片文件，F4：第4个切片文件，Fn：第n个切片文件，F是切片文件的总和。
在所述的步骤S2中，当对历史档案资料自动录入至排污口档案数据库时，具体为：
2-4、使用GetDirectories方法遍历检索文件夹，拆分文件夹并获取排查时间以及对应排查时间内的排污编码；
2-5、使用GetFiles方法遍历检索文件夹内的文件，关联相应文件的排污口编码和排查时间；
2-6、使用Move方法移动图片视频文件到相应物理路径下，并以排查时间加排污口编码和序号进行重命名文件，然后将对应文件路径对应排污口编码进行数据存储入库。
所述的步骤S3具体为：
3-1、以关键信息查询所有排污口集合，只保留排污口关键信息，所述关键信息包括排污口编号、排污口经纬度以实现地图中快速叠加点位；当点击或选择排污口查看时，以排污口编码对排污口档案进行检索显示；
3-2、所述地图采用OpenLayers的地图，使用内置cluster方法，将所有点位集合叠加到地图中，设置点位聚合的像素距离为40，同时计算点位之间像素距离，将小于40的点位进行聚合显示。
在所述的步骤3-1中，具体为：
以任务为操作集合，以排污口为操作单元，当多人同时操作排污口档案数据时，首先将排污口从操作集合中取出，并以synchronized对排污口进行加锁，以时间先后进行抢占，其他人欲操作时，根据排污口编码从操作集合中进行检索，由于排污口已从操作集合中取出，故提示排污口正在***作，并重新分配线程将本次操作数据以草稿数据形式进行存储；当数据操作结束后，自动检查同一排污口的档案表数据和草稿表数据，并以数据操作人员的角色优先级进行排序。
对任务和排污口检索设置步骤为：
设置内置排污口编号
Figure SMS_22
、任务名称/>
Figure SMS_23
、任务区域/>
Figure SMS_24
和排查人员/>
Figure SMS_25
作为检索条件，根据需要选择多维度检索，其它检索条件On还包括排污口类型、排放状况、入海方式、排污口状态以及数据归档方式；根据实际业务需求，排污口的排查监测以任务为基础单元，需排查的排污口的信息组成一个数据集合，其中关联了排污口基础属性档案表、监测项目数据表；其中排污口档案基础属性档案表中包含排污口的编码、国标编码、名称，监测项目数据表中包含排污口编码、排污口经纬度、点位位置、所属行政区划、详细地址、排放状况、污水来源、入海方式、周边环境、排污口类型、现场照片和视频以及描述、排污口状态、是否非法、是否合理、是否竖牌、是否标注路径、是否销号、排污口整治状况、污水排放量、主要污染物类型、责任主体和相应联系方式、排污口设立和撤销时间、现场感官和流量、COD、氨氮、总氮、总磷、盐度、pH、悬浮物、氯化物、六价铬、有机碳、BOD、砷、汞、铜、铅、镉、铬、锌、镍、油类、挥发酚、粪大肠菌群数、挥发性卤代烃、行政审核状态以及备注情况，排污口任务表中包含了任务名称、所属任务区域、排查人员集合、排污口编码集合，排污口基础属性档案表、监测项目数据表以及排查任务表通过排污口编码对进行数据关联，以供用户进行检索；
关联排污口基础属性档案表、监测项目数据表以及排查任务表进行动态匹配检索，筛选符合条件的排污口数据：
Figure SMS_26
，其中，i为根据检索条件所获取的数据的总数，n为前台页面分页展示结果中每页的数据条数；
在进行任务创建时，以Excel文件选定任务范围，使用EasyPOI工具，使用importExcel方法提取任务中排污口编码数据，同时写入缓冲区，根据缓冲区内排污口编码对比检索排污口档案数据表，获取基础档案数据信息生成任务。
其中，不同类型排污口关注的监测项不同，某一特定排污口在数据库存在多个监测项无信息的情况，无信息监测项对于排污口评估无意义，当检索排污口资料时，根据排污口编码遍历检索排污口档案数据表数据，同时将检索到的所有数据中监测项数据不为空的监测项合并为一个基础集合，最后以基础属性字段同时联合此监测项集合合并为此排污口属性列，形成信息匹配、剔除无效监测项的数据集合，其中所述基础属性字段包含排污口编码、国标编码、名称，监测项集合包括排污口经纬度、点位位置、所属行政区划、详细地址、排放状况、污水来源、入海方式、周边环境、排污口类型、现场照片和视频以及描述、排污口状态、是否非法、是否合理、是否竖牌、是否标注路径、是否销号、排污口整治状况、污水排放量、主要污染物类型、责任主体和相应联系方式、排污口设立和撤销时间、现场感官和流量、COD、氨氮、总氮、总磷、盐度、pH、悬浮物、氯化物、六价铬、有机碳、BOD、砷、汞、铜、铅、镉、铬、锌、镍、油类、挥发酚、粪大肠菌群数、挥发性卤代烃、行政审核状态以及备注情况的集合，属性列数据缺失时以空数据填充；当导出排污口资料时，根据排污口编码集合遍历检索所有排污口档案数据表数据，同时将检索到的所有数据中监测项数据不为空的监测项合并为一个基础集合，最后以排污口编码和名称为基础属性字段，同时联合此监测项集合合并显示排污口属性列，属性列数据缺失时以空数据填充。
本发明以精确定位属性信息为原则，检索时根据属性条件进行精确匹配定位筛选，过滤其它无用或误导条件，使复杂的综合检索变得更加高效，同时也让庞大的检索在毫秒内完成，节省了大量的时间，为使用者提供了更好的体验。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种入海排污口数据整编评估方法，其特征在于，包括以下步骤：
S1、设计排污口档案数据库；
S2、将排污口的资料压缩包形成的文件实时上传至排污口档案数据库，对历史档案资料自动录入至排污口档案数据库；
S3、进行多维度数据联合检索，创建新任务。
2.根据权利要求1所述的一种入海排污口数据整编评估方法，其特征在于，所述的步骤S1具体为：
采用横向和纵向相结合的方式设计排污口档案数据表，横向数据为排污口固定属性档案表，纵向数据为排污口监测项表；入海排污口数据非归一化数据，多源数据不可能含有一致的监测项，同时存在数据库中未包含监测项的可能，该监测项表将根据数据的监测项进行增补，形成排污口监测项表；
所述的排污口档案数据表包括排污口的固定档案属性内容，该固定档案属性包括排污口编码和排污口名称；所述的排污口监测项表包括排污口所有的监测项；
所述监测项包括：排污口经纬度、点位位置、所属行政区划、详细地址、排放状况、污水来源、入海方式、周边环境、排污口类型、现场照片和视频以及描述、排污口状态、是否非法、是否合理、是否竖牌、是否标注路径、是否销号、排污口整治状况、污水排放量、主要污染物类型、责任主体和相应联系方式、排污口设立和撤销时间、现场感官和流量、COD、氨氮、总氮、总磷、盐度、pH、悬浮物、氯化物、六价铬、有机碳、BOD、砷、汞、铜、铅、镉、铬、锌、镍、油类、挥发酚、粪大肠菌群数、挥发性卤代烃、行政审核状态以及备注情况。
3.根据权利要求2所述的一种入海排污口数据整编评估方法，其特征在于，在所述的步骤S2中，当将排污口的资料压缩包形成的文件实时上传时，具体为：
2-1、将多种类型文件打包成压缩文件：
Figure QLYQS_1
；
Figure QLYQS_2
：排污口数据，/>
Figure QLYQS_3
：排污口压缩包，/>
Figure QLYQS_4
：排污口数据Excel，/>
Figure QLYQS_5
：排污口视频文件，/>
Figure QLYQS_6
：排污口图片文件；所述的压缩文件通过upload控件将本地文件上传到浏览器内存中；
2-2、采用slice切片的方法对内存中10M以上的文件进行切分，每次固定切分10M大小的分片，同时计算当前切出分片的顺序号以及文件切片的总个数，然后生成uuid连带分片以及分片的顺序号，通过构建的form表单进行提交到服务器；若提交失败，会每隔2秒再重新提交分片文件，若提交成功，继续下一个分片，直到所有分片提交成功；
2-3、使用文件提取器MutipartHttpServletRequest定向提取每次的分片文件，同时根据uuid以及分片顺序号进行校验并存储为临时文件
Figure QLYQS_7
；创建文件流，之后循环分片顺序号，并依次将分片写入缓冲区，同时设置文件流指针偏移量，然后从缓冲区中依次提取字节数据，写入创建的文件流中，同时按照字节数据长度后移文件流指针偏移量，直至所有分片数据全部按照顺序写入文件流；删除分片的临时文件，同时将合并后文件路径保存到数据库，/>
Figure QLYQS_8
，其中，F1：第1个切片文件，F2：第2个切片文件，F3：第3个切片文件，F4：第4个切片文件，Fn：第n个切片文件，F是切片文件的总和。
4.根据权利要求3所述的一种入海排污口数据整编评估方法，其特征在于，所述的步骤2-1中，将图片以及视频存储到服务器物理硬盘，然后联合图片视频的路径将提报的数据转换成排污口档案资料实体，根据实体中数据，循环检索排污口监测项表获取相应监测项ID，最后将实体中数据与监测项ID对应存储入库。
5.根据权利要求4所述的一种入海排污口数据整编评估方法，其特征在于，所述的步骤S3具体为：
3-1、以关键信息查询所有排污口集合，只保留排污口关键信息，所述关键信息包括排污口编号、排污口经纬度以实现地图中快速叠加点位；当点击或选择排污口查看时，以排污口编码对排污口档案进行检索显示；
3-2、所述地图采用OpenLayers的地图，使用内置cluster方法，将所有点位集合叠加到地图中，设置点位聚合的像素距离为40，同时计算点位之间像素距离，将小于40的点位进行聚合显示。
6.根据权利要求1所述的一种入海排污口数据整编评估方法，其特征在于，在所述的步骤S2中，当对历史档案资料自动录入至排污口档案数据库时，具体为：
2-4、使用GetDirectories方法遍历检索文件夹，拆分文件夹并获取排查时间以及对应排查时间内的排污编码；
2-5、使用GetFiles方法遍历检索文件夹内的文件，关联相应文件的排污口编码和排查时间；
2-6、使用Move方法移动图片视频文件到相应物理路径下，并以排查时间加排污口编码和序号进行重命名文件，然后将对应文件路径对应排污口编码进行数据存储入库。
7.根据权利要求5所述的一种入海排污口数据整编评估方法，其特征在于，在所述的步骤3-1中，具体为：
以任务为操作集合，以排污口为操作单元，当多人同时操作排污口档案数据时，首先将排污口从操作集合中取出，并以synchronized对排污口进行加锁，以时间先后进行抢占，其他人欲操作时，根据排污口编码从操作集合中进行检索，由于排污口已从操作集合中取出，故提示排污口正在***作，并重新分配线程将本次操作数据以草稿数据形式进行存储；当数据操作结束后，自动检查同一排污口的档案表数据和草稿表数据，并以数据操作人员的角色优先级进行排序。
8.根据权利要求7所述的一种入海排污口数据整编评估方法，其特征在于，在所述的步骤3-1中，对任务和排污口检索步骤为：
设置内置排污口编号
Figure QLYQS_9
、任务名称/>
Figure QLYQS_10
、任务区域/>
Figure QLYQS_11
和排查人员/>
Figure QLYQS_12
作为检索条件，根据需要选择多维度检索，其它检索条件On还包括排污口类型、排放状况、入海方式、排污口状态以及数据归档方式；
根据实际业务需求，排污口的排查监测以任务为基础单元，需排查的排污口的信息组成一个数据集合，其中关联了排污口基础属性档案表、监测项目数据表；其中排污口档案基础属性档案表中包含排污口的编码、国标编码、名称，监测项目数据表中包含排污口编码、排污口经纬度、点位位置、所属行政区划、详细地址、排放状况、污水来源、入海方式、周边环境、排污口类型、现场照片和视频以及描述、排污口状态、是否非法、是否合理、是否竖牌、是否标注路径、是否销号、排污口整治状况、污水排放量、主要污染物类型、责任主体和相应联系方式、排污口设立和撤销时间、现场感官和流量、COD、氨氮、总氮、总磷、盐度、pH、悬浮物、氯化物、六价铬、有机碳、BOD、砷、汞、铜、铅、镉、铬、锌、镍、油类、挥发酚、粪大肠菌群数、挥发性卤代烃、行政审核状态以及备注情况，排污口任务表中包含了任务名称、所属任务区域、排查人员集合、排污口编码集合，排污口基础属性档案表、监测项目数据表以及排查任务表通过排污口编码对进行数据关联，以供用户进行检索；
关联排污口基础属性档案表、监测项目数据表以及排查任务表进行动态匹配检索，筛选符合条件的排污口数据：
Figure QLYQS_13
，其中，i为根据检索条件所获取的数据的总数，n为前台页面分页展示结果中每页的数据条数；
在进行任务创建时，以Excel文件选定任务范围，使用EasyPOI工具，使用importExcel方法提取任务中排污口编码数据，同时写入缓冲区，根据缓冲区内排污口编码对比检索排污口档案数据表，获取基础档案数据信息生成任务。
9.根据权利要求8所述的一种入海排污口数据整编评估方法，其特征在于，不同类型排污口关注的监测项不同，某一特定排污口在数据库存在多个监测项无信息的情况，无信息监测项对于排污口评估无意义，当检索排污口资料时，根据排污口编码遍历检索排污口档案数据表数据，同时将检索到的所有数据中监测项数据不为空的监测项合并为一个基础集合，最后以基础属性字段同时联合此监测项集合合并为此排污口属性列，形成信息匹配、剔除无效监测项的数据集合，其中所述基础属性字段包含排污口编码、国标编码、名称，监测项集合包括排污口经纬度、点位位置、所属行政区划、详细地址、排放状况、污水来源、入海方式、周边环境、排污口类型、现场照片和视频以及描述、排污口状态、是否非法、是否合理、是否竖牌、是否标注路径、是否销号、排污口整治状况、污水排放量、主要污染物类型、责任主体和相应联系方式、排污口设立和撤销时间、现场感官和流量、COD、氨氮、总氮、总磷、盐度、pH、悬浮物、氯化物、六价铬、有机碳、BOD、砷、汞、铜、铅、镉、铬、锌、镍、油类、挥发酚、粪大肠菌群数、挥发性卤代烃、行政审核状态以及备注情况的集合，属性列数据缺失时以空数据填充；当导出排污口资料时，根据排污口编码集合遍历检索所有排污口档案数据表数据，同时将检索到的所有数据中监测项数据不为空的监测项合并为一个基础集合，最后以排污口编码和名称为基础属性字段，同时联合此监测项集合合并显示排污口属性列，属性列数据缺失时以空数据填充。
CN202310416350.5A 2023-04-19 2023-04-19 入海排污口数据整编评估方法 Active CN116150129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310416350.5A CN116150129B (zh) 2023-04-19 2023-04-19 入海排污口数据整编评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310416350.5A CN116150129B (zh) 2023-04-19 2023-04-19 入海排污口数据整编评估方法

Publications (2)

Publication Number Publication Date
CN116150129A true CN116150129A (zh) 2023-05-23
CN116150129B CN116150129B (zh) 2023-07-07

Family

ID=86341041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310416350.5A Active CN116150129B (zh) 2023-04-19 2023-04-19 入海排污口数据整编评估方法

Country Status (1)

Country Link
CN (1) CN116150129B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118039021A (zh) * 2024-04-11 2024-05-14 四川省铁路建设有限公司 一种污水污染物检测及报警方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1545067A (zh) * 2003-11-24 2004-11-10 宏 廖 一种利用计算机对数字化档案文件压缩的方法
TW200732930A (en) * 2006-02-17 2007-09-01 Jian-Shin Ye Integration management method and system of computer files and readable record medium thereof
CN105630786A (zh) * 2014-10-27 2016-06-01 航天信息股份有限公司 一种车购税电子档案上传、存储、查询的***与方法
US20180060177A1 (en) * 2015-10-23 2018-03-01 Oracle International Corporation Pluggable database archive
CN109241022A (zh) * 2018-09-11 2019-01-18 天津理工大学 一种基于蓝光存储的档案管理***及其蚁群搜索算法
CN112632009A (zh) * 2020-12-29 2021-04-09 航天信息股份有限公司 电子档案的处理方法、装置、存储介质及电子设备
CN115033905A (zh) * 2022-06-17 2022-09-09 江西睿创科技有限公司 一种基于物联网的智慧档案管理***平台
CN115033552A (zh) * 2022-04-20 2022-09-09 生态环境部南京环境科学研究所 一种场地土壤污染物环境与毒性数据库构建方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1545067A (zh) * 2003-11-24 2004-11-10 宏 廖 一种利用计算机对数字化档案文件压缩的方法
TW200732930A (en) * 2006-02-17 2007-09-01 Jian-Shin Ye Integration management method and system of computer files and readable record medium thereof
CN105630786A (zh) * 2014-10-27 2016-06-01 航天信息股份有限公司 一种车购税电子档案上传、存储、查询的***与方法
US20180060177A1 (en) * 2015-10-23 2018-03-01 Oracle International Corporation Pluggable database archive
CN109241022A (zh) * 2018-09-11 2019-01-18 天津理工大学 一种基于蓝光存储的档案管理***及其蚁群搜索算法
CN112632009A (zh) * 2020-12-29 2021-04-09 航天信息股份有限公司 电子档案的处理方法、装置、存储介质及电子设备
CN115033552A (zh) * 2022-04-20 2022-09-09 生态环境部南京环境科学研究所 一种场地土壤污染物环境与毒性数据库构建方法
CN115033905A (zh) * 2022-06-17 2022-09-09 江西睿创科技有限公司 一种基于物联网的智慧档案管理***平台

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WELLINGTON FRANCISCO DA SILVA;RENAN A.C.MELO;MARCELLA GROSSO;GABRIELA R.PEREIRA;DOUGLAS BRESSAN RIFFEL;: "Active Thermography Data-Processing Algorithm for Nondestructive Testing of Materials", IEEE ACCESS, pages 175054 - 175062 *
王兰成;黄永勤;: "信息化条件下图片资料档案库规范化建设研究", 浙江档案, no. 05, pages 7 - 11 *
花红霞;李朝晖;田曦;章瑞清;: "新一代天气雷达资料整编软件的应用", 智能城市, pages 46 - 47 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118039021A (zh) * 2024-04-11 2024-05-14 四川省铁路建设有限公司 一种污水污染物检测及报警方法及***

Also Published As

Publication number Publication date
CN116150129B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN109446344B (zh) 一种基于大数据的智能分析报告自动生成***
US9369533B2 (en) System and method for location monitoring based on organized geofeeds
CN102156751B (zh) 一种提取视频指纹的方法及装置
KR100641791B1 (ko) 디지털 데이터에 대한 태깅 방법 및 시스템
EP2122490B1 (en) A method and system for integrating a social network and data repository to enable map creation
CN1443326A (zh) 获取和存储延迟浏览信息的***和方法
CN111259006A (zh) 一种通用的分布式异构数据一体化物理汇聚、组织、发布与服务方法及***
CN102930060B (zh) 一种数据库快速索引的方法及装置
US20100169326A1 (en) Method, apparatus and computer program product for providing analysis and visualization of content items association
DE202015009255U1 (de) Automatische Bildorganisation
CN116150129B (zh) 入海排污口数据整编评估方法
US9842158B2 (en) Clustering web pages on a search engine results page
CN110362740B (zh) 一种水利门户信息混合推荐方法
CN103778202A (zh) 一种企业电子文档管理服务端及***
CN103970842A (zh) 一种面向防洪减灾领域的水利大数据存取***及方法
CN106682003A (zh) 分布式存储命名空间的路径分割映射方法和装置
Weber et al. Journalism history, web archives, and new methods for understanding the evolution of digital journalism
CN110795397B (zh) 一种地质资料包目录与文件类型自动识别方法
CN113655968B (zh) 非结构化数据存储方法
CN110795520B (zh) 一种数字化地质资料包目录与文件关联关系自动识别方法
KR102491599B1 (ko) 고고학 자료 검색을 위한 매장문화재 통합 포털 서비스 제공 시스템
CN108121760A (zh) 一种面向ogc地理信息服务数据的挖掘分析与推荐方法
CN114117174A (zh) 基于大数据的多格式数据筛查管理***
Ardizzone et al. Extracting touristic information from online image collections
CN111400579A (zh) 智能硬件搜索引擎***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant