CN109639807A - 一种基于slice切片的大数据量遥感影像文件网络传输方法 - Google Patents

一种基于slice切片的大数据量遥感影像文件网络传输方法 Download PDF

Info

Publication number
CN109639807A
CN109639807A CN201811559177.XA CN201811559177A CN109639807A CN 109639807 A CN109639807 A CN 109639807A CN 201811559177 A CN201811559177 A CN 201811559177A CN 109639807 A CN109639807 A CN 109639807A
Authority
CN
China
Prior art keywords
slice
file
remote sensing
sensing image
image file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811559177.XA
Other languages
English (en)
Inventor
隋正伟
乔志远
卜桐
邵俊
高军
朱松岩
杨德志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHINA SURVEY SURVEYING AND MAPPING TECHNOLOGY Co Ltd
Original Assignee
CHINA SURVEY SURVEYING AND MAPPING TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHINA SURVEY SURVEYING AND MAPPING TECHNOLOGY Co Ltd filed Critical CHINA SURVEY SURVEYING AND MAPPING TECHNOLOGY Co Ltd
Priority to CN201811559177.XA priority Critical patent/CN109639807A/zh
Publication of CN109639807A publication Critical patent/CN109639807A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H04L9/3239—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving non-keyed hash functions, e.g. modification detection codes [MDCs], MD5, SHA or RIPEMD

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明一种基于slice切片的大数据量遥感影像文件网络传输方法，步骤如下：1)获取待传输的遥感影像文件；2)计算待传输的遥感影像文件的md5值，作为总的文件唯一性标识；3)对待传输的遥感影像文件进行切片处理，得到切片文件；4)对切片文件进行上传；5)整体上传情况校验，完成上传。本发明解决了大数据量遥感影像在B/S***架构下的网络快速稳定传输问题。

Description

一种基于slice切片的大数据量遥感影像文件网络传输方法
技术领域
本发明属于遥感技术领域，涉及一种遥感影像的网络传输方法。
背景技术
文件的上传在WEB开发中是广泛被应用的，因为无论各行各业还是日常生活，都需要有各类图片、视频、音频等文件需要上传到服务器，并供其他用户浏览或下载。
遥感影像数据所形成的成果数据，通常数据量都在GB以上，且大则几百GB，因为在考虑技术方式时，必须要能够支持大数据文件的上传传输。在众多应用中均需针对大数据量文件进行上传、文件解析等。C/S架构对大文件的上传有一定的方便性，但对于B/S架构的***来说，浏览器以及网络环境均对大数量文件的传输存在限制。大数据文件的上传过程通常时间较长，传输过程一旦遇到网络中断，则会前功尽弃，因此技术方案的选择，必须能够保障大数据传输的稳定性。常用的文件上传的基本方式有几种。
1、表单上传
表单上传是传统的form表单上传，使用form表单的input[type＝”file”]控件，可以打开***的文件选择对话框，从而达到选择文件并上传的目的，它的好处是多浏览器兼容，它是web开发者最常用的一种文件上传方式。
2、ajax无刷新上传
Ajax无刷新上传的方式，本质上与表单上传无异，只是把表单里的内容提出来采用ajax提交，并且由前端决定请求结果回传后的展示结果，不用像直接表单上传那样刷新和跳转页面。Ajax的上传也分为几种：原生ajax上传、jqueryajax上传、伪ajax上传。
3、flash上传
很多时候上传的需求要求显示上传进度、中断上传过程、大文件分片上传等等，这时传统的表单上传很难实现这些功能，于是产生了使用flash上传的方式，它采用flash作为一个中间代理层，代替客户端跟服务端通信，此外，它也对客户端的文件选择方面拥有更多的控制权。
无论哪种上传方式都有自己较适合的应用场景，在java、php等各种开发语言中，均有相对应的方式来完成上传的需求。如java的commons fileupload，struts1.x，springmvc.multipartfile等等。所以在不同的项目和需求中，需要选择最合适的技术手段来实现。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供了一种基于slice切片的大数据量遥感影像文件网络传输方法，解决了大数据量遥感影像在B/S***架构下的网络快速稳定传输问题。
本发明的技术方案是：一种基于slice切片的大数据量遥感影像文件网络传输方法，步骤如下：
1)获取待传输的遥感影像文件，大小为fileSize；
2)计算待传输的遥感影像文件的md5值fileMd5，作为总的文件唯一性标识；
3)对待传输的遥感影像文件进行切片处理，得到切片文件；
4)对切片文件进行上传；
5)整体上传情况校验，完成上传。
所述步骤1)中所述遥感影像包括标准产品、正射产品、融合产品、镶嵌产品。
所述步骤3)的具体处理方法为：
31)定义切片文件大小fileSliceSize；
32)计算分割后的切片数量fileSliceNum；
33)对文件进行切片处理，并在切片过程中计算得到每一个切片的md5值fileSliceMd5、文件开始大小startSize和文件结束大小endSize。
所述步骤32)的具体方法为：利用fileSize除以fileSliceSize得到A，取大于A的最小整数记做fileSliceNum。
所述步骤4)上传的具体过程为：
41)将每一个切片文件的状态均设置为待上传pending；
42)利用POST方式将切片文件进行上传；
43)通过校验fileSliceMd5判断切片文件上传是否成功，如果成功，则将对应的Slice切片状态设置为已上传uploaded，否则不更改状态；
44)不断重复步骤2)和步骤3)，直到每一个切片的状态为uploaded。
POST的内容包括文件的fileName、fileSize、fileMd5、fileSliceNum、fileSliceSize以及每一个slice切片的StartSize、EndSize和fileSliceMd5。
所述步骤5)的具体过程为：当全部切片上传后，通过fileMd5、fileSliceNum和每一个slice切片的fileSliceMd5检验所有切片是否全部上传完成，如果完成，则将分片合并成一个完整的文件。
本发明与现有技术相比的有益效果是：
(1)保障了大文件通过浏览器上传到服务器的可行性：保障了应用该技术的应用中可以通过本地浏览器将遥感影像大文件上传并保存到服务器中的稳定性和可行性。
(2)支持文件的断点续传：数据切片基于http方式上传，是由前端将数据传给后端，需要依赖于网络环境。当数据量大时，slice切片仍然可以支持断点续传，即时传输中途文件传输失败，可以不用全部重新上传，节省时间。但断点续传仅适用于服务器方式的上传，即服务器有权限直接获取到原始数据。
(3)实现了文件的断点续传：***在上传文件传递的过程中，能够获取每个文件的大小、文件名、上传完成多少切片，因此用户可以完全了解文件上传的进度，进度条可实时更新，给用户最直观的体验。
附图说明
图1为本发明流程图。
图2为遥感影像文件切片结果。
图3切片文件上传步骤原理图。
具体实施方式
本发明的方法具体如下：
第一步，获取大小为fileSize的待传输遥感影像文件，所述遥感影像包括标准产品、正射产品、融合产品、镶嵌产品等各类遥感影像文件，此处以文件总大小fileSize为2GB的镶嵌遥感影像为例；
第二步，计算待传输的遥感影像文件的md5值(哈希值)fileMd5作为总的文件唯一性标识，此文件的fileMd5为763f7ffa143477b0f9d8e544f1877d1b；
第三步，遥感影像文件切片处理。为了保障遥感影像大数据的从浏览器上传到服务器，采用将遥感影像文件切割成slice切片的方式进行上传。切片slice是将大文件切割成的用于作为数据传输单元的小文件，能够提高大文件网络传输过程中的成功率和稳定性。过程如下，1)定义切片文件大小fileSliceSize为20M；2)计算分割后的切片数量fileSliceNum，利用第一步中的fileSize除以fileSliceSize，取大于此处得到数值的最小整数为fileSliceNum，即103；3)对文件进行切片处理，并在切片过程中计算得到的每一个分片的md5值fileSliceMd5、文件开始大小startSize和文件结束大小endSize，如图2所示；
第四步，对切片文件进行上传。1)将每一个切片文件的状态均设置为pending(切片的状态共两种，分别为待上传pending和已上传uploaded)；2)利用POST方式将切片文件进行上传，所需要POST的内容包括大文件的fileName、fileSize、fileSliceSize和fileMd5以及每一个slice切片的fileSliceNum,StartSize,EndSize,fileSliceMd5；3)通过校验fileSliceMd5判断切片文件上传是否成功，如果成功，则将对应的Slice切片状态设置为uploaded，否则不更改状态；4)不断重复步骤2)和步骤3)，直到每一个切片的状态为uploaded，所述步骤的原理如图3所示；
第五步，整体上传情况校验，完成上传。当全部切片上传后，通过fileMd5、fileSliceNum和每一个slice切片的fileSliceMd5检验所有切片是否全部上传完成，如果完成，则将分片合并成一个完整的文件。
本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (7)

1.一种基于slice切片的大数据量遥感影像文件网络传输方法，其特征在于步骤如下：
1)获取待传输的遥感影像文件，大小为fileSize；
2)计算待传输的遥感影像文件的md5值fileMd5，作为总的文件唯一性标识；
3)对待传输的遥感影像文件进行切片处理，得到切片文件；
4)对切片文件进行上传；
5)整体上传情况校验，完成上传。
2.根据权利要求1所述的一种基于slice切片的大数据量遥感影像文件网络传输方法，其特征在于：所述步骤1)中所述遥感影像包括标准产品、正射产品、融合产品、镶嵌产品。
3.根据权利要求1所述的一种基于slice切片的大数据量遥感影像文件网络传输方法，其特征在于：所述步骤3)的具体处理方法为：
31)定义切片文件大小fileSliceSize；
32)计算分割后的切片数量fileSliceNum；
33)对文件进行切片处理，并在切片过程中计算得到每一个切片的md5值fileSliceMd5、文件开始大小startSize和文件结束大小endSize。
4.根据权利要求3所述的一种基于slice切片的大数据量遥感影像文件网络传输方法，其特征在于：所述步骤32)的具体方法为：利用fileSize除以fileSliceSize得到A，取大于A的最小整数记做fileSliceNum。
5.根据权利要求3所述的一种基于slice切片的大数据量遥感影像文件网络传输方法，其特征在于：所述步骤4)上传的具体过程为：
41)将每一个切片文件的状态均设置为待上传pending；
42)利用POST方式将切片文件进行上传；
43)通过校验fileSliceMd5判断切片文件上传是否成功，如果成功，则将对应的Slice切片状态设置为已上传uploaded，否则不更改状态；
44)不断重复步骤2)和步骤3)，直到每一个切片的状态为uploaded。
6.根据权利要求5所述的一种基于slice切片的大数据量遥感影像文件网络传输方法，其特征在于：POST的内容包括文件的fileName、fileSize、fileMd5、fileSliceNum、fileSliceSize以及每一个slice切片的StartSize、EndSize和fileSliceMd5。
7.根据权利要求6所述的一种基于slice切片的大数据量遥感影像文件网络传输方法，其特征在于：所述步骤5)的具体过程为：当全部切片上传后，通过fileMd5、fileSliceNum和每一个slice切片的fileSliceMd5检验所有切片是否全部上传完成，如果完成，则将分片合并成一个完整的文件。
CN201811559177.XA 2018-12-19 2018-12-19 一种基于slice切片的大数据量遥感影像文件网络传输方法 Pending CN109639807A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811559177.XA CN109639807A (zh) 2018-12-19 2018-12-19 一种基于slice切片的大数据量遥感影像文件网络传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811559177.XA CN109639807A (zh) 2018-12-19 2018-12-19 一种基于slice切片的大数据量遥感影像文件网络传输方法

Publications (1)

Publication Number Publication Date
CN109639807A true CN109639807A (zh) 2019-04-16

Family

ID=66075606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811559177.XA Pending CN109639807A (zh) 2018-12-19 2018-12-19 一种基于slice切片的大数据量遥感影像文件网络传输方法

Country Status (1)

Country Link
CN (1) CN109639807A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110489379A (zh) * 2019-08-07 2019-11-22 北京航空航天大学 飞行器试飞综合显示及数据分析评估平台
CN110995788A (zh) * 2019-11-13 2020-04-10 广州辰河质检技术有限公司 一种http服务器断点续传上传文件存储的实现方法
CN114185613A (zh) * 2021-11-30 2022-03-15 广州景骐科技有限公司 一种语义地图分块方法、装置、交通工具及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2399555A1 (en) * 2000-02-18 2001-08-23 Avamar Technologies, Inc. Hash file system and method for use in a commonality factoring system
EP1428145A2 (en) * 2001-06-27 2004-06-16 Kroll Ontrack Inc. System and method for management of large volumes of data of different types
CN101453478A (zh) * 2007-11-28 2009-06-10 新奥特（北京）视频技术有限公司 一种在文件传输中的完整性校验方法
CN101873494A (zh) * 2010-04-30 2010-10-27 南京邮电大学 基于切片级别的视频传输中动态交织的方法
CN101977182A (zh) * 2010-09-03 2011-02-16 中国电影科学技术研究所 一种数字电影传输方法、***和设备
CN102833294A (zh) * 2011-06-17 2012-12-19 阿里巴巴集团控股有限公司 基于云存储的文件处理方法、***及服务器集群***
US20130097284A1 (en) * 2010-06-29 2013-04-18 Alcatel Lucent Method of file transmission based upon distributed storage in wireless communication system
CN104253816A (zh) * 2014-09-25 2014-12-31 武汉传神信息技术有限公司 基于http协议的大文件页面断点续传的方法
CN107071799A (zh) * 2017-02-16 2017-08-18 北京小米移动软件有限公司 网络切片配置方法及装置、无线接入网ran节点和终端
CN108777883A (zh) * 2016-08-26 2018-11-09 中兴通讯股份有限公司 一种无线接入网络切片的构建方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2399555A1 (en) * 2000-02-18 2001-08-23 Avamar Technologies, Inc. Hash file system and method for use in a commonality factoring system
EP1428145A2 (en) * 2001-06-27 2004-06-16 Kroll Ontrack Inc. System and method for management of large volumes of data of different types
CN101453478A (zh) * 2007-11-28 2009-06-10 新奥特（北京）视频技术有限公司 一种在文件传输中的完整性校验方法
CN101873494A (zh) * 2010-04-30 2010-10-27 南京邮电大学 基于切片级别的视频传输中动态交织的方法
US20130097284A1 (en) * 2010-06-29 2013-04-18 Alcatel Lucent Method of file transmission based upon distributed storage in wireless communication system
CN101977182A (zh) * 2010-09-03 2011-02-16 中国电影科学技术研究所 一种数字电影传输方法、***和设备
CN102833294A (zh) * 2011-06-17 2012-12-19 阿里巴巴集团控股有限公司 基于云存储的文件处理方法、***及服务器集群***
CN104253816A (zh) * 2014-09-25 2014-12-31 武汉传神信息技术有限公司 基于http协议的大文件页面断点续传的方法
CN108777883A (zh) * 2016-08-26 2018-11-09 中兴通讯股份有限公司 一种无线接入网络切片的构建方法和装置
CN107071799A (zh) * 2017-02-16 2017-08-18 北京小米移动软件有限公司 网络切片配置方法及装置、无线接入网ran节点和终端

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110489379A (zh) * 2019-08-07 2019-11-22 北京航空航天大学 飞行器试飞综合显示及数据分析评估平台
CN110489379B (zh) * 2019-08-07 2022-04-12 北京航空航天大学 飞行器试飞综合显示及数据分析评估平台
CN110995788A (zh) * 2019-11-13 2020-04-10 广州辰河质检技术有限公司 一种http服务器断点续传上传文件存储的实现方法
CN110995788B (zh) * 2019-11-13 2022-02-22 广州辰河质检技术有限公司 一种http服务器断点续传上传文件存储的实现方法
CN114185613A (zh) * 2021-11-30 2022-03-15 广州景骐科技有限公司 一种语义地图分块方法、装置、交通工具及存储介质

Similar Documents

Publication Publication Date Title
US10936179B2 (en) Methods and systems for web content generation
CN110663040B (zh) 用于将仪表板安全嵌入内容管理***的方法及***
US10565293B2 (en) Synchronizing DOM element references
US11842142B2 (en) Systems and methods for co-browsing
CN109639807A (zh) 一种基于slice切片的大数据量遥感影像文件网络传输方法
US20180232352A1 (en) Digital content infrastructure
US10853319B2 (en) System and method for display of document comparisons on a remote device
WO2016101755A1 (zh) 基于拖拽操作跨页面调整对象位置的方法和装置
CN104272291B (zh) 唯一地识别脚本文件
CN110110075A (zh) 网页分类方法、装置以及计算机可读存储介质
WO2016120852A1 (en) Modifying native documents with formulas in a preview
CN103970750A (zh) 一种生成html网页的方法和装置
CN103235821B (zh) 原创内容的搜索方法和搜索服务器
US10204077B2 (en) Rich text editor
US20190286696A1 (en) Management of content tailoring by services
Sarkis et al. A multi-screen refactoring system for video-centric web applications
US20140337284A1 (en) Synchronizing folders using a shadow folder hierarchy
US9135267B2 (en) Method for adding real time collaboration to existing data structure
WO2016056054A1 (ja) Ｗｅｂページの表示のためのプログラム、端末装置、およびサーバ装置
WO2016109657A1 (en) Replicating user input across displayed search results
JP2009026013A (ja) コンテンツ登録・提供装置、コンテンツ登録・提供制御方法、および、コンテンツ登録・提供制御プログラム
US20150100878A1 (en) Method and system for rendering a web page
Favorskaya et al. Architecture and formats of digital e-library warehouse
TW201523229A (zh) 主機裝置和網頁瀏覽器畫面同步系統
Arias Fernández et al. IoT-Framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190416