CN113411586A - 一种转码***及其分块上传方法 - Google Patents

一种转码***及其分块上传方法 Download PDF

Info

Publication number
CN113411586A
CN113411586A CN202110553571.8A CN202110553571A CN113411586A CN 113411586 A CN113411586 A CN 113411586A CN 202110553571 A CN202110553571 A CN 202110553571A CN 113411586 A CN113411586 A CN 113411586A
Authority
CN
China
Prior art keywords
file
transcoding
server
uploaded
uploading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110553571.8A
Other languages
English (en)
Inventor
冯震涛
罗鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruixin High Throughput Technology Co ltd
Original Assignee
Beijing Ruixin High Throughput Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruixin High Throughput Technology Co ltd filed Critical Beijing Ruixin High Throughput Technology Co ltd
Priority to CN202110553571.8A priority Critical patent/CN113411586A/zh
Publication of CN113411586A publication Critical patent/CN113411586A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供了一种转码***及其分块上传方法，该转码***配置有转码管理模块，转码管理模块设置有转码配置单元，该方法包括：转码配置单元在向服务器端发送上传请求之前，判断上传文件的大小是否大于预设的容量阈值D；若是，则将所述上传文件切分为多个大小为D的文件块，并为各文件块分配序号；随后，将各文件块及对应的序号上传至服务器；在全部文件块上传完毕后，通知服务器进行文件块拼接，得到原始上传文件。本方案对服务器的配置要求低，避免因为文件过大，请求响应时间过长的请求超时问题，提高了文件上传的效率，有效减少了因请求超时等问题导致的文件上传失败的情况。

Description

一种转码***及其分块上传方法
技术领域
本发明涉及转码***的数据处理领域，尤其涉及一种基于转码***，以及基于该转码***数据信息的分块上传方法。
背景技术
转码***中，往往需要对大量的连续数据进行转码处理，且在现有技术中，转码***往往采用分布式方式布局，这就涉及到待转吗数据或者转码后数据与布设在其他区域的服务器之间的数据上传问题。现有的文件上传方法就是客户端向服务器端发送一个上传请求，服务器端接收到请求并获取客户端发来的文件将其存储到服务器中。而随着互联网技术应用的逐步深入，大文件的上传已经成为了日常生活和工作中经常要面临的问题。目前在大文件传输中，由于受传输延迟和丢包等问题的影响，极易出现不稳定的问题，并且传输效率也偏低，往往造成在可靠性和传输效率上两者无法兼顾。
目前现有技术所采用的几种大文件上传方法会面临两个问题，一是大文件上传时间长，中途一旦出错就会导致前功尽弃，且采用重复发送方法的话，传输效率将大大降低；二是服务端配置复杂，要考虑接收超大表单和超时问题。
发明内容
针对现有技术的不足，本发明的方案则是在向服务器端发送请求之前将大文件分成多个小文件并使用串行的方式依次上传的，在所有分块全部上传完成后再向服务器端发送可拼接所有分块的请求，以有效解决现有技术中大文件上传的问题。
具体而言，本发明提供了以下的技术方案：
一方面，本发明提供了一种转码***中的分块上传方法，所述转码***配置有转码管理模块，所述转码管理模块设置有转码配置单元，所述方法包括：
所述转码配置单元在向服务器端发送上传请求之前，判断上传文件的大小是否大于预设的容量阈值D；
若是，则将所述上传文件切分为多个大小为D的文件块，大小不足D的文件块，单独切分为一个不足D的文件块；并为各文件块分配序号；
随后，将各文件块及对应的序号上传至服务器；
在全部文件块上传完毕后，通知服务器进行文件块拼接，得到原始上传文件。
优选的，文件块采用串行方式上传服务器。
优选的，全部文件块上传完毕后，再允许向服务器发送拼接请求后；
服务器接在收到拼接请求后，才进行文件块的拼接。
此外，本发明还提供了一种转码***，该***可以执行如上所述的分块上传方法。所述转码***包括转码管理模块、设备管理模块、***管理模块；
所述转码管理模块包括转码配置单元，所述转码配置单元用于在向服务器端发送上传请求之前，判断上传文件的大小是否大于预设的容量阈值D；若是，则将所述上传文件切分为多个大小为D的文件块，大小不足D的文件块，单独切分为一个不足D的文件块；并为各文件块分配序号；还用于将各文件块及对应的序号上传至服务器；以及在全部文件块上传完毕后，通知服务器进行文件块拼接，得到原始上传文件。
优选的，所述转码配置单元还用于配置转码的音视频参数，并上传至服务器。
优选的，所述文件块采用串行方式上传服务器。
优选的，所述转码管理模块还包括模板管理单元、水印管理单元；
所述模板管理单元用于管理供使用的转码模板及其参数；
所述水印管理单元用于为转码文件提供增加、删除、修改水印。
优选的，所述设备管理模块包括摄像头管理单元、nvr设备管理单元。
优选的，所述***管理模块包括用户管理单元、菜单管理单元、权限管理单元。
与现有技术相比，本发明提供的技术方案，在向服务器端发送请求之前，将大文件分割成多个一定大小的小文件，依次将多个小文件传给服务器端，这样就降低了对服务器的配置要求，也不会再出现因为文件过大，请求响应时间过长而导致的请求超时的问题，大大提高了文件上传的效率，有效减少了因请求超时等问题导致的文件上传失败的情况。
附图说明
图1为本发明实施例的分块上传流程图；
图2为本发明实施例的转码***结构图。
具体实施方式
下面将结合本发明实施例中的图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在一个具体的实施例中，结合图1所示，本发明的基本原理为，在向服务器端发送上传请求之前，首先判断当前上传文件是否大于容量阈值，容量阈值可根据需求进行调整。以设置容量阈值为100M为例，若上传的文件大小大于100M，则将大文件分成多个100M大小的文件并给它们设置编号编号，若最后一个不足100M也单独分一个不足100M的文件块，随后将文件和序号依次发送给服务器端，所有的小文件上传完成后给服务器端发送命令，通知服务器端可将接收到的文件根据序号将它们进行拼接，最终拼接为原始的大文件。
在一个更为优选的实施方式中，小文件上传可以采用串行的方式，即在上一个文件完全上传成功之后再发出下一个请求，这种方式相比并行方式即同一时刻发出多个请求的优点是并行方式可能导致一次性发送的请求过多，服务器也容易产生配置不够、请求超时从而导致上传失败的情况。在所有的小文件全部上传完成后，再发送拼接所有小文件的请求，服务器端就会将所有之前上传成功的小文件按照序号完成拼接。
在一个更为优选的实施方式中，本发明方案中涉及的转码***，结合图2所示，可以进行如下的配置：转码***的***结构分为转码管理、设备管理以及***管理，在具体实现本发明的分块上传方法时，可以将转码***的转码管理中设置转码配置模块，通过转码配置模块来执行具体的分块上传功能。因为需要转码的视频往往会较大，所以需要使用分块上传功能上传视频文件。用户可以选择不同格式的视频文件上传后，通过转码***配置各种音视频参数，然后提交保存到数据库。点击转码***列表中的执行按钮后，将会运行转码程序将该视频进行转码，完成转码后用户即可点击下载文件。该转码管理模块还包括模板管理单元、水印管理单元；所述模板管理单元用于管理供使用的转码模板及其参数；所述水印管理单元用于为转码文件提供增加、删除、修改水印。
上述设备管理模块包括摄像头管理单元、nvr设备管理单元。
上述***管理模块包括用户管理单元、菜单管理单元、权限管理单元。
在实际应用中，通过串行及分块上传的方法，进行转码文件的上传，大大减少了上传及转码失败的可能性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (9)

1.一种转码***中的分块上传方法，其特征在于，所述转码***配置有转码管理模块，所述转码管理模块设置有转码配置单元，所述方法包括：
所述转码配置单元在向服务器端发送上传请求之前，判断上传文件的大小是否大于预设的容量阈值D；
若是，则将所述上传文件切分为多个大小为D的文件块，大小不足D的文件块，单独切分为一个不足D的文件块；并为各文件块分配序号；
随后，将各文件块及对应的序号上传至服务器；
在全部文件块上传完毕后，通知服务器进行文件块拼接，得到原始上传文件。
2.根据权利要求1所述的方法，其特征在于，文件块采用串行方式上传服务器。
3.根据权利要求1所述的方法，其特征在于，全部文件块上传完毕后，再允许向服务器发送拼接请求后；
服务器接在收到拼接请求后，才进行文件块的拼接。
4.一种转码***，其特征在于，所述转码***包括转码管理模块、设备管理模块、***管理模块；
所述转码管理模块包括转码配置单元，所述转码配置单元用于在向服务器端发送上传请求之前，判断上传文件的大小是否大于预设的容量阈值D；若是，则将所述上传文件切分为多个大小为D的文件块，大小不足D的文件块，单独切分为一个不足D的文件块；并为各文件块分配序号；还用于将各文件块及对应的序号上传至服务器；以及在全部文件块上传完毕后，通知服务器进行文件块拼接，得到原始上传文件。
5.根据权利要求4所述的***，其特征在于，所述转码配置单元还用于配置转码的音视频参数，并上传至服务器。
6.根据权利要求4所述的***，其特征在于，所述文件块采用串行方式上传服务器。
7.根据权利要求4所述的***，其特征在于，所述转码管理模块还包括模板管理单元、水印管理单元；
所述模板管理单元用于管理供使用的转码模板及其参数；
所述水印管理单元用于为转码文件提供增加、删除、修改水印。
8.根据权利要求4所述的***，其特征在于，所述设备管理模块包括摄像头管理单元、nvr设备管理单元。
9.根据权利要求4所述的***，其特征在于，所述***管理模块包括用户管理单元、菜单管理单元、权限管理单元。
CN202110553571.8A 2021-05-20 2021-05-20 一种转码***及其分块上传方法 Pending CN113411586A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110553571.8A CN113411586A (zh) 2021-05-20 2021-05-20 一种转码***及其分块上传方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110553571.8A CN113411586A (zh) 2021-05-20 2021-05-20 一种转码***及其分块上传方法

Publications (1)

Publication Number Publication Date
CN113411586A true CN113411586A (zh) 2021-09-17

Family

ID=77679081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110553571.8A Pending CN113411586A (zh) 2021-05-20 2021-05-20 一种转码***及其分块上传方法

Country Status (1)

Country Link
CN (1) CN113411586A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102123279A (zh) * 2010-12-28 2011-07-13 乐视网信息技术（北京）股份有限公司 一种分布式实时转码方法与***
CN103297807A (zh) * 2013-06-21 2013-09-11 哈尔滨工业大学深圳研究生院 一种基于hadoop平台的提高视频转码效率的方法
CN103686206A (zh) * 2014-01-02 2014-03-26 中安消技术有限公司 一种云环境下的视频转码方法和***
CN105828105A (zh) * 2015-12-10 2016-08-03 广东亿迅科技有限公司 一种基于分布式环境的视频转码***及视频转码方法
CN106101710A (zh) * 2016-08-26 2016-11-09 珠海迈科智能科技股份有限公司 一种分布式视频转码方法及装置
CN109831506A (zh) * 2019-01-31 2019-05-31 百度在线网络技术（北京）有限公司 文件上传方法、装置、终端、服务器及可读存储介质
US20200169540A1 (en) * 2013-12-04 2020-05-28 Facebook, Inc. Uploading and transcoding media files
CN112312164A (zh) * 2020-10-16 2021-02-02 安擎(天津)计算机有限公司 一种基于分布式转码服务器的视频转码***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102123279A (zh) * 2010-12-28 2011-07-13 乐视网信息技术（北京）股份有限公司 一种分布式实时转码方法与***
CN103297807A (zh) * 2013-06-21 2013-09-11 哈尔滨工业大学深圳研究生院 一种基于hadoop平台的提高视频转码效率的方法
US20200169540A1 (en) * 2013-12-04 2020-05-28 Facebook, Inc. Uploading and transcoding media files
CN103686206A (zh) * 2014-01-02 2014-03-26 中安消技术有限公司 一种云环境下的视频转码方法和***
CN105828105A (zh) * 2015-12-10 2016-08-03 广东亿迅科技有限公司 一种基于分布式环境的视频转码***及视频转码方法
CN106101710A (zh) * 2016-08-26 2016-11-09 珠海迈科智能科技股份有限公司 一种分布式视频转码方法及装置
CN109831506A (zh) * 2019-01-31 2019-05-31 百度在线网络技术（北京）有限公司 文件上传方法、装置、终端、服务器及可读存储介质
CN112312164A (zh) * 2020-10-16 2021-02-02 安擎(天津)计算机有限公司 一种基于分布式转码服务器的视频转码***

Similar Documents

Publication Publication Date Title
US9369507B2 (en) Systems and methods for reliable backup of media
CN108989885B (zh) 视频文件转码***、分割方法、转码方法及装置
US7925856B1 (en) Method and apparatus for maintaining an amount of reserve space using virtual placeholders
WO2002093846A1 (en) Method of transferring a divided file
US10334287B2 (en) Digital data streaming using server driven adaptive bitrate
WO2013135203A1 (en) Offline download method and system
JP2011170640A (ja) キャッシュサーバ制御装置、コンテンツ配信システム、コンテンツ配信方法、及びプログラム
US20100106683A1 (en) Computer system and replication method for the computer system
CN109214855B (zh) 素材接收方法、装置及***
CN103701907A (zh) 服务器中的数据续传的处理方法及***
US11444998B2 (en) Bit rate reduction processing method for data file, and server
CN106599323B (zh) 在分布式文件***中实现分布式管道的方法和装置
CN114285838A (zh) 一种文件上传方法、装置、***、存储介质及电子设备
JP2001156838A (ja) 通信リソース予約方法及び装置並びに通信リソース予約プログラムを記録した記録媒体
CN113411586A (zh) 一种转码***及其分块上传方法
CN104410868A (zh) 一种共享文件***多文件快速聚合和读取的方法
EP2787739A1 (en) Media storage and management system
US11973994B2 (en) Media processing method
CN112543354B (zh) 业务感知的分布式视频集群高效伸缩方法和***
EP3474530A1 (en) Image compressing method, image reconstructing method, image compressing device, image reconstructing device, image compressing program product, and image reconstructing program product
AU2020226900B2 (en) Adaptive retrieval of objects from remote storage
CN114417055A (zh) 一种视频播放方法、装置、计算机设备和存储介质
CN103795810A (zh) 数据分发***及方法以及该数据分发***中的中心服务器
JP2005173949A (ja) マルチメディアデータ保存装置
CN111405313A (zh) 存储流媒体数据的方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210917