CN116800846A - 一种影视数据分布式管理方法 - Google Patents

一种影视数据分布式管理方法 Download PDF

Info

Publication number
CN116800846A
CN116800846A CN202310405865.5A CN202310405865A CN116800846A CN 116800846 A CN116800846 A CN 116800846A CN 202310405865 A CN202310405865 A CN 202310405865A CN 116800846 A CN116800846 A CN 116800846A
Authority
CN
China
Prior art keywords
data
video data
version
television
catalogue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310405865.5A
Other languages
English (en)
Inventor
范书
许艾
岳佳鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Qinglin Culture Communication Co ltd
Original Assignee
Suzhou Qinglin Culture Communication Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Qinglin Culture Communication Co ltd filed Critical Suzhou Qinglin Culture Communication Co ltd
Priority to CN202310405865.5A priority Critical patent/CN116800846A/zh
Publication of CN116800846A publication Critical patent/CN116800846A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种影视数据分布式管理方法,包括如下步骤:步骤一、数据定位层:预先根据数据访问请求申请查询分布式数据目录,步骤二、数据调控层:再根据分布式数据目录中影视数据的定位信息获取所需的资源,步骤三、数据获取层:当其中一个或多个用户发出数据资源请求时,先查询交换空间内是否符合该用户所需的数据资源,通过数据定位层、数据调控层和数据获取层的步骤流程配合,取代目前影视数据管理方法采用统计分析的策略分发访问集中的数据/文件分发策略方式,满足用户数据内容发布的需要,实现大量影视数据动态配置、自适应资源变化以及重组构造层的效果,提高数据处理效率,同时也提供错误隔离、高抗毁和容错能力,以防***全面瘫痪。

Description

一种影视数据分布式管理方法
技术领域
本发明涉及影视数据分布式管理技术领域,具体为一种影视数据分布式管理方法。
背景技术
影视是以拷贝、磁带、胶片、存储器等为载体,以银幕、屏幕放映为目的,从而实现视觉与听觉综合观赏的艺术形式,是现代艺术的综合形态,包含了电影、电视剧、节目、动画等内容,数据是事实或观察的结果,是对客观事物的逻辑归纳,是用于表示客观事物的未经加工的原始素材,在大量影视数据管理过程中,需要用到影视数据管理方法。
目前使用的影视数据管理方法,大多采用统计分析的策略分发访问集中的数据/文件分发策略简单,无法满足用户数据内容发布的需要,实现不了动态配置、自适应资源变化以及重组构造层效果,降低大量影视数据的处理效率,同时提供不了错误隔离、高抗毁和容错能力,使得***全面瘫痪,为此,提出影视数据分布式管理方法。
发明内容
本发明的目的在于提供影视数据分布式管理方法,以解决上述背景技术中提出的无法满足用户数据内容发布的需要,实现不了动态配置、自适应资源变化以及重组构造层效果,降低大量影视数据的处理效率,同时提供不了错误隔离、高抗毁和容错能力的问题。
为实现上述目的,本发明提供如下技术方案:一种影视数据分布式管理方法,包括如下步骤:
步骤一、数据定位层:预先根据数据访问请求申请查询分布式数据目录,而分布式数据目录根据数据访问请求指令,预先自检目录中是否存在符合数据访问请求的影视数据,若存在符合数据访问请求的影视数据,则相应弹出符合数据访问请求的影视数据位置,若不存在符合数据访问请求的影视数据,则自检数据访问请求格式是否正确,再自检所申请的关键文字、关键数字、关键字母或关键符号是否输入错误,自检完成后,再重新向分布式数据目录发出数据访问请求指令,则完成影视数据在分布式数据目录中的定位工作;
步骤二、数据调控层:再根据分布式数据目录中影视数据的定位信息获取所需的资源,并按照影视数据的定位信息特征发布至对应的交换空间内,或者通过分布式资源调度控制获取分布式数据目录中影视数据资源,并按照影视数据的定位信息特征发布至对应的交换空间内,两者选其一即可;
步骤三、数据获取层:当其中一个或多个用户发出数据资源请求时,先查询交换空间内是否符合该用户所需的数据资源,若交换空间内存在符合该用户所需的数据资源时,则该用户直接从对应的交换空间内获取所需的影视数据,若交换空间内不存在符合该用户所需的数据资源时,借助调度策略获取符合该用户所需的影视数据即可。
优选的,所述在步骤一数据定位层过程中,数据目录包括全局目录、副本目录和缓存目录,为调度控制和调度策略提供全方面的数据支持,且全局目录是汇聚影视全部数据的特性以及特性到数据模型间的映射关系,副本目录是根据多种调度和使用策略并基于综合映射方法和哈希方法组建的多数据资源副本,缓存目录是维护全局目录和副本目录中数据资源的缓存关系。
优选的,所述在步骤一数据定位层过程中,全局目录、副本目录和缓存目录通过版本管理来支撑数据的一致性协调,当某项影视数据的更新操作无法执行时,直接选择同样数据的旧版本予以更新,而每次修改数据的结果都生成一个不可改变的新数据版本,且允许同一时间出现多个版本对象,新版本涵盖老版本内容,再根据数据目录自动更新方法自行决定其中一个版本为最终版本,若数据目录中各版本分支的更新操作与失败操作同时出现时,数据或取层中的用户可自动协调同一对象的多个版本,再将多个分支演化的数据文件版本进行合并组建。
优选的,所述在步骤一数据定位层过程中,若某项影视数据的更新操作过程中同时生成新、旧版本时,遵循矢量时钟算法捕捉同一影视数据对象的不同版本的因果关系,再审查任一个版本的矢量时钟,并判断其新、旧两个版本是有因果顺序还是平行分支,若旧版本的矢量时钟计数器小于或等于新版本矢量时钟的所有计数器,则认为旧版本是新版本的祖先,从而忽略旧版本,由新版本替代旧版本,并涵盖旧版本中的所有影视数据内容,反之,由旧版本替代新版本,并涵盖新版本中的所有影视数据内容,若新、旧版本之间不存在时钟因果关系,则新、旧版本被认为是冲突版本,需要借助数据目录自动生成策略对其进行自动协调,任意取其一即可,且另一个版本的影视数据内容被覆盖提取。
优选的,所述在步骤一数据定位层过程中,数据目录的使用流程步骤如下:
①、先由影视数据源向数据目录用户端发出注册申请,再进入数据目录注册端界面进行身份和级别验证,待身份和级别验证通过后,再创建数据目录账号;
②、待数据目录账号创建成功后,再进入数据目录服务单元为影视数据源用户提供影视数据目录生成服务,且对应生成全局目录、副本目录和缓存目录,且生成后数据目录中的影视数据全部存入数据库中;
③、全局目录、副本目录和缓存目录中的影视数据再经过数据搜索引擎标记后对应与多个本地数据管理相连,且与多个本地数据管理相连的影视数据对应存入多个数据管理库内;
④、当检索用户向数据目录发出数据检索访问申请时,直接经过数据搜索引擎查询所需影视数据即可。
优选的,所述在步骤一数据定位层过程中,当检索用户向数据目录检索影视数据时,先对应在本地数据管理相连的数据目录中进行查询检索,若本地数据管理相连的数据目录中含有检索用户所需的影视数据,则直接查询,若本地数据管理相连的数据目录中没有检索用户所需的影视数据,则通过本地数据管理向检索用户分配符合影视数据资源的位置信息,则检索用户直接通过分配的位置信息对所需影视数据进行查询检索即可。
优选的,所述在步骤一数据定位层过程中,遵循映射函数算法对所需检索查询的影视数据的空间位置进行映射定位,并对每个数据目录中的影视数据赋予ID地址信息,并对每个影视数据ID地址信息设定0-2m的节点值,设m的指数范围介于1-256之间,影视数据ID地址数量为N,K(j)为分配给第j个节点的影视数据地址,则映射函数算法如下:
若N=0时,K(j)的计算公式为:K(j)=j*m,j=1、2、3、…、n;
若N≠0时,K(j)的计算公式为:
K(j)=j*m+j,j=1、2、3、…、n;
K(j)=j*m+j,j=n+1、…、N,由此可得:若影视数据ID地址节点数N是偶数时,则将256bit地址平均分配给各个影视数据ID地址节点,且各个影视数据ID地址节点值均相同;若影视数据ID地址节点数N是奇数时,则前n个影视数据ID地址节点包含的值比后N-n个影视数据ID地址节点所包含的值多一个。
优选的,所述在步骤二数据调控层过程中,调度策略包括全域调度器、局域调度器和用户端,且调度策略的执行步骤如下
S1、首先用户端向全局调度器发出影视数据资源请求;
S2、再按最优调度策略根据任务分类将任务分派到相应的局域调度器的任务队列进行排队;
S3、当任务开始时用户端优先在本地数据管理相连的数据目录中查询相应的影视数据资源,并选择优先级高的影视数据资源节点;
S4、在任务成功完成后,用户端将查询结果反馈给全局调度器的同时,再对应修改影视数据资源的属性,若任务失败则返回步骤S3和步骤S4进行重新执行;
S5、若任务重新执行失败三次后,则在逻辑相近的局域调度器上执行影视数据查询任务,若查询成功,立即将任务迁移到该局域调度器执行,若任务仍然失败,则立即将结果反馈给全局调度器,且通知用户端;
S6、最后全局调度器按既定规则重新分派任务,若再次执行失败,则再次将失败的任务结果反馈给用户即可。
与现有技术相比,本发明的有益效果是:
本发明中,通过数据定位层、数据调控层和数据获取层的步骤流程配合,取代目前影视数据管理方法采用统计分析的策略分发访问集中的数据/文件分发策略方式,满足用户数据内容发布的需要,实现大量影视数据动态配置、自适应资源变化以及重组构造层的效果,提高大量影视数据的处理效率,同时也对大量影视数据处理过程中提供错误隔离、高抗毁和容错能力,以防***全面瘫痪。
附图说明
图1为本发明的框架图;
图2为本发明的交换管理流程图;
图3为本发明的调度策略流程图;
图4为本发明的数据目录的生成流程图。
实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例
请参阅图1-图4,本发明提供一种技术方案:一种影视数据分布式管理方法,包括如下步骤:
步骤一、数据定位层:预先根据数据访问请求申请查询分布式数据目录,而分布式数据目录根据数据访问请求指令,预先自检目录中是否存在符合数据访问请求的影视数据,若存在符合数据访问请求的影视数据,则相应弹出符合数据访问请求的影视数据位置,若不存在符合数据访问请求的影视数据,则自检数据访问请求格式是否正确,再自检所申请的关键文字、关键数字、关键字母或关键符号是否输入错误,自检完成后,再重新向分布式数据目录发出数据访问请求指令,则完成影视数据在分布式数据目录中的定位工作;
步骤二、数据调控层:再根据分布式数据目录中影视数据的定位信息获取所需的资源,并按照影视数据的定位信息特征发布至对应的交换空间内,或者通过分布式资源调度控制获取分布式数据目录中影视数据资源,并按照影视数据的定位信息特征发布至对应的交换空间内,两者选其一即可;
步骤三、数据获取层:当其中一个或多个用户发出数据资源请求时,先查询交换空间内是否符合该用户所需的数据资源,若交换空间内存在符合该用户所需的数据资源时,则该用户直接从对应的交换空间内获取所需的影视数据,若交换空间内不存在符合该用户所需的数据资源时,借助调度策略获取符合该用户所需的影视数据即可,通过数据定位层、数据调控层和数据获取层的步骤流程配合,取代目前影视数据管理方法采用统计分析的策略分发访问集中的数据/文件分发策略方式,满足用户数据内容发布的需要,实现大量影视数据动态配置、自适应资源变化以及重组构造层的效果,提高大量影视数据的处理效率,同时也对大量影视数据处理过程中提供错误隔离、高抗毁和容错能力,以防***全面瘫痪。
实施例
请参阅图1-图4,本发明提供一种技术方案:一种影视数据分布式管理方法,包括如下步骤:
步骤一、数据定位层:预先根据数据访问请求申请查询分布式数据目录,而分布式数据目录根据数据访问请求指令,预先自检目录中是否存在符合数据访问请求的影视数据,若存在符合数据访问请求的影视数据,则相应弹出符合数据访问请求的影视数据位置,若不存在符合数据访问请求的影视数据,则自检数据访问请求格式是否正确,再自检所申请的关键文字、关键数字、关键字母或关键符号是否输入错误,自检完成后,再重新向分布式数据目录发出数据访问请求指令,则完成影视数据在分布式数据目录中的定位工作,在步骤一数据定位层过程中,数据目录包括全局目录、副本目录和缓存目录,为调度控制和调度策略提供全方面的数据支持,且全局目录是汇聚影视全部数据的特性以及特性到数据模型间的映射关系,副本目录是根据多种调度和使用策略并基于综合映射方法和哈希方法组建的多数据资源副本,缓存目录是维护全局目录和副本目录中数据资源的缓存关系,全局目录、副本目录和缓存目录通过版本管理来支撑数据的一致性协调,当某项影视数据的更新操作无法执行时,直接选择同样数据的旧版本予以更新,而每次修改数据的结果都生成一个不可改变的新数据版本,且允许同一时间出现多个版本对象,新版本涵盖老版本内容,再根据数据目录自动更新方法自行决定其中一个版本为最终版本,若数据目录中各版本分支的更新操作与失败操作同时出现时,数据或取层中的用户可自动协调同一对象的多个版本,再将多个分支演化的数据文件版本进行合并组建,若某项影视数据的更新操作过程中同时生成新、旧版本时,遵循矢量时钟算法捕捉同一影视数据对象的不同版本的因果关系,再审查任一个版本的矢量时钟,并判断其新、旧两个版本是有因果顺序还是平行分支,若旧版本的矢量时钟计数器小于或等于新版本矢量时钟的所有计数器,则认为旧版本是新版本的祖先,从而忽略旧版本,由新版本替代旧版本,并涵盖旧版本中的所有影视数据内容,反之,由旧版本替代新版本,并涵盖新版本中的所有影视数据内容,若新、旧版本之间不存在时钟因果关系,则新、旧版本被认为是冲突版本,需要借助数据目录自动生成策略对其进行自动协调,任意取其一即可,且另一个版本的影视数据内容被覆盖提取,数据目录的使用流程步骤如下:
①、先由影视数据源向数据目录用户端发出注册申请,再进入数据目录注册端界面进行身份和级别验证,待身份和级别验证通过后,再创建数据目录账号;
②、待数据目录账号创建成功后,再进入数据目录服务单元为影视数据源用户提供影视数据目录生成服务,且对应生成全局目录、副本目录和缓存目录,且生成后数据目录中的影视数据全部存入数据库中;
③、全局目录、副本目录和缓存目录中的影视数据再经过数据搜索引擎标记后对应与多个本地数据管理相连,且与多个本地数据管理相连的影视数据对应存入多个数据管理库内;
④、当检索用户向数据目录发出数据检索访问申请时,直接经过数据搜索引擎查询所需影视数据即可,当检索用户向数据目录检索影视数据时,先对应在本地数据管理相连的数据目录中进行查询检索,若本地数据管理相连的数据目录中含有检索用户所需的影视数据,则直接查询,若本地数据管理相连的数据目录中没有检索用户所需的影视数据,则通过本地数据管理向检索用户分配符合影视数据资源的位置信息,则检索用户直接通过分配的位置信息对所需影视数据进行查询检索即可,遵循映射函数算法对所需检索查询的影视数据的空间位置进行映射定位,并对每个数据目录中的影视数据赋予ID地址信息,并对每个影视数据ID地址信息设定0-2m的节点值,设m的指数范围介于1-256之间,影视数据ID地址数量为N,K(j)为分配给第j个节点的影视数据地址,则映射函数算法如下:
若N=0时,K(j)的计算公式为:K(j)=j*m,j=1、2、3、…、n;
若N≠0时,K(j)的计算公式为:
K(j)=j*m+j,j=1、2、3、…、n;
K(j)=j*m+j,j=n+1、…、N,由此可得:若影视数据ID地址节点数N是偶数时,则将256bit地址平均分配给各个影视数据ID地址节点,且各个影视数据ID地址节点值均相同;若影视数据ID地址节点数N是奇数时,则前n个影视数据ID地址节点包含的值比后N-n个影视数据ID地址节点所包含的值多一个,满足用户数据内容发布的需要,实现大量影视数据动态配置、自适应资源变化以及重组构造层的效果,提高大量影视数据的处理效率,同时也提高大量影视数据的处理精准度,以防出现错漏现象;
步骤二、数据调控层:再根据分布式数据目录中影视数据的定位信息获取所需的资源,并按照影视数据的定位信息特征发布至对应的交换空间内,或者通过分布式资源调度控制获取分布式数据目录中影视数据资源,并按照影视数据的定位信息特征发布至对应的交换空间内,两者选其一即可,在步骤二数据调控层过程中,调度策略包括全域调度器、局域调度器和用户端,且调度策略的执行步骤如下
S1、首先用户端向全局调度器发出影视数据资源请求;
S2、再按最优调度策略根据任务分类将任务分派到相应的局域调度器的任务队列进行排队;
S3、当任务开始时用户端优先在本地数据管理相连的数据目录中查询相应的影视数据资源,并选择优先级高的影视数据资源节点;
S4、在任务成功完成后,用户端将查询结果反馈给全局调度器的同时,再对应修改影视数据资源的属性,若任务失败则返回步骤S3和步骤S4进行重新执行;
S5、若任务重新执行失败三次后,则在逻辑相近的局域调度器上执行影视数据查询任务,若查询成功,立即将任务迁移到该局域调度器执行,若任务仍然失败,则立即将结果反馈给全局调度器,且通知用户端;
S6、最后全局调度器按既定规则重新分派任务,若再次执行失败,则再次将失败的任务结果反馈给用户即可,提高大量影视数据查询过程中的错误隔离、高抗毁和容错能力,也相继提升大量影视数据的查询效率;
步骤三、数据获取层:当其中一个或多个用户发出数据资源请求时,先查询交换空间内是否符合该用户所需的数据资源,若交换空间内存在符合该用户所需的数据资源时,则该用户直接从对应的交换空间内获取所需的影视数据,若交换空间内不存在符合该用户所需的数据资源时,借助调度策略获取符合该用户所需的影视数据即可,通过数据定位层、数据调控层和数据获取层的步骤流程配合,取代目前影视数据管理方法采用统计分析的策略分发访问集中的数据/文件分发策略方式,满足用户数据内容发布的需要,实现大量影视数据动态配置、自适应资源变化以及重组构造层的效果,提高大量影视数据的处理效率,同时也对大量影视数据处理过程中提供错误隔离、高抗毁和容错能力,以防***全面瘫痪。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种影视数据分布式管理方法,其特征在于:包括如下步骤:
步骤一、数据定位层:预先根据数据访问请求申请查询分布式数据目录,而分布式数据目录根据数据访问请求指令,预先自检目录中是否存在符合数据访问请求的影视数据,若存在符合数据访问请求的影视数据,则相应弹出符合数据访问请求的影视数据位置,若不存在符合数据访问请求的影视数据,则自检数据访问请求格式是否正确,再自检所申请的关键文字、关键数字、关键字母或关键符号是否输入错误,自检完成后,再重新向分布式数据目录发出数据访问请求指令,则完成影视数据在分布式数据目录中的定位工作;
步骤二、数据调控层:再根据分布式数据目录中影视数据的定位信息获取所需的资源,并按照影视数据的定位信息特征发布至对应的交换空间内,或者通过分布式资源调度控制获取分布式数据目录中影视数据资源,并按照影视数据的定位信息特征发布至对应的交换空间内,两者选其一即可;
步骤三、数据获取层:当其中一个或多个用户发出数据资源请求时,先查询交换空间内是否符合该用户所需的数据资源,若交换空间内存在符合该用户所需的数据资源时,则该用户直接从对应的交换空间内获取所需的影视数据,若交换空间内不存在符合该用户所需的数据资源时,借助调度策略获取符合该用户所需的影视数据即可。
2.根据权利要求1所述的一种影视数据分布式管理方法,其特征在于:所述在步骤一数据定位层过程中,数据目录包括全局目录、副本目录和缓存目录,为调度控制和调度策略提供全方面的数据支持,且全局目录是汇聚影视全部数据的特性以及特性到数据模型间的映射关系,副本目录是根据多种调度和使用策略并基于综合映射方法和哈希方法组建的多数据资源副本,缓存目录是维护全局目录和副本目录中数据资源的缓存关系。
3.根据权利要求2所述的一种影视数据分布式管理方法,其特征在于:所述在步骤一数据定位层过程中,全局目录、副本目录和缓存目录通过版本管理来支撑数据的一致性协调,当某项影视数据的更新操作无法执行时,直接选择同样数据的旧版本予以更新,而每次修改数据的结果都生成一个不可改变的新数据版本,且允许同一时间出现多个版本对象,新版本涵盖老版本内容,再根据数据目录自动更新方法自行决定其中一个版本为最终版本,若数据目录中各版本分支的更新操作与失败操作同时出现时,数据或取层中的用户可自动协调同一对象的多个版本,再将多个分支演化的数据文件版本进行合并组建。
4.根据权利要求2所述的一种影视数据分布式管理方法,其特征在于:所述在步骤一数据定位层过程中,若某项影视数据的更新操作过程中同时生成新、旧版本时,遵循矢量时钟算法捕捉同一影视数据对象的不同版本的因果关系,再审查任一个版本的矢量时钟,并判断其新、旧两个版本是有因果顺序还是平行分支,若旧版本的矢量时钟计数器小于或等于新版本矢量时钟的所有计数器,则认为旧版本是新版本的祖先,从而忽略旧版本,由新版本替代旧版本,并涵盖旧版本中的所有影视数据内容,反之,由旧版本替代新版本,并涵盖新版本中的所有影视数据内容,若新、旧版本之间不存在时钟因果关系,则新、旧版本被认为是冲突版本,需要借助数据目录自动生成策略对其进行自动协调,任意取其一即可,且另一个版本的影视数据内容被覆盖提取。
5.根据权利要求1所述的一种影视数据分布式管理方法,其特征在于:所述在步骤一数据定位层过程中,数据目录的使用流程步骤如下:
①、先由影视数据源向数据目录用户端发出注册申请,再进入数据目录注册端界面进行身份和级别验证,待身份和级别验证通过后,再创建数据目录账号;
②、待数据目录账号创建成功后,再进入数据目录服务单元为影视数据源用户提供影视数据目录生成服务,且对应生成全局目录、副本目录和缓存目录,且生成后数据目录中的影视数据全部存入数据库中;
③、全局目录、副本目录和缓存目录中的影视数据再经过数据搜索引擎标记后对应与多个本地数据管理相连,且与多个本地数据管理相连的影视数据对应存入多个数据管理库内;
④、当检索用户向数据目录发出数据检索访问申请时,直接经过数据搜索引擎查询所需影视数据即可。
6.根据权利要求5所述的一种影视数据分布式管理方法,其特征在于:所述在步骤一数据定位层过程中,当检索用户向数据目录检索影视数据时,先对应在本地数据管理相连的数据目录中进行查询检索,若本地数据管理相连的数据目录中含有检索用户所需的影视数据,则直接查询,若本地数据管理相连的数据目录中没有检索用户所需的影视数据,则通过本地数据管理向检索用户分配符合影视数据资源的位置信息,则检索用户直接通过分配的位置信息对所需影视数据进行查询检索即可。
7.根据权利要求5所述的一种影视数据分布式管理方法,其特征在于:所述在步骤一数据定位层过程中,遵循映射函数算法对所需检索查询的影视数据的空间位置进行映射定位,并对每个数据目录中的影视数据赋予ID地址信息,并对每个影视数据ID地址信息设定0-2m的节点值,设m的指数范围介于1-256之间,影视数据ID地址数量为N,K(j)为分配给第j个节点的影视数据地址,则映射函数算法如下:
若N=0时,K(j)的计算公式为:K(j)=j*m,j=1、2、3、…、n;
若N≠0时,K(j)的计算公式为:
K(j)=j*m+j,j=1、2、3、…、n;
K(j)=j*m+j,j=n+1、…、N,由此可得:若影视数据ID地址节点数N是偶数时,则将256bit地址平均分配给各个影视数据ID地址节点,且各个影视数据ID地址节点值均相同;若影视数据ID地址节点数N是奇数时,则前n个影视数据ID地址节点包含的值比后N-n个影视数据ID地址节点所包含的值多一个。
8.根据权利要求1所述的一种影视数据分布式管理方法,其特征在于:所述在步骤二数据调控层过程中,调度策略包括全域调度器、局域调度器和用户端,且调度策略的执行步骤如下
S1、首先用户端向全局调度器发出影视数据资源请求;
S2、再按最优调度策略根据任务分类将任务分派到相应的局域调度器的任务队列进行排队;
S3、当任务开始时用户端优先在本地数据管理相连的数据目录中查询相应的影视数据资源,并选择优先级高的影视数据资源节点;
S4、在任务成功完成后,用户端将查询结果反馈给全局调度器的同时,再对应修改影视数据资源的属性,若任务失败则返回步骤S3和步骤S4进行重新执行;
S5、若任务重新执行失败三次后,则在逻辑相近的局域调度器上执行影视数据查询任务,若查询成功,立即将任务迁移到该局域调度器执行,若任务仍然失败,则立即将结果反馈给全局调度器,且通知用户端;
S6、最后全局调度器按既定规则重新分派任务,若再次执行失败,则再次将失败的任务结果反馈给用户即可。
CN202310405865.5A 2023-04-17 2023-04-17 一种影视数据分布式管理方法 Pending CN116800846A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310405865.5A CN116800846A (zh) 2023-04-17 2023-04-17 一种影视数据分布式管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310405865.5A CN116800846A (zh) 2023-04-17 2023-04-17 一种影视数据分布式管理方法

Publications (1)

Publication Number Publication Date
CN116800846A true CN116800846A (zh) 2023-09-22

Family

ID=88045873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310405865.5A Pending CN116800846A (zh) 2023-04-17 2023-04-17 一种影视数据分布式管理方法

Country Status (1)

Country Link
CN (1) CN116800846A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118018630A (zh) * 2024-04-08 2024-05-10 成都边界元科技有限公司 数据要素多中心跨链标识方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118018630A (zh) * 2024-04-08 2024-05-10 成都边界元科技有限公司 数据要素多中心跨链标识方法

Similar Documents

Publication Publication Date Title
US9489443B1 (en) Scheduling of splits and moves of database partitions
US11093468B1 (en) Advanced metadata management
US10776170B2 (en) Software service execution apparatus, system, and method
US9053167B1 (en) Storage device selection for database partition replicas
US8214356B1 (en) Apparatus for elastic database processing with heterogeneous data
US9348641B2 (en) System and method for performing a transaction in a massively parallel processing database
CN104050042B (zh) Etl作业的资源分配方法及装置
WO2021147288A1 (zh) 一种容器集群管理方法、装置及***
CN105808323A (zh) 一种虚拟机创建方法及***
US7809882B1 (en) Session independent backend data cache system
JP2002049601A (ja) コンピューティング環境のクラスタを自動的に構成するための方法、システム、およびプログラム製品
US9875270B1 (en) Locking item ranges for creating a secondary index from an online table
CN105608228B (zh) 一种高效的分布式的rdf数据存储方法
US10747739B1 (en) Implicit checkpoint for generating a secondary index of a table
CN116800846A (zh) 一种影视数据分布式管理方法
CN111752945B (zh) 一种基于容器和层次模型的时序数据库数据交互方法和***
WO2022252510A1 (zh) 资源管理方法、装置及设备
Chen et al. Analysis of replicated data with repair dependency
Fang et al. Integrating workload balancing and fault tolerance in distributed stream processing system
US20220027324A1 (en) Optimized distributed database access
US20090100082A1 (en) Replication and mapping mechanism for recreating memory durations
CN116821138B (zh) 一种数据处理方法及相关设备
WO2024021808A1 (zh) 数据查询请求的处理方法、装置、设备及存储介质
US20100251256A1 (en) Scheduling Data Analysis Operations In A Computer System
CN108306976B (zh) 一种用于云计算网络虚拟化中的sdn控制器架构

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination