CN114510335A - Smg-vme可迭代分布式操作*** - Google Patents

Smg-vme可迭代分布式操作*** Download PDF

Info

Publication number
CN114510335A
CN114510335A CN202210154742.4A CN202210154742A CN114510335A CN 114510335 A CN114510335 A CN 114510335A CN 202210154742 A CN202210154742 A CN 202210154742A CN 114510335 A CN114510335 A CN 114510335A
Authority
CN
China
Prior art keywords
vme
node
distributed
operating system
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210154742.4A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daohebang Guangzhou Electronic Information Technology Co ltd
Original Assignee
Daohebang Guangzhou Electronic Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daohebang Guangzhou Electronic Information Technology Co ltd filed Critical Daohebang Guangzhou Electronic Information Technology Co ltd
Publication of CN114510335A publication Critical patent/CN114510335A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/4401Bootstrapping
    • G06F9/4418Suspend and resume; Hibernate and awake
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/448Execution paradigms, e.g. implementations of programming paradigms
    • G06F9/4482Procedural
    • G06F9/4484Executing subprograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5022Mechanisms to release resources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)
  • Multi Processors (AREA)
  • Stored Programmes (AREA)

Abstract

SMG‑VME可迭代分布式操作***:主要用途用在超大企业集团的分布式计算,与分布式存储,算力共享输出领域的操作***框架;本发明利用了斐波那契数列迭代变换在分布式操作***,以及分布式存储***上的具体实现,在云计算上通过迭代集群实现超强算力,应用广泛在于新型电商领域,提升企业整体效率;VME是基于JVM实现的一套操作底层操作***的程序集,它是可迭代的,是轻量级的调度操作***的***,VME每个子单元自身具有多线程,多任务调度了能力,利用它可实现超算力共享输出。

Description

SMG-VME可迭代分布式操作***
技术领域
本发明是为解决分布式环境下如何进行快速的算力(计算)共享,分布式存储共享;以及并行计算,高效率的集群调动计算存储。
现有技术:分布式存储普遍采用的开源架构,apache 组织的hadoop 基于***GFS架构做分布式存储,分布式计算普遍采用的openstack相关组件搭建的软操作环境。
现有技术体现开源,涉及组件背景复杂,调用api参差不齐,组件调用学习成本高,设计缺陷,*** GFS据说内部已经放弃使用。
本发明组件小巧,设计基于数学迭代函数斐波那契数列推论出的程序集。将CPU,内存给解放出来更多集中服务于实体服务。
实测可做到轻量级分布式存储,实测10亿+用户在单集群下做到秒存秒取。理论性能可达100万级/秒数通讯调度。
在先优先权:本发明延续,国家专利申请号:2021113373306为在先优先权日提交补充;
专利审查:
截至2021-11-06网络搜索暂无同案例
背景技术
随着工业互联网,万物智能互联,分布式计算,大数据推衍发展,超大规模数据的计算与存储摆在面前。本发明主要是研究并行计算引擎,超大规模数据存储与计算而针对性设计出一套可行的框架。对外进行算力输出构建IAAS,SAAS***。超集团企业共享算力,共享存储。提升CPU使用效率,内存存储效率,提升分布式数据存储能力。
发明内容
附图说明:
图1是可迭代分布式操作***抽象类比图;
1 超恒星***Tsun(x)
2 太阳*** sun(m)
3 行星*** plannet(n)
4 可迭代分布式操作***vme(n)
推衍:TSun(x)1->2->3->4 vme(n) 由大到小;反推则为宇宙裂变原理
图2 是 vme(n) ***组件功能图;
4 vme(n)可迭代分布式操作*** 401 linuxOS 操作***,centos6.8(FX-SMG) 402 java wrapper服务 403 jvm JDK1.78 404 ioserver通讯框架,轻量级nio通讯框架 405 wscomm 公共模块 406 ppg***模式引擎服务 407 ppgmt业务模式引擎接口服务 408 application用户服务 409 mbs(n)可迭代商城410 afs(n)可迭代分布式存储引擎(量子存 储)
图3是VME内核架构图;
4 vme(n)
406 ppg ***模式引擎
40600 Main ***入口从c+->java
40601 PPGMain PPG主入口程序
40602 PPGServer 控制台服务器侦听8xxx
40603 CFGCPSendRobert 可配置数据发送器
40604 Jobber 作业管理器
40605 Rmcache 文件缓存清理器
40606 DBMonitor 数据服务监控器
407 PPE 业务逻辑模式引擎
40700 HandleMap
40701 PPEvme
4070101 forward
4070102 backward
4070103 router
410 afs SMG-VME-AFS可迭代分布式存储***
总论:
根据裴波那契数列:f(0)=0,f(1)=1,n>1自然数, f(n)=f(n-1)+f(n-2)裴波那契 数列,为宇宙裂变函数。自然界普遍存在以此推衍案例,如海螺贝壳,宇宙星系,凡是符合裴 波那契数列,即是符合万物裂变
变化n,当n趋向无穷大则有f(n-1)=f(n-2);
即可合并f(n)=f(n-1),n>1;
由大到小则记为
=>f(n)=f(n+1)+f(n+2)
同理可推n无穷大f(n+1)=f(n+2)可合并
合并f(n+1),f(n+2)
=>f(n)=f(n+1)
由大到小把函数f 抽象为TSun超恒星***(太太阳),Sun恒星***(太阳) Planet 行星***(地球),n替换为x 则由大到小推论如下
=>TSun(x)=TSun(x+1)
=>TSun(x)=Sun(m)+Sun(n)+...
=>Sun(x)=Planet(m)+Planet(n)+...
=>Planet(x)=Planet(x+1)
=>vme(x)=vme(x+1)
变换f
=>afs(x)=afs(x+1)
afs为可迭代分布式存储引擎
vme:为可迭代分布式操作***
vme:通过shell控制操作***,通过专用端口8xxx:进行跨进程通讯,9xxx:与外在 其他vme节点指令传递。vme共享一组函数库f(f相同),通过不同任务conf(n)分配不同任 务,亦可通过指令进行协调调度各个节点实现任务分布式计算与存储。vme实现forward, backward,router协议进行指令数据交换,层层迭代进行信息交互;
论述:
如图1
1 Tsun(x)超恒星***, 2 sun(m)太阳*** ,3 planet(n)行星*** ,4 vme(n) 可迭代分布式操作*** 由大到小反推如图1
F=TSun=sun=planet f 由高维到低维后面子项可迭代不变
这里高维与低维有联系即f裂变联系;
高维可调度低维,进行信息通讯与指令传输操作,最终vme(n)=vme(n+1)成立,凡 是能实现低维向高维迭代通讯的操作***即为可迭代分布式操作***;
可迭代分布式操作***应该由以下基础组件构成,这些基础组件与业务无关,所 有场景通用,其中ppg,ppg-mt,ioserver组件必须实现可迭代模式f(n)=f(n+1) ;
VME是基于JVM实现的一套操作底层操作***的程序集,它是可迭代的,是轻量级 的调度操作***的***;它占用CPU资源,内存资源很少,把核心算力与存储共享给业务系 统,集群启动成本CPU<3%,内存(可配置)<10%,性能稳定;同一主机下可调度多个VME.包括 父子进程监控调度,动态创建与释放;其分布式存储可在单集群下实现亿数据秒存取
启动:
Vme(n)通电启动->物理机(winserver2012)->虚拟机(9+1)->centos6.8 如图2, 401 -> 操作***会启动本地 smgd , java wrapper 如同2,402 -> 调用虚拟机jvm如同 2,403 启动ppg.jar 调用Main类如图3,40600 ,Main类以据 java wrapper 服务实现操作 ***钩子由c->java 在Main类实现了 PPGMain实例如图3,40601 被调用 ->smg-vme(n) 正式启动 PPGServer启动图3,40602 ,***为阻塞服务器进入侦听8xxx端口模式;依次根 据cfgSendTbl配置表加载数据发送器启动多个CFGCPSendRobert如图3,40603,(支持任意 多个数据库表做消息队列发送到异地节点)每个Robert单独线程启动(子***死掉不会影 响到全局***);
-> 接着***根据loadService配置表依次启动Jobber 如图3,40604 ,这里实例: cfgJobs=cpgmt.HandleIoServerCallerMap:5000, Cpgmt包即ppgmt如图3,407 ppe 引擎; ppe为业务调度引擎***,具体负责干什么事,该类为HandleIoServerCallerMap即调用 Server实例接口具体是启动一个IoServer实例,
会调用IoServer:具体参见ppg.properties属性文件
#$bean:$addr
ioserver.server.bean=service.nio.runus.imserver.VMEServer:127.0.0.1: 9000;
#handle map
ioserver.maps=act.*=cpgmt.im.HandleServicePPEvmeServerMap&
HandleIoServerCallerMap因为可以调用一组VMEServer实例,每个子实例只调一 次;所以多个服务用分号”;”分隔;这里看到是调用service.nio.runus.imserver.VMESer ver,后边为ip ,端口;Vmeserver属于ioserver轻量级框架下异步非阻塞通讯,类mina 参 图3,404,这里map 指向cpgmt.im.HandleServicePPEvmeServerMap act.* 意味所有动作 指向PPEvme
->ppevme 逻辑引擎参图3,40701->实现handleMap接口图3,40700.
根据消息协议执行消息forward图3,4070101,backward图3,4070102 , router 图3,4070103 。在分布式***下需要对子节点进行通讯负责数据合并,或指令操作;
这里的ppevme虽然是逻辑引擎但在某一方面又是通讯端的ppg***模式引擎;
ppg图3,406 为***模式引擎,ppe图3,407 为业务模式引擎。两者组合生成千变 万化的子***。这里***会依次启动VMEServer侦听9xxx端口,进入afs如图3,401 ;
afs为SMG-VME-AFS可迭代分布式存储***;
->启动RMCache缓存清理器,如图3,40605.->启动DBMonitor监控器如图3, 40606.
至此vme(n)启动就绪;
物理机环境:
服务器:Dell PowerEdge T640
OS: Windows Server 2012 Server Standard 64-bit
CPU: Intel(R) Xeon(R) Platinum 8163 CPU @ 2.50GHz, 2 CPU
核数:24
线程数:48
内存:192G,
硬盘:80T
一台物理机:为一集群含至少9+1 vm
本发明要义:
1.一种基于数学斐波那契数列推论的可迭代操作***,其特征如下:
1.1 基于数学斐波那契数列f(n)=f(n-1)+f(n-2) ,当n=0,f(0)=0;当n=1,f(1)=1;当n>1,则有f(n)=f(n-1)+f(n-2);基于此方程式:推衍当n无穷大,f(n-1),f(n-2)均趋向无穷大,即可忽略第2项,即得f(n)=f(n-1)成立;
1.2基于1.1 当n无穷大时,f(n)=f(n+1)亦成立;
1.3 基于1.2 变化f 将f实现一组可迭代程序集,即可管理操作***逻辑单元,进程线程调度,同时通过统一shell进行对各个单元管理,并完成必要的逻辑通信;即实现forward,backword,router协议,并按斐波那契模式合并输出数据,这组程序集用vme代替;
1.4 基于1.2,1.3 则有vme(n)=vme(n+1) =>vme(n) 即为可迭代分布式操作***;
1.5 基于1.3 变化f,实现其必要的单元数据存储功能,因为vme自身具有分布式特性,即实现了分布式的存储程序集,以afs代替;
1.6 基于1.3,1.6 则有afs(n)=afs(n+1) afs即可迭代分布式存储***;
1.7基于1.1,1.6 因为n无穷大则可推论afs存储的数据理论上亦是无穷大,亦可称为量子存储,因为存储数据无穷大,afs可以作为可迭代超分布式存储对外向集团企业输出。
一种宇宙可迭代裂变式跨维操作***,其特征如下:
根据:f(n)=f(n-1)+f(n-2),
n>2自然数,裴波那契数列
变化n
=>f(n)=f(n+1)+f(n+2)
当n趋向无穷大,合并f(n+1),f(n+2)
=>f(n)=f(n+1)成立
由大到小把函数f 抽象为如图1
TSun 超恒星***(太太阳),Sun恒星***(太阳) Plannet 行星***(地球),n替换为x 则由大到小推论如下
=>TSun(x)=TSun(x+1)
=>TSun(x)=Sun(m)+Sun(n)+...
=>Sun(x)=Planet(m)+Planet(n)+...
=>Planet(x)=Planet(x+1)
=>vme(x)=vme(x+1)
变换f
=>afs(x)=afs(x+1)
afs为可迭代分布式存储引擎,vme:为可迭代分布式操作***。
一种可迭代分布式操作***vme(n)最小单元程序lib库jar,其功能特征如下:
3.1 通讯端口层:vme通过shell控制操作***,通过专用端口8xxx:进行远程进程管理,9xxx:与外在其他vme节点指令传递通信服务;前者为程序员通过telnet异地维护,后者通过程序接口级指令调用;
程序接口走9xxx通道,后台维护则为8xxx通道,需要在物理机,虚拟机直接打通 NATPT 端口映射路由;
3.2vme共享一组函数库f(f相同),通过不同任务conf(n)分配不同任务,亦可通过指令进行协调调度各个节点实现任务分布式计算与存储;
3.2.1 scpbs /home/tmp/*.jar /home/ppg/lib/ 通过集群指令可进行所有VME 程序库进行更新;
3.2.2 execbs $port vmebs restart 对集群vme服务进行重启;
3.3 vme实现forward,backward,router协议进行指令操作级数据交互,每一层节点0号节点为当前节点维度的根节点,根节点负责指令传输与服务监控,子节点负责操作,存储读写数据;假如当前节点维度d=3,则下级节点为2的d+1次方,即下级即2的4次方即有16个数据存储节点;因为存储调度数据是裂变式,故存储器节点亦是裂变式,即以节点数2的n次方进行集群扩容;
具体表现:
3.3.1 execbs $port pgrep –lf ppg.conf 可查看所有vme进程每虚拟机节点下 有16+1 ppg.conf进程; 1个root进程16个数据操作节点进程;
3.4可以跨集群,每个集群结构相同,架构相同,变化的只是外网ip,故可推层层迭代进行信息交互;
因为集成建筑可批量工程复制,实现集团化的超算力共享,超存储共享,省却搭建 ***麻烦;一处升级处处升级;
3.5***联系是升维,降维的信息交互联系;所谓升维降维,根据不同的指令路由方向来定,如果向子集群传递消息是升维,如果向母根***传递消息是降维,
升维是维度数变大,节点会多相当于放大宇宙;降维可理解缩小宇宙;
不同维度调度是本发明的显著特色用途广泛
3.6每个子***自成体系,为独立的自性个体;独立运作的操作***;每个子***与父***有联系,即子***可被父***调度;
这个联系,可以集中兵力攻击一处,而非简单联网,传统分布式操作***只是简单 联网,还是一个信息孤岛;
3.7子***与父***共享库即f函数相同,这里的f是程序集jar包,子***通过父***传递指令与结果,涉及mapsum汇总数据,必须经过当前父节点层层汇报,不能越级;如果是单一消息操作,可以跨级(不经过当前父节点传输);
具体表现:
telnet $shellserver 8xxx
输入超级用户id,密码
进入afs shell
afs#mapsum 16
因为执行汇总查询计算统计,需要经过每级根层层汇总到母根,然后回复给调用 者;
单纯的login***调afs,则不需要经过当前root节点,直接通过usrid mapHashcode计算数据节点;简单快速而有效;
3.8分布式计算,分布出去的计算这里的计算保护算力共享,这里的算力并非是挖矿,而是相当于把服务器的CPU计算能力分布出去,实现各个集团协助共享;
这里超算,指服务器的配套软件架构方案实施后性能大幅提升,如图安装了套软 件sCPU,效率高,可共享给许多企业调用;
3.9每个afs集成在vme可分布存储节点对数据进行存储;
afs为独立模块集成封装在vme中被调度使用,只是更多用在超大数据分布式存 储;
3.10一种宇宙全息架构体系,其特征:每个节点包含宇宙全息的架构体系,最小的个体单元计算,包含整体集群的计算组件,只是个体***被安排任务时功能组件被唤醒;这里的计算实质是对进程管理,job作业调度,每个逻辑单元保护多线程,多任务进程侦听守候模式;
全息宇宙概念,每个单元无穷分下去,最小的一粒微尘,仍携带宇宙完全信息基 因,而本发明亦如此,最小单元集成封装;
3.11执行后即休眠,是服务器侦听制定端口,进入守候模式,以接收客户端的指令进行服务操作;
VMEServer为异步非阻塞侦听9xxx,PPGServer以同步阻塞侦听8xxx,有消息连接 即处理;
3.12每个节点数据是所有节点信息的一部分,由1.1,1.2 可知f(n)=f(n+1);
3.13个体迭代计算输出给整体集群,每个个体共享自己的计算成果给集群邮递员,由邮递员递送给指定的调度者;
统一代理操作员投递消息返回信息
3.14个体与集群是可迭代关系,由1.1,1.2 可知f(n)=f(n+1);
3.15所有节点组合超级分布式存储afs;但节点与节点是有***的调度关系;
3.16最小单元vme(n) 可迭代程序集包含以下几部分必须实现的分布式计算与分布式存储的单元组件:
如图2
4) vme(n)可迭代分布式操作***,401) linuxOS 操作***,402) java wrapper 服务,403)jvm,404) ioserver通讯框架405) wscomm 公共模块,406) ppg 虚拟机引擎服 务,407) ppgmt实例接口服务,408) application.用户端应用,409) mbs可迭代商城;
3.17本发明独创性的借用裴波那契数列,实现宇宙可迭代裂变原理将迭代函数f(n)=f(n+1) 应用于计算机操作***领域,通过一系列程序库将f***化,有助于实现批量工程模式应用于国家大集团企业,实现算力共享,存储共享;
3.18本发明独创性实现软件工程领域的革命,独创了新的软件工程编程模式,即万物程序由两部分组成一不变的ppg ***模式引擎,二可变的ppe业务逻辑***引擎,二者组合变换产生了***的子***,其特征如下:
ppg模式:就是任何企业都能用的,比如操作***,数据库,存储引擎.ppe模式:就是具体做一件特定意义的事比如数据采集,数据挖掘;
3.19 3.16涉及,调度,分布式存储,队列,作业;并行计算,迭代计算;
3.20父子节点建立连接完成通讯,不是一般意义的联网,而是步调整齐化一,如孙悟空72变,一把毫毛变起72个孙悟空,每个变出的孙悟空都继承了宿主的神通,战力立马提升72倍,根据此原理,每个子节点共享共同创造超强算力,单兵强,集群强;
3.21集群下节点部署进程文件名如下特征:ppg0 ->ppg16 ppg0 为父节点,ppg1-16 则为子节点,父节点不存储数据只负责传递消息计算,在单一的操作***下这一组ppg[0-16]即组成一组vme(n)可迭代分布式操作***元容器组件,其共享lib库,一处更新所有更新;
3.22 3.21中ppg[1-16]即为真正存储数据节点ppg0为其当前root根,负责指令集传递;
3.233.21每个ppg(n) 即一个vme(n),是一个java 进程,是多任务多线程操作***,因为共享一组lib库,故满足于 3.16所述程序集;
3.243.21一个虚拟机可容纳16+1个ppg. 每个进程是独立的个体;
3.25 3.21ppg进程之间可以远程互相通信。
SMG-VME可迭代分布式操作***:主要用途用在超大企业集团的分布式计算,与分布式存储,算力共享输出领域的操作***框架;本发明利用了斐波那契数列迭代变换在分布式操作***,以及分布式存储***上的具体实现,在云计算上通过迭代集群实现超强算力,应用广泛在于新型电商领域,提升企业整体效率;VME是基于JVM实现的一套操作底层操作***的程序集,它是可迭代的,是轻量级的调度操作***的***,VME每个子单元自身具有多线程,多任务调度了能力,利用它可实现超算力共享输出。

Claims (3)

1.一种基于数学斐波那契数列推论的可迭代操作***,其特征如下:
1.1基于数学斐波那契数列f(n)=f(n-1)+f(n-2),当n=0,f(0)=0;当n=1,f(1)=1;当n>1,则有f(n)=f(n-1)+f(n-2);基于此方程式:推衍当n无穷大,f(n-1),f(n-2)均趋向无穷大,即可忽略第2项,即得f(n)=f(n-1)成立;
1.2基于1.1当n无穷大时,f(n)=f(n+1)亦成立;
1.3基于1.2变化f将f实现一组可迭代程序集,即可管理操作***逻辑单元,进程线程调度,同时通过统一shell进行对各个单元管理,并完成必要的逻辑通信;即实现forward,backword,router协议,并按斐波那契模式合并输出数据,这组程序集用vme代替;
1.4基于1.2,1.3则有vme(n)=vme(n+1)=>vme(n)即为可迭代分布式操作***;
1.5基于1.3变化f,实现其必要的单元数据存储功能,因为vme自身具有分布式特性,即实现了分布式的存储程序集,以afs代替;
1.6基于1.3,1.6则有afs(n)=afs(n+1)afs即可迭代分布式存储***;
1.7基于1.1,1.6因为n无穷大则可推论afs存储的数据理论上亦是无穷大,亦可称为量子存储,因为存储数据无穷大,afs可以作为可迭代超分布式存储对外向集团企业输出。
2.一种宇宙可迭代裂变式跨维操作***,其特征如下:
根据:f(n)=f(n-1)+f(n-2),
n>2自然数,裴波那契数列
变化n
=>f(n)=f(n+1)+f(n+2)
当n趋向无穷大,合并f(n+1),f(n+2)
=>f(n)=f(n+1)成立
由大到小把函数f抽象为TSun超恒星***(太太阳),Sun恒星***(太阳)
Plannet行星***(地球),n替换为x则由大到小推论如下
=>TSun(x)=TSun(x+1)
=>TSun(x)=Sun(m)+Sun(n)+...
=>Sun(x)=Planet(m)+Planet(n)+...
=>Planet(x)=Planet(x+1)
=>vme(x)=vme(x+1)
变换f
=>afs(x)=afs(x+1)
afs为可迭代分布式存储引擎,vme:为可迭代分布式操作***。
3.一种可迭代分布式操作***vme(n)最小单元程序lib库jar,其功能特征如下:
3.1通讯端口层:vme通过shell控制操作***,通过专用端口8xxx:进行远程进程管理,9xxx:与外在其他vme节点指令传递通信服务;前者为程序员通过telnet异地维护,后者通过程序接口级指令调用;
3.2 vme共享一组函数库f(f相同),通过不同任务conf(n)分配不同任务,亦可通过指令进行协调调度各个节点实现任务分布式计算与存储;
具体表现:
3.2.1 scpbs/home/tmp/*.jar/home/ppg/lib/通过集群指令可进行所有VME程序库进行更新;
3.2.2 execbs$port vmebs restart对集群vme服务进行重启;
3.3 vme实现forward,backward,router协议进行指令操作级数据交互,每一层节点0号节点为当前节点维度的根节点,根节点负责指令传输与服务监控,子节点负责操作,存储读写数据;假如当前节点维度d=3,则下级节点为2的d+1次方,即下级即2的4次方即有16个数据存储节点;因为存储调度数据是裂变式,故存储器节点亦是裂变式,即以节点数2的n次方进行集群扩容;
具体表现:
3.3.1 execbs$port pgrep–lf ppg.conf可查看所有vme进程每虚拟机节点下有16+1ppg.conf进程;1个root进程16个数据操作节点进程;
3.4可以跨集群,每个集群结构相同,架构相同,变化的只是外网ip,故可推层层迭代进行信息交互;
3.5***联系是升维,降维的信息交互联系;所谓升维降维,根据不同的指令路由方向来定,如果向子集群传递消息是升维,如果向母根***传递消息是降维,升维是维度数变大,节点会多相当于放大宇宙;降维可理解缩小宇宙;
3.6每个子***自成体系,为独立的自性个体;独立运作的操作***;每个子***与父***有联系,即子***可被父***调度;
3.7子***与父***共享库即f函数相同,这里的f是程序集jar包,子***通过父***传递指令与结果,涉及mapsum汇总数据,必须经过当前父节点层层汇报,不能越级;如果是单一消息操作,可以跨级(不经过当前父节点传输);
具体表现:
telnet$shellserver 8xxx
输入超级用户id,密码
进入afs shell
afs#mapsum 16
因为执行汇总查询计算统计,需要经过每级根层层汇总到母根,然后回复给调用者;
单纯的login***调afs,则不需要经过当前root节点,直接通过usrid mapHashcode计算数据节点;简单快速而有效;
3.8分布式计算,分布出去的计算这里的计算保护算力共享,这里的算力并非是挖矿,而是相当于把服务器的CPU计算能力分布出去,实现各个集团协助共享;
3.9每个afs集成在vme可分布存储节点对数据进行存储;
3.10一种宇宙全息架构体系,其特征:每个节点包含宇宙全息的架构体系,最小的个体单元计算,包含整体集群的计算组件,只是个体***被安排任务时功能组件被唤醒;这里的计算实质是对进程管理,job作业调度,每个逻辑单元保护多线程,多任务进程侦听守候模式;
3.11执行后即休眠,是服务器侦听制定端口,进入守候模式,以接收客户端的指令进行服务操作;
3.12每个节点数据是所有节点信息的一部分,由1.1,1.2可知f(n)=f(n+1);
3.13个体迭代计算输出给整体集群,每个个体共享自己的计算成果给集群邮递员,由邮递员递送给指定的调度者;
3.14个体与集群是可迭代关系,由1.1,1.2可知f(n)=f(n+1);
3.15所有节点组合超级分布式存储afs;但节点与节点是有***的调度关系;
3.16最小单元vme(n)可迭代程序集包含以下几部分必须实现的分布式计算与分布式存储的单元组件:
4)vme(n)可迭代分布式操作***,401)linuxOS操作***,402)java wrapper服务,403)jvm,404)ioserver通讯框架405)wscomm公共模块,406)ppg虚拟机引擎服务,407)ppgmt实例接口服务,408)application.用户端应用,409)mbs可迭代商城;
3.17本发明独创性的借用裴波那契数列,实现宇宙可迭代裂变原理将迭代函数f(n)=f(n+1)应用于计算机操作***领域,通过一系列程序库将f***化,有助于实现批量工程模式应用于国家大集团企业,实现算力共享,存储共享;
3.18本发明独创性实现软件工程领域的革命,独创了新的软件工程编程模式,即万物程序由两部分组成一不变的ppg***模式引擎,二可变的ppe业务逻辑***引擎,二者组合变换产生了***的子***,其特征如下:
ppg模式:就是任何企业都能用的,比如操作***,数据库,存储引擎.ppe模式:就是具体做一件特定意义的事比如数据采集,数据挖掘;
3.19基于3.16涉及,调度,分布式存储,队列,作业;并行计算,迭代计算;
3.20父子节点建立连接完成通讯,不是一般意义的联网,而是步调整齐化一,如孙悟空72变,一把毫毛变起72个孙悟空,每个变出的孙悟空都继承了宿主的神通,战力立马提升72倍,根据此原理,每个子节点共享共同创造超强算力,单兵强,集群强;
3.21集群下节点部署进程文件名如下特征:ppg0->ppg16 ppg0为父节点,ppg1-16则为子节点,父节点不存储数据只负责传递消息计算,在单一的操作***下这一组ppg[0-16]即组成一组vme(n)可迭代分布式操作***元容器组件,其共享lib库,一处更新所有更新;
3.22基于3.21中ppg[1-16]即为真正存储数据节点ppg0为其当前root根,负责指令集传递;
3.23基于3.21每个ppg(n)即一个vme(n),是一个java进程,是多任务多线程操作***,因为共享一组lib库,故满足于权利要求3.16所述程序集;
3.24基于3.21一个虚拟机可容纳16+1个ppg.每个进程是独立的个体;
3.25基于3.21ppg进程之间可以远程互相通信。
CN202210154742.4A 2021-11-15 2022-02-21 Smg-vme可迭代分布式操作*** Pending CN114510335A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111337330 2021-11-15
CN2021113373306 2021-11-15

Publications (1)

Publication Number Publication Date
CN114510335A true CN114510335A (zh) 2022-05-17

Family

ID=80390145

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202111375039.8A Pending CN114138898A (zh) 2021-11-15 2021-11-20 Smg-vme-afs可迭代分布式存储***
CN202111381552.8A Pending CN114138410A (zh) 2021-11-15 2021-11-21 SMG-vmecloneVMOS可迭代虚拟机克隆操作***
CN202111381353.7A Pending CN114157460A (zh) 2021-11-15 2021-11-22 SMG-VME-aDDoS基于VME-TCP-IP反DDoS攻击防御***
CN202111392114.1A Pending CN114281889A (zh) 2021-11-15 2021-11-23 Smg-vme-dsss数据共享切片服务
CN202210154742.4A Pending CN114510335A (zh) 2021-11-15 2022-02-21 Smg-vme可迭代分布式操作***

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN202111375039.8A Pending CN114138898A (zh) 2021-11-15 2021-11-20 Smg-vme-afs可迭代分布式存储***
CN202111381552.8A Pending CN114138410A (zh) 2021-11-15 2021-11-21 SMG-vmecloneVMOS可迭代虚拟机克隆操作***
CN202111381353.7A Pending CN114157460A (zh) 2021-11-15 2021-11-22 SMG-VME-aDDoS基于VME-TCP-IP反DDoS攻击防御***
CN202111392114.1A Pending CN114281889A (zh) 2021-11-15 2021-11-23 Smg-vme-dsss数据共享切片服务

Country Status (1)

Country Link
CN (5) CN114138898A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116094769B (zh) * 2022-12-22 2024-03-01 燕山大学 一种抵御虚假数据注入攻击的港口微电网控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040187032A1 (en) * 2001-08-07 2004-09-23 Christoph Gels Method, data carrier, computer system and computer progamme for the identification and defence of attacks in server of network service providers and operators
CN102291390B (zh) * 2011-07-14 2014-06-04 南京邮电大学 一种基于云计算平台的防御拒绝服务攻击的方法
US9171147B2 (en) * 2012-07-31 2015-10-27 Thomas C. Logan Process and system for strengthening password security
CN109327426A (zh) * 2018-01-11 2019-02-12 白令海 一种防火墙攻击防御方法

Also Published As

Publication number Publication date
CN114157460A (zh) 2022-03-08
CN114281889A (zh) 2022-04-05
CN114138410A (zh) 2022-03-04
CN114138898A (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
US12021679B1 (en) Cluster computing
Hold-Geoffroy et al. Once you SCOOP, no need to fork
WO2009059377A1 (en) Software platform and system for grid computing
Kijsipongse et al. A hybrid GPU cluster and volunteer computing platform for scalable deep learning
MacWilliam et al. CrowdCL: Web-based volunteer computing with WebCL
Muhammad Faseeh Qureshi et al. RDP: A storage-tier-aware Robust Data Placement strategy for Hadoop in a Cloud-based Heterogeneous Environment
Malik et al. Optimistic synchronization of parallel simulations in cloud computing environments
CN114510335A (zh) Smg-vme可迭代分布式操作***
Brahmi et al. Temporal reconfiguration-based orchestration engine in the cloud computing
CN107872527B (zh) 一种lvc一体化远程方式云服务***及方法
Yuan et al. A framework for executing parallel simulation using RTI
Wu et al. Geospatial data services within cloud computing environment
Salama A swarm intelligence based model for mobile cloud computing
CN104980510B (zh) 一种corba分布式应用的透明集群化的方法
Liu et al. IncPregel: an incremental graph parallel computation model
Liu A Programming Model for the Cloud Platform
Youssfi et al. Multi-Micro-Agent System middleware model based on event sourcing and CQRS patterns
Peschanski A versatile event-based communication model for generic distributed interactions
Chase et al. Kepler+ MeDICi service-oriented scientific workflow applications
Kliachin et al. A usage of Client's Resources to Reduce Computing Costs in Web Applications
Diwakar Reddy et al. Algorithms for Iterative Applications in MapReduce Framework
Beraldi et al. Temporal uncertainty time warp: an agent-based implementation
CN114168283A (zh) 一种分布式定时任务调度方法及***
Cicirelli et al. A component-based architecture for modelling and simulation of adaptive complex systems
Gu Research on high performance computing platform of ocean environmental information processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination