WO2023188437A1 - 制御装置、制御方法、及びプログラム - Google Patents

制御装置、制御方法、及びプログラム Download PDF

Info

Publication number
WO2023188437A1
WO2023188437A1 PCT/JP2022/017008 JP2022017008W WO2023188437A1 WO 2023188437 A1 WO2023188437 A1 WO 2023188437A1 JP 2022017008 W JP2022017008 W JP 2022017008W WO 2023188437 A1 WO2023188437 A1 WO 2023188437A1
Authority
WO
WIPO (PCT)
Prior art keywords
task
node
control device
network
observation
Prior art date
Application number
PCT/JP2022/017008
Other languages
English (en)
French (fr)
Inventor
晃人 鈴木
正裕 小林
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2022/017008 priority Critical patent/WO2023188437A1/ja
Publication of WO2023188437A1 publication Critical patent/WO2023188437A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/288—Distributed intermediate devices, i.e. intermediate devices for interaction with other intermediate devices on the same level

Definitions

  • the present disclosure relates to network and cloud control technology, and particularly relates to control for allocating tasks.
  • CC cloud computing
  • Offloaded application tasks consist of computing resource requests and communication requests with different characteristics, such as traffic-heavy, compute-heavy, and latency-sensitive.
  • traffic-heavy task refers to a task that requires a large amount of traffic.
  • a “latency-sensitive task” refers to a task that has strict requirements regarding communication delay. Because cloud servers are typically located far away from end devices, additional communication delays are inevitably incurred when end devices offload tasks to the cloud. Therefore, cloud computing poses a problem in that it degrades the performance of tasks that are sensitive to delays.
  • edge computing In order to address the above problems, edge computing (EC) has been proposed in which computing resources are placed on edge servers close to terminal devices. Combining cloud and edge computing creates multiple offloading options and increases the efficiency of task offloading. For example, clouds generally have sufficient computing resources, so offloading compute-heavy tasks to the cloud can improve the efficiency of task offloading.
  • Non-Patent Documents 1 to 4 Some research has traditionally addressed the problem of task offloading in cloud computing and edge computing. Specifically, methods using reinforcement learning (RL) are attracting attention (Non-Patent Documents 1 to 4).
  • reinforcement learning can immediately output an efficient task offload.
  • the first issue is that existing research does not consider cloud computing or only targets networks with a single cloud server. As mentioned above, combining cloud computing and edge computing is essential to improve the efficiency of task offloading. Furthermore, in a typical network, multiple cloud servers exist.
  • the second issue is that existing research does not take into account bandwidth or the topology of the backbone network, which is the core communication network that connects carriers. Many previous studies try to minimize task delay by shortening the path that offloaded tasks take. However, control that does not take bandwidth into consideration may cause congestion by concentrating tasks on a link with a load.
  • multi-agent reinforcement learning is an effective means for dealing with more complex problems by solving one problem with multiple agents.
  • Each agent cooperates with other agents and aims to maximize the reward.
  • the learning cost for each agent can be reduced.
  • each agent learns independently there is a problem that each agent takes selfish actions. As a concrete example of this problem, if each agent learns independently and simultaneously and acts independently, all tasks will be concentrated on a predetermined cloud server with the lightest load, and as a result, The server may become overloaded.
  • the present invention has been made in view of the above-mentioned problems, and an object of the present invention is to improve the efficiency of task offloading by taking into consideration network usage conditions such as network topology and bandwidth.
  • the invention according to claim 1 is a control device that controls task assignment for a physical network constructed and modeled by each node including each edge node and each cloud node.
  • an observation unit for observing task information regarding the task requested from the terminal device and network usage information indicating the usage status of the physical network, and offloading the task based on the observation result of the observation unit.
  • the control device includes a calculation section that calculates an optimal specific node for the task, and a transfer section that transfers the task to the specific node.
  • FIG. 1 is a diagram showing an example of the overall configuration of a communication system in an embodiment of the present invention.
  • FIG. 1 is a conceptual diagram showing a physical network according to the present embodiment.
  • FIG. 2 is a hardware configuration diagram of a control device according to the present embodiment.
  • 3 is a flowchart showing control of the task offload system.
  • 3 is a flowchart showing control of the task offload system. It is a figure showing each formula. It is a figure showing each formula. It is a figure showing each formula. It is a figure showing each formula. It is a figure showing each formula. It is a figure showing each formula. It is a figure showing each formula. It is a figure showing each formula.
  • FIG. 2 is a diagram showing Algorithm 1.
  • FIG. 2 is a diagram showing Algorithm 2.
  • FIG. 3 is a diagram showing Algorithm 3.
  • FIG. 4 is a diagram showing Algorithm 4. It is a figure showing each formula.
  • FIG. 1 is a diagram showing an example of the overall configuration of a communication system in an embodiment of the present invention.
  • the communication system of this embodiment is constructed by a control device 50 and a modeled physical network 140.
  • the control device 50 acquires task information and network usage information from the modeled physical network 140 and performs task assignment control for the modeled physical network 140. Specifically, the controller 50 formulates an optimal task offload problem for multi-cloud and multi-edge networks, taking into account network topology and/or physical network usage constraints such as bandwidth. .
  • optimal offloading is defined as a solution that maximizes the resource utilization efficiency of servers and links and minimizes task delay while satisfying the constraints of server capacity, link capacity, and task delay.
  • the decision variables here are the assignment of computing resources for the task and the path between the terminal device and the assigned server.
  • the control device 50 also proposes a task offloading algorithm based on cooperative multi-agent deep reinforcement learning (Cooperative Multi-agent Deep RL; Coop-MADRL).
  • the modeled physical network 140 is constructed by multiple terminal devices that request tasks, multiple edge nodes 121, 122, 123, and multiple cloud nodes 131, 132.
  • FIG. 1 only shows a limited number of terminal devices, edge nodes, and cloud nodes due to space constraints, there may be more than the number shown in FIG. 1, respectively.
  • FIG. 2 is a conceptual diagram showing the physical network of this embodiment.
  • the physical network 40 is constructed by a plurality of terminal devices 11 and 12 that request tasks, a plurality of edge servers 21 and 22, and a plurality of cloud servers 31 and 32.
  • the terminal device 11 is connectable to multiple edge servers 21 and 22 and multiple cloud servers 31 and 32 via the access network an1.
  • the terminal device 12 can be connected to multiple edge servers 21 and 22 and multiple cloud servers 31 and 32 via the access network an2.
  • a core network cn is constructed between the edge server 21 and the edge server 22.
  • Modeled physical network 140 shown in FIG. 1 corresponds to physical network 40 shown in FIG. 2. Note that in FIG. 2, only a limited number of terminal devices, edge nodes, cloud nodes, access networks, and core networks are shown due to space limitations, but each of them may exist in more than the number shown in FIG. 2.
  • terminal device 10 The terminal devices 11 and 12 will be collectively referred to as “terminal device 10.”
  • the edge servers 21 and 22 are collectively referred to as “edge server 20.”
  • the cloud servers 31 and 32 are collectively referred to as “cloud server 30.”
  • the edge nodes 121, 122, and 123 are collectively referred to as an "edge node.”
  • the cloud nodes 131 and 132 are collectively referred to as a “cloud node.”
  • Edge nodes and cloud nodes are collectively referred to as “nodes.”
  • the access networks an1 and an2 are collectively referred to as "access network an.”
  • the terminal device 10 is a personal computer, a smartphone, a smart watch, an IoT device, a home appliance, a communication device mounted on or installed on a mobile object, or the like.
  • Mobile objects include vehicles, aircraft, ships, robots, and the like.
  • all nodes have computing resources that execute tasks on behalf of the terminal device 10, as edge servers 20 or cloud servers 30. All nodes are also connected to routers r1, r2, r3, r4, which forward traffic to other nodes, respectively.
  • Each edge server 20 has a control device 50 (see FIG. 1) for determining the optimal node to offload each task.
  • the terminal device 10 is configured by a computer and generates various tasks with various applications. Each task is configured with at least one of required computing resource demand, traffic demand, and maximum allowed delay information.
  • Each terminal device 10 can calculate its own tasks within the terminal device 10, or can offload tasks to an adjacent edge or cloud.
  • FIG. 3 is a hardware configuration diagram of the control device of this embodiment.
  • the control device 50 includes a processor 101, a memory 102, an auxiliary storage device 103, a connection device 104, a communication device 105, and a drive device 106. Note that each piece of hardware that constitutes the control device 50 is interconnected via a bus 107.
  • the processor 101 plays the role of a control unit that controls the entire control device 50, and includes various calculation devices such as a CPU (Central Processing Unit).
  • the processor 101 reads various programs onto the memory 102 and executes them.
  • the processor 101 may include GPGPU (General-purpose computing on graphics processing units).
  • the memory 102 includes main storage devices such as ROM (Read Only Memory) and RAM (Random Access Memory).
  • the processor 101 and the memory 102 form a so-called computer, and when the processor 101 executes various programs read onto the memory 102, the computer realizes various functions.
  • the auxiliary storage device 103 stores various programs and various information used when the various programs are executed by the processor 101.
  • connection device 104 is a connection device that connects an external device (for example, the display device 108, the operation device 109) and the control device 50.
  • the communication device 105 is a communication device for transmitting and receiving various information to and from other devices.
  • the drive device 106 is a device for setting the recording medium 106m.
  • the recording medium 106m here includes a medium that records information optically, electrically, or magnetically, such as a CD-ROM (Compact Disc Read-Only Memory), a flexible disk, and a magneto-optical disk. Further, the recording medium 106m may include a semiconductor memory that electrically records information, such as a ROM (Read Only Memory) or a flash memory.
  • the various programs to be installed in the auxiliary storage device 103 are installed by, for example, setting the distributed recording medium 106m in the drive device 106 and reading out the various programs recorded on the recording medium 106m by the drive device 106. be done.
  • various programs installed in the auxiliary storage device 103 may be installed by being downloaded from a network via the communication device 105.
  • the terminal device 10, the edge server 20, and the cloud server 30 have the same hardware configuration as the control device, so a description thereof will be omitted.
  • FIGS. 4 and 5 are flowcharts showing control of the task offload system.
  • Step S11 At the start of each time step t, each task arrives at the edge server 20 closest to each terminal device 10.
  • Step S12 The observation unit 51 of each edge server 20 (control device 50) observes task information and network usage status by acquiring task information and network usage information.
  • the task information includes at least one of required computing resource demand, traffic demand, and maximum allowable delay time information.
  • the network information is information regarding network usage, such as network topology and/or bandwidth.
  • Step S13 The calculation unit 55 of each edge server 20 (control device 50) uses the proposed method placed in each edge server 20 to determine the optimal specific method for offloading the task based on the observation results obtained in step S12. Calculate the nodes (see [Proposed method] below for details).
  • Step S14 If multiple tasks arrive at each edge server 20 at the same time (YES), this method repeats the determination of offload nodes using a first-in first-out (FIFO) method. If they do not arrive at the same time (NO), proceed to the next step.
  • FIFO first-in first-out
  • Step S15 The calculation unit 55 of each edge server 20 (control device 50) aggregates traffic demand information between nodes, calculates and updates an optimal route between nodes.
  • Step S16 The transfer unit 59 of each edge server 20 (control device 50) transfers the task to each optimal node via the optimal route.
  • Step S17 Each node to which the task has been transferred executes the task and returns the result to the requesting terminal device 10.
  • Step S18 If the predetermined termination condition is satisfied (YES), control of the task offload system is terminated.
  • the predetermined termination condition is, for example, when a task request from each terminal device 10 is terminated.
  • Step S19 If the predetermined end condition is not satisfied in step S18 (NO), and if a certain period of time has elapsed (YES), the process returns to step S11 and the process is repeated at the next time step t+1.
  • Table 1 shows the definitions of variables in the network model.
  • each node has a role as an edge or a cloud.
  • each edge node E is assumed to be e ⁇ E ⁇ N
  • each cloud node C is assumed to be c ⁇ C ⁇ N.
  • the numbers of nodes, edge nodes, and cloud nodes are expressed as
  • the terminal device 10 connects to the nearest edge server 20 via the access network an, but in this embodiment, it is assumed that the access network an is not included in G(N,L).
  • the node processing capacity of the i-th node is
  • the node capacity of the i-th node is
  • Table 2 shows the definitions of the variables of the task model.
  • a task model for uniformly expressing various tasks of the terminal device 10 will be described. a collection of tasks
  • t k ⁇ T is the reception time (time) of task k
  • ⁇ k is the type of task k that is uniquely given to each application
  • C k is the required computing resource demand ([G cycles]).
  • Tasks consume computing and network resources on G(N,L) according to the kth task D k .
  • FIGS. 6 to 10 are diagrams showing each formula.
  • Table 3 shows the definitions of variables for the task offload problem.
  • the decision variables for this problem are the task assignment variable Y and the route assignment variable Xt .
  • z ke is a variable representing 1 if the nearest edge node of task k requested by terminal device 10 is e, and 0 otherwise.
  • the i-th node utilization rate is
  • ⁇ indicates a weighting parameter that determines the ratio of importance of each term of the objective function.
  • t k indicates the acceptance time (time) of task k.
  • the task allocation variable y kn is the maximum node utilization rate while satisfying the node capacity constraints shown in (Equations 3) to (Equations 6).
  • Equation 3 indicates that the computing demand of each task needs to be allocated to one of the nodes.
  • Equation 4 represents the constraint on the capacity of the node. (Formula 4)
  • Form 12 indicates a request for upload traffic from the source node p to the destination node q.
  • z kp and y kq determine node p and node q.
  • Equation 13 indicates the download traffic demand from node q to node p, and is the opposite of the upload equation.
  • FIG. 11 is a diagram showing each formula.
  • K t denotes the subset of tasks executed at time step t.
  • K e indicates a subset of tasks accepted by the edge node e.
  • D t indicates a subset of tasks accepted at time step t.
  • D e,t indicates a subset of tasks accepted by edge node e at time step t.
  • Table 4 shows the definitions of the variables of the proposed method.
  • Agent g e ⁇ G learns how to optimize task offloading of edge node e.
  • the condition is
  • a candidate set of actions A e is defined as a set of nodes that offload tasks.
  • agent g e chooses the action of “doing nothing”.
  • the reward is designed to return a negative value if the constraint is not met, and otherwise return a positive value depending on the value of the objective function.
  • FIG. 12 is a diagram showing algorithm 1. Algorithm 1 shows intensive learning using Coop-MADRL.
  • the first line shows initialization of agent parameters.
  • a series of procedures (lines 2-18) are repeatedly executed until learning is completed.
  • Lines 3-4 show task creation and initialization of environment parameters.
  • a series of actions is called an episode, and each episode (lines 5-16) is repeatedly executed.
  • the agent collects training samples that are combinations of ⁇ o t ,a t ,r t >.
  • the time step of the network simulator is t sim and is reset at the beginning of each episode.
  • edge e accepts multiple tasks at t sim , agent g e selects one task in a FIFO manner.
  • Each agent executes lines 7-9 in parallel.
  • Algorithm 3 updates the task offload according to a t .
  • the 11th line calculates the reward.
  • the 12th and 13th lines indicate the end conditions for agent learning.
  • the 17th line indicates storage to Replay memory M.
  • FIG. 13 is a diagram showing algorithm 2.
  • Algorithm 2 shown in FIG. 13 proposes a task offloading method using Coop-MADRL.
  • the first line uses Algorithm 1 to learn G in advance.
  • Algorithm 2 continuously repeats lines 2-9 as long as the system accepts new tasks.
  • each agent maximizes Q e (o e ,a e )
  • FIG. 14 is a diagram showing algorithm 3.
  • Algorithm 3 shown in FIG. 14 shows an environment update procedure.
  • the task assignment variable Y and the route assignment variable X t are updated.
  • the first line shows the calculation of Y.
  • the second line is
  • the third line shows the calculation of M t .
  • the fourth line is
  • the fifth line shows the delay calculation.
  • Algorithm 3 returns variables for reward calculation.
  • FIG. 15 is a diagram showing algorithm 4.
  • Algorithm 4 shows the procedure for calculating G's reward.
  • Eff(x) represents an efficiency function and is defined as shown in FIG. 16 (Equation 22).
  • FIG. 16 is a diagram showing each formula.
  • Equation 22 The function of (Equation 22) is designed so that the efficiency becomes worse as x becomes larger.
  • the efficiency of task offloading can be improved by introducing a cooperative multi-agent technique. That is, an agent that has learned the optimal task offload is placed at each edge. Furthermore, by introducing a mechanism in which each agent learns cooperatively, we prevent each agent from acting selfishly. This can improve the efficiency of task offloading, taking into account network usage constraints such as network topology and/or bandwidth.
  • the present invention is not limited to the above-described embodiments, and may have the following configuration or processing (operation).
  • control device 50 can be realized by a computer and a program, but this program can also be recorded on a (non-temporary) recording medium or provided via a communication network such as the Internet.
  • Terminal device 12 Terminal device 21 Edge server 22 Edge server 31 Cloud server 32 Cloud server 40 Physical network 50
  • Control device 51 Observation unit 55
  • Calculation unit 59 Transfer unit 121 Edge node 122 Edge node 131 Cloud node 132 Cloud node 133 Cloud node 140

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本開示は、ネットワークトポロジー及び帯域幅等のネットワークの使用状況を考慮して、タスクオフロードの効率を向上させることを目的とする。　そのため、本開示は、各エッジノード及び各クラウドノードを有する各ノードによって構築され、モデル化された物理ネットワークに対して、タスクの割り当てを制御する制御装置であって、端末装置から依頼された前記タスクに関するタスク情報、及び前記物理ネットワークの使用状況を示すネットワーク使用情報を観測する観測部と、前記観測部の観測結果に基づいて、前記タスクをオフロードするための最適な特定のノードを算出する計算部と、　前記特定のノードに対して前記タスクを転送する転送部と、を有する制御装置である。

Description

制御装置、制御方法、及びプログラム
　本開示は、ネットワークおよびクラウド制御技術に関し、特にタスクを割り当てる制御に関する。
　通信技術の発展に伴い、ヘルスケア、スマートシティ、製造業などの様々な領域で多様なアプリケーションが登場している。これらのアプリケーションは、パソコン、スマートフォン、IoT機器、自動車などの端末装置(End Device; ED)の計算資源に限界があるため、クラウドサーバにオフロードして処理される。
　この仕組みはクラウドコンピューティング（Cloud Computing; CC）と呼ばれている。オフロードされたアプリケーションのタスクは、例えば、トラヒックヘビー、コンピューティングヘビー、レイテンシー（遅延時間）センシティブなど、さまざまな特性を持つコンピューティングリソースの要求と通信の要求で構成されている。
　ここで、「トラヒックヘビーなタスク」とは、要求するトラヒック量の多いタスクを示す。「レイテンシーセンシティブなタスク」とは、通信遅延に対する要求が厳しいタスクを示す。クラウドサーバは一般的に端末装置から離れた場所に設置されているため、端末装置がタスクをクラウドにオフロードすると、追加の通信遅延が必ず発生する。そのため、クラウドコンピューティングは遅延の影響を受けやすいタスクの性能を低下させるという問題が生じる。
　上記の問題に対応するため、端末装置に近いエッジサーバにコンピューティングリソースを配置するエッジコンピューティング(Edge Computing; EC)が提案されている。クラウドコンピューティングとエッジコンピューティングを組み合わせることで、複数のオフロードの選択肢が生まれ、タスクオフロードの効率が向上する。例えば、クラウドは一般的に十分なコンピューティングリソースを持っているため、コンピューティングヘビーなタスクをクラウドにオフロードすることで、タスクオフロードの効率を上げることができる。
　また、従来から、いくつかの研究では、クラウドコンピューティングとエッジコンピューティングのタスクオフロード問題に取り組んでいる。具体的には、強化学習（Reinforcement Learning; RL）を用いた手法が注目されている（非特許文献１乃至４）。
　強化学習は、入力となるネットワークパターンと出力となるタスクのオフロードの関係を事前に学習することで、効率的なタスクのオフロードを即座に出力することができる。
Y. Zhan, S. Guo, P. Li, and J. Zhang, "A deep reinforcement learning based offloading game in edge computing," IEEE Trans. Comput., vol. 69, no. 6, pp. 883-893, 2020. D. C. Nguyen, P. N. Pathirana, M. Ding, and A. Seneviratne, "Deep reinforcement learning for collaborative offloading in heterogeneous edge networks," in Proc. IEEE/ACM CCGrid. IEEE, 2021, pp. 297-303. W. Hou, H. Wen, H. Song, W. Lei, and W. Zhang, "Multi-agent deep reinforcement learning for task offloading and resource allocation in cybertwin based networks," IEEE Internet Things J., 2021. Y. Zhang, B. Di, Z. Zheng, J. Lin, and L. Song, "Distributed multi-cloud multi-access edge computing by multi-agent reinforcement learning," IEEE Trans. Wireless Commun., vol. 20, no. 4, pp. 2565-2578, 2020.
　しかしながら、従来の手法では以下に示す２つの課題が生じている。
　１つ目の課題は、既存の研究ではクラウドコンピューティングを考慮していなかったり、単一のクラウドサーバを持つネットワークのみを対象としていたりすることである。前述のとおり、クラウドコンピューティングとエッジコンピューティングを組み合わせることは、タスクのオフロード効率を向上させるためには必要不可欠である。また、一般的なネットワークでは、複数のクラウドサーバが存在している。
　２つ目の課題は、既存の研究では、帯域幅や、事業者間などを結ぶ基幹通信網であるバックボーンネットワークのトポロジーを考慮していないことある。多くの従来の研究では、オフロードされたタスクが通過する経路を短くすることで、タスクの遅延を最小化しようとしている。しかし、帯域幅を考慮しない制御では、タスクの負荷があるリンクに集中することで、輻輳する可能性がある。
　また、マルチエージェント強化学習は、１つの問題を複数のエージェントで解くことで、より複雑な問題に対応するのに有効な手段である。各エージェントは、他のエージェントと協力して、報酬の最大化を目指す。各エージェントにそれぞれのタスクに割り当てることで、各エージェントの学習コストを削減することができる。しかし、各エージェントを独立に学習させる場合、各エージェントは利己的な行動を取ってしまうという課題がある。この課題の具体例として、各エージェントが独立して同時に学習し、独立に行動する場合、すべてのタスクが負荷の一番負荷の軽い所定のクラウドサーバに集中してしまい、結果として、所定のクラウドサーバが過負荷になることが挙げられる。
　本発明は、上述の課題を鑑みてなされたもので、ネットワークトポロジー及び帯域幅等のネットワークの使用状況を考慮して、タスクオフロードの効率を向上させることを目的とする。
　上記課題を解決するため、請求項１に係る発明は、各エッジノード及び各クラウドノードを有する各ノードによって構築され、モデル化された物理ネットワークに対して、タスクの割り当てを制御する制御装置であって、端末装置から依頼された前記タスクに関するタスク情報、及び前記物理ネットワークの使用状況を示すネットワーク使用情報を観測する観測部と、前記観測部の観測結果に基づいて、前記タスクをオフロードするための最適な特定のノードを算出する計算部と、前記特定のノードに対して前記タスクを転送する転送部と、を有する制御装置である。
　本発明により、ネットワークトポロジー及び帯域幅等のネットワークの使用状況を考慮して、タスクオフロードの効率を向上させることができるという効果を奏する。
本発明の実施形態における通信システムの全体構成の一例を示す図である。 本実施形態の物理ネットワークを示す概念図である。 本実施形態の制御装置のハードウェア構成図である。 タスクオフロードシステムの制御を示すフローチャートである。 タスクオフロードシステムの制御を示すフローチャートである。 各式を示す図である。 各式を示す図である。 各式を示す図である。 各式を示す図である。 各式を示す図である。 各式を示す図である。 アルゴリズム１を示す図である。 アルゴリズム２を示す図である。 アルゴリズム３を示す図である。 アルゴリズム４を示す図である。 各式を示す図である。
　〔実施形態の概要〕
　以下、図１及び図２を用いて、タスクオフロードを行う通信システムの概要を説明する。図１は、本発明の実施形態における通信システムの全体構成の一例を示す図である。
　図１に示すように、本実施形態の通信システムは、制御装置５０及びモデル化された物理ネットワーク１４０によって構築されている。
　制御装置５０は、モデル化された物理ネットワーク１４０から、タスク情報、及びネットワーク使用情報を取得し、モデル化された物理ネットワーク１４０に対してタスク割当制御を行う。具体的には、制御装置５０は、ネットワークトポロジー及び（又は）帯域幅等の物理ネットワークの使用状況の制約を考慮して、マルチクラウドとマルチエッジネットワークのための最適タスクオフロード問題を定式化する。ここで、最適オフロードとは、サーバ容量とリンク容量、タスクの遅延の制約を満たしつつ、サーバとリンクのリソース利用効率を最大化し、タスクの遅延を最小化する解と定義する。ここでの決定変数は、タスクのコンピューティングリソースの割り当てと、端末装置 と割り当てられたサーバ間の経路である。また、制御装置５０は、協調型マルチエージェント深層強化学習（CooperativeMulti-agent Deep RL; Coop-MADRL）に基づくタスクオフロードアルゴリズムを提案する。
　モデル化された物理ネットワーク１４０は、タスクを依頼する複数の端末装置、複数のエッジノード１２１，１２２，１２３、及び複数のクラウドノード１３１，１３２によって構築されている。なお、図１では、紙面の都合上、限られた端末装置、エッジノード、及びクラウドノードしか示されていないが、それぞれ図１に示す数以上存在してもよい。
　図２は、本実施形態の物理ネットワークを示す概念図である。物理ネットワーク４０は、タスクを依頼する複数の端末装置１１，１２、複数のエッジサーバ２１，２２、及び複数のクラウドサーバ３１，３２によって構築されている。
　また、端末装置１１は、アクセスネットワークａｎ１を介して、複数のエッジサーバ２１，２２、及び複数のクラウドサーバ３１，３２に接続可能である。同様に、端末装置１２は、アクセスネットワークａｎ２を介して、複数のエッジサーバ２１，２２、及び複数のクラウドサーバ３１，３２に接続可能である。また、エッジサーバ２１とエッジサーバ２２の間にはコア網ｃｎが構築されている。図１に示すモデル化された物理ネットワーク１４０は、図２に示す物理ネットワーク４０に対応する。なお、図２では、紙面の都合上、限られた端末装置、エッジノード、及びクラウドノード、アクセスネットワーク、コアネットワークしか示されていないが、それぞれ図２に示す数以上存在してもよい。
　なお、以降、端末装置１１，１２の総称を「端末装置１０」と示す。エッジサーバ２１，２２の総称を「エッジサーバ２０」と示す。クラウドサーバ３１、３２の総称を「クラウドサーバ３０」と示す。エッジノード１２１，１２２，１２３の総称を「エッジノード」と示す。クラウドノード１３１，１３２の総称を「クラウドノード」と示す。エッジノードとクラウドノードの総称を「ノード」と示す。また、アクセスネットワークａｎ１，ａｎ２の総称を「アクセスネットワークａｎ」と示す。
　また、端末装置１０は、パソコン、スマートフォン、スマートウォッチ、IoT機器、家電製品、移動体に搭載又は設置された通信機器等である。移動体には、車両、航空機、船舶、ロボット等が含まれる。
　図２に示すように、すべてのノードは、エッジサーバ２０またはクラウドサーバ３０として、端末装置１０の代わりにタスクを実行するコンピューティングリソースを有している。また、すべてのノードは、それぞれ他のノードにトラヒックを転送するルータｒ１，ｒ２，ｒ３，ｒ４に接続されている。各エッジサーバ２０は、各タスクをオフロードするための最適なノードを決定するための制御装置５０（図１参照）を有している。
　端末装置１０は、コンピュータにより構成され、多様なアプリケーションを持つ様々なタスクを生成する。各タスクは、必要なコンピューティングリソース需要、トラフィック需要、および許容される最大遅延の情報のうちの少なくとも１つで構成される。
　各端末装置１０は、自身のタスクを端末装置１０内で計算することも、隣接するエッジやクラウドにタスクをオフロードすることもできる。
　〔実施形態のハードウェア構成〕
　図３は、本実施形態の制御装置のハードウェア構成図である。
　図３に示されているように、制御装置５０は、プロセッサ１０１、メモリ１０２、補助記憶装置１０３、接続装置１０４、通信装置１０５、ドライブ装置１０６を有する。なお、制御装置５０を構成する各ハードウェアは、バス１０７を介して相互に接続される。
　プロセッサ１０１は、制御装置５０全体の制御を行う制御部の役割を果たし、ＣＰＵ（Central Processing Unit）等の各種演算デバイスを有する。プロセッサ１０１は、各種プログラムをメモリ１０２上に読み出して実行する。なお、プロセッサ１０１には、ＧＰＧＰＵ(General-purpose computing on graphics processing units)が含まれていてもよい。
　メモリ１０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ１０１とメモリ１０２とは、いわゆるコンピュータを形成し、プロセッサ１０１が、メモリ１０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
　補助記憶装置１０３は、各種プログラムや、各種プログラムがプロセッサ１０１によって実行される際に用いられる各種情報を格納する。
　接続装置１０４は、外部装置（例えば、表示装置１０８、操作装置１０９）と制御装置５０とを接続する接続デバイスである。
　通信装置１０５は、他の装置との間で各種情報を送受信するための通信デバイスである。
　ドライブ装置１０６は記録媒体１０６ｍをセットするためのデバイスである。ここでいう記録媒体１０６ｍには、ＣＤ－ＲＯＭ(Compact Disc Read-Only Memory)、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体１０６ｍには、ＲＯＭ(Read Only Memory)、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
　なお、補助記憶装置１０３にインストールされる各種プログラムは、例えば、配布された記録媒体１０６ｍがドライブ装置１０６にセットされ、該記録媒体１０６ｍに記録された各種プログラムがドライブ装置１０６により読み出されることでインストールされる。あるいは、補助記憶装置１０３にインストールされる各種プログラムは、通信装置１０５を介してネットワークからダウンロードされることで、インストールされてもよい。
　なお、端末装置１０、エッジサーバ２０、及びクラウドサーバ３０は、制御装置と同様のハードウェア構成を有するため、説明を省略する。
　〔実施形態の処理〕
　＜タスクオフロードシステムの制御手順＞
　続いて、図４及び図５を用いて、タスクオフロードシステムの制御について説明する。図４及び図５は、タスクオフロードシステムの制御を示すフローチャートである。
　ここで、離散的なタイムステップtを考える。各端末装置１０は１つ以上のタスクを持っていると仮定し、タイムステップ[0,T]の間にK個のタスクを考える。この状態で、以下の処理が実行される。
　ステップＳ１１：各タイムステップtの開始時には、各タスクは各端末装置１０に最も近いエッジサーバ２０に到着する。
　ステップＳ１２：各エッジサーバ２０（制御装置５０）の観測部５１は、タスク情報とネットワーク使用情報を取得することで、タスクの情報とネットワークの使用状況を観測する。タスク情報には、必要なコンピューティングリソース需要、トラフィック需要、および許容される最大遅延時間の情報のうち少なくとも１つが含まれる。ネットワーク情報は、ネットワークの使用状況として、例えば、ネットワークトポロジー及び（又は）帯域幅に関する情報である。
　ステップＳ１３：各エッジサーバ２０（制御装置５０）の計算部５５は、ステップＳ１２による観測結果に基づいて、各エッジサーバ２０に配置された提案手法により、タスクをオフロードするための最適な特定のノードを算出する（詳細は後述の〔提案手法〕を参照）。
　ステップＳ１４：各エッジサーバ２０に複数のタスクが同時に到着した場合（ＹＥＳ）、本手法はfirst-in first-out (FIFO)の方法でオフロードノードの決定を繰り返す。同時に到着しない場合（ＮＯ）、次のステップに進む。
　ステップＳ１５：各エッジサーバ２０（制御装置５０）の計算部５５は、ノード間のトラヒック需要情報を集約し、ノード間の最適ルートを計算し更新する。
　ステップＳ１６：各エッジサーバ２０（制御装置５０）の転送部５９は、最適ルートを経由して最適な各ノードにタスクを転送する。
　ステップＳ１７：タスクを転送された各ノードはタスクを実行し、結果を依頼元の端末装置１０に返す。
　ステップＳ１８：所定の終了条件を満たした場合には（ＹＥＳ）、タスクオフロードシステムの制御は終了する。所定の終了条件は、各端末装置１０からのタスクの依頼が終了した場合等である。
　ステップＳ１９：上記ステップＳ１８で所定の終了条件を満たしていない場合には（ＮＯ）、一定の時間が経過すると（ＹＥＳ）、ステップＳ１１に戻り、次のタイムステップt+1で処理が繰り返される。
　なお、実行中のタスクは、端末装置１０に結果を返すまでオフロードされたノードとタスクが通過するリンクのリソースを消費し続けると仮定する。そのため、本実施形態では、タイムステップtで依頼を受け付けたタスクは、タイムステップt+1までに完了する必要はない。
　＜ネットワークモデル＞
　続いて、表１にネットワークモデルの変数の定義を示す。
Figure JPOXMLDOC01-appb-T000001
 　物理ノード集合Nと物理リンク集合Lから構成される物理ネットワークグラフG(N,L)を考える。各ノードはエッジやクラウドとしての役割を持つと仮定する。ここでは、各エッジノードEをe∈E⊂N、各クラウドノードCをc∈C⊂Nとする。また、ノード、エッジノード、クラウドノードの数をそれぞれ、|N|、|E|、|C|と表す。端末装置１０はアクセスネットワークａｎを経由して最寄りのエッジサーバ２０に接続するが、本実施形態ではアクセスネットワークａｎはG(N,L)に含まれないとする。
　また、i番目のノードのノード処理能力を
Figure JPOXMLDOC01-appb-M000002
 とする。
これは、例えば、i番目のノードの１秒あたりのＣＰＵ能力（[G cycles/s]）など、コンピューティングリソースの処理能力の上限を示すものである。
　また、i番目のノードのノード容量を
Figure JPOXMLDOC01-appb-M000003
 とする。これは、例えば、各タスクに１つのＣＰＵコアを割り当てる場合、
Figure JPOXMLDOC01-appb-M000004
 はi番目のノードのＣＰＵコアの数と等しくなる。
　リンク(i,j)の帯域幅容量を
Figure JPOXMLDOC01-appb-M000005
 とし、リンクの帯域容量を
Figure JPOXMLDOC01-appb-M000006
 とする。
　また、すべてのリンクには、各ノード間の距離に応じた伝送遅延が存在する。
ここでは、リンク(i,j)の距離係数
Figure JPOXMLDOC01-appb-M000007
 により、各リンクの遅延時間を決定する。
　＜タスクモデル＞
　続いて、表２にタスクモデルの変数の定義を示す。
Figure JPOXMLDOC01-appb-T000008
 　端末装置１０のさまざまなタスクを統一的に表現するためのタスクモデルについて示す。
タスクの集合を
Figure JPOXMLDOC01-appb-M000009
 とし、k番目のタスクを
Figure JPOXMLDOC01-appb-M000010
 と定義する。
　ここで、tk∈Tはタスクkの受付時間（時刻）、βkは各アプリケーションで一意に与えられるタスクkの種類、Ckは必要なコンピューティングリソース需要（[G cycles]）を示す。
　また、
Figure JPOXMLDOC01-appb-M000011
 はアップロードとダウンロードのトラヒック需要を示す。
Figure JPOXMLDOC01-appb-M000012
 はダウンロードのトラヒック需要を示す。
Figure JPOXMLDOC01-appb-M000013
 は最大許容遅延時間（[ms]）を示す。
　タスクは、G(N,L)上のコンピューティングリソースとネットワークリソースをk番目のタスクDkに応じて消費する。
　端末装置１０に最も近いエッジノードにタスクが割り当てられた場合、G(N，L)で消費されるネットワークリソース量は0とみなす。
　＜最適化問題の定式化＞
　続いて、図６乃至図１０に示す制約条件の（式２）乃至（式１７）を満たしながら、（式１）を最小化するタスクオフロード問題を定式化する。なお、図６乃至図１０は、各式を示す図である。
　まず、表３にタスクオフロード問題の変数の定義を示す。
Figure JPOXMLDOC01-appb-T000014
 　この問題の決定変数は、タスク割当変数Yと経路割当変数Xtである。
　ここで、
Figure JPOXMLDOC01-appb-M000015
 は、タスクkのコンピューティング需要がノードnに割り当てられている場合は1、そうでない場合は0を表す変数である。
　また、
Figure JPOXMLDOC01-appb-M000016
 は、始点ノードpから終点ノードqへのトラヒック需要
Figure JPOXMLDOC01-appb-M000017
 のうち、タイムステップtでリンク(i,j)を通過する割合を示す。
　ここで、
Figure JPOXMLDOC01-appb-M000018
 は、タイムステップtにおけるノードpとノードqの間のトラヒック需要行列を示す。
　また、端末装置１０の位置をzkeと定義する。ここで、zkeは、端末装置１０から要求されたタスクkの最寄りのエッジノードがeであれば1、そうでなければ0を表す変数である。
　次に、（式１）に示す目的関数を導入する。
　ここで、
Figure JPOXMLDOC01-appb-M000019
 と
Figure JPOXMLDOC01-appb-M000020
 は、タイムステップtにおけるノードとリンクの最大利用率を示し、それぞれ
Figure JPOXMLDOC01-appb-M000021
 および
Figure JPOXMLDOC01-appb-M000022
 と定義される。
　ここで、i番目のノード利用率を
Figure JPOXMLDOC01-appb-M000023
 とし、i番目のリンク利用率を
Figure JPOXMLDOC01-appb-M000024
 とする。
　また、
Figure JPOXMLDOC01-appb-M000025
 と
Figure JPOXMLDOC01-appb-M000026
 は、タスクkのノード遅延時間とリンク遅延時間を表す。
　また、λは、目的関数の各項の重要度の比率を決める重み付けパラメータを示す。
　次に、ノード容量、リンク容量、タスク遅延の３種類の制約条件を設定する。
　まず、バイナリ変数
Figure JPOXMLDOC01-appb-M000027
 を（式２）のように定義する。
　ここで、
Figure JPOXMLDOC01-appb-M000028
 はタイムステップtの時点でタスクkが実行中であれば1、そうでなければ0を返す変数である。
ここで、tkはタスクkの受付時間（時刻）を示す。
　タスク割当変数yknは、（式３）乃至（式６）に示すようなノード容量制約を満足しつつ、最大ノード利用率
Figure JPOXMLDOC01-appb-M000029
 を最小化するように定式化される。
　（式３）は、各タスクのコンピューティング需要をいずれかのノードに割り当てる必要があることを示す。（式４）は、ノードの容量の制約を表す。（式４）の
Figure JPOXMLDOC01-appb-M000030
 は、tにおける実行中のタスクの割り当てを示す。
　経路割当変数
Figure JPOXMLDOC01-appb-M000031
 は、（式７）乃至（式１１）に示すようなリンク容量制約を満足しつつ、最大リンク使用率
Figure JPOXMLDOC01-appb-M000032
 を最小化するように定式化される。
　ここで、（式９）の
Figure JPOXMLDOC01-appb-M000033
 は（式１２）及び（式１３）のように定式化できる。
　（式１２）は、送信元ノードpから送信先ノードqへのアップロードトラヒックの要求を示す。ここで、zkpとykqは、ノードpとノードqを決定する。また、
Figure JPOXMLDOC01-appb-M000034
 は実行中のタスクを抽出する。（式１３）は、ノードqからノードpへのダウンロードのトラヒック需要を示しており、アップロードの式とは逆になる。
　タスクのノードの遅延時間
Figure JPOXMLDOC01-appb-M000035
 と、リンクの遅延時間
Figure JPOXMLDOC01-appb-M000036
 を（式１４）乃至（式１６）のように定式化する。
　最後に、レイテンシー制約は（式１７）のように定式化される。
　＜提案手法＞
　（モデルリング）
　まず、タスクの部分集合を表す変数を図１１に示す（式１８）乃至（式２１）のように定義する。図１１は、各式を示す図である。
　ここで、Ktは、タイムステップtで実行されるタスクの部分集合を示す。また、Keは、エッジノードeで受け付けたタスクの部分集合を示す。また、Dtは、タイムステップtで受け付けたタスクの部分集合を示す。また、De,tは、タイムステップtにエッジノードeで受け付けたタスクの部分集合を示す。
　ここで、表４に提案手法の変数の定義を示す。
Figure JPOXMLDOC01-appb-T000037
 　エッジノードの数に等しい|E|個のエージェントを導入し、各エージェントを各エッジノードのタスクオフロード制御に割り当てる。
　エージェントge∈Gは、エッジノードeのタスクオフロードを最適化する方法を学習する。状態は、
Figure JPOXMLDOC01-appb-M000038
 で定義される。
　エージェントgeの観測は
Figure JPOXMLDOC01-appb-M000039
 で定義される。
　行動の候補集合Aeは、タスクをオフロードするノードの集合として定義される。
　エッジノードeがタイムステップtでタスクを受け付けない場合、エージェントgeは「何もしない」という行動を選択する。報酬は、制約条件が満たされていない場合は負の値を返し、そうでない場合は目的関数の値に応じて正の値を返すように設計する。
　（定式化）
　提案手法（Coop-MADRL）は、集中的な学習と分散的な実行を行う。
　●アルゴリズム１
　図１２は、アルゴリズム１を示す図である。アルゴリズム(Algorithm）１は、Coop-MADRLを用いた集中学習の様子を示す。
　１行目はエージェントのパラメータの初期化を示す。一連の手続き(２－１８行目)を学習が完了するまで繰り返し実行する。３－４行目は、タスクの生成と環境パラメータの初期化を示す。
一連の動作をエピソードと呼び、各エピソード（５－１６行目）が繰り返し実行される。
　各エピソードでは、エージェントは<ot,at,rt>の組み合わせである学習サンプルを収集する。ネットワークシミュレータのタイムステップをtsimとし、各エピソードの最初にリセットされる。
　７行目では、エッジeがtsimで複数のタスクを受け入れると、エージェントgeはFIFO方式で１つのタスクを選択する。
　９行目では、確率εでランダムな行動が選択され、そうでない場合は、確率1-εで、
Figure JPOXMLDOC01-appb-M000040
 を最大化する行動が選択される。
　各エージェントは、７－９行を並列で実行する。
　１０行目では、アルゴリズム3によりatに応じてタスクオフロードが更新される。
　１１行目は、報酬を計算している。
　１２－１３行目は、エージェント学習の終了条件を意味する。
　１４－１５行目では、tsimで受け付けたタスクがすべて割り当てられていれば、次のtsim+1に進む。
　１７行目は、Replay memory Mへの格納を示す。
　１８行目では、すべてのエージェントGは、Mからランダムに取得したエピソードの履歴によって学習される。
　●アルゴリズム２
　図１３は、アルゴリズム２を示す図である。図１３に示すアルゴリズム(Algorithm)２は、Coop-MADRLを用いたタスクオフローディング手法を提案している。
　１行目は、アルゴリズム1を用いてGを事前に学習している。
　次に、このアルゴリズム2は、システムが新しいタスクを受け付ける受け入れる限り、２－９行目を継続的に繰り返す。
　６行目では、各エージェントがQe(oe ,ae)を最大化する
Figure JPOXMLDOC01-appb-M000041
 を選択している。
　（環境の更新）
　●アルゴリズム３
　図１４は、アルゴリズム３を示す図である。図１４に示すアルゴリズム(Algorithm)３は、環境の更新手順を示す。アルゴリズム３では、タスク割当変数Y と経路割当変数Xtを更新する。
　１行目はY の計算を示す。
　２行目は
Figure JPOXMLDOC01-appb-M000042
 の計算を示す。
　３行目はMtの計算を示す。
　４行目は
Figure JPOXMLDOC01-appb-M000043
 の計算を示す。
　５行目は遅延の計算を示す。
　最後に、アルゴリズム３では、報酬計算のための変数を返す。
　（報酬計算）
　目的関数の（式１）に基づいて報酬関数を設計する。
　●アルゴリズム４
　図１５は、アルゴリズム４を示す図である。アルゴリズム(Algorithm)４は、Gの報酬計算の手順を示す。Eff(x)は効率関数を表し、図１６に示す（式２２）のように定義する。図１６は、各式を示す図である。
　（式２２）の関数は、xが大きくなると効率が悪くなるように設計されている。
　また、xに応じて、x<0.8の場合は正の値を、それ以外の場合は負の値を返す。
　なお、
Figure JPOXMLDOC01-appb-M000044
 は、レイテンシーの平均的な満足度を示しており、（式２３）のように定義する。
　以上により、提案手法の説明を終了する。
　〔実施形態の主な効果〕
　本実施形態によれば、協調型マルチエージェント手法を導入することで、タスクオフロードの効率を向上させることができる。即ち、各エッジに最適なタスクオフロードを学習したエージェントを配置する。さらに、各エージェントが協調して学習する仕組みを導入することで、各エージェントの利己的な行動を防ぐ。これにより、ネットワークトポロジー及び（又は）帯域幅等のネットワーク使用状況の制約を考慮して、タスクオフロードの効率を向上させることができる。
　また、深層強化学習を用いてネットワークの需要パターンと最適なタスクオフロードの関係を事前に学習することで、効率的なタスクオフロードを迅速に得ることができる。
　〔補足〕
　本発明は上述の実施形態に限定されるものではなく、以下に示すような構成又は処理（動作）であってもよい。
　例えば、制御装置５０はコンピュータとプログラムによっても実現できるが、このプログラムを（非一時的な）記録媒体に記録することも、インターネット等の通信ネットワークを介して提供することも可能である。
１１　端末装置
１２　端末装置
２１　エッジサーバ
２２　エッジサーバ
３１　クラウドサーバ
３２　クラウドサーバ
４０　物理ネットワーク
５０　制御装置
５１　観測部
５５　計算部
５９　転送部
１２１　エッジノード
１２２　エッジノード
１３１　クラウドノード
１３２　クラウドノード
１３３　クラウドノード
１４０　モデル化された物理ネットワーク

Claims (7)

  1. 　各エッジノード及び各クラウドノードを有する各ノードによって構築され、モデル化された物理ネットワークに対して、タスクの割り当てを制御する制御装置であって、
    　端末装置から依頼された前記タスクに関するタスク情報、及び前記物理ネットワークの使用状況を示すネットワーク使用情報を観測する観測部と、
    　前記観測部の観測結果に基づいて、前記タスクをオフロードするための最適な特定のノードを算出する計算部と、
    　前記特定のノードに対して前記タスクを転送する転送部と、
    　を有する制御装置。
  2. 　前記計算部は、前記観測部の観測結果に基づいて、前記各ノードの間のトラヒック需要情報を集約して前記各ノードの間の最適ルートを計算し、
    　前記転送部は、前記最適ルートを経由して前記特定のノードに対して前記タスクを転送する、
    　請求項１に記載の制御装置。
  3. 　前記計算部は、前記観測部の観測結果に基づき、協調型マルチエージェント深層強化学習に基づくタスクオフロードアルゴリズムを利用して、前記特定のノードを算出する、請求項１に記載の制御装置。
  4. 　前記タスク情報には、必要なコンピューティングリソース需要、トラフィック需要、および許容される最大遅延時間の情報のうち少なくとも１つが含まれる、請求項１に記載の制御装置。
  5. 　前記ネットワーク使用情報は、ネットワークトポロジー又は帯域幅に関する情報である、請求項１に記載の制御装置。
  6. 　各エッジノード及び各クラウドノードを有する各ノードによって構築され、モデル化された物理ネットワークに対して、タスクの割り当てを制御する制御装置が実行する制御方法であって、
    　前記制御装置が、
    　端末装置から依頼された前記タスクに関するタスク情報、及び前記物理ネットワークの使用状況を示すネットワーク使用情報を観測し、
    　前記観測による観測結果に基づいて、前記タスクをオフロードするための最適な特定のノードを算出し、
    　前記特定のノードに対して前記タスクを転送する、
    　ことを実行する制御方法。
  7. 　コンピュータに、請求項６に記載の方法を実行させるプログラム。
PCT/JP2022/017008 2022-04-01 2022-04-01 制御装置、制御方法、及びプログラム WO2023188437A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/017008 WO2023188437A1 (ja) 2022-04-01 2022-04-01 制御装置、制御方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/017008 WO2023188437A1 (ja) 2022-04-01 2022-04-01 制御装置、制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2023188437A1 true WO2023188437A1 (ja) 2023-10-05

Family

ID=88200588

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/017008 WO2023188437A1 (ja) 2022-04-01 2022-04-01 制御装置、制御方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2023188437A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117978550A (zh) * 2024-03-29 2024-05-03 广东工业大学 一种分布式车联网身份认证***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011508555A (ja) * 2007-12-26 2011-03-10 ノーテル・ネットワークス・リミテッド 最短経路決定のタイブレイク
JP2020137017A (ja) * 2019-02-22 2020-08-31 日本電信電話株式会社 オフロードサーバのソフトウェア最適配置方法およびプログラム
CN111835849B (zh) * 2020-07-13 2021-12-07 中国联合网络通信集团有限公司 增强接入网服务能力的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011508555A (ja) * 2007-12-26 2011-03-10 ノーテル・ネットワークス・リミテッド 最短経路決定のタイブレイク
JP2020137017A (ja) * 2019-02-22 2020-08-31 日本電信電話株式会社 オフロードサーバのソフトウェア最適配置方法およびプログラム
CN111835849B (zh) * 2020-07-13 2021-12-07 中国联合网络通信集团有限公司 增强接入网服务能力的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AKITO SUZUKI, SHIGEAKI HARADA: "Dynamic Virtual Resource Allocation Method Using Multi-agent Deep Reinforcement Learning", IEICE TECHNICAL REPORT, IN, IEICE, JP, vol. 119, no. 195 (IN2019-29), 29 August 2019 (2019-08-29), JP, pages 35 - 40, XP009534137 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117978550A (zh) * 2024-03-29 2024-05-03 广东工业大学 一种分布式车联网身份认证***
CN117978550B (zh) * 2024-03-29 2024-06-07 广东工业大学 一种分布式车联网身份认证***

Similar Documents

Publication Publication Date Title
CN109669768B (zh) 一种面向边云结合架构的资源分配和任务调度方法
Shabeera et al. Optimizing VM allocation and data placement for data-intensive applications in cloud using ACO metaheuristic algorithm
CN109167671A (zh) 一种面向量子密钥分发业务的配用通信***均衡负载调度算法
WO2023040022A1 (zh) 一种在随机网络中基于算网协同的分布式计算卸载方法
CN112286677A (zh) 一种面向资源受限边缘云的物联网应用优化部署方法
Ullah et al. Task classification and scheduling based on K-means clustering for edge computing
CN111813506A (zh) 一种基于粒子群算法资源感知计算迁移方法、装置及介质
CN113590307B (zh) 边缘计算节点优化配置方法、装置及云计算中心
Wen et al. Load balancing job assignment for cluster-based cloud computing
WO2023188437A1 (ja) 制御装置、制御方法、及びプログラム
CN114064294B (zh) 移动边缘计算环境下的动态资源分配方法和***
Modarressi et al. Using task migration to improve non-contiguous processor allocation in NoC-based CMPs
CN115167981A (zh) 一种云网负载预测***、方法、电子设备及存储介质
Xu et al. A meta reinforcement learning-based virtual machine placement algorithm in mobile edge computing
JP6973292B2 (ja) Ｖｍ優先度制御システムおよびｖｍ優先度制御方法
CN114172558A (zh) 一种车辆网络中基于边缘计算和无人机集群协同的任务卸载方法
CN113190342A (zh) 用于云-边协同网络的多应用细粒度卸载的方法与***架构
Zhou et al. Dynamic computation offloading scheme for fog computing system with energy harvesting devices
CN110677301B (zh) 一种5g网络中多交换机单控制器软件定义传输控制方法
Huang et al. Intelligent task migration with deep Qlearning in multi‐access edge computing
CN116954866A (zh) 基于深度强化学习的边缘云下任务调度方法及***
CN116939044A (zh) 一种基于区块链技术的算力路由规划方法和装置
Mazumdar et al. Adaptive resource allocation for load balancing in cloud
CN110290556B (zh) 一种基于最优控制变分法的资源负载均衡调度方法
Alharbi et al. Optimizing jobs' completion time in cloud systems during virtual machine placement

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22935572

Country of ref document: EP

Kind code of ref document: A1