JP7347531B2 - 制御装置、制御方法及びプログラム - Google Patents
制御装置、制御方法及びプログラム Download PDFInfo
- Publication number
- JP7347531B2 JP7347531B2 JP2021553924A JP2021553924A JP7347531B2 JP 7347531 B2 JP7347531 B2 JP 7347531B2 JP 2021553924 A JP2021553924 A JP 2021553924A JP 2021553924 A JP2021553924 A JP 2021553924A JP 7347531 B2 JP7347531 B2 JP 7347531B2
- Authority
- JP
- Japan
- Prior art keywords
- network
- action
- state
- agent
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 25
- 230000009471 action Effects 0.000 claims description 48
- 230000006870 function Effects 0.000 claims description 22
- 230000002787 reinforcement Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 3
- 238000010187 selection method Methods 0.000 claims 2
- 239000003795 chemical substances by application Substances 0.000 description 43
- 238000012546 transfer Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000013543 active substance Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0895—Configuration of virtualised networks or elements, e.g. virtualised network function or OpenFlow elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/40—Bus networks
- H04L12/407—Bus networks with decentralised control
- H04L12/413—Bus networks with decentralised control with random access, e.g. carrier-sense multiple-access with collision detection [CSMA-CD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/40—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
- H04L41/5054—Automatic deployment of services triggered by the service manager, e.g. service implementation by automatic configuration of network components
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
まず、本実施形態に係るネットワーク制御装置100を含むシステムの全体構成について、図1を参照しながら説明する。図1は、本実施形態に係るネットワーク制御装置100を含むシステムの全体構成の一例を示す図である。
上述したように、本実施形態では、物理ネットワーク400のNW状態と最適なVN割当方法との関係をマルチエージェント深層強化学習により事前に学習しておくことで動的VN割当を実現する。そこで、以降では、マルチエージェント深層強化学習の構成例について説明する。なお、本実施形態では、一例として、深層強化学習の1つである深層Q学習又は深層Qネットワーク(DQN:Deep Q-Network)と呼ばれる手法を用いるものとする。
(2)Ut L>0.9又はUt S>0.9である場合、rt←rt-0.2
(3)VN再割当あり、かつ、「Ut L<0.6又はUt S<0.6」である場合、rt←rt-0.2
(4)VN再割当ありである場合、rt←rt+2(Et+1 NW-Et NW)
(5)上記の(1)~(4)以外の場合、rt=0
なお、「a←b」は、aをbで更新することを表す。
次に、本実施形態に係るネットワーク制御装置100のハードウェア構成について、図2を参照しながら説明する。図2は、本実施形態に係るネットワーク制御装置100のハードウェア構成の一例を示す図である。
次に、本実施形態に係る制御部200の機能構成について、図3を参照しながら説明する。図3は、本実施形態に係る制御部200の機能構成の一例を示す図である。
次に、動的VN割当を行う前に実行される事前学習処理について、図4を参照しながら説明する。図4は、本実施形態に係る事前学習処理の一例を示すフローチャートである。なお、図4のステップS101~ステップS106は、エピソードe=0からe=Eまで繰り返し実行される。ただし、所定の終了条件(例えば、rt=-1)となった場合には事前学習処理を終了する。
次に、ネットワークサービス提供中に実行される動的VN割当処理について、図5を参照しながら説明する。図5は、本実施形態に係る動的VN割当処理の一例を示すフローチャートである。以降のステップS201~ステップS204は、制御周期毎(つまり、タイムステップt毎)に繰り返し実行される。
20 転送装置
30 ユーザ端末
100 ネットワーク制御装置
101 外部I/F
101a 記録媒体
102 RAM
103 ROM
104 プロセッサ
105 通信I/F
106 補助記憶装置
200 制御部
201 初期化部
202 選択部
203 観測部
204 割当部
205 報酬計算部
206 学習部
207 設定命令部
300 記憶部
400 物理ネットワーク
Claims (7)
- 複数のネットワークサービスをそれぞれ提供するための複数の仮想ネットワークをマルチエージェント深層強化学習により物理ネットワーク上に動的に割り当てる制御装置であって、
時刻tにおいて、前記複数の仮想ネットワークのうち所定のグループに属する前記仮想ネットワークを前記物理ネットワーク上へ割り当てることを表す行動を実行するエージェントgk として、複数のエージェントの中から前記所定のグループに対応するエージェントを選択する選択手段と、
前記物理ネットワークのネットワーク構成情報と、前記物理ネットワークの物理リソース量を示すネットワーク観測情報と、前記ネットワークサービスのユーザ端末の通信行動によって発生した物理リソースの需要量を示すユーザ需要情報とを入力として、時刻tにおける状態stを観測する観測手段と、
将来にわたって受け取る報酬の総和の期待値を表す行動価値関数Qに基づいて、前記選択手段により選択されたエージェントgkが取り得る前記行動の中から行動at kを選択及び実行する割当手段と、
前記割当手段により選択及び実行された行動at kと、前記状態stと、前記観測手段により観測された時刻t+1における状態st+1とを用いて、時刻tにおける報酬rtを計算する報酬計算手段と、
1≦j≦tとして、前記行動aj kと前記状態sjと前記状態sj+1とを用いて、前記行動価値関数Qを更新する学習手段と、
を有することを特徴とする制御装置。 - 前記仮想ネットワークの総数をN個、前記エージェントの総数をM個として、
前記選択手段は、
N個の前記仮想ネットワークがN/M個ずつ分割されたグループのうちのk番目のグループに属する前記仮想ネットワークを割り当てることを表す行動を実行するエージェントgkを選択する、ことを特徴とする請求項1に記載の制御装置。 - 前記選択手段は、
k=t mod Mとして、前記エージェントgkを選択する、ことを特徴とする請求項2に記載の制御装置。 - 前記報酬計算手段は、
更に、前記行動aj kと前記状態sjと前記状態sj+1との組をリプレイ記憶に格納し、
前記学習手段は、
前記jをランダムに選択し、前記リプレイ記憶に格納されている前記組のうち、前記jに対応する組に含まれる前記行動aj kと前記状態sjと前記状態sj+1とを用いて、前記行動価値関数Qを更新する、ことを特徴とする請求項1乃至3の何れか一項に記載の制御装置。 - 前記報酬rtは、
前記物理ネットワークに含まれるサーバの利用率と前記物理ネットワークに含まれるリンクの利用率とで定義されるネットワーク利用効率が高いほど高い値となり、かつ、前記仮想ネットワークに対して割り当てられる前記物理リソースの変更回数が多いほど高い値となる、ことを特徴とする請求項1乃至4の何れか一項に記載の制御装置。 - 複数のネットワークサービスをそれぞれ提供するための複数の仮想ネットワークをマルチエージェント深層強化学習により物理ネットワーク上に動的に割り当てるコンピュータが、
時刻tにおいて、前記複数の仮想ネットワークのうち所定のグループに属する前記仮想ネットワークを前記物理ネットワーク上へ割り当てることを表す行動を実行するエージェントgk として、複数のエージェントの中から前記所定のグループに対応するエージェントを選択する選択手順と、
前記物理ネットワークのネットワーク構成情報と、前記物理ネットワークの物理リソース量を示すネットワーク観測情報と、前記ネットワークサービスのユーザ端末の通信行動によって発生した物理リソースの需要量を示すユーザ需要情報とを入力として、時刻tにおける状態stを観測する観測手順と、
将来にわたって受け取る報酬の総和の期待値を表す行動価値関数Qに基づいて、前記選択手順で選択されたエージェントgkが取り得る前記行動の中から行動at kを選択及び実行する割当手順と、
前記割当手順で選択及び実行された行動at kと、前記状態stと、観測された時刻t+1における状態st+1とを用いて、時刻tにおける報酬rtを計算する報酬計算手順と、
1≦j≦tとして、前記行動aj kと前記状態sjと前記状態sj+1とを用いて、前記行動価値関数Qを更新する学習手順と、
を実行することを特徴とする制御方法。 - コンピュータを、請求項1乃至5の何れか一項に記載の制御装置における各手段として機能させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/042338 WO2021084608A1 (ja) | 2019-10-29 | 2019-10-29 | 制御装置、制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021084608A1 JPWO2021084608A1 (ja) | 2021-05-06 |
JP7347531B2 true JP7347531B2 (ja) | 2023-09-20 |
Family
ID=75715891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021553924A Active JP7347531B2 (ja) | 2019-10-29 | 2019-10-29 | 制御装置、制御方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11765036B2 (ja) |
JP (1) | JP7347531B2 (ja) |
WO (1) | WO2021084608A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009289199A (ja) | 2008-05-30 | 2009-12-10 | Okinawa Institute Of Science & Technology | 制御器、制御方法および制御プログラム |
JP2010092247A (ja) | 2008-10-07 | 2010-04-22 | Internatl Business Mach Corp <Ibm> | 制御器、制御方法及び制御プログラム |
WO2019188941A1 (ja) | 2018-03-27 | 2019-10-03 | 日本製鉄株式会社 | 解析システム、解析方法、およびプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7844839B2 (en) * | 2006-12-07 | 2010-11-30 | Juniper Networks, Inc. | Distribution of network communications based on server power consumption |
US20140298349A1 (en) * | 2008-04-21 | 2014-10-02 | Adaptive Computing Enterprises, Inc. | System and Method for Managing Energy Consumption in a Compute Environment |
US8224993B1 (en) * | 2009-12-07 | 2012-07-17 | Amazon Technologies, Inc. | Managing power consumption in a data center |
CN106713055B (zh) * | 2017-02-27 | 2019-06-14 | 电子科技大学 | 一种虚拟cdn的节能部署方法 |
US10467040B2 (en) * | 2017-09-29 | 2019-11-05 | Nec Corporation | Intelligent self-configuring decision method for the cloud resources management and orchestration |
KR102604735B1 (ko) * | 2017-11-30 | 2023-11-22 | 삼성전자주식회사 | 전자장치에서 소모 전력 관리장치 및 방법 |
-
2019
- 2019-10-29 JP JP2021553924A patent/JP7347531B2/ja active Active
- 2019-10-29 US US17/769,945 patent/US11765036B2/en active Active
- 2019-10-29 WO PCT/JP2019/042338 patent/WO2021084608A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009289199A (ja) | 2008-05-30 | 2009-12-10 | Okinawa Institute Of Science & Technology | 制御器、制御方法および制御プログラム |
JP2010092247A (ja) | 2008-10-07 | 2010-04-22 | Internatl Business Mach Corp <Ibm> | 制御器、制御方法及び制御プログラム |
WO2019188941A1 (ja) | 2018-03-27 | 2019-10-03 | 日本製鉄株式会社 | 解析システム、解析方法、およびプログラム |
Non-Patent Citations (4)
Title |
---|
宮崎 和光 Kazuteru Miyazaki,マルチエージェント環境における間接報酬に関する一考察 A Study of an Indirect Reward on Multi-agent Environments,電気学会研究会資料 The Papers of Technical Meeting on "Systems",IEE Japan,日本,一般社団法人電気学会 The Institute of Electrical Engineers of Japan(IEEJ) ,2016年03月08日,P.1-6 |
島田 直希 NAOKI SHIMADA,Chainerで学ぶディープラーニング入門 初版 INTRODUCTION TO DEEP LEARNING WITH Cainer,日本,株式会社技術評論社 片岡 巌,2017年11月02日,P.170-181 |
鈴木 晃人 Akito SUZUKI,NFVにおける制御アルゴリズム間の連携による統合制御手法 A method of coordinating multiple control algorithms for NFV,電子情報通信学会技術研究報告 Vol.116 No.485 IEICE Technical Report,日本,一般社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers,2017年02月23日,P.37-42 |
鈴木 晃人 Akito Suzuki,深層強化学習による動的仮想ネットワーク割当手法の検討,電子情報通信学会2019年総合大会講演論文集 通信2 PROCEEDINGS OF THE 2019 IEICE GENERAL CONFERENCE,日本,一般社団法人電子情報通信学会,2019年03月05日,P.125,B-7-48 |
Also Published As
Publication number | Publication date |
---|---|
WO2021084608A1 (ja) | 2021-05-06 |
JPWO2021084608A1 (ja) | 2021-05-06 |
US11765036B2 (en) | 2023-09-19 |
US20220385536A1 (en) | 2022-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10904319B2 (en) | Dynamic deployment of an application based on micro-services | |
Shi et al. | MDP and machine learning-based cost-optimization of dynamic resource allocation for network function virtualization | |
WO2020162211A1 (ja) | 制御装置、制御方法及びプログラム | |
WO2019099281A1 (en) | Predictive rightsizing for virtual machines in cloud computing systems | |
US11520613B2 (en) | Dynamic flavor allocation | |
EP3616055A1 (en) | Cluster resource management in distributed computing systems | |
JP2009524135A (ja) | リソースのフリープールをモデル化するための方法 | |
JP2016126562A (ja) | 情報処理システム、管理装置、及び情報処理システムの制御方法 | |
US20230254214A1 (en) | Control apparatus, virtual network assignment method and program | |
JPWO2018142700A1 (ja) | 制御装置、制御方法、及びプログラム | |
JP5515889B2 (ja) | 仮想マシンシステム、自動マイグレーション方法および自動マイグレーションプログラム | |
CN115580882A (zh) | 动态网络切片资源分配方法及装置、存储介质及电子设备 | |
JP7347531B2 (ja) | 制御装置、制御方法及びプログラム | |
JP2017215933A (ja) | 情報処理装置、及び、負荷分散制御方法 | |
WO2012172588A1 (ja) | リクエスト振分け計算機、リクエスト振分け方法及びプログラム | |
JP6158751B2 (ja) | 計算機資源割当装置及び計算機資源割当プログラム | |
WO2020022018A1 (ja) | リソース割当装置、リソース管理システム、および、リソース割当プログラム | |
CN115061813A (zh) | 集群资源的管理方法、装置、设备及介质 | |
JP7509234B2 (ja) | 計算資源クラスタ管理装置、計算資源クラスタ管理方法、および、計算資源クラスタ管理プログラム | |
JP6374059B2 (ja) | コンピュータ資源配分決定方法、コンピュータ資源配分決定方法プログラムおよび制御用コンピュータ | |
JP2012181673A (ja) | リソース割当装置、リソース割当方法、およびプログラム | |
JP2021105772A (ja) | リソース利用量の予測管理システム、リソース利用量の予測管理方法 | |
JPWO2018225747A1 (ja) | 分散システム、データ管理装置、データ管理方法、及びコンピュータ読み取り可能な記録媒体 | |
Al-Masri et al. | Enhancing Resource Provisioning Across Edge-based Environments | |
JP6723951B2 (ja) | 仮想資源割当装置及び仮想資源割当方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220412 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A801 Effective date: 20220506 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20220506 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230821 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7347531 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |