JP7259978B2 - 制御装置、方法及びシステム - Google Patents
制御装置、方法及びシステム Download PDFInfo
- Publication number
- JP7259978B2 JP7259978B2 JP2021550731A JP2021550731A JP7259978B2 JP 7259978 B2 JP7259978 B2 JP 7259978B2 JP 2021550731 A JP2021550731 A JP 2021550731A JP 2021550731 A JP2021550731 A JP 2021550731A JP 7259978 B2 JP7259978 B2 JP 7259978B2
- Authority
- JP
- Japan
- Prior art keywords
- network
- learning
- action
- control
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
- H04L41/5003—Managing SLA; Interaction between SLA and QoS
- H04L41/5019—Ensuring fulfilment of SLA
- H04L41/5025—Ensuring fulfilment of SLA by proactively reacting to service quality change, e.g. by reconfiguration after service quality degradation or upgrade
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
Landscapes
- Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
第1の実施形態について、図面を用いてより詳細に説明する。
以下、Q学習について概説する。
制御装置20は、DQN(Deep Q Network)と称される深層学習(ディープラーニング)を使った強化学習の結果得られる学習モデルに基づきネットワークを制御してもよい。Q学習では、Qテーブルにより行動価値関数を表現しているが、DQNでは、ディープラーニングにより行動価値関数を表現する。DQNでは、最適行動価値関数を、ニューラルネットワークを使った近似関数により算出する。
端末10がドローンの場合、ネットワークの状態を示す指標(特徴量)として、例えば、ドローンからサーバ30へ向けて送信されるパケットの平均パケット到着間隔が選択される。サーバ30は、ドローンに対して制御パケット(制御コマンドを含むパケット)を送信する。当該制御パケットに対するドローンからの応答パケット(肯定応答、否定応答)の平均パケット到着間隔が特徴量として選択される。
上記説明では、報酬rt+1を決定する条件(基準)としてネットワークの定常性を用いる場合について説明したが、上記定常性に他の基準を加えて報酬rt+1を決定してもよい。ここでは、端末10がWEBカメラである場合を例に取り、報酬rt+1の決定に「ネットワークの定常性」以外の項目を考慮する場合について説明する。
上記では、1つの特徴量によりネットワークの定常性を判定したりする場合について説明したが、複数の特徴量によりネットワークの定常性の判定等が行われてもよい。以下、端末10がスマートフォンである場合を例に取り、ネットワークの定常性が複数の特徴量により判定される場合について説明する。
続いて、第2の実施形態について図面を参照して詳細に説明する。
[参考文献1]:国際公開第2019/044065号
なお、上記実施形態にて説明した通信ネットワークシステムの構成、動作等は例示であって、システムの構成等を限定する趣旨ではない。例えば、制御装置20は、ネットワークを制御する装置と学習モデルを生成する装置に分離されていてもよい。あるいは、学習情報(学習モデル)を記憶する記憶部205は、外部のデータベースサーバ等により実現されてもよい。即ち、本願開示は、学習手段、制御手段、記憶手段等を含むシステムとして実施されてもよい。
[付記1]
ネットワークを制御するための行動を学習する、学習部(101、204)と、
前記学習部(101、204)が生成した学習情報を記憶する、記憶部(102、205)と、を備え、
前記学習部(101、204)は、
前記ネットワークに対して行われた行動の報酬を、前記行動が行われた後のネットワークの定常性に基づき定める、制御装置(20、100)。
[付記2]
前記学習部(101、204)は、
前記行動が行われた後のネットワークが定常状態であれば、前記ネットワークに対して行われた行動に正の報酬を与え、
前記行動が行われた後のネットワークが非定常状態であれば、前記ネットワークに対して行われた行動に負の報酬を与える、付記1に記載の制御装置(20、100)。
[付記3]
前記学習部(101、204)は、
前記ネットワークに対して行動を起こしたことにより変動するネットワークの状態に関する時系列データに基づいて前記ネットワークの定常性を判定する、付記1又は2に記載の制御装置(20、100)。
[付記4]
前記学習部(101、204)は、前記ネットワークの状態を、前記ネットワークに流れるトラヒックを特徴付ける特徴量、ユーザ体感品質及び制御品質のうち少なくとも1つから推定する、付記3に記載の制御装置(20、100)。
[付記5]
前記学習部(101、204)が生成した学習モデルから得られる行動に基づき、前記ネットワークを制御する、制御部(203)をさらに備える、付記1乃至4のいずれか一つに記載の制御装置(20、100)。
[付記6]
ネットワークを制御するための行動を学習するステップと、
前記学習により生成された学習情報を記憶するステップと、
を含み、
前記学習するステップは、
前記ネットワークに対して行われた行動の報酬を、前記行動が行われた後のネットワークの定常性に基づき定める、方法。
[付記7]
前記学習するステップは、
前記行動が行われた後のネットワークが定常状態であれば、前記ネットワークに対して行われた行動に正の報酬を与え、
前記行動が行われた後のネットワークが非定常状態であれば、前記ネットワークに対して行われた行動に負の報酬を与える、付記6に記載の方法。
[付記8]
前記学習するステップは、
前記ネットワークに対して行動を起こしたことにより変動するネットワークの状態に関する時系列データに基づいて前記ネットワークの定常性を判定する、付記6又は7に記載の方法。
[付記9]
前記学習するステップは、前記ネットワークの状態を、前記ネットワークに流れるトラヒックを特徴付ける特徴量、ユーザ体感品質及び制御品質のうち少なくとも1つから推定する、付記8に記載の方法。
[付記10]
前記学習するステップにより生成された学習モデルから得られる行動に基づき、前記ネットワークを制御するステップをさらに含む、付記6乃至9のいずれか一つに記載の方法。
[付記11]
ネットワークを制御するための行動を学習する、学習手段(101、204)と、
前記学習手段が生成した学習情報を記憶する、記憶手段(102、205)と、を含み、
前記学習手段(101、204)は、
前記ネットワークに対して行われた行動の報酬を、前記行動が行われた後のネットワークの定常性に基づき定める、システム。
[付記12]
前記学習手段(101、204)は、
前記行動が行われた後のネットワークが定常状態であれば、前記ネットワークに対して行われた行動に正の報酬を与え、
前記行動が行われた後のネットワークが非定常状態であれば、前記ネットワークに対して行われた行動に負の報酬を与える、付記11に記載のシステム。
[付記13]
前記学習手段(101、204)は、
前記ネットワークに対して行動を起こしたことにより変動するネットワークの状態に関する時系列データに基づいて前記ネットワークの定常性を判定する、付記11又は12に記載のシステム。
[付記14]
前記学習手段(101、204)は、前記ネットワークの状態を、前記ネットワークに流れるトラヒックを特徴付ける特徴量、ユーザ体感品質及び制御品質のうち少なくとも1つから推定する、付記13に記載のシステム。
[付記15]
前記学習手段(101、204)が生成した学習モデルから得られる行動に基づき、前記ネットワークを制御する、制御手段(203)をさらに備える、付記11乃至14のいずれか一つに記載のシステム。
[付記16]
コンピュータ(311)に、
ネットワークを制御するための行動を学習する処理と、
前記学習により生成された学習情報を記憶する処理と、
を実行させ、
前記学習する処理は、
前記ネットワークに対して行われた行動の報酬を、前記行動が行われた後のネットワークの定常性に基づき定める、プログラム。
20、100 制御装置
30 サーバ
101 学習部
102、205 記憶部
201 パケット転送装置
202 特徴量算出部
203 ネットワーク制御部
204 強化学習実行部
311 プロセッサ
312 メモリ
313 入出力インターフェイス
314 通信インターフェイス
Claims (10)
- ネットワークを制御するための行動を学習する、学習手段と、
前記学習手段が生成した学習情報を記憶する、記憶手段と、を備え、
前記学習手段は、
前記ネットワークに対して行われた行動の報酬を、前記行動が行われた後のネットワークを介して提供されたアプリケーションの定常性に基づき定める、制御装置。 - ネットワークを制御するための行動を学習するステップと、
前記学習により生成された学習情報を記憶するステップと、
を含み、
前記学習するステップは、
前記ネットワークに対して行われた行動の報酬を、前記行動が行われた後のネットワークを介して提供されたアプリケーションの定常性に基づき定める、方法。 - 前記学習するステップは、
前記行動が行われた後のネットワークを介して提供された前記アプリケーションが定常状態であれば、前記ネットワークに対して行われた行動に正の報酬を与え、
前記行動が行われた後のネットワークを介して提供された前記アプリケーションが非定常状態であれば、前記ネットワークに対して行われた行動に負の報酬を与える、請求項2に記載の方法。 - 前記学習するステップは、
前記ネットワークに対して行動を起こしたことにより変動するネットワークを介して提供された前記アプリケーションの状態に関する時系列データに基づいて前記ネットワークを介して提供された前記アプリケーションの定常性を判定する、請求項2又は3に記載の方法。 - 前記学習するステップは、前記ネットワークを介して提供された前記アプリケーションの状態を、前記ネットワークに流れるトラヒックを特徴付ける特徴量、ユーザ体感品質及び制御品質のうち少なくとも1つから推定する、請求項4に記載の方法。
- 前記学習するステップにより生成された学習モデルから得られる行動に基づき、前記ネットワークを制御するステップをさらに含む、請求項2乃至5のいずれか一項に記載の方法。
- ネットワークを制御するための行動を学習する、学習手段と、
前記学習手段が生成した学習情報を記憶する、記憶手段と、を含み、
前記学習手段は、
前記ネットワークに対して行われた行動の報酬を、前記行動が行われた後のネットワークを介して提供されたアプリケーションの定常性に基づき定める、システム。 - 前記学習手段は、
前記行動が行われた後のネットワークを介して提供された前記アプリケーションが定常状態であれば、前記ネットワークに対して行われた行動に正の報酬を与え、
前記行動が行われた後のネットワークを介して提供された前記アプリケーションが非定常状態であれば、前記ネットワークに対して行われた行動に負の報酬を与える、請求項7に記載のシステム。 - 前記学習手段は、
前記ネットワークに対して行動を起こしたことにより変動するネットワークを介して提供された前記アプリケーションの状態に関する時系列データに基づいて前記ネットワークを介して提供された前記アプリケーションの定常性を判定する、請求項7又は8に記載のシステム。 - 前記学習手段は、前記ネットワークを介して提供された前記アプリケーションの状態を、前記ネットワークに流れるトラヒックを特徴付ける特徴量、ユーザ体感品質及び制御品質のうち少なくとも1つから推定する、請求項9に記載のシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/038454 WO2021064766A1 (ja) | 2019-09-30 | 2019-09-30 | 制御装置、方法及びシステム |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2021064766A1 JPWO2021064766A1 (ja) | 2021-04-08 |
JPWO2021064766A5 JPWO2021064766A5 (ja) | 2022-06-07 |
JP7259978B2 true JP7259978B2 (ja) | 2023-04-18 |
Family
ID=75336997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021550731A Active JP7259978B2 (ja) | 2019-09-30 | 2019-09-30 | 制御装置、方法及びシステム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220337489A1 (ja) |
JP (1) | JP7259978B2 (ja) |
WO (1) | WO2021064766A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11875478B2 (en) * | 2020-08-28 | 2024-01-16 | Nvidia Corporation | Dynamic image smoothing based on network conditions |
WO2023228256A1 (ja) * | 2022-05-23 | 2023-11-30 | 日本電信電話株式会社 | 体感品質劣化推定装置、機械学習方法、体感品質劣化推定方法及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009027303A (ja) | 2007-07-18 | 2009-02-05 | Univ Of Electro-Communications | 通信装置および通信方法 |
JP2013106202A (ja) | 2011-11-14 | 2013-05-30 | Fujitsu Ltd | パラメータ設定装置、コンピュータプログラム及びパラメータ設定方法 |
JP2019041338A (ja) | 2017-08-28 | 2019-03-14 | 日本電信電話株式会社 | 無線通信システム、無線通信方法および集中制御局 |
US20190141113A1 (en) | 2017-11-03 | 2019-05-09 | Salesforce.Com, Inc. | Simultaneous optimization of multiple tcp parameters to improve download outcomes for network-based mobile applications |
WO2019176997A1 (ja) | 2018-03-14 | 2019-09-19 | 日本電気株式会社 | トラヒック分析装置、方法及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5772345B2 (ja) * | 2011-07-25 | 2015-09-02 | 富士通株式会社 | パラメータ設定装置、コンピュータプログラム及びパラメータ設定方法 |
CN114884738A (zh) * | 2017-11-17 | 2022-08-09 | 华为技术有限公司 | 一种识别加密数据流的方法及装置 |
US11360757B1 (en) * | 2019-06-21 | 2022-06-14 | Amazon Technologies, Inc. | Request distribution and oversight for robotic devices |
-
2019
- 2019-09-30 JP JP2021550731A patent/JP7259978B2/ja active Active
- 2019-09-30 US US17/641,920 patent/US20220337489A1/en active Pending
- 2019-09-30 WO PCT/JP2019/038454 patent/WO2021064766A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009027303A (ja) | 2007-07-18 | 2009-02-05 | Univ Of Electro-Communications | 通信装置および通信方法 |
JP2013106202A (ja) | 2011-11-14 | 2013-05-30 | Fujitsu Ltd | パラメータ設定装置、コンピュータプログラム及びパラメータ設定方法 |
JP2019041338A (ja) | 2017-08-28 | 2019-03-14 | 日本電信電話株式会社 | 無線通信システム、無線通信方法および集中制御局 |
US20190141113A1 (en) | 2017-11-03 | 2019-05-09 | Salesforce.Com, Inc. | Simultaneous optimization of multiple tcp parameters to improve download outcomes for network-based mobile applications |
WO2019176997A1 (ja) | 2018-03-14 | 2019-09-19 | 日本電気株式会社 | トラヒック分析装置、方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20220337489A1 (en) | 2022-10-20 |
WO2021064766A1 (ja) | 2021-04-08 |
JPWO2021064766A1 (ja) | 2021-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jay et al. | A deep reinforcement learning perspective on internet congestion control | |
Jay et al. | Internet congestion control via deep reinforcement learning | |
JP7259978B2 (ja) | 制御装置、方法及びシステム | |
CN107846371B (zh) | 一种多媒体业务QoE资源分配方法 | |
CN112667400B (zh) | 边缘自治中心管控的边云资源调度方法、装置及*** | |
CN113778691B (zh) | 一种任务迁移决策的方法、装置及*** | |
Math et al. | Reliable federated learning systems based on intelligent resource sharing scheme for big data internet of things | |
CN111090631A (zh) | 分布式环境下的信息共享方法、装置和电子设备 | |
JP7251646B2 (ja) | 制御装置、方法及びシステム | |
CN111211984B (zh) | 优化cdn网络的方法、装置及电子设备 | |
Tosounidis et al. | Deep Q-learning for load balancing traffic in SDN networks | |
CN114281718A (zh) | 一种工业互联网边缘服务缓存决策方法及*** | |
CN114090108A (zh) | 算力任务执行方法、装置、电子设备及存储介质 | |
GB2603852A (en) | Performing network congestion control utilizing reinforcement learning | |
WO2023048609A1 (en) | Device and method for scaling microservices | |
JP7251647B2 (ja) | 制御装置、制御方法及びシステム | |
JP7347525B2 (ja) | システム、方法及び制御装置 | |
Donassolo et al. | Online reconfiguration of IoT applications in the fog: the information-coordination trade-off | |
Wang et al. | Deep reinforcement learning based resource allocation for cloud native wireless network | |
CN114706433A (zh) | 设备控制方法、装置以及电子设备 | |
JP7231049B2 (ja) | システム、方法及び制御装置 | |
US20220019871A1 (en) | Method for Adapting a Software Application Executed in a Gateway | |
Luo et al. | A novel Congestion Control algorithm based on inverse reinforcement learning with parallel training | |
Çetinkaya et al. | Offline Reinforcement Learning for Bandwidth Estimation in RTC Using a Fast Actor and Not-So-Furious Critic | |
Saleem et al. | Quality enhanced multimedia content delivery for mobile cloud with deep reinforcement learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220328 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220328 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221206 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230320 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7259978 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |