JP7388634B2 - 無線通信システムの最適化方法、無線通信システムおよび無線通信システム用プログラム - Google Patents
無線通信システムの最適化方法、無線通信システムおよび無線通信システム用プログラム Download PDFInfo
- Publication number
- JP7388634B2 JP7388634B2 JP2020122301A JP2020122301A JP7388634B2 JP 7388634 B2 JP7388634 B2 JP 7388634B2 JP 2020122301 A JP2020122301 A JP 2020122301A JP 2020122301 A JP2020122301 A JP 2020122301A JP 7388634 B2 JP7388634 B2 JP 7388634B2
- Authority
- JP
- Japan
- Prior art keywords
- wireless communication
- communication systems
- communication system
- environment
- wireless
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims description 220
- 238000000034 method Methods 0.000 title claims description 43
- 238000005457 optimization Methods 0.000 title claims description 23
- 230000002787 reinforcement Effects 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 19
- 230000006399 behavior Effects 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims 2
- 230000009471 action Effects 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 238000007796 conventional method Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000060 site-specific infrared dichroism spectroscopy Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Mobile Radio Communication Systems (AREA)
Description
1.位置情報や温度などのセンサ情報を定期的に伝送する無線通信システム
2.監視カメラを使用して動画を伝送する無線通信システム
3.山間部や海洋などの広域な範囲でネットワーク構築が必要な無線通信システム
[実施の形態1の構成]
本発明の実施形態1の無線通信システムは、図1に示す構成例により実現することができる。図1において、中段に示す無線通信端末1~Nは、夫々Access Point(AP)として機能する。これらは、図1の下段に示す無線通信端末N+1~N+Mと通信することができる。無線通信端末N+1~N+Mは、スマートフォン、IoT用のセンサ、スマートメータ等で構成されている。このように、図1に示す構成には、同じ周波数リソースを共用するが、規格や仕様が異なる複数の無線通信システムが含まれている。
1.エージェント12は、環境14から状態S(t)と報酬R(t)を受け取り、方策πに基づいて決定した行動A(t)を環境14に返す。
2.環境14は、エージェント12から受け取った行動A(t)と現在の状態S(t)とに基づいて次の状態S(t+1)に変化し、遷移後の状態S(t+1)と報酬R(t+1)をエージェント12に提供する。尚、報酬Rは、その直前の行動Aの良し悪しを示すスカラー量である。
図4は、本実施形態の無線通信システムにおいて実施される強化学習のモデルを示す。本実施形態では、条件の異なる複数の無線通信システムを対象とした最適化が図られる。複数の無線通信システムは、夫々の条件に基づいてグループ化することができる。図4に示すモデルでは、3つのグループが存在し、グループ毎にエージェントが存在している。
1.無線通信端末1については、センサネットワークで親機として利用するため、「多数の端末(センサ)からの上り送信成功率の最大化」が要求条件となる。
2.無線通信端末2については、広域センサネットワークで利用するため、「伝送到達距離の最大化」が要求条件となる。
3.無線通信端末3および4については、データ配信で親機として使用するため、「配下の端末への下りスループットの最大化」が要求条件となる。
次に、図1と共に図9を参照して、本発明の実施の形態2について説明する。本実施形態の無線通信システムは、実施の形態1の場合と同様に、図1に示す構成により実現することができる。
12,12-1,12-2,12-3 エージェント
14,14-1,14-2,14-3 環境
16 環境選択部
18 エージェント選択部
Claims (7)
- 異なる複数の無線通信システムが同じ周波数リソースを共用しつつ混在する無線通信環境において実行される無線通信システムの最適化方法であって、
前記複数の無線通信システムの夫々に属する一つ以上の無線通信端末から、無線通信に関する状態を含む無線環境情報を検出するステップと、
前記複数の無線通信システムの夫々に課される条件に対応して準備されたエージェントの夫々に、当該エージェントに対応する前記条件が課される無線通信システムに属する前記無線通信端末から検出した前記無線環境情報を提供するステップと、
前記エージェントの夫々を対象として、前記条件および前記無線環境情報を適用させた強化学習を計算機に実施させるステップと、
前記複数の無線通信システムの夫々について、前記無線通信環境の下で当該無線通信システムに課される前記条件を満たすための制御パラメータを、前記強化学習の結果に基づいて計算機に算出させるステップと、
前記制御パラメータを、対応する無線通信システムに属する前記無線通信端末に提供するステップと、
を含み、
前記条件には、互いに異なる複数の条件が含まれる無線通信システムの最適化方法。 - 前記複数の無線通信システムは、異なる条件が課される無線通信システムを含んでおり、
前記強化学習では、前記エージェントの報酬、状態および行動を、同一の条件毎に設定して最適化が目指される請求項1に記載の最適化方法。 - 前記複数の無線通信システムの夫々に課される条件は、複数の要求条件を含んでおり、
前記強化学習では、前記無線通信システムの夫々について最も優先されるべき要求条件を、対応するエージェントに適用させて最適化が目指される請求項2に記載の最適化方法。 - 前記無線通信環境には、異なる無線通信規格に準拠する複数の無線通信システムが混在しており、
前記強化学習では、前記無線通信規格毎に異なる条件を設定して最適化が目指される請求項2に記載の最適化方法。 - 前記無線通信環境には、異なる複数の環境が混在しており、
前記強化学習では、前記エージェントの夫々に対応する環境評価を、前記複数の環境の夫々毎に設定して最適化が目指される請求項1に記載の最適化方法。 - 異なる複数の無線通信システムが同じ周波数リソースを共用しつつ混在する無線通信環境において動作する無線通信システムであって、
前記複数の無線通信システムの夫々から無線環境情報を受け取ると共に、当該複数の無線通信システムの夫々に制御情報を提供する制御サーバを備え、
当該制御サーバは、
前記複数の無線通信システムの夫々に属する一つ以上の無線通信端末から、無線通信に関する状態を含む無線環境情報を検出する処理と、
前記複数の無線通信システムの夫々に課される条件に対応して準備されたエージェントの夫々に、当該エージェントに対応する前記条件が課される無線通信システムに属する前記無線通信端末から検出した前記無線環境情報を提供する処理と、
前記エージェントの夫々を対象として、前記条件および前記無線環境情報を適用させた強化学習を実施する処理と、
前記複数の無線通信システムの夫々について、前記無線通信環境の下で当該無線通信システムに課される前記条件を満たすための制御パラメータを、前記強化学習の結果に基づいて算出する処理と、
前記制御パラメータを、対応する無線通信システムに属する前記無線通信端末に提供する処理と、
を実行し、
前記条件には、互いに異なる複数の条件が含まれる無線通信システム。 - 異なる複数の無線通信システムが同じ周波数リソースを共用しつつ混在する無線通信環境において前記複数の無線通信システムの夫々から無線環境情報を受け取ると共に、当該複数の無線通信システムの夫々に制御情報を提供する制御サーバに実装される無線通信システム用プログラムであって、
当該制御サーバに、
前記複数の無線通信システムの夫々に属する一つ以上の無線通信端末から、無線通信に関する状態を含む無線環境情報を検出する処理と、
前記複数の無線通信システムの夫々に課される条件に対応して準備されたエージェントの夫々に、当該エージェントに対応する前記条件が課される無線通信システムに属する前記無線通信端末から検出した前記無線環境情報を提供する処理と、
前記エージェントの夫々を対象として、前記条件および前記無線環境情報を適用させた強化学習を実施する処理と、
前記複数の無線通信システムの夫々について、前記無線通信環境の下での当該無線通信システムに課される前記条件を満たすための制御パラメータを、前記強化学習の結果に基づいて算出する処理と、
前記制御パラメータを、対応する無線通信システムに属する前記無線通信端末に提供する処理と、を実行させるためのものであり、
前記条件には、互いに異なる複数の条件が含まれる無線通信システム用プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020122301A JP7388634B2 (ja) | 2020-07-16 | 2020-07-16 | 無線通信システムの最適化方法、無線通信システムおよび無線通信システム用プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020122301A JP7388634B2 (ja) | 2020-07-16 | 2020-07-16 | 無線通信システムの最適化方法、無線通信システムおよび無線通信システム用プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022018880A JP2022018880A (ja) | 2022-01-27 |
JP7388634B2 true JP7388634B2 (ja) | 2023-11-29 |
Family
ID=80203454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020122301A Active JP7388634B2 (ja) | 2020-07-16 | 2020-07-16 | 無線通信システムの最適化方法、無線通信システムおよび無線通信システム用プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7388634B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023162085A1 (ja) * | 2022-02-24 | 2023-08-31 | 株式会社Nttドコモ | 通信装置及び無線通信方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013106202A (ja) | 2011-11-14 | 2013-05-30 | Fujitsu Ltd | パラメータ設定装置、コンピュータプログラム及びパラメータ設定方法 |
JP2019208188A (ja) | 2018-05-30 | 2019-12-05 | 日本電信電話株式会社 | 通信システム、トラヒック制御装置及びトラヒック制御方法 |
WO2020031757A1 (ja) | 2018-08-10 | 2020-02-13 | シャープ株式会社 | 端末装置、および、方法 |
JP2020031250A (ja) | 2016-12-20 | 2020-02-27 | シャープ株式会社 | 端末装置、基地局装置、通信方法、および、集積回路 |
JP2020516125A (ja) | 2017-03-22 | 2020-05-28 | エルジー エレクトロニクス インコーポレイティド | 無線通信システムにおける端末の動作方法及びそれを支援する装置 |
WO2020244905A1 (en) | 2019-06-07 | 2020-12-10 | Nokia Solutions And Networks Oy | Providing information |
-
2020
- 2020-07-16 JP JP2020122301A patent/JP7388634B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013106202A (ja) | 2011-11-14 | 2013-05-30 | Fujitsu Ltd | パラメータ設定装置、コンピュータプログラム及びパラメータ設定方法 |
JP2020031250A (ja) | 2016-12-20 | 2020-02-27 | シャープ株式会社 | 端末装置、基地局装置、通信方法、および、集積回路 |
JP2020516125A (ja) | 2017-03-22 | 2020-05-28 | エルジー エレクトロニクス インコーポレイティド | 無線通信システムにおける端末の動作方法及びそれを支援する装置 |
JP2019208188A (ja) | 2018-05-30 | 2019-12-05 | 日本電信電話株式会社 | 通信システム、トラヒック制御装置及びトラヒック制御方法 |
WO2020031757A1 (ja) | 2018-08-10 | 2020-02-13 | シャープ株式会社 | 端末装置、および、方法 |
WO2020244905A1 (en) | 2019-06-07 | 2020-12-10 | Nokia Solutions And Networks Oy | Providing information |
Non-Patent Citations (1)
Title |
---|
相原 直紀 (et al.),ニューラルネットワークに基づくQ学習を用いた無線リソース割り当て手法 (Wireless Resource Allocation Using Q-Learning Based on Neural Network),電子情報通信学会技術研究報告 [online],日本,一般社団法人電子情報通信学会,2019年01月24日,Vol.118 No.435,第109頁-第114頁 |
Also Published As
Publication number | Publication date |
---|---|
JP2022018880A (ja) | 2022-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2043398B1 (en) | Method for reducing inter-cell interference in wireless ofdma networks | |
Gupta et al. | Application aware networks' resource selection decision making technique using group mobility in vehicular cognitive radio networks | |
Pajarinen et al. | Optimizing spatial and temporal reuse in wireless networks by decentralized partially observable Markov decision processes | |
CN106211183B (zh) | 一种基于业务合作的自组织微蜂窝联盟机会频谱接入方法 | |
Balakrishnan et al. | Deep reinforcement learning based traffic-and channel-aware OFDMA resource allocation | |
JP7388634B2 (ja) | 無線通信システムの最適化方法、無線通信システムおよび無線通信システム用プログラム | |
CN111741450A (zh) | 网络流量预测方法、装置和电子设备 | |
Iqbal et al. | GWINs: Group-based medium access for large-scale wireless powered IoT networks | |
Huang et al. | Game theoretic issues in cognitive radio systems | |
Shi et al. | Deep reinforcement learning for 5G radio access network slicing with spectrum coexistence | |
Tosh et al. | Heterogeneous access network (s) selection in multi-interface radio devices | |
Giri Prasad et al. | Group based multi-channel synchronized spectrum sensing in cognitive radio network with 5G | |
Tekin et al. | An experts learning approach to mobile service offloading | |
JP7385869B2 (ja) | 無線通信システムの最適化方法、無線通信システムおよび無線通信システム用プログラム | |
Anjum et al. | Quality-of-service-aware weighted-fair medium access control protocol for coexisting cognitive radio networks | |
Xie et al. | A novel collision probability based adaptive contention windows adjustment for QoS fairness on ad hoc wireless networks | |
US8098637B1 (en) | Load balancing in wireless local area networks | |
Fernandes et al. | Exploring the use of control packets in LoRa medium access: A scalability analysis | |
Oklander et al. | Modeling and analysis of system dynamics and state estimation in cognitive radio networks | |
CN105764121A (zh) | 一种蜂窝流量卸载网络中基于动态排序的设备与基站连接方法 | |
JP6842759B2 (ja) | 信号伝送方法 | |
Sun et al. | Preamble slice orderly queue access scheme in cell-free dense communication systems | |
CN110233762B (zh) | 一种利用mab提升全双工csma网络吞吐量的方法 | |
CN114630333B (zh) | 一种认知卫星通信中多参数统计学习决策方法 | |
WO2024013815A1 (ja) | 無線通信システム、無線通信方法、集中制御装置及び集中制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200722 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220728 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231031 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231107 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7388634 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |