TWI714496B - 無線電力驅動通訊網路的強化學習通訊時間分配方法及基地台 - Google Patents

無線電力驅動通訊網路的強化學習通訊時間分配方法及基地台 Download PDF

Info

Publication number
TWI714496B
TWI714496B TW109112410A TW109112410A TWI714496B TW I714496 B TWI714496 B TW I714496B TW 109112410 A TW109112410 A TW 109112410A TW 109112410 A TW109112410 A TW 109112410A TW I714496 B TWI714496 B TW I714496B
Authority
TW
Taiwan
Prior art keywords
communication
time block
time
communication node
base station
Prior art date
Application number
TW109112410A
Other languages
English (en)
Other versions
TW202139076A (zh
Inventor
邱偉育
蔡松佑
Original Assignee
國立清華大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立清華大學 filed Critical 國立清華大學
Priority to TW109112410A priority Critical patent/TWI714496B/zh
Priority to US16/894,894 priority patent/US11323167B2/en
Application granted granted Critical
Publication of TWI714496B publication Critical patent/TWI714496B/zh
Publication of TW202139076A publication Critical patent/TW202139076A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0613—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission
    • H04B7/0615—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal
    • H04B7/0619—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station using simultaneous transmission of weighted versions of same signal using feedback from receiving side
    • H04B7/0621—Feedback content
    • H04B7/0634—Antenna weights or vector/matrix coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0413—MIMO systems
    • H04B7/0426—Power distribution
    • H04B7/0434—Power distribution using multiple eigenmodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0413—MIMO systems
    • H04B7/0417—Feedback systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0413—MIMO systems
    • H04B7/0426—Power distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/003—Arrangements for allocating sub-channels of the transmission path
    • H04L5/0078—Timing of allocation
    • H04L5/0082—Timing of allocation at predetermined intervals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Power Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本發明提供一種無線電力驅動通訊網路的強化學習通訊時間分配方法及基地台。所述方法包括：依據關聯於通訊節點的總估計吞吐量的目標函數決定對應於第t個時間區塊的通訊時間分配；要求各通訊節點在第t個時間區塊中依據對應的通訊時間區間執行特定通訊行為；取得各通訊節點在第t個時間區塊中的實際吞吐量；依據各通訊節點在第t個時間區塊中的實際吞吐量、權重向量及估計吞吐量產生各通訊節點在第t+1個時間區塊中的權重向量。

Description

無線電力驅動通訊網路的強化學習通訊時間分配方法及基地台
本發明是有關於一種通訊時間分配方法，且特別是有關於一種無線電力驅動通訊網路（Wireless Powered Communication Network，WPCN）的強化學習通訊時間分配方法及基地台。
先前WPCN的傳輸吞吐量最佳化多將問題轉化為凸函數問題（convex problems），並利用Lagrange乘數（multiplier）或凸函數最佳化演算法（convex optimization algorithms）求解。然而，這些方法須假設所有通道參數（例如通道增益、衰減等）為已知。
然而，實際上的通道參數會隨時間、基地台位置或通訊節點位置而改變，因此若基地台及各通訊節點的通訊時間無法得到動態調整，將可能使得WPCN的總吞吐量大幅下降。
有鑑於此，本發明提供一種無線電力驅動通訊網路的強化學習通訊時間分配方法及基地台，其可用於解決上述技術問題。
本發明提供一種無線電力驅動通訊網路的強化學習通訊時間分配方法，適於一無線電力驅動通訊網路中的一基地台，其中基地台管理無線電力驅動通訊網路中的多個通訊節點，所述方法包括：取得各通訊節點在第t個時間區塊中的一權重向量，並模型化各通訊節點在所述第t個時間區塊中的一特徵向量，其中各通訊節點在所述第t個時間區塊的特徵向量關聯於各通訊節點在所述第t個時間區塊中的一通訊時間區間；基於各通訊節點在所述第t個時間區塊中的權重向量及特徵向量模型化各通訊節點在所述第t個時間區塊中的一估計吞吐量，並據以模型化前述通訊節點在所述第t個時間區塊中的一總估計吞吐量；依據關聯於總估計吞吐量的一目標函數決定對應於所述第t個時間區塊的一通訊時間分配，其中通訊時間分配包括基地台及前述通訊節點個別在所述第t個時間區塊中的通訊時間區間，且通訊時間分配滿足至少一限制條件；將所述第t個時間區塊的通訊時間分配通知前述通訊節點，並要求各通訊節點在所述第t個時間區塊中依據對應的通訊時間區間執行一特定通訊行為；取得各通訊節點在所述第t個時間區塊中的一實際吞吐量；依據各通訊節點在所述第t個時間區塊中的實際吞吐量、權重向量及估計吞吐量產生各通訊節點在第t+1個時間區塊中的權重向量。
本發明提供一種基地台，其屬於一無線電力驅動通訊網路，並管理無線電力驅動通訊網路中的多個通訊節點，基地台經配置以：取得各通訊節點在第t個時間區塊中的一權重向量，並模型化各通訊節點在所述第t個時間區塊中的一特徵向量，其中各通訊節點在所述第t個時間區塊的特徵向量關聯於各通訊節點在所述第t個時間區塊中的一通訊時間區間；基於各通訊節點在所述第t個時間區塊中的權重向量及特徵向量模型化各通訊節點在所述第t個時間區塊中的一估計吞吐量，並據以模型化前述通訊節點在所述第t個時間區塊中的一總估計吞吐量；依據關聯於總估計吞吐量的一目標函數決定對應於所述第t個時間區塊的一通訊時間分配，其中通訊時間分配包括基地台及前述通訊節點個別在所述第t個時間區塊中的通訊時間區間，且通訊時間分配滿足至少一限制條件；將所述第t個時間區塊的通訊時間分配通知前述通訊節點，並要求各通訊節點在所述第t個時間區塊中依據對應的通訊時間區間執行一特定通訊行為；取得各通訊節點在所述第t個時間區塊中的一實際吞吐量；依據各通訊節點在所述第t個時間區塊中的實際吞吐量、權重向量及估計吞吐量產生各通訊節點在第t+1個時間區塊中的權重向量。
請參照圖1，其是依據本發明之一實施例繪示的WPCN系統示意圖。如圖1所示，WPCN系統100包括基地台110及多個通訊節點121~12N（N為通訊節點的總數），其中基地台110可用於管理通訊節點121~12N。在一些實施例中，基地台110可用於（同時）傳遞能量
Figure 02_image001
至通訊節點121~12N，以對通訊節點121~12N進行充電。另一方面，通訊節點121~12N可在所分配的通訊時間區間分別發送資料
Figure 02_image003
~
Figure 02_image005
至基地台110，但可不限於此。
在本發明的實施例中，WPCN系統100係假設為基於先獲取能量再傳送資料協定（harvest-then-transmit protocol）運作。亦即，在一時間區塊（time block）中，基地台110將先對各通訊裝置121~12N進行充電（即，能量獲取（energy harvest）），之後再由各通訊裝置121~12N在對應的通訊時間區間內傳送資料至基地台110。為便於說明，基地台110在第t個時間區塊中對各通訊裝置121~12N進行充電的通訊時間區間表示為
Figure 02_image007
（其大於等於0），而通訊節點121~12N在第t個時間區間內所佔用的總傳輸時間表示為
Figure 02_image009
，其中
Figure 02_image007
與
Figure 02_image009
的總和假設為一個時間區塊的長度。在一實施例中，為便於說明，假設一個時間區塊的長度為1（即
Figure 02_image007
+
Figure 02_image009
=1），但可不限於此。
另外，通訊節點121~12N中的第n個通訊節點（以下以通訊節點12n代稱）在第t個時間區間中從基地台110獲取能量（即，被基地台110充電）的時間以
Figure 02_image011
表示，而通訊節點12n在第t個時間區間中的通訊時間區間以
Figure 02_image013
表示。
在不同的實施例中，
Figure 02_image007
、
Figure 02_image009
、
Figure 02_image011
及
Figure 02_image013
的態樣會依WPCN系統100的組態而有所不同，以下將另輔以圖2A至圖2D作進一步說明。
請參照圖2A，其是依據本發明第一實施例繪示的WPCN系統示意圖。在第一實施例中，假設基地台110僅具有1根天線，因此基地台110同一時間僅能傳遞能量或從通訊裝置121~12N的其中之一接收資料。另外，假設第t個時間區塊被均勻分配予基地台110及通訊裝置121~12N，因此通訊裝置121~12N的
Figure 02_image015
~
Figure 02_image017
及基地台110的
Figure 02_image019
可皆相等，且
Figure 02_image009
可以是
Figure 02_image021
~
Figure 02_image023
的總和，如圖2A所示。
請參照圖2B，其是依據本發明第二實施例繪示的WPCN系統示意圖。在第二實施例中，假設基地台110具有2根天線，亦即基地台110可同時以此二天線分別進行向通訊節點121~12N傳送能量及從通訊節點121~12N之一接收資料。
另，假設各通訊節點121~12N具有睡眠模式，亦即通訊節點12n在對應的
Figure 02_image011
之後即不會再從基地台110獲取能量。因此，對於通訊節點121而言，其對應的
Figure 02_image025
即為
Figure 02_image007
，而對於其他的通訊節點12n而言，其對應的
Figure 02_image027
可表示為
Figure 02_image029
。此外，
Figure 02_image009
仍可以是
Figure 02_image021
~
Figure 02_image023
的總和，如圖2B所示。
請參照圖2C，其是依據本發明第三實施例繪示的WPCN系統示意圖。在第三實施例中，與第二實施例之間的差別僅在於第三實施例中的通訊節點121~12N皆不具有睡眠模式，亦即通訊節點12n在對應的
Figure 02_image011
之後仍會從基地台110繼續獲取能量。因此，對於通訊節點12n而言，其對應的
Figure 02_image027
可表示為
Figure 02_image031
。此外，
Figure 02_image009
仍可以是
Figure 02_image021
~
Figure 02_image023
的總和，如圖2C所示。
請參照圖2D，其是依據本發明第四實施例繪示的WPCN系統示意圖。在第四實施例中，假設基地台110具有N根天線，因此基地台110可同時接收通訊節點121~12N所發送的資料。在此情況下，通訊裝置121~12N的
Figure 02_image015
~
Figure 02_image033
及基地台110的
Figure 02_image019
可皆相等，且
Figure 02_image021
~
Figure 02_image023
與
Figure 02_image009
亦可皆相等，如圖2D所示。
在習知技術中，若欲取得基地台110及通訊節點121~12N在第t個時間區塊內的最佳通訊時間分配（基地台110及通訊節點121~12N在第t個時間區塊內的通訊時間區間，其可表徵為
Figure 02_image035
），一般須對以上第一至第四實施例所示的WPCN系統架構個別採用不同的演算法方能順利取得（且還需已知相關的通道參數），並無法以單一套演算法即適用於第一至第四實施例所示的WPCN系統架構。
然而，本發明提出的方法除了可在通道參數未知的情況下找出基地台110及通訊節點121~12N在第t個時間區塊內的最佳通訊時間分配（即
Figure 02_image037
）之外，還可廣泛地適用於上述第一至第四實施例的WPCN系統架構。以下將對本發明的方法作進一步說明。
請參照圖3，其是依據本發明之一實施例繪示的WPCN的通訊時間分配方法流程圖。本實施例的方法可由圖1的基地台110執行，以下即搭配圖1所示的元件說明圖3各步驟的細節。
首先，在步驟S210中，基地台110可取得各通訊節點121~12N在第t個時間區塊中的權重向量，並模型化各通訊節點121~12n在所述第t個時間區塊中的特徵向量。
在本發明的實施例中，對於通訊節點12n而言，其在第t個時間區塊中的權重向量及特徵向量分別可表示為
Figure 02_image039
及
Figure 02_image041
，其中
Figure 02_image041
可關聯於通訊節點12n在第t個時間區塊中的通訊時間區間。
在一實施例中，
Figure 02_image043
，且
Figure 02_image045
，其中D為
Figure 02_image039
及
Figure 02_image041
的維度。在本發明的實施例中，步驟S210的細節可參照相關的現有技術文獻（例如「 R. S. Sutton and A. G. Barto, Reinforcement Learning: An Introduction,2nd ed. Cambridge, Massachusetts, London, England: MIT Press, 2018」），於此不另贅述。
概略而言，在本發明的實施例中，
Figure 02_image039
可藉由更新
Figure 02_image047
而得，而相關的更新機制將在之後詳述。另外，對於第1個時間區塊而言，其對應的
Figure 02_image049
可由設計者依考量而產生（例如隨機產生等），但可不限於此。
接著，在步驟S220中，基地台110可基於各通訊節點121~12N在第t個時間區塊中的權重向量及特徵向量模型化各通訊節點121~12N在第t個時間區塊中的估計吞吐量，並據以模型化通訊節點121~12N在第t個時間區塊中的總估計吞吐量。
在一實施例中，各通訊節點121~12N在第t個時間區塊中的估計吞吐量可表示為
Figure 02_image051
，且其可模型化為
Figure 02_image053
。另外，通訊節點121~12N在第t個時間區塊中的總估計吞吐量可表示為
Figure 02_image055
，而其可相應地模型化為
Figure 02_image057
，但可不限於此。
在其他實施例中，上述總估計吞吐量（即，
Figure 02_image055
）還可依設計者的考量而以不同的方式進行模型化。例如，習知的WPCN相關文獻並無考量各通訊節點121~12N的電池壽命，然而當電池壽命終了，整個WPCN將無法繼續使用。因此，假設設計者欲令所決定的
Figure 02_image037
能夠進一步考量並延長各通訊節點121~12N的電池壽命，則
Figure 02_image055
例如可相應地調整為
Figure 02_image059
，其中，
Figure 02_image061
為一權重係數，而
Figure 02_image063
為通訊節點12n在第t個時間區塊中所獲得的電量。在本發明的實施例中，
Figure 02_image061
及
Figure 02_image063
的相關說明可參考相關的現有技術文獻（例如「 P. Shen, M. Ouyang, L. Lu, J. Li, and X. Feng, “The co-estimation of state of charge, state of health, and state of function for lithium-ion batteries in electric vehicles,” IEEE Trans. Veh. Technol., vol. 67, no. 1,pp. 92–103, Jan. 2018」），故其細節於此不另贅述。
之後，在步驟S330中，基地台110可依據關聯於總估計吞吐量（即，
Figure 02_image055
）的目標函數決定對應於第t個時間區塊的通訊時間分配（即，
Figure 02_image037
）。
在一實施例中，上述目標函數例如包括
Figure 02_image065
（即，最大化
Figure 02_image055
），且上述限制條件例如包括：「
Figure 02_image067
」、「
Figure 02_image069
」及「
Figure 02_image071
」，但可不限於此。
在其他實施例中，上述目標函數及限制條件可依設計者的考量而進行調整。舉例而言，習知WPCN文獻較少探討各通訊節點121~12N的傳輸公平性的問題，然而在WPCN中，若無考量到傳輸公平性，則在多個通訊節點的情況下，距離基地台110較遠的通訊節點僅能獲得少量傳輸時間，進而可能導致距離較遠的通訊節點的吞吐量遠少於其他距離較近的通訊節點。
因此，在一些實施例中，上述限制條件還可進一步包括「
Figure 02_image073
」，其中
Figure 02_image075
為通訊節點12n的吞吐量下限值。如此一來，基地台110所取得的
Figure 02_image037
即可進一步考量並保證通訊節點121~12N之間的傳輸公平性，但可不限於此。
在本發明的實施例中，透過步驟S330所取得的
Figure 02_image037
可理解為滿足上述限制條件且可最大化
Figure 02_image055
的最佳通訊時間分配。為便於說明，以下將以
Figure 02_image077
代稱步驟S330中所取得的
Figure 02_image037
，但可不限於此。
此外，在一些實施例中，為避免所取得的
Figure 02_image037
出現過度擬合或落入局部最優解等情形，在步驟S330之前，基地台110還可依據一
Figure 02_image079
-貪婪策略（
Figure 02_image079
-greedy policy）判斷是否依據關聯於總估計吞吐量（即，
Figure 02_image055
）的目標函數決定對應於第t個時間區塊的通訊時間分配（即，
Figure 02_image037
）。若是，則基地台110可依據關聯於總估計吞吐量的目標函數決定對應於第t個時間區塊的通訊時間分配；若否，則基地台110可隨機產生基地台110及通訊節點121~12N個別在第t個時間區塊中的通訊時間區間，以決定對應於第t個時間區塊的通訊時間分配，其中上述通訊時間分配滿足上述限制條件。
簡言之，基地台110可依據上述
Figure 02_image079
-貪婪策略決定是否執行步驟S330。具體而言，若採用上述
Figure 02_image079
-貪婪策略，則基地台110有
Figure 02_image079
（其例如是一極小值）的機率會選擇不執行步驟S330而以隨機方式決定
Figure 02_image037
（但所決定的
Figure 02_image037
仍須滿足所設定的限制條件），而有1-
Figure 02_image079
的機率會選擇執行步驟S330來決定
Figure 02_image081
（即，先前提及的
Figure 02_image077
）。藉此，可避免所取得的
Figure 02_image037
出現過度擬合或落入局部最優解等情形，但可不限於此。
此外，在一實施例中，當t等於1時，基地台110亦可基於上述隨機方式來決定
Figure 02_image083
，而當t大於1時，基地台110可依上述教示決定
Figure 02_image037
，但本發明可不限於此。
之後，在步驟S340中，基地台110可將第t個時間區塊的通訊時間分配（即，
Figure 02_image085
）通知通訊節點121~12N，並要求各通訊節點121~12n在第t個時間區塊中依據對應的通訊時間區間執行特定通訊行為（例如從基地台110獲取能量及/或發送資料至基地台）。
接著，在步驟S350中，基地台110可取得各通訊節點121~12N在第t個時間區塊中的實際吞吐量。亦即，基地台110可實際測量各通訊節點121~12N在所分配的通訊時間區間（即
Figure 02_image021
~
Figure 02_image023
）內傳送的資料量。為便於說明，通訊節點12n在第t個時間區塊中的實際吞吐量可表示為
Figure 02_image087
。
之後，在步驟S360中，基地台110可依據各通訊節點121~12N在第t個時間區塊中的實際吞吐量、權重向量及估計吞吐量產生各通訊節點121~12N在第t+1個時間區塊中的權重向量。
在一實施例中，基地台110可依據各通訊節點121~12N在第t個時間區塊中的實際吞吐量、權重向量及估計吞吐量執行一隨機梯度下降（stochastic gradient decent，SGD）法，以產生各通訊節點121~12n在第t+1個時間區塊中的權重向量。
舉例而言，通訊節點12n在第t+1個時間區塊中的權重向量例如可表徵為
Figure 02_image089
。在一實施例中，
Figure 02_image089
可表徵為：
Figure 02_image091
，其中
Figure 02_image093
為一步階尺寸值，
Figure 02_image095
為一梯度運算子。
在一實施例中，在取得
Figure 02_image089
之後，基地台110還可再次依據先前實施例的教示決定第t+1個時間區塊中的通訊時間分配（即，
Figure 02_image097
），並據以要求各通訊節點121~12N在第t+1個時間區塊中依據對應的通訊時間區間執行特定通訊行為。之後，基地台110同樣可取得各通訊節點121~12N在第t+1個時間區塊中的實際吞吐量，並相應地產生各通訊節點在第t+2個時間區塊中的權重向量，而相關細節可參照先前實施例中的說明，於此不另贅述。
經驗證，隨著t的增加，
Figure 02_image099
（即
Figure 02_image055
與
Figure 02_image051
與的均方誤差（mean square error，MSE））的值將逐漸下降。亦即，隨著時間的推移，經由本發明方法所決定的
Figure 02_image037
可讓通訊節點12n的實際吞吐量（即，
Figure 02_image087
）逐漸接近通訊節點12n的估計吞吐量（即，
Figure 02_image101
）。
綜上所述，除了不需將問題轉化為凸函數問題之外，本發明提出的方法及基地台還可在通道參數為未知的情況下找出各時間區塊中的最佳時間分配，且可廣泛地適用於各式WPCN系統架構。並且，透過適當地在限制條件中引入各通訊節點的吞吐量下限值，經本發明方法所決定的
Figure 02_image037
可保證各通訊節點之間的傳輸公平性，從而避免資料傳輸量過度集中於離基地台較近的通訊節點上。此外，透過在通訊節點的總估計吞吐量中引入與電量相關的參數（即，
Figure 02_image103
），經本發明方法所決定的
Figure 02_image037
可進一步考量各通訊節點的電池壽命。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:WPCN系統 110:基地台 121~12N:通訊裝置 S310~S360:步驟
Figure 02_image003
~
Figure 02_image005
:資料
Figure 02_image001
:能量
圖1是依據本發明之一實施例繪示的WPCN系統示意圖。 圖2A是依據本發明第一實施例繪示的WPCN系統示意圖。 圖2B是依據本發明第二實施例繪示的WPCN系統示意圖。 圖2C是依據本發明第三實施例繪示的WPCN系統示意圖。 圖2D是依據本發明第四實施例繪示的WPCN系統示意圖。 圖3是依據本發明之一實施例繪示的WPCN的強化學習通訊時間分配方法流程圖。
S310~S360:步驟

Claims (15)

  1. 一種無線電力驅動通訊網路的強化學習通訊時間分配方法，適於一無線電力驅動通訊網路中的一基地台，其中該基地台管理該無線電力驅動通訊網路中的多個通訊節點，所述方法包括： 取得各該通訊節點在第t個時間區塊中的一權重向量，並模型化各該通訊節點在所述第t個時間區塊中的一特徵向量，其中各該通訊節點在所述第t個時間區塊的該特徵向量關聯於各該通訊節點在所述第t個時間區塊中的一通訊時間區間； 基於各該通訊節點在所述第t個時間區塊中的該權重向量及該特徵向量模型化各該通訊節點在所述第t個時間區塊中的一估計吞吐量，並據以模型化該些通訊節點在所述第t個時間區塊中的一總估計吞吐量； 依據關聯於該總估計吞吐量的一目標函數決定對應於所述第t個時間區塊的一通訊時間分配，其中該通訊時間分配包括該基地台及該些通訊節點個別在所述第t個時間區塊中的該通訊時間區間，且該通訊時間分配滿足至少一限制條件； 將所述第t個時間區塊的該通訊時間分配通知該些通訊節點，並要求各該通訊節點在所述第t個時間區塊中依據對應的該通訊時間區間執行一特定通訊行為； 取得各該通訊節點在所述第t個時間區塊中的一實際吞吐量； 依據各該通訊節點在所述第t個時間區塊中的該實際吞吐量、該權重向量及該估計吞吐量產生各該通訊節點在第t+1個時間區塊中的該權重向量。
  2. 如請求項1所述的方法，其中該通訊時間分配表徵為
    Figure 03_image105
    ，
    Figure 03_image107
    為該基地台在所述第t個時間區塊中的該通訊時間區間，
    Figure 03_image109
    為該些通訊節點中的第n個通訊節點在所述第t個時間區塊中的該通訊時間區間，該總估計吞吐量表徵為
    Figure 03_image111
    ，該目標函數包括
    Figure 03_image113
    ，且該至少一限制條件包括：
    Figure 03_image115
    Figure 03_image117
    Figure 03_image119
    ，其中
    Figure 03_image121
    為該些通訊節點在所述第t個時間區間內所佔用的一總傳輸時間。
  3. 如請求項2所述的方法，其中該至少一限制條件更包括
    Figure 03_image123
    ，其中
    Figure 03_image125
    為所述第n個通訊節點在所述第t個時間區塊中的該估計吞吐量，
    Figure 03_image127
    為所述第n個通訊節點的一吞吐量下限值。
  4. 如請求項2所述的方法，其中該些通訊節點中的第n個通訊節點在所述第t個時間區塊中的該權重向量、該特徵向量及該估計吞吐量分別表徵為
    Figure 03_image129
    、
    Figure 03_image131
    及
    Figure 03_image125
    ，且
    Figure 03_image133
    。
  5. 如請求項4所述的方法，其中該些通訊節點在所述第t個時間區塊中的該總估計吞吐量表徵為
    Figure 03_image111
    ，且
    Figure 03_image135
    ，其中N為該些通訊節點的總數。
  6. 如請求項5所述的方法，其中：
    Figure 03_image137
    ；
    Figure 03_image139
    ；
    Figure 03_image141
    ，其中D為
    Figure 03_image129
    及
    Figure 03_image131
    的維度。
  7. 如請求項4所述的方法，其中該些通訊節點在所述第t個時間區塊中的該總估計吞吐量表徵為
    Figure 03_image111
    ，且
    Figure 03_image143
    ，其中N為該些通訊節點的總數，
    Figure 03_image145
    為一權重係數，而
    Figure 03_image147
    為該些通訊節點中的第n個通訊節點在所述第t個時間區塊中所獲得的一電量。
  8. 如請求項1所述的方法，其中該基地台在所述第t個時間區塊中的對應的該通訊時間區間中傳遞能量至該些通訊節點的至少其中之一。
  9. 如請求項1所述的方法，其中該特定通訊行為包括發送資料至該基地台。
  10. 如請求項1所述的方法，其中依據各該通訊節點在所述第t個時間區塊中的該實際吞吐量、該權重向量及該估計吞吐量產生各該通訊節點在第t+1個時間區塊中的該權重向量的步驟包括： 依據各該通訊節點在所述第t個時間區塊中的該實際吞吐量、該權重向量及該估計吞吐量執行一隨機梯度下降法，以產生各該通訊節點在第t+1個時間區塊中的該權重向量。
  11. 如請求項10所述的方法，其中該些通訊節點中的第n個通訊節點在所述第t個時間區塊中的該實際吞吐量、該權重向量及該估計吞吐量分別表徵為
    Figure 03_image149
    、
    Figure 03_image129
    及
    Figure 03_image125
    ，所述第n個通訊節點在所述第t+1個時間區塊中的該權重向量表徵為
    Figure 03_image151
    ，其中
    Figure 03_image153
    ，
    Figure 03_image155
    為一步階尺寸值，
    Figure 03_image157
    為一梯度運算子。
  12. 如請求項1所述的方法，其中在依據關聯於該總估計吞吐量的該目標函數決定對應於所述第t個時間區塊的該通訊時間分配的步驟之前，所述方法更包括： 依據一
    Figure 03_image159
    -貪婪策略判斷是否依據關聯於該總估計吞吐量的該目標函數決定對應於所述第t個時間區塊的該通訊時間分配； 若是，依據關聯於該總估計吞吐量的該目標函數決定對應於所述第t個時間區塊的該通訊時間分配； 若否，隨機產生該基地台及該些通訊節點個別在所述第t個時間區塊中的該通訊時間區間，以決定對應於所述第t個時間區塊的該通訊時間分配，其中該通訊時間分配滿足該至少一限制條件。
  13. 如請求項1所述的方法，其中t大於1。
  14. 如請求項1所述的方法，其中若t等於1，所述方法更包括隨機產生該基地台及該些通訊節點個別在所述第t個時間區塊中的該通訊時間區間，其中該通訊時間分配滿足該至少一限制條件。
  15. 一種基地台，其屬於一無線電力驅動通訊網路，並管理該無線電力驅動通訊網路中的多個通訊節點，該基地台經配置以： 取得各該通訊節點在第t個時間區塊中的一權重向量，並模型化各該通訊節點在所述第t個時間區塊中的一特徵向量，其中各該通訊節點在所述第t個時間區塊的該特徵向量關聯於各該通訊節點在所述第t個時間區塊中的一通訊時間區間； 基於各該通訊節點在所述第t個時間區塊中的該權重向量及該特徵向量模型化各該通訊節點在所述第t個時間區塊中的一估計吞吐量，並據以模型化該些通訊節點在所述第t個時間區塊中的一總估計吞吐量； 依據關聯於該總估計吞吐量的一目標函數決定對應於所述第t個時間區塊的一通訊時間分配，其中該通訊時間分配包括該基地台及該些通訊節點個別在所述第t個時間區塊中的該通訊時間區間，且該通訊時間分配滿足至少一限制條件； 將所述第t個時間區塊的該通訊時間分配通知該些通訊節點，並要求各該通訊節點在所述第t個時間區塊中依據對應的該通訊時間區間執行一特定通訊行為； 取得各該通訊節點在所述第t個時間區塊中的一實際吞吐量； 依據各該通訊節點在所述第t個時間區塊中的該實際吞吐量、該權重向量及該估計吞吐量產生各該通訊節點在第t+1個時間區塊中的該權重向量。
TW109112410A 2020-04-13 2020-04-13 無線電力驅動通訊網路的強化學習通訊時間分配方法及基地台 TWI714496B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109112410A TWI714496B (zh) 2020-04-13 2020-04-13 無線電力驅動通訊網路的強化學習通訊時間分配方法及基地台
US16/894,894 US11323167B2 (en) 2020-04-13 2020-06-08 Communication time allocation method using reinforcement learning for wireless powered communication network and base station

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109112410A TWI714496B (zh) 2020-04-13 2020-04-13 無線電力驅動通訊網路的強化學習通訊時間分配方法及基地台

Publications (2)

Publication Number Publication Date
TWI714496B true TWI714496B (zh) 2020-12-21
TW202139076A TW202139076A (zh) 2021-10-16

Family

ID=74670070

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109112410A TWI714496B (zh) 2020-04-13 2020-04-13 無線電力驅動通訊網路的強化學習通訊時間分配方法及基地台

Country Status (2)

Country Link
US (1) US11323167B2 (zh)
TW (1) TWI714496B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201236301A (en) * 2010-12-08 2012-09-01 Access Business Group Int Llc System and method for providing communications in a wireless power supply
TWM451751U (zh) * 2012-12-04 2013-04-21 Compal Broadband Networks Inc 具電力線通訊功能之網路接取裝置
TW201626770A (zh) * 2011-02-07 2016-07-16 通路實業集團國際公司 於無線電力傳輸系統中提供通訊之方法、系統及遠端裝置
TW201817275A (zh) * 2016-09-29 2018-05-01 日商新力股份有限公司 通訊裝置及通訊方法
TW201902152A (zh) * 2017-05-19 2019-01-01 濎通科技股份有限公司 網路通信系統、裝置及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363744B2 (en) * 2001-06-10 2013-01-29 Aloft Media, Llc Method and system for robust, secure, and high-efficiency voice and packet transmission over ad-hoc, mesh, and MIMO communication networks
US10425134B2 (en) * 2004-04-02 2019-09-24 Rearden, Llc System and methods for planned evolution and obsolescence of multiuser spectrum
US8542763B2 (en) * 2004-04-02 2013-09-24 Rearden, Llc Systems and methods to coordinate transmissions in distributed wireless systems via user clustering
US8626104B2 (en) * 2006-09-28 2014-01-07 Apple Inc. Generalized codebook design method for limited feedback systems
CN102438322B (zh) * 2011-12-16 2014-03-26 华为技术有限公司 资源调度方法及相关设备
CN106793042A (zh) 2017-01-10 2017-05-31 广东石油化工学院 无线能量通信网络下的睡眠调度方法
CN106973440B (zh) 2017-04-28 2019-06-14 浙江理工大学 面向无线供电网络的时间分配优化方法
CN109272167B (zh) 2018-10-09 2021-04-20 华北电力大学（保定） 一种基于uudn和q神经网络的绿色能量合作方法
CN109121221B (zh) 2018-10-29 2021-12-17 南京大学 一种无线能量分配和用户调度的方法
CN109168178B (zh) 2018-11-02 2021-12-03 深圳大学 多小区wpcn的吞吐量计算方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201236301A (en) * 2010-12-08 2012-09-01 Access Business Group Int Llc System and method for providing communications in a wireless power supply
TW201626770A (zh) * 2011-02-07 2016-07-16 通路實業集團國際公司 於無線電力傳輸系統中提供通訊之方法、系統及遠端裝置
TWM451751U (zh) * 2012-12-04 2013-04-21 Compal Broadband Networks Inc 具電力線通訊功能之網路接取裝置
TW201817275A (zh) * 2016-09-29 2018-05-01 日商新力股份有限公司 通訊裝置及通訊方法
TW201902152A (zh) * 2017-05-19 2019-01-01 濎通科技股份有限公司 網路通信系統、裝置及方法

Also Published As

Publication number Publication date
TW202139076A (zh) 2021-10-16
US20210320706A1 (en) 2021-10-14
US11323167B2 (en) 2022-05-03

Similar Documents

Publication Publication Date Title
Peng et al. Deep reinforcement learning based resource management for multi-access edge computing in vehicular networks
CN110493360B (zh) 多服务器下降低***能耗的移动边缘计算卸载方法
Mao et al. Energy efficiency and delay tradeoff for wireless powered mobile-edge computing systems with multi-access schemes
Singh et al. Congestion control in wireless sensor networks by hybrid multi-objective optimization algorithm
Yang et al. Intelligent resource management based on reinforcement learning for ultra-reliable and low-latency IoV communication networks
CN111445111B (zh) 一种基于边缘协同的电力物联网任务分配方法
CN110234127B (zh) 一种基于sdn的雾网络任务卸载方法
WO2019134197A1 (zh) 基于朴素贝叶斯分类器的最小负载路由选择方法及***
CN111641891B (zh) 一种多接入边缘计算***中的任务对等卸载方法和装置
WO2023040022A1 (zh) 一种在随机网络中基于算网协同的分布式计算卸载方法
Bozorgchenani et al. An energy-aware offloading clustering approach (EAOCA) in fog computing
CN114422349B (zh) 基于云边端协同的深度学习模型训练和推理架构部署方法
CN109474960B (zh) 一种基于q学习的双连接流量分配方法
CN114928611B (zh) 一种基于IEEE802.11p协议的车联网节能计算卸载优化方法
Wang et al. Task allocation mechanism of power internet of things based on cooperative edge computing
CN110996390B (zh) 一种无线接入网络计算资源分配方法及网络***
CN109618312B (zh) 一种面向d2d中继网络的低复杂度在线资源分配优化算法
Ray et al. Energy efficient clustering hierarchy protocol for wireless sensor network
TWI714496B (zh) 無線電力驅動通訊網路的強化學習通訊時間分配方法及基地台
Musaddiq et al. Learning-based resource management for low-power and lossy IoT networks
CN109982433B (zh) 基于启发式算法的固定帧长度的urllc***的资源优化方法
Wang et al. Charging path optimization for wireless rechargeable sensor network
CN115955479A (zh) 一种云边端协作***中的任务快速调度与资源管理方法
CN115756873A (zh) 一种基于联邦强化学***台
Orim et al. Cluster-based random access scheme for 5G URLLC