CN117692961B - 低轨卫星物联网随机接入拥塞控制方法和装置 - Google Patents

低轨卫星物联网随机接入拥塞控制方法和装置 Download PDF

Info

Publication number
CN117692961B
CN117692961B CN202410153915.XA CN202410153915A CN117692961B CN 117692961 B CN117692961 B CN 117692961B CN 202410153915 A CN202410153915 A CN 202410153915A CN 117692961 B CN117692961 B CN 117692961B
Authority
CN
China
Prior art keywords
access
target
energy consumption
total number
users
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410153915.XA
Other languages
English (en)
Other versions
CN117692961A (zh
Inventor
吴胜
贾浩歌
卢文强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202410153915.XA priority Critical patent/CN117692961B/zh
Publication of CN117692961A publication Critical patent/CN117692961A/zh
Application granted granted Critical
Publication of CN117692961B publication Critical patent/CN117692961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0289—Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0917—Management thereof based on the energy state of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0925—Management thereof using policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0958—Management thereof based on metrics or performance parameters
    • H04W28/0967—Quality of Service [QoS] parameters
    • H04W28/0975—Quality of Service [QoS] parameters for reducing delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W74/00—Wireless channel access
    • H04W74/08—Non-scheduled access, e.g. ALOHA
    • H04W74/0833—Random access procedures, e.g. with 4-step access
    • H04W74/0841—Random access procedures, e.g. with 4-step access with collision treatment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/04—Large scale networks; Deep hierarchical networks
    • H04W84/06—Airborne or Satellite Networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Radio Relay Systems (AREA)

Abstract

本发明提供了一种低轨卫星物联网随机接入拥塞控制方法和装置，涉及通信的技术领域，包括：广播前导序列池至所有待接入低轨卫星物联网的用户，接收每个用户发送的前导序列，并确定成功接入的第一前导序列总数和发生碰撞的第二前导序列总数，利用目标拥塞控制模型对第一前导序列总数和第二前导序列总数进行处理，得到目标接入等级限制ACB因子和目标退避窗口总数，以对低轨卫星物联网进行接入拥塞控制。目标拥塞控制模型的训练目标为所有用户的接入时延合格率与接入能耗合格率的加权和最大化，因此，该方法可在所有用户的接入时延与接入能耗最小的前提下，对低轨卫星物联网的随机接入拥塞问题进行有效地控制。

Description

低轨卫星物联网随机接入拥塞控制方法和装置
技术领域
本发明涉及通信的技术领域，尤其是涉及一种低轨卫星物联网随机接入拥塞控制方法和装置。
背景技术
随着卫星物联网业务的迅速发展，机器对机器（M2M）设备量也迅速增长。尤其是M2M通信具有“潮汐效应”，即突发海量M2M设备的接入请求，届时会引起接入拥塞、延迟增大、分组丢失乃至中断服务，因此，如何解决混合mMTC（massive Machine Type ofCommunication，海量机器类通信）和URLLC（Ultra-Reliable Low-LatencyCommunications，低时延高可靠通信）场景中的接入拥塞问题，实现最大化程度优化网络性能并维持性能的稳定，同时满足设备的不同时延需求，是目前亟需解决的问题。
发明内容
本发明的目的在于提供一种低轨卫星物联网随机接入拥塞控制方法和装置，实现了在所有用户的接入时延与接入能耗最小的前提下，对低轨卫星物联网的随机接入拥塞问题进行有效地控制。
第一方面，本发明提供一种低轨卫星物联网随机接入拥塞控制方法，应用于低轨卫星，包括：广播前导序列池至所有待接入低轨卫星物联网的用户，以使每个所述用户随机选择一个前导序列发送至所述低轨卫星；其中，所述前导序列池为多个前导序列的集合；接收每个所述用户发送的前导序列，并确定成功接入的第一前导序列总数和发生碰撞的第二前导序列总数；利用目标拥塞控制模型对所述第一前导序列总数和所述第二前导序列总数进行处理，得到目标接入等级限制ACB因子和目标退避窗口总数；其中，所述目标拥塞控制模型的训练目标为所有用户的接入时延合格率与接入能耗合格率的加权和最大化；基于所述目标接入等级限制ACB因子和目标退避窗口总数，对所述低轨卫星物联网进行接入拥塞控制。
在可选的实施方式中，接收每个所述用户发送的前导序列，并确定成功接入的第一前导序列总数和发生碰撞的第二前导序列总数，包括：统计所有用户发送的前导序列中，目标前导序列的数量；其中，所述目标前导序列表示所有用户发送的前导序列中的任一前导序列；在确定所述目标前导序列的数量为1的情况下，确定所述目标前导序列为第一前导序列；在确定所述目标前导序列的数量大于1的情况下，确定所述目标前导序列为第二前导序列；统计所有第一前导序列和所有第二前导序列，得到所述第一前导序列总数和所述第二前导序列总数。
在可选的实施方式中，所述方法还包括：初始化本地网络模型和目标网络模型；其中，初始化之后，所述本地网络模型的网络参数与所述目标网络模型的网络参数相同；所述本地网络模型和所述目标网络模型属于同一个智能体；针对每个时隙，控制智能体基于贪婪算法选择动作；其中，每个时隙下，智能体的状态包括：第一前导序列总数和第二前导序列总数，智能体的动作包括：接入等级限制ACB因子和退避窗口总数，智能体执行动作后获取的奖励为：所有用户的接入时延合格率与接入能耗合格率的加权和；将当前时隙下智能体的状态、动作、执行动作后获取的奖励和下一时隙的状态作为一个经验元组存入经验池，直至得到预设数量个经验元组；从所述经验池中进行批量采样，以对所述本地网络模型和所述目标网络模型进行训练，得到目标损失函数；基于所述目标损失函数对所述本地网络模型的网络参数进行更新，并控制所述目标网络模型每隔预设周期复制所述本地网络模型的网络参数；在确定所述本地网络模型的网络参数更新预设次数的情况下，将所述本地网络模型作为所述目标拥塞控制模型。
在可选的实施方式中，计算智能体执行动作后获取的奖励，包括：获取目标用户的数据包准备完成的第一时刻和所述数据包发送完成的第二时刻；其中，所述目标用户表示所有用户中的任一用户；基于所述第一时刻和所述第二时刻，计算所述目标用户的接入时延；获取所述目标用户维持发送状态的第一时长、维持接收状态的第二时长、发送状态单位能耗、接收状态单位能耗和空闲状态单位能耗；基于所述目标用户的接入时延、所述第一时长和所述第二时长，计算所述目标用户的空闲时长；基于所述第一时长、所述第二时长、所述空闲时长、所述发送状态单位能耗、所述接收状态单位能耗和所述空闲状态单位能耗，计算所述目标用户的接入能耗；基于预设时延阈值、预设能耗阈值、每个用户的接入时延和接入能耗，计算所有用户的接入时延合格率和接入能耗合格率，以将所述接入时延合格率和所述接入能耗合格率的加权和作为所述奖励。
在可选的实施方式中，基于预设时延阈值、预设能耗阈值、每个用户的接入时延和接入能耗，计算所有用户的接入时延合格率和接入能耗合格率，包括：判断所述目标用户的接入时延是否大于所述预设时延阈值；若是，则确定所述目标用户的接入时延不合格；若否，则确定所述目标用户的接入时延合格；判断所述目标用户的接入能耗是否大于所述预设能耗阈值；若是，则确定所述目标用户的接入能耗不合格；若否，则确定所述目标用户的接入能耗合格；统计所有用户中接入时延合格的第一用户总数，以及，统计所有用户中接入能耗合格的第二用户总数；基于所述第一用户总数和所述待接入低轨卫星物联网的用户总数，计算所有用户的接入时延合格率，以及，基于所述第二用户总数和所述待接入低轨卫星物联网的用户总数，计算所有用户的接入能耗合格率。
在可选的实施方式中，所述奖励的算式表示为：；其中，/>表示所述接入时延合格率，/>表示所述接入能耗合格率，/>表示平衡所述接入时延合格率和所述接入能耗合格率的调整因子，/>。
在可选的实施方式中，所述目标损失函数表示为：；其中，/>表示批量采样的经验元组数量，/>，/>表示批量采样中第j个经验元组中的奖励，/>表示折扣因子，/>，/>表示在所述本地网络模型的模型参数/>下，智能体在状态/>下采取动作/>时的动作价值，/>表示第j+1个经验元组中智能体的状态，/>表示第j个经验元组中智能体的动作，/>表示所述目标网络模型的模型参数，/>表示所述目标网络模型输出的动作价值，/>表示在所述本地网络模型的模型参数/>下，智能体在状态/>下采取动作/>时的动作价值。
第二方面，本发明提供一种低轨卫星物联网随机接入拥塞控制装置，应用于低轨卫星，包括：广播模块，用于广播前导序列池至所有待接入低轨卫星物联网的用户，以使每个所述用户随机选择一个前导序列发送至所述低轨卫星；其中，所述前导序列池为多个前导序列的集合；接收和确定模块，用于接收每个所述用户发送的前导序列，并确定成功接入的第一前导序列总数和发生碰撞的第二前导序列总数；处理模块，用于利用目标拥塞控制模型对所述第一前导序列总数和所述第二前导序列总数进行处理，得到目标接入等级限制ACB因子和目标退避窗口总数；其中，所述目标拥塞控制模型的训练目标为所有用户的接入时延合格率与接入能耗合格率的加权和最大化；拥塞控制模块，用于基于所述目标接入等级限制ACB因子和目标退避窗口总数，对所述低轨卫星物联网进行接入拥塞控制。
第三方面，本发明提供一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述实施方式中任一项所述的低轨卫星物联网随机接入拥塞控制方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现前述实施方式中任一项所述的低轨卫星物联网随机接入拥塞控制方法。
本发明提供的低轨卫星物联网随机接入拥塞控制方法，利用训练目标为最大化所有用户的接入时延合格率与接入能耗合格率的加权和的目标拥塞控制模型，对成功接入的第一前导序列总数和发生碰撞的第二前导序列总数进行处理，得到目标接入等级限制ACB因子和目标退避窗口总数，以对低轨卫星物联网进行接入拥塞控制。该方法能够同时确定ACB因子与退避窗口总数，通过联合ACB机制与退避机制，实现了在所有用户的接入时延与接入能耗最小的前提下，对低轨卫星物联网的随机接入拥塞问题进行有效地控制。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种低轨卫星物联网随机接入拥塞控制方法的流程图；
图2为本发明实施例提供的一种确定成功接入的第一前导序列总数和发生碰撞的第二前导序列总数的流程图；
图3为本发明实施例提供的一种低轨卫星物联网随机接入拥塞控制装置的功能模块图；
图4为本发明实施例提供的一种电子设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
实施例一
本发明实施例提供了一种低轨卫星物联网随机接入拥塞控制方法，应用于低轨卫星，图1为本发明实施例提供的一种低轨卫星物联网随机接入拥塞控制方法的流程图，具体包括如下步骤：
步骤S102，广播前导序列池至所有待接入低轨卫星物联网的用户，以使每个用户随机选择一个前导序列发送至低轨卫星。
具体的，要想向低轨卫星发送数据包，用户则必须使用该卫星所指定的前导序列，因此，在用户向低轨卫星发起接入请求之前，低轨卫星首先广播其前导序列池至所有待接入低轨卫星物联网的用户，其中，用户包括：mMTC（massive Machine Type ofCommunication，海量机器类通信）设备和URLLC（Ultra-Reliable Low-LatencyCommunications，低时延高可靠通信）设备，前导序列池为多个前导序列的集合。每个用户接收到前导序列池之后，将随机选择一个前导序列，通过PRACH信道上行传输给卫星。
步骤S104，接收每个用户发送的前导序列，并确定成功接入的第一前导序列总数和发生碰撞的第二前导序列总数。
如果多个用户同时发送不同的前导序列，则不会发生碰撞的情况，卫星可以解码成功，多个用户均可以成功接入低轨卫星物联网，但是，选择同一个前导序列的用户将发生碰撞，这时卫星无法解码出发生碰撞的用户ID。发生碰撞即引发接入拥塞问题，因此，为了确定当前网络的拥塞程度，低轨卫星在接收到每个用户发送的前导序列之后，需要确定出成功接入的第一前导序列总数和发生碰撞的第二前导序列总数。在得到以上两数据之后，结合卫星接收到的前导序列总数，即可确定出处于拥塞状态的用户数量以及拥塞用户的占比等数据。
步骤S106，利用目标拥塞控制模型对第一前导序列总数和第二前导序列总数进行处理，得到目标接入等级限制ACB因子和目标退避窗口总数。
本发明实施例中，低轨卫星物联网发生接入拥塞的调优策略包括：ACB（AccessClass Barring，接入等级限制）机制和退避机制。ACB机制是指卫星广播接入等级限制ACB因子给发生前导序列冲突的用户，同时，发生前导序列冲突的用户需要生成一个0到1之间的随机数与卫星广播的ACB因子进行比较，只有当用户生成的随机数小于卫星广播的ACB因子时，该用户才可以重新发起接入，接入流程同上；如果用户生成的随机数大于或等于卫星广播的ACB因子，则用户不能立即重新发起接入，也即，用户进入退避状态，根据退避机制的要求发起接入。
退避机制中，卫星广播退避窗口总数给发生前导序列冲突的用户，一个退避窗口对应一种退避状态，一种退避状态对应一种退避时隙，且最小退避时隙为0，最大退避时隙为退避窗口总数减1，相邻退避窗口的时隙间隔为1。也即，如果退避窗口总数为4，那么4个退避窗口分别对应：退避时隙为0时隙，退避时隙为1时隙，退避时隙为2时隙，退避时隙为3时隙。
碰撞的用户将根据卫星广播的退避窗口总数W均匀散布到W个退避窗口上，每个用户退避到其中一个退避状态，也即，用户将需等待相应的退避时隙后重新发起接入。
现有技术中，如何根据网络拥塞程度动态调整ACB因子和退避窗口总数是当前研究面临的重要挑战，如果先确定ACB因子再基于ACB因子确定退避窗口总数，则存在误差累计的问题，进而影响接入拥塞的调优效果。有鉴于此，本发明实施例提出了基于深度强化学习的联合接入控制与退避机制的拥塞控制方法，目标拥塞控制模型能够根据第一前导序列总数和第二前导序列总数同时确定出目标ACB因子与目标退避窗口总数，其中，目标拥塞控制模型的训练目标为所有用户的接入时延合格率与接入能耗合格率的加权和最大化。
步骤S108，基于目标接入等级限制ACB因子和目标退避窗口总数，对低轨卫星物联网进行接入拥塞控制。
ACB因子和目标退避窗口总数同时确定，能够避免误差累计的问题，保障接入拥塞的调优效果。并且，通过大量实验结果表明，本发明方法能够达到较低的接入时延和较低的接入功耗，有效地提升了***稳定性。
本发明提供的低轨卫星物联网随机接入拥塞控制方法，利用训练目标为最大化所有用户的接入时延合格率与接入能耗合格率的加权和的目标拥塞控制模型，对成功接入的第一前导序列总数和发生碰撞的第二前导序列总数进行处理，得到目标接入等级限制ACB因子和目标退避窗口总数，以对低轨卫星物联网进行接入拥塞控制。该方法能够同时确定ACB因子与退避窗口总数，通过联合ACB机制与退避机制，实现了在所有用户的接入时延与接入能耗最小的前提下，对低轨卫星物联网的随机接入拥塞问题进行有效地控制。
在一个可选的实施方式中，如图2所示，上述步骤S104，接收每个用户发送的前导序列，并确定成功接入的第一前导序列总数和发生碰撞的第二前导序列总数，具体包括如下步骤：
步骤S1041，统计所有用户发送的前导序列中，目标前导序列的数量。
其中，目标前导序列表示所有用户发送的前导序列中的任一前导序列。
步骤S1042，在确定目标前导序列的数量为1的情况下，确定目标前导序列为第一前导序列。
步骤S1043，在确定目标前导序列的数量大于1的情况下，确定目标前导序列为第二前导序列。
步骤S1044，统计所有第一前导序列和所有第二前导序列，得到第一前导序列总数和第二前导序列总数。
具体的，为了确定第一前导序列总数和第二前导序列总数，卫星则需要统计目标前导序列的数量，如果数量为1，则说明只有一个用户发送该前导序列，未发生碰撞，那么目标前导序列即为能够成功接入卫星的第一前导序列；如果目标前导序列的数量大于1，则说明不止一个用户选择该前导序列，因此会引发碰撞，也即，目标前导序列为发生碰撞的第二前导序列。按照上述方法对卫星接收到的所有前导序列进行统计判断，即可得到第一前导序列总数和第二前导序列总数。
在一个可选的实施方式中，本发明方法还包括如下步骤：
步骤S201，初始化本地网络模型和目标网络模型。
其中，初始化之后，本地网络模型的网络参数与目标网络模型的网络参数相同；本地网络模型和目标网络模型属于同一个智能体。
传统的强化学习方法在对网络模型进行训练的过程中，存在稳定性差的问题，主要体现在目标Q值的不断变化导致收敛困难。为了克服上述问题，本发明实施例除了本地网络模型，同时还引入目标网络模型以减缓训练过程中的不稳定性，其中，本地网络模型和目标网络模型属于同一个智能体，并且初始状态下，本地网络模型和目标网络模型共用同一套网络参数，且初始状态下，探索率=1。
步骤S202，针对每个时隙，控制智能体基于贪婪算法选择动作。
其中，每个时隙下，智能体的状态包括：第一前导序列总数和第二前导序列总数，智能体的动作包括：接入等级限制ACB因子和退避窗口总数，智能体执行动作后获取的奖励为：所有用户的接入时延合格率与接入能耗合格率的加权和。
步骤S203，将当前时隙下智能体的状态、动作、执行动作后获取的奖励和下一时隙的状态作为一个经验元组存入经验池，直至得到预设数量个经验元组。
为了对本地网络模型和目标网络模型进行训练，本发明实施例首先基于当前智能体的网络参数控制智能体在每个时隙t下，基于贪婪算法根据智能体状态/>做出动作/>，也即，智能体以1-/>的概率选择最大Q值（也即，动作价值）的动作，以/>的概率随机选择动作。并计算出动作相应的奖励/>，最后将当前时隙的状态、动作、奖励和下一时隙的状态/>作为一个经验元组/>存入经验池。参考上述方法，将预设数量个时隙所对应的经验元组存入经验池。
步骤S204，从经验池中进行批量采样，以对本地网络模型和目标网络模型进行训练，得到目标损失函数。
步骤S205，基于目标损失函数对本地网络模型的网络参数进行更新，并控制目标网络模型每隔预设周期复制本地网络模型的网络参数。
为了消除样本之间的相关性，在对智能体进行训练的过程中，从经验池中批量采样指定数量的经验元组来对本地网络模型和目标网络模型进行训练，基于目标损失函数对本地网络模型的网络参数进行更新，其中，本地网络模型用于选择动作和评估当前状态的Q值，该网络模型的网络参数在训练过程中不断更新，同时减小探索率。目标网络模型用于计算目标Q值，目标网络模型的网络参数并不像本地网络模型那样在每次迭代中都更新，而是每隔预设周期对本地网络模型的网络参数进行复制，也即，定期更新。鉴于目标网络模型的网络参数更新相对较慢，使得目标Q值的计算相对更稳定，因此有助于解决强化学习中可能出现的训练不稳定和收敛性差的问题。
在一个可选的实施方式中，目标损失函数表示为：；其中，/>表示批量采样的经验元组数量，/>，/>表示批量采样中第j个经验元组中的奖励，/>表示折扣因子，/>，/>表示在本地网络模型的模型参数/>下，智能体在状态/>下采取动作/>时的动作价值，/>表示第j+1个经验元组中智能体的状态，/>表示第j个经验元组中智能体的动作，/>表示目标网络模型的模型参数，/>表示目标网络模型输出的动作价值（也即，目标Q值），/>表示在本地网络模型的模型参数/>下，智能体在状态/>下采取动作/>时的动作价值（也即，当前状态的Q值）。
步骤S206，在确定本地网络模型的网络参数更新预设次数的情况下，将本地网络模型作为目标拥塞控制模型。
在对本地网络模型的网络参数更新预设次数的情况下，即确定该网络模型达到收敛状态，因此，将收敛的本地网络模型作为目标拥塞控制模型部署到卫星上之后，卫星作为智能体即可根据拥塞程度动态调整接入配置参数：ACB因子和退避窗口总数。
在一个可选的实施方式中，计算智能体执行动作后获取的奖励，具体包括如下步骤：
步骤S301，获取目标用户的数据包准备完成的第一时刻和数据包发送完成的第二时刻。
其中，目标用户表示所有用户中的任一用户。
步骤S302，基于第一时刻和第二时刻，计算目标用户的接入时延。
具体的，针对用户的随机接入过程，本发明实施例为每个用户建立双重队列模型，每个用户包含一个请求队列和一个数据队列，数据队列存储每个设备到达的数据包，该队列具有无限的缓冲区大小，当数据队列非空且不再有新的数据加入队列（也即，数据包准备完成）时，用户将产生接入请求，即请求队列非空。需要注意，请求队列最多只能有一个正在进行的接入请求，因此请求队列有一个单位大小的缓冲区，如果设备的请求队列非空，它将继续尝试执行随机接入过程。当随机接入成功时，数据队列中的所有数据包将被传输至卫星，将同时清空数据队列和请求队列。因此，当目标用户的数据包准备完成后，即启动随机接入流程，启动时刻也即上述第一时刻。而目标用户的数据队列中的所有数据包成功传输至卫星（也即，数据包发送完成）的时刻即为上述第二时刻。第二时刻与第一时刻/>之间的时间差即为目标用户的接入时延，也即，/>。
步骤S303，获取目标用户维持发送状态的第一时长、维持接收状态的第二时长、发送状态单位能耗、接收状态单位能耗和空闲状态单位能耗。
步骤S304，基于目标用户的接入时延、第一时长和第二时长，计算目标用户的空闲时长。
步骤S305，基于第一时长、第二时长、空闲时长、发送状态单位能耗、接收状态单位能耗和空闲状态单位能耗，计算目标用户的接入能耗。
目标用户的接入过程中，当目标用户处于接收状态时，用于接收卫星广播的前导序列池，当目标用户处于发送状态时，包括发送前导序列及数据包至卫星，其余状态即为空闲状态，目标用户维持发送状态和接收状态的时长可根据其工作状态精准确定，因此，在得到其接入时延之后，利用接入时延减去第一时长和第二时长，得到的计算结果即为目标用户的空闲时长。接下来，利用时长与相应能耗乘积再累加，即可得到目标用户的接入能耗E，表示为：；其中，/>表示空闲时长，/>表示第一时长，表示第二时长，/>表示空闲状态单位能耗，/>表示发送状态单位能耗，/>表示接收状态单位能耗。
步骤S306，基于预设时延阈值、预设能耗阈值、每个用户的接入时延和接入能耗，计算所有用户的接入时延合格率和接入能耗合格率，以将接入时延合格率和接入能耗合格率的加权和作为奖励。
参照上文中的方法可计算出每个用户的接入时延和接入能耗，用户接入低轨卫星物联网的过程中，目标是接入时延和接入能耗都越小越好，因此，将每个用户的接入时延和接入能耗分别与预设时延阈值和预设能耗阈值进行比较，即可确定出接入时延合格的用户数和接入能耗合格的用户数，进而计算出接入时延合格率和接入能耗合格率，最后再将二者的加权和作为奖励。
在一个可选的实施方式中，上述步骤S306中，基于预设时延阈值、预设能耗阈值、每个用户的接入时延和接入能耗，计算所有用户的接入时延合格率和接入能耗合格率，具体包括如下步骤：
步骤S3061，判断目标用户的接入时延是否大于预设时延阈值。
若是，则执行下述步骤S3062；若否，则执行下述步骤S3063。
步骤S3062，确定目标用户的接入时延不合格。
步骤S3063，确定目标用户的接入时延合格。
步骤S3064，判断目标用户的接入能耗是否大于预设能耗阈值。
若是，则执行下述步骤S3065；若否，则执行下述步骤S3066。
步骤S3065，确定目标用户的接入能耗不合格。
步骤S3066，确定目标用户的接入能耗合格。
步骤S3067，统计所有用户中接入时延合格的第一用户总数，以及，统计所有用户中接入能耗合格的第二用户总数。
步骤S3068，基于第一用户总数和待接入低轨卫星物联网的用户总数，计算所有用户的接入时延合格率，以及，基于第二用户总数和待接入低轨卫星物联网的用户总数，计算所有用户的接入能耗合格率。
接入时延合格率的算式为：；其中，/>表示接入时延合格的第一用户总数，/>表示待接入低轨卫星物联网的用户总数，/>表示所有用户的接入时延合格率。
接入能耗合格率的算式为：；其中，/>表示接入能耗合格的第二用户总数，表示所有用户的接入能耗合格率。
在一个可选的实施方式中，奖励的算式表示为：；其中，/>表示接入时延合格率，/>表示接入能耗合格率，/>表示平衡接入时延合格率和接入能耗合格率的调整因子，/>。
综上所述，本发明实施例所提供的方法实质是一种基于深度强化学习的联合接入控制与退避机制的拥塞控制方法，结合了ACB机制和退避机制对于拥塞控制的优势，针对大规模接入场景中拥塞程度不断变化从而需要实时动态调整接入配置参数的特点，引入深度强化学习的方法，将卫星看作智能体，卫星在与环境不断交互中获取经验并根据环境状态采取动作，同时确定ACB因子与退避窗口总数，从而避免了大规模接入碰撞，有效缓解接入拥塞，降低用户接入时延和接入功耗。
实施例二
本发明实施例还提供了一种低轨卫星物联网随机接入拥塞控制装置，该装置应用于低轨卫星，且主要用于执行上述实施例一所提供的低轨卫星物联网随机接入拥塞控制方法，以下对本发明实施例提供的低轨卫星物联网随机接入拥塞控制装置做具体介绍。
图3是本发明实施例提供的一种低轨卫星物联网随机接入拥塞控制装置的功能模块图，如图3所示，该装置主要包括：广播模块10，接收和确定模块20，处理模块30，拥塞控制模块40，其中：
广播模块10，用于广播前导序列池至所有待接入低轨卫星物联网的用户，以使每个用户随机选择一个前导序列发送至低轨卫星；其中，前导序列池为多个前导序列的集合。
接收和确定模块20，用于接收每个用户发送的前导序列，并确定成功接入的第一前导序列总数和发生碰撞的第二前导序列总数。
处理模块30，用于利用目标拥塞控制模型对第一前导序列总数和第二前导序列总数进行处理，得到目标接入等级限制ACB因子和目标退避窗口总数；其中，目标拥塞控制模型的训练目标为所有用户的接入时延合格率与接入能耗合格率的加权和最大化。
拥塞控制模块40，用于基于目标接入等级限制ACB因子和目标退避窗口总数，对低轨卫星物联网进行接入拥塞控制。
本发明实施例提供的低轨卫星物联网随机接入拥塞控制装置，利用训练目标为最大化所有用户的接入时延合格率与接入能耗合格率的加权和的目标拥塞控制模型，对成功接入的第一前导序列总数和发生碰撞的第二前导序列总数进行处理，得到目标接入等级限制ACB因子和目标退避窗口总数，以对低轨卫星物联网进行接入拥塞控制。该装置能够同时确定ACB因子与退避窗口总数，通过联合ACB机制与退避机制，实现了在所有用户的接入时延与接入能耗最小的前提下，对低轨卫星物联网的随机接入拥塞问题进行有效地控制。
可选地，接收和确定模块20具体用于：
统计所有用户发送的前导序列中，目标前导序列的数量；其中，目标前导序列表示所有用户发送的前导序列中的任一前导序列。
在确定目标前导序列的数量为1的情况下，确定目标前导序列为第一前导序列。
在确定目标前导序列的数量大于1的情况下，确定目标前导序列为第二前导序列。
统计所有第一前导序列和所有第二前导序列，得到第一前导序列总数和第二前导序列总数。
可选地，该装置还包括：
初始化模块，用于初始化本地网络模型和目标网络模型；其中，初始化之后，本地网络模型的网络参数与目标网络模型的网络参数相同；本地网络模型和目标网络模型属于同一个智能体。
控制模块，用于针对每个时隙，控制智能体基于贪婪算法选择动作；其中，每个时隙下，智能体的状态包括：第一前导序列总数和第二前导序列总数，智能体的动作包括：接入等级限制ACB因子和退避窗口总数，智能体执行动作后获取的奖励为：所有用户的接入时延合格率与接入能耗合格率的加权和。
存储模块，用于将当前时隙下智能体的状态、动作、执行动作后获取的奖励和下一时隙的状态作为一个经验元组存入经验池，直至得到预设数量个经验元组。
采样和训练模块，用于从经验池中进行批量采样，以对本地网络模型和目标网络模型进行训练，得到目标损失函数。
更新模块，用于基于目标损失函数对本地网络模型的网络参数进行更新，并控制目标网络模型每隔预设周期复制本地网络模型的网络参数。
确定模块，用于在确定本地网络模型的网络参数更新预设次数的情况下，将本地网络模型作为目标拥塞控制模型。
可选地，该装置还用于：计算智能体执行动作后获取的奖励，具体包括：
第一获取模块，用于获取目标用户的数据包准备完成的第一时刻和数据包发送完成的第二时刻；其中，目标用户表示所有用户中的任一用户。
第一计算模块，用于基于第一时刻和第二时刻，计算目标用户的接入时延。
第二获取模块，用于获取目标用户维持发送状态的第一时长、维持接收状态的第二时长、发送状态单位能耗、接收状态单位能耗和空闲状态单位能耗。
第二计算模块，用于基于目标用户的接入时延、第一时长和第二时长，计算目标用户的空闲时长。
第三计算模块，用于基于第一时长、第二时长、空闲时长、发送状态单位能耗、接收状态单位能耗和空闲状态单位能耗，计算目标用户的接入能耗。
第四计算模块，用于基于预设时延阈值、预设能耗阈值、每个用户的接入时延和接入能耗，计算所有用户的接入时延合格率和接入能耗合格率，以将接入时延合格率和接入能耗合格率的加权和作为奖励。
可选地，第四计算模块具体用于：
判断目标用户的接入时延是否大于预设时延阈值。
若是，则确定目标用户的接入时延不合格。
若否，则确定目标用户的接入时延合格。
判断目标用户的接入能耗是否大于预设能耗阈值。
若是，则确定目标用户的接入能耗不合格。
若否，则确定目标用户的接入能耗合格。
统计所有用户中接入时延合格的第一用户总数，以及，统计所有用户中接入能耗合格的第二用户总数。
基于第一用户总数和待接入低轨卫星物联网的用户总数，计算所有用户的接入时延合格率，以及，基于第二用户总数和待接入低轨卫星物联网的用户总数，计算所有用户的接入能耗合格率。
可选地，奖励的算式表示为：；其中，/>表示接入时延合格率，/>表示接入能耗合格率，/>表示平衡接入时延合格率和接入能耗合格率的调整因子，。
可选地，目标损失函数表示为：；其中，/>表示批量采样的经验元组数量，/>，/>表示批量采样中第j个经验元组中的奖励，/>表示折扣因子，/>，/>表示在本地网络模型的模型参数/>下，智能体在状态/>下采取动作/>时的动作价值，/>表示第j+1个经验元组中智能体的状态，/>表示第j个经验元组中智能体的动作，/>表示目标网络模型的模型参数，/>表示目标网络模型输出的动作价值，/>表示在本地网络模型的模型参数/>下，智能体在状态/>下采取动作/>时的动作价值。
实施例三
参见图4，本发明实施例提供了一种电子设备，该电子设备包括：处理器60，存储器61，总线62和通信接口63，所述处理器60、通信接口63和存储器61通过总线62连接；处理器60用于执行存储器61中存储的可执行模块，例如计算机程序。
其中，存储器61可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口63（可以是有线或者无线）实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线62可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器61用于存储程序，所述处理器60在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的过程定义的装置所执行的方法可以应用于处理器60中，或者由处理器60实现。
处理器60可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器60中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器60可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器61，处理器60读取存储器61中的信息，结合其硬件完成上述方法的步骤。
本发明实施例所提供的一种低轨卫星物联网随机接入拥塞控制方法和装置的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种低轨卫星物联网随机接入拥塞控制方法，其特征在于，应用于低轨卫星，包括：
广播前导序列池至所有待接入低轨卫星物联网的用户，以使每个所述用户随机选择一个前导序列发送至所述低轨卫星；其中，所述前导序列池为多个前导序列的集合；
接收每个所述用户发送的前导序列，并确定成功接入的第一前导序列总数和发生碰撞的第二前导序列总数；
利用目标拥塞控制模型对所述第一前导序列总数和所述第二前导序列总数进行处理，同时得到目标接入等级限制ACB因子和目标退避窗口总数；其中，所述目标拥塞控制模型的训练目标为所有用户的接入时延合格率与接入能耗合格率的加权和最大化；
基于所述目标接入等级限制ACB因子和目标退避窗口总数，对所述低轨卫星物联网进行接入拥塞控制；
所述方法还包括：
初始化本地网络模型和目标网络模型；其中，初始化之后，所述本地网络模型的网络参数与所述目标网络模型的网络参数相同；所述本地网络模型和所述目标网络模型属于同一个智能体；
针对每个时隙，控制智能体基于贪婪算法选择动作；其中，每个时隙下，智能体的状态包括：第一前导序列总数和第二前导序列总数，智能体的动作包括：接入等级限制ACB因子和退避窗口总数，智能体执行动作后获取的奖励为：所有用户的接入时延合格率与接入能耗合格率的加权和；
将当前时隙下智能体的状态、动作、执行动作后获取的奖励和下一时隙的状态作为一个经验元组存入经验池，直至得到预设数量个经验元组；
从所述经验池中进行批量采样，以对所述本地网络模型和所述目标网络模型进行训练，得到目标损失函数；
基于所述目标损失函数对所述本地网络模型的网络参数进行更新，并控制所述目标网络模型每隔预设周期复制所述本地网络模型的网络参数；
在确定所述本地网络模型的网络参数更新预设次数的情况下，将所述本地网络模型作为所述目标拥塞控制模型；
其中，计算智能体执行动作后获取的奖励，包括：
获取目标用户的数据包准备完成的第一时刻和所述数据包发送完成的第二时刻；其中，所述目标用户表示所有用户中的任一用户；
基于所述第一时刻和所述第二时刻，计算所述目标用户的接入时延；
获取所述目标用户维持发送状态的第一时长、维持接收状态的第二时长、发送状态单位能耗、接收状态单位能耗和空闲状态单位能耗；
基于所述目标用户的接入时延、所述第一时长和所述第二时长，计算所述目标用户的空闲时长；
基于所述第一时长、所述第二时长、所述空闲时长、所述发送状态单位能耗、所述接收状态单位能耗和所述空闲状态单位能耗，计算所述目标用户的接入能耗；
基于预设时延阈值、预设能耗阈值、每个用户的接入时延和接入能耗，计算所有用户的接入时延合格率和接入能耗合格率，以将所述接入时延合格率和所述接入能耗合格率的加权和作为所述奖励。
2.根据权利要求1所述的低轨卫星物联网随机接入拥塞控制方法，其特征在于，接收每个所述用户发送的前导序列，并确定成功接入的第一前导序列总数和发生碰撞的第二前导序列总数，包括：
统计所有用户发送的前导序列中，目标前导序列的数量；其中，所述目标前导序列表示所有用户发送的前导序列中的任一前导序列；
在确定所述目标前导序列的数量为1的情况下，确定所述目标前导序列为第一前导序列；
在确定所述目标前导序列的数量大于1的情况下，确定所述目标前导序列为第二前导序列；
统计所有第一前导序列和所有第二前导序列，得到所述第一前导序列总数和所述第二前导序列总数。
3.根据权利要求1所述的低轨卫星物联网随机接入拥塞控制方法，其特征在于，基于预设时延阈值、预设能耗阈值、每个用户的接入时延和接入能耗，计算所有用户的接入时延合格率和接入能耗合格率，包括：
判断所述目标用户的接入时延是否大于所述预设时延阈值；
若是，则确定所述目标用户的接入时延不合格；
若否，则确定所述目标用户的接入时延合格；
判断所述目标用户的接入能耗是否大于所述预设能耗阈值；
若是，则确定所述目标用户的接入能耗不合格；
若否，则确定所述目标用户的接入能耗合格；
统计所有用户中接入时延合格的第一用户总数，以及，统计所有用户中接入能耗合格的第二用户总数；
基于所述第一用户总数和所述待接入低轨卫星物联网的用户总数，计算所有用户的接入时延合格率，以及，基于所述第二用户总数和所述待接入低轨卫星物联网的用户总数，计算所有用户的接入能耗合格率。
4.根据权利要求1所述的低轨卫星物联网随机接入拥塞控制方法，其特征在于，所述奖励的算式表示为：；其中，/>表示所述接入时延合格率，/>表示所述接入能耗合格率，/>表示平衡所述接入时延合格率和所述接入能耗合格率的调整因子，。
5.根据权利要求1所述的低轨卫星物联网随机接入拥塞控制方法，其特征在于，所述目标损失函数表示为：；其中，/>表示批量采样的经验元组数量，/>，/>表示批量采样中第j个经验元组中的奖励，/>表示折扣因子，/>，/>表示在所述本地网络模型的模型参数/>下，智能体在状态/>下采取动作/>时的动作价值，/>表示第j+1个经验元组中智能体的状态，表示第j个经验元组中智能体的动作，/>表示所述目标网络模型的模型参数，/>表示所述目标网络模型输出的动作价值，/>表示在所述本地网络模型的模型参数/>下，智能体在状态/>下采取动作/>时的动作价值。
6.一种低轨卫星物联网随机接入拥塞控制装置，其特征在于，应用于低轨卫星，包括：
广播模块，用于广播前导序列池至所有待接入低轨卫星物联网的用户，以使每个所述用户随机选择一个前导序列发送至所述低轨卫星；其中，所述前导序列池为多个前导序列的集合；
接收和确定模块，用于接收每个所述用户发送的前导序列，并确定成功接入的第一前导序列总数和发生碰撞的第二前导序列总数；
处理模块，用于利用目标拥塞控制模型对所述第一前导序列总数和所述第二前导序列总数进行处理，同时得到目标接入等级限制ACB因子和目标退避窗口总数；其中，所述目标拥塞控制模型的训练目标为所有用户的接入时延合格率与接入能耗合格率的加权和最大化；
拥塞控制模块，用于基于所述目标接入等级限制ACB因子和目标退避窗口总数，对所述低轨卫星物联网进行接入拥塞控制；
所述装置还包括：
初始化模块，用于初始化本地网络模型和目标网络模型；其中，初始化之后，所述本地网络模型的网络参数与所述目标网络模型的网络参数相同；所述本地网络模型和所述目标网络模型属于同一个智能体；
控制模块，用于针对每个时隙，控制智能体基于贪婪算法选择动作；其中，每个时隙下，智能体的状态包括：第一前导序列总数和第二前导序列总数，智能体的动作包括：接入等级限制ACB因子和退避窗口总数，智能体执行动作后获取的奖励为：所有用户的接入时延合格率与接入能耗合格率的加权和；
存储模块，用于将当前时隙下智能体的状态、动作、执行动作后获取的奖励和下一时隙的状态作为一个经验元组存入经验池，直至得到预设数量个经验元组；
采样和训练模块，用于从所述经验池中进行批量采样，以对所述本地网络模型和所述目标网络模型进行训练，得到目标损失函数；
更新模块，用于基于所述目标损失函数对所述本地网络模型的网络参数进行更新，并控制所述目标网络模型每隔预设周期复制所述本地网络模型的网络参数；
确定模块，用于在确定所述本地网络模型的网络参数更新预设次数的情况下，将所述本地网络模型作为所述目标拥塞控制模型；
其中，所述装置还用于：计算智能体执行动作后获取的奖励，包括：
第一获取模块，用于获取目标用户的数据包准备完成的第一时刻和所述数据包发送完成的第二时刻；其中，所述目标用户表示所有用户中的任一用户；
第一计算模块，用于基于所述第一时刻和所述第二时刻，计算所述目标用户的接入时延；
第二获取模块，用于获取所述目标用户维持发送状态的第一时长、维持接收状态的第二时长、发送状态单位能耗、接收状态单位能耗和空闲状态单位能耗；
第二计算模块，用于基于所述目标用户的接入时延、所述第一时长和所述第二时长，计算所述目标用户的空闲时长；
第三计算模块，用于基于所述第一时长、所述第二时长、所述空闲时长、所述发送状态单位能耗、所述接收状态单位能耗和所述空闲状态单位能耗，计算所述目标用户的接入能耗；
第四计算模块，用于基于预设时延阈值、预设能耗阈值、每个用户的接入时延和接入能耗，计算所有用户的接入时延合格率和接入能耗合格率，以将所述接入时延合格率和所述接入能耗合格率的加权和作为所述奖励。
7.一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的低轨卫星物联网随机接入拥塞控制方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现权利要求1至5中任一项所述的低轨卫星物联网随机接入拥塞控制方法。
CN202410153915.XA 2024-02-04 2024-02-04 低轨卫星物联网随机接入拥塞控制方法和装置 Active CN117692961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410153915.XA CN117692961B (zh) 2024-02-04 2024-02-04 低轨卫星物联网随机接入拥塞控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410153915.XA CN117692961B (zh) 2024-02-04 2024-02-04 低轨卫星物联网随机接入拥塞控制方法和装置

Publications (2)

Publication Number Publication Date
CN117692961A CN117692961A (zh) 2024-03-12
CN117692961B true CN117692961B (zh) 2024-04-26

Family

ID=90133874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410153915.XA Active CN117692961B (zh) 2024-02-04 2024-02-04 低轨卫星物联网随机接入拥塞控制方法和装置

Country Status (1)

Country Link
CN (1) CN117692961B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016206284A1 (zh) * 2015-06-24 2016-12-29 华为技术有限公司 一种基于异构优先级的随机接入方法、装置、设备及***
CN109286993A (zh) * 2018-10-26 2019-01-29 南京邮电大学 一种基于估计算法的动态接入蜂窝网络的方法
CN109803246A (zh) * 2019-03-14 2019-05-24 西安交通大学 大规模mtc网络中一种基于分组的随机接入与数据传输方法
CN109905922A (zh) * 2019-03-08 2019-06-18 南京邮电大学 一种基于时隙Aloha与自适应ACB混合的大规模终端接入方法
CN110113720A (zh) * 2019-04-25 2019-08-09 中国人民解放军陆军工程大学 基于acb机制的组寻呼拥塞控制方法
CN110602798A (zh) * 2019-09-20 2019-12-20 中山大学 Lte网络机器通信随机接入最优参数分布式确定方法
CN113810883A (zh) * 2021-07-01 2021-12-17 中铁二院工程集团有限责任公司 物联网大规模随机接入控制方法
CN114845338A (zh) * 2022-04-22 2022-08-02 中国科学院合肥物质科学研究院 一种面向用户接入的随机退避方法
CN115278908A (zh) * 2022-01-24 2022-11-01 北京科技大学 一种无线资源分配优化方法及装置
CN115348565A (zh) * 2022-08-17 2022-11-15 西安交通大学 大规模mtc场景中基于负载感知的动态接入与退避方法及***
CN115379423A (zh) * 2022-07-20 2022-11-22 哈尔滨工业大学（深圳） 一种基于前导复用和碰撞感知的随机接入控制方法及***
CN116017755A (zh) * 2022-12-05 2023-04-25 西北工业大学 一种基于noma的机器通信随机接入方法
CN116806039A (zh) * 2022-03-16 2023-09-26 西安电子科技大学 基于acb因子优化算法的mtc设备拥塞优化方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016206284A1 (zh) * 2015-06-24 2016-12-29 华为技术有限公司 一种基于异构优先级的随机接入方法、装置、设备及***
CN109286993A (zh) * 2018-10-26 2019-01-29 南京邮电大学 一种基于估计算法的动态接入蜂窝网络的方法
CN109905922A (zh) * 2019-03-08 2019-06-18 南京邮电大学 一种基于时隙Aloha与自适应ACB混合的大规模终端接入方法
CN109803246A (zh) * 2019-03-14 2019-05-24 西安交通大学 大规模mtc网络中一种基于分组的随机接入与数据传输方法
CN110113720A (zh) * 2019-04-25 2019-08-09 中国人民解放军陆军工程大学 基于acb机制的组寻呼拥塞控制方法
CN110602798A (zh) * 2019-09-20 2019-12-20 中山大学 Lte网络机器通信随机接入最优参数分布式确定方法
CN113810883A (zh) * 2021-07-01 2021-12-17 中铁二院工程集团有限责任公司 物联网大规模随机接入控制方法
CN115278908A (zh) * 2022-01-24 2022-11-01 北京科技大学 一种无线资源分配优化方法及装置
CN116806039A (zh) * 2022-03-16 2023-09-26 西安电子科技大学 基于acb因子优化算法的mtc设备拥塞优化方法及装置
CN114845338A (zh) * 2022-04-22 2022-08-02 中国科学院合肥物质科学研究院 一种面向用户接入的随机退避方法
CN115379423A (zh) * 2022-07-20 2022-11-22 哈尔滨工业大学（深圳） 一种基于前导复用和碰撞感知的随机接入控制方法及***
CN115348565A (zh) * 2022-08-17 2022-11-15 西安交通大学 大规模mtc场景中基于负载感知的动态接入与退避方法及***
CN116017755A (zh) * 2022-12-05 2023-04-25 西北工业大学 一种基于noma的机器通信随机接入方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Random Access Protocol for Massive MIMO: The Adaptive ACB based Collision Resolution;Ha Tran Huu 等;2021 8th NAFOSTED Conference on Information and Computer Science (NICS);20220208;全文 *
LSTM-ACB-Based Random Access for Mixed Traffic IoT Networks;Herman Lucas dos Santos 等;2022 IEEE 8th World Forum on Internet of Things (WF-IoT);20230622;全文 *

Also Published As

Publication number Publication date
CN117692961A (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
US10757033B2 (en) Traffic control method, traffic control apparatus and server
CN110061924B (zh) 一种报文转发方法、装置及相关产品
CN110262827B (zh) 增量更新的方法、装置、存储介质以及电子设备
KR101689364B1 (ko) 에너지 하비스팅 사물 인터넷 네트워크에서의 에너지 적응적 자원 할당 방법과 장치
CN110446227B (zh) 终端下行窗口开启时机的控制方法及装置、设备、介质
KR20080080726A (ko) 다단계 경쟁을 이용한 전송 장치 및 방법
EP4020892A1 (en) Network parameter configuration method and apparatus
EP3491793B1 (en) System and method for resource-aware and time-critical iot frameworks
TW201014390A (en) Method and system for estimating station numbers in wireless communications
US20220311670A1 (en) Information processing method and apparatus, device, and computer-readable storage medium
US8755281B2 (en) Constant window back-off method for multiple access in wireless local area networks
CN117692961B (zh) 低轨卫星物联网随机接入拥塞控制方法和装置
CN109286993B (zh) 一种基于估计算法的动态接入蜂窝网络的方法
WO2012078490A1 (en) Proportional resource allocation for multi-rate random access
Anderton et al. Is our model for contention resolution wrong? Confronting the cost of collisions
CN112491573B (zh) 一种网络参数配置方法及装置
Lee et al. LSTM-based ACB scheme for machine type communications in LTE-A networks
CN111858099B (zh) 消息订阅方法及装置
CN112492625A (zh) 一种基于重复和重传的窄带物联网覆盖增强分析方法
Miśkowicz Access delay in LonTalk MAC protocol
Martorell et al. Non-saturated IEEE 802.11 networks. A hierarchical 3D Markov model
CN114501145B (zh) 视频传输的码率控制方法、装置、电子装置和存储介质
CN111510870B (zh) 相控阵卫星组播方法及装置
CN111953402A (zh) 一种信道忙闲状态估计方法、装置、设备及存储介质
Yan et al. Improved throughput stabilizing scheme for group paging in mMTC: A traffic scattering perspective

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant