CN112765892B - 一种异构车联网中的智能切换判决方法 - Google Patents
一种异构车联网中的智能切换判决方法 Download PDFInfo
- Publication number
- CN112765892B CN112765892B CN202110109945.7A CN202110109945A CN112765892B CN 112765892 B CN112765892 B CN 112765892B CN 202110109945 A CN202110109945 A CN 202110109945A CN 112765892 B CN112765892 B CN 112765892B
- Authority
- CN
- China
- Prior art keywords
- decision
- module
- network
- neural network
- vehicle terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 114
- 230000008569 process Effects 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 37
- 210000004556 brain Anatomy 0.000 claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims description 57
- 230000009471 action Effects 0.000 claims description 53
- 230000006870 function Effects 0.000 claims description 44
- 239000003795 chemical substances by application Substances 0.000 claims description 40
- 238000013527 convolutional neural network Methods 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 29
- 125000004122 cyclic group Chemical group 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 20
- 238000011156 evaluation Methods 0.000 claims description 18
- 230000000306 recurrent effect Effects 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000001186 cumulative effect Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 210000005036 nerve Anatomy 0.000 claims description 4
- 238000004891 communication Methods 0.000 abstract description 8
- 230000015654 memory Effects 0.000 description 10
- 230000002787 reinforcement Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004088 simulation Methods 0.000 description 6
- 230000006855 networking Effects 0.000 description 5
- 238000005315 distribution function Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 102000011104 Wiskott-Aldrich Syndrome Protein Family Human genes 0.000 description 2
- 108010062653 Wiskott-Aldrich Syndrome Protein Family Proteins 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- GVVPGTZRZFNKDS-JXMROGBWSA-N geranyl diphosphate Chemical compound CC(C)=CCC\C(C)=C\CO[P@](O)(=O)OP(O)(O)=O GVVPGTZRZFNKDS-JXMROGBWSA-N 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
一种异构车联网中的智能切换判决方法，属于车联网通信技术领域，包括：步骤1、搭建问题模型；步骤2、搭建DCRQN架构，主要分为网络环境和决策大脑两部分；决策大脑从网络环境中获得网络的状态信息，即网络接入点接收到的车辆终端的SINR，并对网络状态信息进行处理，然后决策大脑制定决策，并执行决策指令，实现对网络的管理操作，即将车辆终端切换到目标网络；所述决策大脑由三个部分组成，分别为：智能体模块、特征提取模块和决策模块；步骤3、基于DCRQN进行切换决策。本发明方法能够学***均吞吐量最高，提高车辆终端的服务质量。
Description
技术领域
本发明属于车联网通信技术领域，具体涉及一种基于DCRQN(Deep ConvolutionalRecurrent Q-network)的异构车联网中的智能切换判决方法。
背景技术
车联网，又可以称作车载互联网、车载网络，是由智能交通领域与物联网领域交互发展融合的产物。车联网已被视为智能交通***(ITS)和智慧城市发展的重要组成部分。它有望带来一系列全新的应用，从道路安全改善到交通效率优化，从自动驾驶到车辆随时随地的互联网接入。车联网将最终对社会和世界各地数百万人的日常生活产生深远的影响。由于其严格和多样化的服务质量(QoS)需求以及车载环境的动态性，如快速变化的无线传播信道和不断变化的网络拓扑，车联网也带来了不同于传统无线通信***的新的挑战。为了应对这些挑战，在全球范围内，研究人员开发了各种各样的通信标准，如美国的专用短程通信标准(DSRC)和欧洲的ITSG5标准。最近，第三代合作伙伴计划(3GPP)也启动了一个在长期演进(LTE)网络和未来5G蜂窝***中支持车辆到一切(V2X)服务的项目。
与此同时，随着高性能计算和存储设施以及各种先进的车载传感器，如激光雷达、雷达和照相机，车辆将不仅仅是一种简单的交通工具。它们生成、收集、存储、处理和传输大量数据，以使驾驶更安全、更方便。这些丰富的数据将必然为探索可靠和有效的车联网的设计提供新的机会。机器学习作为人工智能的一个主要分支，构建了能够在复杂环境中运行的智能***，在计算机视觉、自然语言处理、机器人等领域都有很多成功的应用。它开发了分析大量的数据的高效方法，这有助于支持未来的智能无线电终端。此外，机器学习代表了一种有效的数据驱动的方法，使其在处理异构数据时具有鲁棒性，因为没有对数据分布做出明确的假设。机器学习提供了一套通用的工具来开发和挖掘车联网中产生的多个数据源。这将有助于***做出更明智和数据驱动的决策，减轻通信挑战，并提供非传统的服务，如基于位置的服务，实时交通流预测和控制，车辆轨迹预测以及自动驾驶。然而，如何利用这些工具服务于车联网的目的仍然是一个挑战，并代表了一个有前途的研究方向。
发明内容
针对现有技术存在的不足，本发明提出一种基于DCRQN的异构车联网中的智能切换判决方法，该方法能够学***均吞吐量最高。
一种异构车联网中的智能切换判决方法，包括以下步骤：
步骤1、搭建问题模型，具体如下：
步骤1-1、将车联网切换问题建模为马尔科夫决策过程。
步骤1-2、定义马尔科夫决策过程的状态空间S，采用网络接收到车辆终端的SINR来表征车辆终端在网络中所处的状态。
步骤1-3、定义马尔科夫决策过程的动作空间A，用不同动作表示将车辆终端切换到不同网络的决策。
步骤1-4、定义马尔科夫决策过程的奖励，以实时吞吐量作为奖励r。智能体通过学***均吞吐量最高。
步骤2、搭建DCRQN架构，主要分为网络环境和决策大脑两部分。决策大脑从网络环境中获得网络的状态信息，并对网络状态信息进行处理，然后决策大脑制定决策，并执行决策指令，实现对网络的管理操作。决策大脑由三个部分组成，分别为：智能体模块、特征提取模块和决策模块，具体如下：
步骤2-1、构建智能体模块；该模块负责直接与网络环境进行交互，感知车辆终端的当前状态并执行动作。智能体模块周期性地从实际网络环境中获取网络状态，对状态信息进行预处理，将预处理过的状态信息反馈给特征提取模块；智能体模块监控决策模块的输出，如果决策模块输出了某个策略，智能体模块会执行该决策指令，实现对网络环境的管理和控制。
步骤2-2、构建特征提取模块；该模块由两个子模块组成，分别是卷积神经网络子模块和循环神经网络子模块。根据从智能体模块中读取的预处理状态信息，特征提取模块依次提取无线信号的空间特征和时间特征，得到一个包含车辆终端的位置信息和移动性信息的特征向量，并将其输入到决策模块。根据决策模块返回的损失函数，在卷积神经网络和循环神经网络中执行反向传播算法，完成卷积神经网络和循环神经网络的训练以及参数更新。
步骤2-3、构建决策模块，即构建一个前向全连接的神经网络，从而实现状态到动作的映射，将特征提取模块输出的特征向量映射成相应的决策，将这个全向连接的神经网络拟合成最优决策函数。决策模块读取特征提取模块输出的特征向量，利用Q值函数，输出各个决策的评估值；对于任意的状态输入，选择评估值最大的动作决策，然后通知智能体模块执行该决策。
步骤3、基于DCRQN进行切换决策，具体过程如下：
步骤3-1、智能体模块对读取的状态数据Sn进行预处理，将状态数据Sn预处理成张量，输出状态数据集合φ(Sn)。
步骤3-2、特征提取模块对预处理后的状态信息进行特征提取。首先通过卷积神经网络子模块提取车辆终端在网络中的空间位置特征，然后利用循环神经网络子模块提取状态信息的时间特征。
步骤3-3、决策模块计算决策空间中的每个动作的Q值，并做出决策。决策模块将最终决策的动作通知给智能体模块。智能体模块执行相应的网络管理操作，实现对车辆终端切换的控制。
步骤3-4、进行网络训练。将基于DCRQN的切换决策过程中涉及的三种类型的神经网络，即卷积神经网络、循环神经网络与前向全连接神经网络作为一个整体，并对该整体网络的联合非线性函数FN(.)进行训练，以得到最优的参数集θ，从而学习状态到动作的最优映射策略。
本发明优点：
本发明首先考虑了强化学习不仅具有能够在与环境的交互中学习，最终获得能够最大化长期累积收益的最优策略的特点；还具有在线学习的特性，可以感知到网络部署的变化，之前学到的策略不再是最佳策略，将通过另一轮训练得到更新最佳策略。因此，本发明设计了一个DCRQN架构，并基于此架构提出了一种基于DCRQN的车联网切换方法，通过在实际网络环境中进行训练，能够得到适用于该车联网场景的最优切换判决策略，具有较强的普适性和自适应性。其次，车辆终端的高速移动导致信号强度在传播过程中有明显的波动，在一段时间内，连续的无线信号之间存在显著的相关性。本发明考虑深度学习可以通过将低层属性特征组合成更抽象的高层属性来探索数据的分布式特征的特点，使用网络接收到车辆终端的SINR来表征车辆终端所处的状态，分别使用卷积神经网络和循环神经网络提取无线信号的空间特征和时序特征，从而能够很好地表示车辆终端在网络中的状态特征。而且，本发明针对在网络切换的过程中，由于无线链路的质量较差，导致车辆终端的吞吐量下降的问题，将车辆终端的实时吞吐量作为DCRQN的奖励，从而能够明显地提高车辆终端在切换过程中的吞吐量，从而提高车辆终端的服务质量。
附图说明
图1为本发明提出的DCRQN架构图；
图2为本发明提出的DCRQN的训练过程图；
图3为本发明切换方法的仿真场景图；
图4为本发明切换方法的车辆终端单次切换过程中吞吐量的结果对比图；
图5为本发明切换方法的平均吞吐量与仿真次数的结果对比图；
图6为本发明切换方法的吞吐量的累积分布函数图；
图7为本发明切换方法的总吞吐量与车辆终端数量的结果对比图。
具体实施方式
下面结合附图对本发明做进一步说明。
本实施例主要解决网络切换过程中车辆终端吞吐量下降的问题，能够最大限度地提高车辆终端的平均吞吐量。
一种异构车联网中的智能切换判决方法，包括以下步骤：
步骤1、搭建问题模型，具体如下：
步骤1-1、将车联网切换问题建模为马尔科夫决策过程。在马尔科夫决策过程中，在每个时刻t，智能体通过识别当前状态st∈S来感知环境，选择一个动作at∈A，并在环境中执行动作at。然后环境反馈回奖励rt＝r(st,at)，同时过渡到下一个状态st+1。
步骤1-2、定义马尔科夫决策过程的状态空间S。利用对数距离路径损耗模型作为信道传输模型。在与车辆终端i距离为dij的网络j，检测到的RSS为：
其中Pdij表示在与车辆终端i距离为dij的网络j检测到的RSS，Ptx为车辆终端的信号发射功率，Gt、Gr分别为发射增益和接收增益，f为频率，dref为计算损耗的参考距离，L是***损失，c是光速，δ是路径损耗因子，π是圆周率。在这种情况下，对于一条从车辆终端i到网络j的上行链路，网络j接收到的SINR为：
其中表示由除车辆终端i以外所有正在发送数据的车辆终端所造成的累积干扰，σ2是加性高斯白噪声。N是除车辆终端i以外所有正在发送数据的车辆终端，M是网络数量。在车联网中，SINR是影响通信质量的一个关键因素，它能够表征通信链路的可靠程度。因此，采用网络接收到车辆终端的SINR来表征车辆终端在网络中所处的状态。在时刻n，智能体感知到的状态Sn∈S定义为：
Sn＝{s1,s2,...,sm,...,sM-1,sM} (3)
其中，sm∈Sn(0<m<M)为每个网络的状态信息(即SINR)。
步骤1-3、定义马尔科夫决策过程的动作空间A为：
A＝{a1,a2,...,am,...,aM-1,aM} (4)
其中，M为动作空间A的维度，即决策候选集的大小，它等于网络的数目。am∈A表示将车辆终端切换到第m个网络的决策。
步骤1-4、定义马尔科夫决策过程的奖励。在建模的马尔科夫决策过程中，智能体试图最大化累积奖励。由于本发明的切换方法以车辆终端的平均吞吐量最大化为目标，因此本发明以实时吞吐量作为奖励r。
使用Q函数来对不同状态的不同动作进行估值。通过策略π生成的动作状态对(s,a)的Q值，即评估函数Qπ(s,a)，表示从状态s开始，使用动作a作为第一个动作，并持续使用策略π，所得到的累积折扣奖励的期望值：
其中rt+i表示从状态st开始重复使用策略π来选择动作所获得的奖励。在随机环境中，同样的一些动作的奖励序列是不同的，智能体从时间t考虑的未来越多，奖励序列就越有可能不同。因此，引入γ(0≤γ<1)为折扣奖励因子，它确定了未来奖励与立即奖励的相对比例。因此，智能体学习到的最优策略π*是：
步骤2、如图1为本发明设计的DCRQN架构，主要分为网络环境和决策大脑两部分。决策大脑从网络环境中获得网络的状态信息，并对网络状态信息进行处理，然后决策大脑决策大脑指定决策，并执行决策指令，实现对网络的管理操作。决策大脑由三个部分组成，分别为：智能体模块、特征提取模块和决策模块，具体如下：
步骤2-1、构建智能体模块。它是该DCRQN架构中负责直接与网络环境交互的模块，是感知当前状态并执行动作的实体，其主要功能如下：
(1)周期性地从实际网络环境中获取网络状态；
(2)对状态信息进行预处理，然后反馈给特征提取模块；
(3)通过决策模块进行动作输出，获得环境的奖励。
步骤2-2、构建特征提取模块。它由两个子模块组成，分别是卷积神经网络子模块和循环神经网络子模块。将通过智能体模块预处理后的状态信息先反馈给卷积神经网络子模块，然后反馈给循环神经网络子模块。
卷积神经网络特征提取模块的主要功能是根据状态信息提取车辆终端在车联网中的相对位置特征。因为在现实环境中各接入设备的布局拓扑都是不一致的，比如星型拓扑，这可能会直接影响切换决策。例如，在其他条件相同的情况下，决策模块倾向于将车辆终端切换到与其最近的网络，而“与其最近的网络”这条信息就是卷积神经网络子模块所提取的空间特征。卷积神经网络最终输出一个特征向量，它可以表征车辆终端在某一时刻的空间位置，并将其反馈给循环神经网络子模块，作为循环神经网络子模块的输入，以用于后续特征的提取。
循环神经网络子模块的主要功能是提取状态信息的时序特征。在实际的车联网中，车辆终端的移动导致网络接收到的信号强度在传播过程中有明显的波动。而且，在一段时间内，网络接收到的连续的无线信号前后之间存在显著的相关性。通过循环神经网络可以提取接收到的无线信号的时间特征，从而推断车辆终端的移动速度或移动方向。循环神经网络子模块提取的车辆终端的移动性特征和卷积神经网络子模块提取的车辆终端的空间位置特征，一起被作为决策模块的输入。主要功能如下：
(1)从智能体模块中读取预处理状态信息并将其作为卷积神经网络的输入；
(2)依次提取无线信号的空间特征和临时特征，得到一个包含车辆终端的位置信息和移动性信息的特征向量，并将其作为决策模块的输入。
(3)根据决策模块返回的损失函数，在卷积神经网络和循环神经网络中执行反向传播算法，完成卷积神经网络和循环神经网络的训练以及参数更新。
步骤2-3、构建决策模块。它本质上是一个前向全连接的神经网络，利用它来实现状态到动作的映射，将特征提取模块输出的特征向量映射成相应的决策。最优策略对应于最优决策函数，为了得到最优策略，需要将这个全向连接的神经网络拟合成能够最优决策函数模型。该模型具有非线性特性，可以逼近任意函数模型。同样，其主要功能如下：
(1)读取特征提取模块输出的特征向量，并将其作为输入；
(2)使用全连接神经网络近似Q学习算法中的Q值函数，输出各个决策的评估值(决策的好坏程度)。
(3)对于任意的状态输入，选择评估值最大的动作决策，然后通知智能体模块执行该决策；
(4)从智能体模块读取对环境执行某个决策后的奖励，计算Q学习算法的损失函数，并将前向全连接神经网络中执行反向传播算法，完成相关神经网络的训练以及参数的更新。最终将通过前向全连接神经网络回传的损失函数传递给特征提取模块，用于特征提取网络进行参数的训练和更新。
步骤3、基于DCRQN进行切换决策，具体过程如下：
步骤3-1、智能体模块对读取的状态数据Sn进行预处理，将状态Sn预处理成张量，输出状态数据集合φ(Sn)，定义为：
φ(Sn)＝{Sn-l+1,Sn-l+2,...,Sn-l+j,...,Sn-1,Sn}T (7)
其中，l是智能体模块读取的状态数据的时间长度，它表示选取多长时间的状态数据用于下一阶段的特征提取。
步骤3-2、智能体模块对车辆终端的状态信息进行预处理后，特征提取模块会对这些信息进行特征提取。它首先通过卷积神经网络子模块提取车辆终端在网络中的空间位置特征，然后利用循环神经网络子模块提取状态信息的时间特征。
卷积神经网络子模块使用卷积核对输入的状态信息进行卷积操作得到卷积层的输出。构造连续的两个卷积层对状态数据集合φ(Sn)执行卷积操作，卷积层1包含16个卷积核，每个卷积核大小为5×5。卷积层2设置了32个卷积核，每个卷积核大小为3×3。在每次的卷积操作后都进行ReLU操作。ReLU表示修正线性单元，是一个非线性操作。然后，再由池化层对卷积层的结果降维，每个池化核的大小是2×2。输出特征图的大小(卷积特征)由三个参数控制，分别是：深度、步长、零填充。输出特征图的大小使用零填充，即在输入矩阵的边缘使用零值进行填充，零填充的好处是可以控制特征图的大小。在这种情况下，整个卷积神经网络中的卷积层和池化层交替出现并执行相应的操作，最终完成对空间特征的提取。卷积神经网络在本质上是一个可自学习参数的非线性函数，它被定义为：
C＝fC(φ(S)；vC(k,p；βC)) (8)
其中fC(.)是卷积神经网络的非线性映射函数，vc(.)表示卷积神经网络所有参数的集合。k,p分别表示卷积层和池化层的设计参数，βC表示卷积神经网络的可变参数，比如权重和偏置。
通过卷积神经网络对状态数据集合进行处理和分析后，获得一个三维的特征图C。循环神经网络子模块包含两个RNN循环单元，每个循环单元的隐藏单元个数为256，选择tanh函数作为隐藏层的激活函数。为了适应循环神经网络结构，特征提取模块将特征图C转换为一个二维特征图C'，并将其输入循环神经网络，对其进行时序特征提取，循环神经网络的映射函数是：
χ＝fR(C'；vR(u；βR)) (9)
其中fR(.)是循环神经网络的非线性映射函数，vR(.)是循环神经网络所有参数的集合，u表示RNN单元的个数。βR表示循环神经中的可量参数。这一过程实现从二维特征集合C'中提取时序特征，并得到最终的特征向量χ，是整个特征提取模块的最终输出。它既能反映车辆终端在车联网中的位置的空间特征，又能反映车辆终端移动性信息的时间特征。可以很好地表征车辆终端在车联网中的状态。
步骤3-3、决策模块读取通过特征提取模块提取到的特征向量，并做出决策。
决策模块本身属于前向全连接的神经网络，包含两个全连接层，后面连接一个softmax分类器，它作为DCRQN中的Q值评估函数，用来计算决策空间中的每个动作的Q值。给定一个输入特征向量χ，动作的Q值可以计算为：
Q(χ,ai；vD(v；βD))＝fD(χ,ai；vD(v；βD)),ai∈A (10)
其中fD是在决策过程中的非线性映射函数，vD(.)是全连接神经网络中所有参数的集合。βD表示全连接神经网络中的可变参数。Q(χ,ai；vD(v；βD))表示在神经网络参数为βD的情况下，当输入的特征向量为χ时，决策网络选择动作ai的偏好程度。最终决策的动作可以根据这个策略确定：
决策模块会将最终决策的动作立即通知给智能体模块，智能体模块接收到该决策后，会执行相应的网络管理操作，实现对车辆终端切换的控制。
步骤3-4、进行网络训练。
基于DQN的切换决策过程中涉及了三种类型的神经网络，卷积神经网络、循环神经网络和前向全连接神经网络。为了简单起见，将这三种网络作为一个整体。则状态空间与决策空间中动作Q值的映射关系可以表示为：
Q(φ(St),ai；θ)＝FN(φ(St),ai；θ) (12)
其中FN(.)为卷积神经网络、循环神经网络与前向全连接神经网络的联合非线性函数。参数θ是变量所有可变参数集合，包括参数βC、参数βR和参数βD。Q(φ(St),ai；θ)表示在时间t，给定输入状态φ(St)时，决策空间中动作ai的Q值，即表示动作ai的偏好程度。相应地，最终决策的动作被定义为：
为了学习状态到动作的最优映射策略，需要对FN(.)进行训练，以得到最优的参数集θ。训练环节需要依据损失函数进行梯度计算，并通过反向传播算法进行参数的迭代更新。然而，当使用非线性函数如神经网络来表示Q值函数时，传统的强化学习训练方法被认为是不稳定的，甚至是发散的。为了解决这一问题，本发明采用了以下两种方法来提高学习的稳定性和效率。
首先，引入记忆库D来存储先前的经验，包含当前状态st、当前动作at、获取的奖励rt和下一个状态st+1。记忆库D的定义为：
其中w是记忆库D的最大容量。在训练过程中，每个生成的经验存入记忆库D。在这种情况下，通过引入记忆库会扰乱内存之间的相关性，使得神经网络可以学习先前的经验，从而提高学习效率。
实际上，在DQN中有两个Q网络，即Q值评估网络和Q值目标网络。Q值评估网络用于实时学习和更新包括权值和偏置在内的参数。建立“暂时冻结”的Q值目标网络，定义Q值目标函数来解耦动作的决策过程。
图2描述了DCRQN的整体训练过程。网络状态st被感知，然后预处理为状态数据集合φ(Sn)。然后，Q值评估网络生成经验并将其存储到记忆库D中。当记忆库D存储的经验足够多时，从记忆库D中随机抽取长度为ld的经验，组成一个小的经验集合d，然后将经验集合d中的经验输入到Q值目标网络。在奖励信息r和经验集合d的基础上，损失函数Cost(θ)可以计算为：
Cost(θ)＝Ed[(yj-Q(φ(Sj),aj；θ))2] (15)
其中yj是目标Q值，计算如下：
其中γ是累积奖励的延迟回报因子。然后根据损失函数，在每一次的训练步骤里面我们会进行梯度的反向传播，从而进一步使用梯度下降方法更新Q值评估函数，更新θ中的参数集。每训练G次，对进行更新，即令/>是Q值目标函数。因此Q值评估网络被称为是“暂时冻结”的。
此外，我们利用ε贪心算法来提高学习能力，以避免DCRQN学习陷入局部最优，它允许同时执行两项任务：探索和利用。根据ε贪婪策略，智能体将以概率ε∈[0,1]随机选择一个动作a∈A(探索)，以概率1-ε根据政策π(a)选择决策空间的动作(利用)。随着训练迭代次数的增加，获得的策略会逐渐收敛。因此建立一个线性函数，它能把探索率ε从初始值εi降低到最终值εf，表示为：
ε＝ε-(εi-εf)/ζ (17)
其中ζ是迭代周期。经过大量的经验训练，所提的算法最终能得到一个适用于所在环境的最优的切换判决策略，能够根据车辆终端所处的状态做出最佳的动作决策。
具体而言，基于DCRQN的切换决策可分为训练阶段和判决阶段两部分。在训练阶段，首先初始化固定参数和Q值评估网络和Q值目标网络的参数。智能体模块读取状态信息st并将其预处理为φ(St)。训练迭代周期ζ被确定，φ(St)作为Q值评估网络的输入。通过特征提取模块和决策模块输出动作的Q值。根据ε贪心算法，决策模块以概率ε选择一个随机动作at∈A，或根据策略π(a)选取动作at。然后ε通过ε＝ε-(εi-εf)/ζ被更新。智能体模块执行动作at，获得奖励rt和下一状态St+1之后，将St+1预处理为φ(St+1)。Q值评估网络保存经验(φ(St),at,rt,φ(St+1))到记忆库D。每一次训练，Q值目标网络从D中随机采样ld个样本组成集合d，将d输入Q值评估网络和Q值目标网络计算损失函数Cost(θ)，使用梯度下降方法更新Q值评估函数，更新θ中的参数集。每训练G次对进行更新，/>通过大量的训练迭代可以得到最优的切换策略，但在判决阶段不需要引入ε贪心策略和训练Q值目标网络。
本实施中，为验证本发明所提的基于DCRQN的切换方法在提升切换过程中的吞吐量的效果，将其与以下两种切换方法进行仿真对比：
(1)基于RSS阈值的切换方法(RSST)。
(2)基于RNN的强化学习切换方法(DRQN)，即在深度强化学习算法中仅使用循环神经网络来提取车辆终端在网络中的状态特征。
图3为本发明的仿真场景图，图中所有LTE网络的覆盖半径设置为1000米，所有WAVE网络的覆盖半径设置为150米。在仿真场景下，随机生成终端节点，代表车辆终端。
图4展示了分别采用本发明提出的切换方法、基于RSST的切换方法和基于RNN的强化学习切换方法时，车辆终端在移动过程中吞吐量随时间变化的趋势图。在如图3的仿真场景中，让车辆终端按照图中所示的路径移动。由图4可知，当车辆终端开始远离WAVE3，并进入WAVE3和WAVE2的重叠覆盖区域后，车辆终端的吞吐量随着车辆的移动而持续下降。当车辆终端的吞吐量下降到一定程度时，本发明所提出的切换方法最早触发切换，使得其吞吐量开始回升。基于DRQN的切换方法做出切换决策的时间稍晚，使得车辆终端经历了一段时间的低吞吐量。基于RSST的切换方法做出切换决策的时间最晚，导致车辆终端的吞吐量下降到了图中的最低点，使得车辆终端很长一段时间处于低吞吐量的状态。
图5为本发明提出的切换方法、基于RSST的切换方法和基于RNN的强化学***均吞吐量的对比图。从图中可以看出，在五次仿真实验中，本发明提出的方法的平均吞吐量均高于基于RSST的切换方法和基于DRQN的切换方法的平均吞吐量。因此，三种切换方法中，本发明所提出的基于DCRQN的切换方法能够根据车辆终端在网络中的状态，选择最佳的切换时机和网络，从而避免切换过程中车辆终端的吞吐量下降得过低,提高车辆终端切换过程中的平均吞吐量。
图6为本发明提出的切换方法、基于RSST的切换方法和基于RNN的强化学习切换方法的吞吐量的的累积分布函数图(Cumulative Distribution Function，CDF)。所有车辆终端在仿真场景中随机移动，在三种方法下，分别统计车辆终端在3600秒时间内吞吐量的值，并绘制出吞吐量的累积分布函数图。从图中可以看出，本发明所提的切换方法获得较高吞吐量的概率都大于其他两种切换方法。
图7为本发明提出的切换方法、基于RSST的切换方法和基于RNN的强化学习切换方法的总吞吐量随车辆终端数量的变化曲线。从图可以看出，三种切换方法的总吞吐量都随车辆终端数量的增加而增加，随着车辆终端数量的增加，三种方法的总吞吐量的增加越来越缓慢。另外，当车辆终端的数量相同时，本发明所提出的切换方法的总吐吞量始终高于其他两种方法的总吞吐量。
因为所采用的切换方法不同，使得车辆终端在切换过程中所得到的吞吐量不同。对于基于RSST的切换方法，在车辆聚集的车联网场景中，难以设置适用于全局网络的RSS阈值T。基于DRQN的切换方法虽然避免了基于RSS的切换方法的缺陷，可以通过学***均吞吐量为目标，可以通过一个学习阶段获得最优切换策略。
通过上述的仿真比较，可知本发明提出基于DCRQN的车联网切换方法是有效的。对于基于RSST的切换方法，在车辆聚集的车联网场景中，难以设置适用于全局网络的RSS阈值T。基于DRQN的切换方法虽然避免了基于RSS的切换方法的缺陷，可以通过学***均吞吐量为目标，可以通过一个学习阶段获得最优切换策略，能够提高车辆终端的吞吐量，从而提高车辆用户的服务质量。
Claims (1)
1.一种异构车联网中的智能切换判决方法，其特征在于，包括以下步骤：
步骤1、搭建问题模型；将车联网切换问题建模为马尔科夫决策过程；定义马尔科夫决策过程的状态空间S，采用网络接收到车辆终端的SINR来表征车辆终端在网络中所处的状态；定义马尔科夫决策过程的动作空间A，用不同动作表示将车辆终端切换到不同网络的决策；定义马尔科夫决策过程的奖励，以实时吞吐量作为奖励r；智能体通过学***均吞吐量最高；
步骤2、搭建DCRQN架构，主要分为网络环境和决策大脑两部分；决策大脑从网络环境中获得网络的状态信息，并对网络状态信息进行处理，然后决策大脑制定决策，并执行决策指令，实现对网络的管理操作；所述决策大脑由三个部分组成，分别为：智能体模块、特征提取模块和决策模块；具体包括：
步骤2-1、构建智能体模块；该模块负责直接与网络环境进行交互，感知车辆终端的当前状态并执行动作；智能体模块周期性地从实际网络环境中获取网络状态，对状态信息进行预处理，将预处理过的状态信息反馈给特征提取模块；智能体模块监控决策模块的输出，如果决策模块输出了某个策略，智能体模块会执行该决策指令，实现对网络环境的管理和控制；
步骤2-2、构建特征提取模块；该模块由两个子模块组成，分别是卷积神经网络子模块和循环神经网络子模块；根据从智能体模块中读取的预处理状态信息，特征提取模块依次提取无线信号的空间特征和时间特征，得到一个包含车辆终端的位置信息和移动性信息的特征向量，并将其输入到决策模块；根据决策模块返回的损失函数，在卷积神经网络和循环神经网络中执行反向传播算法，完成卷积神经网络和循环神经网络的训练以及参数更新；
步骤2-3、构建决策模块，即构建一个前向全连接的神经网络，从而实现状态到动作的映射，将特征提取模块输出的特征向量映射成相应的决策，将这个全向连接的神经网络拟合成最优决策函数；决策模块读取特征提取模块输出的特征向量，利用Q值函数，输出各个决策的评估值；对于任意的状态输入，选择评估值最大的动作决策，然后通知智能体模块执行该决策；
步骤3、基于DCRQN进行切换决策；具体包括：
步骤3-1、智能体模块对读取的状态数据Sn进行预处理，将状态Sn预处理成张量，输出状态数据集合φ(Sn)，定义为：
φ(Sn)＝{Sn-l+1,Sn-l+2,...,Sn-l+j,...,Sn-1,Sn}T(1)其中，l是智能体模块读取的状态数据的时间长度，它表示选取多长时间的状态数据用于下一阶段的特征提取；
步骤3-2、智能体模块对车辆终端的状态信息进行预处理后，特征提取模块对预处理后的状态信息进行特征提取；首先通过卷积神经网络子模块提取车辆终端在网络中的空间位置特征，然后利用循环神经网络子模块提取状态信息的时间特征；卷积神经网络在本质上是一个可自学习参数的非线性函数，为：
C＝fC(φ(S)；vC(k,p；βC)) (2)
其中fC(.)是卷积神经网络的非线性映射函数，vc(.)表示卷积神经网络所有参数的集合，k,p分别表示卷积层和池化层的设计参数，βC表示卷积神经网络的可变参数；
循环神经网络的映射函数是：
χ＝fR(C'；vR(u；βR)) (3)
其中fR(.)是循环神经网络的非线性映射函数，vR(.)是循环神经网络所有参数的集合，u表示RNN单元的个数，βR表示循环神经中的可量参数；整个特征提取模块的最终输出χ，既能反映车辆终端在车联网中的位置的空间特征，又能反映车辆终端移动性信息的时间特征；C'表示由特征图C转换的二维特征图；
步骤3-3、决策模块读取特征提取模块输出的特征向量，计算决策空间中的每个动作的Q值，并做出决策；给定一个输入特征向量χ，动作的Q值可以计算为：
Q(χ,ai；vD(v；βD))＝fD(χ,ai；vD(v；βD)),ai∈A (4)
其中fD是在决策过程中的非线性映射函数，vD(.)是全连接神经网络中所有参数的集合，βD表示全连接神经网络中的可变参数，Q(χ,ai；vD(v；βD))表示在神经网络参数为βD的情况下，当输入的特征向量为χ时，决策网络选择动作ai的偏好程度；最终决策的动作为：
决策模块将最终决策的动作立即通知给智能体模块，智能体模块执行相应的网络管理操作，实现对车辆终端切换的控制；
步骤3-4、进行网络训练；
将基于DCRQN的切换决策过程中涉及的三种类型的神经网络作为一个整体，状态空间与决策空间中动作Q值的映射关系可以表示为：
Q(φ(St),ai；θ)＝FN(φ(St),ai；θ) (6)其中FN(.)为卷积神经网络、循环神经网络与前向全连接神经网络的联合非线性函数；参数θ是变量所有可变参数集合，包括参数βC、参数βR和参数βD；Q(φ(St),ai；θ)表示在时间t，给定输入状态φ(St)时，决策空间中动作ai的Q值，即它表示动作ai的偏好程度；相应地，最终决策的动作被定义为：
对FN(.)进行训练，以得到最优的参数集θ，从而学习状态到动作的最优映射策略。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110109945.7A CN112765892B (zh) | 2021-01-27 | 2021-01-27 | 一种异构车联网中的智能切换判决方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110109945.7A CN112765892B (zh) | 2021-01-27 | 2021-01-27 | 一种异构车联网中的智能切换判决方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112765892A CN112765892A (zh) | 2021-05-07 |
| CN112765892B true CN112765892B (zh) | 2023-09-26 |
Family
ID=75707526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110109945.7A Active CN112765892B (zh) | 2021-01-27 | 2021-01-27 | 一种异构车联网中的智能切换判决方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112765892B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113950113B (zh) * | 2021-10-08 | 2022-10-25 | 东北大学 | 一种基于隐马尔科夫的车联网切换决策方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108430082A (zh) * | 2018-03-12 | 2018-08-21 | 北京航空航天大学 | 一种异构车联网环境下的车载网络切换方法 |
| CN111260027A (zh) * | 2020-01-10 | 2020-06-09 | 电子科技大学 | 一种基于强化学习的智能体自动决策方法 |
| CN112004197A (zh) * | 2020-08-06 | 2020-11-27 | 重庆邮电大学 | 一种基于车辆轨迹预测的异构车联网切换方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9679258B2 (en) * | 2013-10-08 | 2017-06-13 | Google Inc. | Methods and apparatus for reinforcement learning |
| CN109495907B (zh) * | 2018-11-29 | 2020-05-12 | 北京邮电大学 | 一种意图驱动的无线接入组网方法和*** |
-
2021
- 2021-01-27 CN CN202110109945.7A patent/CN112765892B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108430082A (zh) * | 2018-03-12 | 2018-08-21 | 北京航空航天大学 | 一种异构车联网环境下的车载网络切换方法 |
| CN111260027A (zh) * | 2020-01-10 | 2020-06-09 | 电子科技大学 | 一种基于强化学习的智能体自动决策方法 |
| CN112004197A (zh) * | 2020-08-06 | 2020-11-27 | 重庆邮电大学 | 一种基于车辆轨迹预测的异构车联网切换方法 |
Non-Patent Citations (3)
| Title |
|---|
| Artificial Intelligence-Based Handoff Management for Dense WLANs: A Deep Reinforcement Learning Approach;ZIJUN HAN 等;《IEEE Access》;第7卷;31688-31701 * |
| Deep reinforcement learning based worker selection for distributed machine learning enhanced edge intelligence in internet of vehicles;Junyu Dong 等;《Intelligent and Converged Networks》;第1卷(第3期);234-242 * |
| 车联网环境下的4G和DSRC异构网络切换机制研究;郑继亭 等;《现代电子技术》;第41卷(第1期);105-111 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112765892A (zh) | 2021-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Huang et al. | Deep reinforcement learning for UAV navigation through massive MIMO technique | |
| Yang et al. | Edge intelligence for autonomous driving in 6G wireless system: Design challenges and solutions | |
| CN113162679B (zh) | 基于ddpg算法的irs辅助无人机通信联合优化方法 | |
| US10940863B2 (en) | Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle | |
| Lei et al. | Deep reinforcement learning for autonomous internet of things: Model, applications and challenges | |
| CN112004197B (zh) | 一种基于车辆轨迹预测的异构车联网切换方法 | |
| CN113132943B (zh) | 一种车联网中车边协同的任务卸载调度及资源分配方法 | |
| Zhou et al. | Deep-learning-based spatial–temporal channel prediction for smart high-speed railway communication networks | |
| CN109910909B (zh) | 一种多车运动状态的汽车轨迹网联交互式预测方法 | |
| Tian et al. | Applying deep-learning-based computer vision to wireless communications: Methodologies, opportunities, and challenges | |
| CN109831236B (zh) | 一种基于蒙特卡洛树搜索辅助的波束选择方法 | |
| US20220070822A1 (en) | Unsupervised learning for simultaneous localization and mapping in deep neural networks using channel state information | |
| CN109787699B (zh) | 一种基于混合深度模型的无线传感器网络路由链路状态预测方法 | |
| CN112765892B (zh) | 一种异构车联网中的智能切换判决方法 | |
| CN112770256A (zh) | 一种无人机自组织网络中的节点轨迹预测方法 | |
| CN113276852A (zh) | 一种基于最大熵强化学习框架的无人驾驶车道保持方法 | |
| Nasr-Azadani et al. | Single-and multiagent actor–critic for initial UAV’s deployment and 3-D trajectory design | |
| Li et al. | Dynamic value iteration networks for the planning of rapidly changing UAV swarms | |
| Han et al. | Multi-uav automatic dynamic obstacle avoidance with experience-shared a2c | |
| Xue et al. | Deep learning based channel prediction for massive MIMO systems in high-speed railway scenarios | |
| CN113382060B (zh) | 一种物联网数据收集中的无人机轨迹优化方法及*** | |
| CN114724245A (zh) | 基于csi的增量学习人体动作识别方法 | |
| JP7505569B2 (ja) | 通信情報予測装置、通信情報予測方法、および通信情報予測プログラム | |
| Dai et al. | Artificial Intelligence: Need, Evolution, and Applications for Transportation Systems | |
| Singh et al. | A handover decision model for unmanned vehicles for ubiquitous communication in wireless networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |