学位论文 > 优秀研究生学位论文题录展示

基于强化学习的Ad Hoc网络QoS路由算法研究

作　者: 张彬彬
导　师: 刘全
学　校: 苏州大学
专　业: 计算机应用技术
关键词: Ad Hoc路由算法统计链路强化学习 QoS NS2
分类号: TN929.5
类　型: 硕士论文
年　份: 2010年
下　载: 87次
引　用: 0次
阅　读: 论文下载

内容摘要

Ad Hoc网络(MANETs,Mobile Ad Hoc Networks)是一种由无线移动节点组成的具有任意性和临时性网络拓扑的动态自组织网络系统。随着应用领域的不断扩展,要求Ad Hoc网络能够针对不同多媒体业务提供不同的服务质量QoS(Quality of service)。特别是目前日益增多的音频、视频和高实时性的数据业务都对网络传输平均延迟、延迟抖动、优先级划分、带宽分配等提出了更高的要求。本文在总结前人研究工作的基础上,对利用强化学习算法求解移动Ad Hoc网络QoS路由问题进行了系统而深入的研究,主要做了以下三方面工作。1.在分析现有Ad Hoc路由算法链路模型的基础上,针对现有路由算法的链路模型基本为二值模型,也就是链路要么是断开,要么是连接,这种模型不能有效区分是由于拥塞引起的链路失败,还是由于目标不在传输范围内引起的传输失败这一问题,本文将离散链路模型改进为基于统计值的连续链路模型,并结合改进Q学习算法,提出了基于改进统计链路模型的Ad Hoc网络强化学习路由算法SNLQ。根据802.11MAC协议的特点,利用统计度量信息来表示链路的质量,有效解决了强化学习路由算法链路表示问题,也为强化学习算法的动作选择提供更准确的信息。仿真实验表明,该算法可以有效解决拥塞频率和端到端延时,其性能优于AODV与DSR。2.本文通过研究多约束QoS路由的数学模型,结合改进的SARSA强化学习算法,提出了应用SARSA强化学习算法来求解移动Ad Hoc网络中多约束QoS路由问题,并提出相应算法SARSA-R,该算法考虑了链路带宽和延迟两种QoS指标,仿真实验证明了该算法对于解决多约束QoS路由问题具有较好的性能。3.以NS2网络仿真器为仿真平台,设计了一个融合SNLQ和SARSA-R的仿真系统。仿真结果表明,本文提出的算法充分利用了Ad Hoc网络有限的带宽,减少了平均端到端传输延迟,而且接收端视频的主客观质量评价都有了明显提高。

全文目录

中文摘要  4-5
Abstract  5-9
第1章绪论  9-18
  1.1 Ad Hoc 网络概述  9-13
    1.1.1 Ad Hoc 网络的定义及特点  9-11
    1.1.2 Ad Hoc 网络的体系结构  11-13
  1.2 强化学习概述  13-15
  1.3 Ad Hoc 网络QoS 路由的研究现状  15-16
  1.4 本文的主要研究工作  16-17
  1.5 本文的结构安排  17-18
第2章 Ad Hoc 网络中的QoS 路由协议和强化学习  18-30
  2.1 Ad Hoc 网络的路由协议  18-20
    2.1.1 单播路由协议  18-20
    2.1.2 多播路由协议  20
  2.2 Ad Hoc 网络的QoS 研究  20-23
    2.2.1 QoS 概述  20-21
    2.2.2 Ad Hoc 网络的QoS 路由协议  21-23
  2.3 强化学习理论与算法  23-29
    2.3.1 马尔科夫决策过程  23-26
    2.3.2 典型算法  26-29
  2.4 本章小结  29-30
第3章基于统计链路的Ad Hoc 网络强化学习路由算法  30-41
  3.1 Ad Hoc 网络的QoS 路由模型  30-31
    3.1.1 QoS 路由模型  30-31
  3.2 SNLQ 路由算法设计  31-37
    3.2.1 算法思想  32-34
    3.2.2 算法描述  34-35
    3.2.3 算法实现  35-37
  3.3 实验结果与分析  37-40
  3.4 本章小结  40-41
第4章基于SARSA 强化学习的多约束QoS 路由算法  41-50
  4.1 算法思想  41-44
  4.2 算法描述  44-46
  4.3 算法实现  46-47
    4.3.1 算法收敛性分析  46
    4.3.2 算法运行时间与复杂度分析  46-47
  4.4 实验结果分析及算法性能评价  47-49
    4.4.1 仿真环境及参数设置  47
    4.4.2 实验结果及分析  47-49
  4.5 本章小结  49-50
第5章融合SNLQ 和SARSA-R 算法的N52 仿真系统  50-63
  5.1 NS2 概述  50-53
    5.1.1 NS2 简介  50-51
    5.1.2 NS2 的工作机制与仿真流程  51-53
  5.2 网络视频的QoS  53-56
    5.2.1 模拟过程  55-56
    5.2.2 系统架构  56
  5.3 SNLQ 和SARSA-R 的NS2 仿真系统  56-62
    5.3.1 仿真系统设计  56
    5.3.2 实验步骤  56-59
    5.3.3 实验结果与分析  59-62
  5.4 本章小结  62-63
第6章总结与展望  63-65
  6.1 论文工作总结  63-64
  6.2 存在的不足与展望  64-65
参考文献  65-70
攻读硕士期间发表（录用）的论文和参加的科研项目  70-71
致谢  71-72

基于强化学习的Ad Hoc网络QoS路由算法研究

内容摘要

全文目录

相似论文