学位论文 > 优秀研究生学位论文题录展示

集群环境中文件传输调度系统的设计与实现

作　者: 刘博
导　师: 王宇颖；孙宏伟
学　校: 哈尔滨工业大学
专　业: 软件工程
关键词: 集群系统 文件分段传输 调度策略
分类号: TP311.52
类　型: 硕士论文
年　份: 2011年
下　载: 29次
引　用: 0次
阅　读: 论文下载
 

内容摘要


集群系统指将一组计算机或者工作站以特定的方式连结起来,并协同完成一定的任务的系统。在这个系统中,计算机或者工作站可以是同构的,也可以是异构的,而系统内部的各个计算机和工作站之间可采用以太网或专用网络连接。利用集群系统,获得接近于或超过超级并行计算机的计算和处理能力的技术就是集群技术。本论文研究的是Platform公司提供给富士通公司的一项专业服务中的项目,该项目是在集群环境下,对作业的运行和文件的传输做调度策略,在保证调度不冲突的情况下,使运行的效率最高、传输的时间最短。用户根据系统的运行情况将作业提交,并根据返回的调度结果调整系统的运行时间和运行方式,最终目的是充分利用资源,提高整个系统的运行效率。本论文中分别设计和实现了总调度模块、API模块和文件分段传输调度模块。在总调度模块中,分别实现了用户输入信息的方式、对系统中的节点进行管理、对作业进行管理以及对作业进行监控和调度等功能;在API模块中,分别实现了对系统进行控制和对共享内存进行管理的功能。在文件分段传输调度模块中,分别实现了对节点和作业进行同步和对文件的传输进行调度的功能。各个子功能模块之间相互协调,共同构成完整的系统。论文所研究的技术关键主要有进程间的数据如何进行通信;当一个线程中的数据被修改时,如何保证数据的一致性,即线程的同步方式;作业的调度策略和文件分段传输的调度策略等。通过本文的研究,最终将提高作业的运行效率和资源的利用率,以及增强系统的性能。

全文目录


摘要  4-5
Abstract  5-9
第1章 绪论  9-17
  1.1 课题的背景及研究目的  9-10
    1.1.1 课题的来源及背景  9
    1.1.2 课题的研究目的  9-10
  1.2 与本课题有关的国内外研究状况  10-15
    1.2.1 集群系统及其基本原理  10-12
    1.2.2 集群技术的国外研究现状  12-14
    1.2.3 集群技术的国内研究现状  14-15
  1.3 本论文的主要工作内容  15
  1.4 本论文的组织结构  15-17
第2章 系统的需求分析与总体设计  17-27
  2.1 业务需求  17
  2.2 功能需求  17-21
    2.2.1 总调度模块需求  18-19
    2.2.2 文件分段传输调度模块需求  19-21
  2.3 非功能需求  21-22
  2.4 系统的总体设计  22-26
    2.4.1 系统关键概念  22-23
    2.4.2 系统体系结构设计  23-24
    2.4.3 总调度模块体系结构设计  24-25
    2.4.4 文件分段传输调度模块体系结构设计  25-26
  2.5 本章小结  26-27
第3章 系统功能模块的设计  27-54
  3.1 子模块的划分  27
  3.2 总调度模块的设计  27-43
    3.2.1 用户输入子模块的设计  27-30
    3.2.2 节点管理子模块的设计  30-34
    3.2.3 作业管理子模块的设计  34-38
    3.2.4 作业的监控和调度子模块的设计  38-43
  3.3 API 模块的设计  43-47
    3.3.1 系统控制子模块的设计  43-44
    3.3.2 共享内存管理子模块的设计  44-47
  3.4 文件分段传输调度模块的设计  47-52
    3.4.1 节点和作业的同步子模块的设计  47-48
    3.4.2 文件传输调度子模块的设计  48-52
  3.5 其他模块的设计  52-53
    3.5.1 用户函数库子模块的设计  52
    3.5.2 错误处理子模块的设计  52-53
  3.6 本章小结  53-54
第4章 系统功能模块的实现  54-71
  4.1 总调度模块的实现  54-62
    4.1.1 用户输入子模块的实现  54
    4.1.2 节点管理子模块的实现  54-57
    4.1.3 作业管理子模块的实现  57-58
    4.1.4 作业监控和调度子模块的实现  58-62
  4.2 API 模块的实现  62-66
    4.2.1 系统控制子模块的实现  62-63
    4.2.2 共享内存管理子模块的实现  63-66
  4.3 文件分段传输调度模块的实现  66-69
    4.3.1 节点和作业同步子模块的实现  66-67
    4.3.2 文件传输调度子模块的实现  67-69
  4.4 错误处理子模块的实现  69-70
  4.5 本章小结  70-71
第5章 系统的测试及评价  71-79
  5.1 测试环境  71
  5.2 系统的基本功能的测试及结果评价  71-75
    5.2.1 系统提示帮助信息的测试及评价  71-72
    5.2.2 根据系统启动参数启动的测试及评价  72-74
    5.2.3 添加节点信息的测试及评价  74-75
  5.3 文件传输操作测试及结果评价  75-78
    5.3.1 独立模式作业的文件传输调度的测试及评价  75-77
    5.3.2 共享模式作业的文件传输调度的测试及评价  77-78
  5.4 本章小结  78-79
结论  79-81
参考文献  81-85
致谢  85-86
个人简历  86

相似论文

  1. 基于无线传输的公交车载媒体节目管理系统研究与开发,TP311.52
  2. Linux集群环境下作业调度算法的研究与实现,TP301.6
  3. 多机热备高可用集群的设计和研究,TP311.5
  4. 基于无线网络控制系统的动态优先级调度仿真研究,TP273
  5. 基于云计算的海量视频转换平台的设计与实现,TP311.52
  6. 嵌入式操作系统实时性的分析与研究,TP316
  7. 空间数据库集群中间件技术研究与实现,TP311.13
  8. 基于GIDS的入侵检测集群技术研究,TP393.08
  9. 新闻类网站流量统计系统的设计,TP393.092
  10. 实时数据仓库中基于QoS的更新与查询调度策略研究,TP311.13
  11. 实时数据仓库环境中科学数据排重模型的研究,TP311.13
  12. 基于Linux的集群系统的应用研究,TP338
  13. IEEE802.16中多媒体业务的QoS研究,TN919.8
  14. 异步高速数据复接器,TN791
  15. 旅游目的地旅游产业集群发展战略研究,F592
  16. 电梯群控系统的多目标智能优化调度研究,TP13
  17. 基于双调度策略的动态任务分配与调度算法研究,TP301.6
  18. 通用集群分组业务核心网设计,TN929.5
  19. 监控组态软件的设计与研究,TP273
  20. 面向不同优先级网格作业资源重分配问题的专业技术支持,TP393.01
  21. 网格计算中数据存储相关作业调度模块的设计与实现,TP311.52

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机软件 > 程序设计、软件工程 > 软件工程 > 软件开发
© 2012 www.xueweilunwen.com