学位论文 > 优秀研究生学位论文题录展示

基于Groovy的分布式网络爬虫系统的设计与实现

作　者: 杨哲
导　师: 陶宏才
学　校: 西南交通大学
专　业: 计算机应用技术
关键词: 网络爬虫 主题爬虫 RMI Groovy 分布式软件
分类号: TP391.3
类　型: 硕士论文
年　份: 2010年
下　载: 43次
引　用: 0次
阅　读: 论文下载
 

内容摘要


随着Internet的发展壮大,人们获取信息的途径逐渐被网络所替代,同时网络信息的增长也达到了惊人的速度。在实际应用中,用户往往有着自己的浏览习惯及特定的主题敏感性,通用网络爬虫难免无法满足类似个性化的信息收集需要,现有的主题爬虫也有着种种弊端。论文通过分析总结主题页面在Web上的分布特征,设计并实现了一个Windows环境下的分布式的可定制主题爬虫系统CTCS (Customizable topic crawler system)。论文阐述了CTCS系统的工作环境、网络拓扑结构、子系统及其功能模块和工作流程,以及各子系统间通信接口的设计,对CTCS系统的各子系统的设计和实现都进行了详细的论述,包括大量的系统难点分析及解决方案。论文详细说明了CTCS系统实现中的一些特点：(1)在人工定制的过程中,抛弃了传统的纯数据项配置文件,将Groovy脚本引入配置,使得逻辑表达可出现在配置中,提高了配置的灵活性以及爬虫抓取数据的精度和速度。(2)利用基于HTTP协议网络通信下的客户端状态保持方式,实现了持有状态的HTTPClient组件,很大程度满足了对Deep Web数据抓取的要求。(3)使用Java RMI (Remote method invocation)构建了一整套灵活的分布式解决方案,此方案不仅仅支持爬虫系统,还可通过配置作为其它分布式业务的解决方案。(4)系统中引入日志中心的概念,将日志汇总并丌发预警功能,极大的方便了系统的开发和维护。论文的最后,对系统的运行效果进行了介绍。

全文目录


摘要  6-7
Abstract  7-11
第1章 绪论  11-15
  1.1 研究背景与意义  11
  1.2 国内外研究现状  11-13
  1.3 本论文研究内容及章节安排  13-15
    1.3.1 研究内容  13-14
    1.3.2 章节安排  14-15
第2章 相关技术基础  15-20
  2.1 网络爬虫系统简介  15
  2.2 主题页面分布特征  15-16
  2.3 HTTP通信协议  16-18
    2.3.1 HTTP协议简介  16-17
    2.3.2 HTTP请求方式  17
    2.3.3 HTTP响应状态  17-18
  2.4 脚本语言介绍  18-19
  2.5 本章小结  19-20
第3章 网络爬虫系统CTCS的需求分析  20-24
  3.1 项目概述  20
  3.2 系统目标及功能需求  20-22
    3.2.1 系统目标  20
    3.2.2 系统功能需求  20-22
  3.3 运行环境需求  22-24
    3.3.1 系统运行平台需求  22-23
    3.3.2 系统运行环境分析  23-24
第4章 网络爬虫系统CTCS的设计  24-42
  4.1 系统结构设计  24-26
    4.1.1 系统体系结构  24-25
    4.1.2 系统拓扑结构  25-26
  4.2 各子系统的模块划分与设计  26-34
    4.2.1 爬虫终端子系统  26-29
    4.2.3 调度中心子系统  29-30
    4.2.4 数据中心子系统  30-32
    4.2.5 日志及监控子系统  32-34
  4.3 各子系统内部工作流程  34-40
    4.3.1 爬虫终端子系统工作流程  35-36
    4.3.2 调度中心子系统工作流程  36-38
    4.3.3 数据中心子系统工作流程  38-39
    4.3.4 日志及监控子系统工作流程  39-40
  4.4 各子系统间通信接口设计  40-41
  4.5 本章小结  41-42
第5章 网络爬虫系统CTCS的详细设计与实现  42-68
  5.1 开发平台与工具  42-43
  5.2 爬虫终端子系统的实现  43-53
    5.2.1 HTTP通信模块的实现  43-49
    5.2.2 HTML解析模块的实现  49
    5.2.3 Groovy脚本驱动模块的实现  49-50
    5.2.4 多线程控制模块的实现  50
    5.2.5 XML构造解析模块的实现  50-51
    5.2.6 内部通信模块的实现  51-52
    5.2.7 系统日志模块的实现  52-53
  5.3 调度中心子系统的实现  53-65
    5.3.1 配置信息管理模块  53
    5.3.2 RMI交互模块  53-64
    5.3.3 任务负载平衡管理模块  64-65
    5.3.4 爬虫终端进程管理模块  65
    5.3.5 运行状态管理模块  65
  5.4 日志及监控子系统的实现  65-67
    5.4.1 日志Web接口模块的实现  65-66
    5.4.2 日志报告生成模块的实现  66
    5.4.3 预警监测模块的实现  66-67
    5.4.4 邮件处理模块的实现  67
  5.5 本章小结  67-68
第6章 系统运行及效果  68-76
  6.1 系统运行环境  68
  6.2 系统运行效果  68-76
    6.2.1 调度中心子系统的运行效果  69-72
    6.2.2 爬虫终端子系统的运行效果  72-73
    6.2.3 数据中心子系统的运行效果  73-74
    6.2.4 日志及监控子系统的运行效果  74-76
总结与展望  76-78
  总结  76
  工作展望  76-78
致谢  78-79
参考文献  79-83
攻读硕士学位期间发表的论文及科研成果  83

相似论文

  1. 基于比对技术的非法网站探测系统的实现与研究,TP393.08
  2. 基于SVM分类算法的主题爬虫研究,TP391.3
  3. 基于WebHarvest的中文财经新闻搜索引擎的设计与实现,TP311.52
  4. 主题搜索引擎中的爬取技术研究,TP391.3
  5. 网络舆情分析关键技术研究与实现,TP393.09
  6. 网络舆情数据获取与话题分析技术研究,TP393.09
  7. 垂直搜索引擎技术在网络舆情巡控中的研究与应用,TP391.3
  8. Ant在IVR系统测试的应用,TP311.52
  9. 面向企业竞争情报的主题搜索研究与实现,TP391.3
  10. JavaEE轻量级框架在Web系统中的应用与实现,TP311.52
  11. 基于RMI技术的JAVA智能卡集成研究、设计与应用,TN409
  12. 基于JAVA的远程过程控制实验系统开发,TP311.52
  13. 产品评论情感倾向性识别关键技术研究,TP391.3
  14. 山东省农村信用社报表系统数据采集与处理子系统的开发与设计,TP311.52
  15. 分布式教育网信息检索系统的研究和实现,TP391.3
  16. 基于B/S模式的微电网能量管理软件的设计与实现,TP311.52
  17. 基于Grails框架的银保通管理系统研究与构建,TP311.52
  18. 基于笔画的MeeGo手机操作系统输入法的设计与实现,TP391.14
  19. CCML语言的Web服务组合解释器研究与实现,TP393.09
  20. 云计算平台在搜索引擎中的关键技术研究,TP391.3

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机的应用 > 信息处理（信息加工） > 检索机
© 2012 www.xueweilunwen.com