学位论文 > 优秀研究生学位论文题录展示

网络安全扫描器中网络爬虫的设计与实现

作　者: 申布琦
导　师: 谭运猛
学　校: 华中科技大学
专　业: 通信与信息系统
关键词: 网络安全 网络扫描 网络爬虫
分类号: TP393.08
类　型: 硕士论文
年　份: 2009年
下　载: 71次
引　用: 0次
阅　读: 论文下载
 

内容摘要


本文的研究目的在于设计和实现网络爬虫,该模块是Web应用程序漏洞评估工具的重要组成部分,设计和开发Web应用程序漏洞评估工具目的在于扫描网站、识别安全漏洞并且给出扫描评估报告。网络爬虫同样被称为搜寻器或机器人,是一种自动从网站上下载WEB页面的程序。设计网络爬虫的主要目的在于恢复WEB页面。爬虫的主要目标在于下载一系列重要的页面,刷新已下载的页面,发现新的页面和保证页面拥有一个合适的展现。网络爬虫同样被用在信息提取上,例如提取商业情报,一个公司可以利用网络爬虫从WEB网站上提取关于他们竞争对手的信息。网络爬虫的其他应用在于监测WEB页面和搜索引擎。爬虫使得通过WEB页面中的超链接自动提取网页中的信息来实现上述功应用变得可能。一般来说,爬虫开始都是从一个初始的页面中提取超链接,然后从这些超链接中得到更多的页面信息,直到页面数量达到一定的规模或者已经实现某些较高的目标。在这个简单的叙述下面有更多复杂的研究点,例如可以利用的资源就包括带宽使用、硬盘空间、网络连接、爬虫陷阱、URLs分类、HTML和动态页面内容的分析。WEB的动态特性给网络爬虫的实现带来了挑战,如果WEB页面是静态的,爬虫只需要做少量的工作,因为爬虫可以维持一个它已经获得的页面列表信息,但是爬虫必须处理页面更新和删除问题。

全文目录


摘要  4-5
ABSTRACT  5-8
LIST OF FIGURES  8-9
LIST OF TABLES  9-10
1 INTRODUCTION  10-13
  1.1 BACKGROUND  10-11
  1.2 MOTIVATION  11
  1.3 PURPOSE  11
  1.4 THESIS ORGANIZATION  11-12
  1.5 CHAPTER SUMMARY  12-13
2 LITERATURE  13-17
  2.1 SPIDERING OVERVIEW  13
  2.2 SPIDERING METHODS  13-14
  2.3 SPIDERING ALGORITHMS  14-15
  2.4 SPIDERING POLICIES  15-16
  2.5 CHAPTER SUMMARY  16-17
3 DESCRIPTION OF THE SPIDERING  17-23
  3.1 WEB SCANNING  17
  3.2 WAVA OVERVIEW  17-19
  3.3 SPIDERING DESIGN CONSIDERATIONS  19-20
  3.4 SPIDERING ARCHITECTURE  20-21
  3.5 FLOW OF THE SPIDERING PROCESS  21-22
  3.6 CHAPTER SUMMARY  22-23
4 SPIDERING  23-33
  4.1 PROGRAMMING ENVIRONMENT AND DEPENDENCIES  23
  4.2 PROGRAM MODULES  23-32
  4.3 CHAPTER SUMMARY  32-33
5 EXPERIMENT  33-40
  5.1 SPIDERING CONFIGURATION  33-34
  5.2 SPIDER PROCESS  34-38
  5.3 SPIDERING RESULTS  38-39
  5.4 CHAPTER SUMMARY  39-40
6 CONCLUSION  40-42
  6.1 SUMMARY OF WORK  40
  6.2 FUTURE WORK  40-42
ACKNOWLEDGEMENTS  42-43
REFERENCES  43-46

相似论文

  1. 基于比对技术的非法网站探测系统的实现与研究,TP393.08
  2. 基于区域的无线传感器网络密钥管理方案研究,TP212.9
  3. 我国保险公司保险网络营销研究,F724.6
  4. 基于TCP/IP的无轴胶印机远程监控系统的设计,TP277
  5. 中国移动EPON网络的全业务接入方案及安全性研究,TN929.5
  6. 基于网络流隐蔽通信技术研究,TP393.08
  7. 城市供水网络安全评价技术与实践,TU991.33
  8. 多源日志安全信息的融合技术研究,TP393.08
  9. 基于J2EE技术的网上商城系统设计,TP311.52
  10. GPRS组网的技术研究,TN929.5
  11. 网络环境下异构日志信息获取和预处理研究,TP393.092
  12. 基于NetFlow的网络安全事件获取技术,TP393.08
  13. 面向NSSA的异构数据规范化处理与集成,TP393.08
  14. 基于LEACH的安全建簇无线传感器网络路由协议研究,TP212.9
  15. 基于功能节点的无线传感器网络多对密钥管理协议研究,TP212.9
  16. 部队通信单位的网络安全防护研究,TP393.08
  17. 基于量子遗传算法优化BP网络的入侵检测研究,TP393.08
  18. 数据融合技术在入侵检测系统中的应用研究,TP393.08
  19. TrojanUrlDetector：一种基于统计分析的木马URL检测系统,TP393.08
  20. 基于模式匹配的入侵检测系统研究,TP393.08
  21. 计算机网络信息安全及应对策略研究,TP393.08

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机的应用 > 计算机网络 > 一般性问题 > 计算机网络安全
© 2012 www.xueweilunwen.com