学位论文 > 优秀研究生学位论文题录展示

WEB主题信息采集系统的设计与实现

作　者: 连璐
导　师: 刘强；汪全国
学　校: 电子科技大学
专　业: 软件工程
关键词: 正则匹配信息采集网页读取
分类号: TP274.2
类　型: 硕士论文
年　份: 2011年
下　载: 65次
引　用: 0次
阅　读: 论文下载

内容摘要

当今互联网已经成为转播信息最快最方便的途径,每天在互联网上都有无数的网站和网页正在产生。用户可以通过搜索引擎查找信息,但是由于搜索引擎是为所有互联网用户服务的,所以用户无法通过搜索引擎方便的查找到自己指定的一组网站的内容,搜索引擎也不会主动推送这些网站的内容给用户。为了解决这个问题,作者设计了Web主题信息采集系统。利用这个系统,操作者能十分方便的定制搜索和抓取其需要的新闻信息并进行整合,从而使得从互联网中获取新闻信息更富有针对性和便捷性。本论文以信息采集系统的功能需求为向导,从需求分析、理论调研、系统构架、工作原理以及功能实现等方面入手,详细阐述了本Web主题信息采集系统的设计与实现过程。我们首先通过对国内外关于Web信息抽取和文本挖掘理论研究的现状的研究,提出了本Web信息采集系统的设计原理和系统建设目标。然后,分析了Web页面的特点,总结了其规律,设计出Web页面源代码特征的提取技术,最终形成Web信息的采集方法,并提出了Web主题信息采集系统的工作原理和系统设计。本系统主要由以下三部分构成:一是网页定制,根据所想要的信息资料的网址和我们的正则表达式相匹配的规则,来获取采集规则。二是网页信息资料获取,即一定的存取信息的规则,合理的使用提取算法,增量对最近匹配的信息资料进行更新,把有效的信息保存到我们的信息库中。三是网页信息内容管理,对采集到的信息资料进行删除,增加,查询,修改等等操作,也就是设计信息内容资料的管理系统,主要是指管理我们已经完成存取的内容数据资料。本系统通过对国内大型门户网站的信息资料获取来进行了系统的测试和论证,从而体现出这个方法的优势所在,以及方便用户的特点。同时,也通过举例,证明了这个方法具有良好的应用意义、使用范围以及发展前景。

WEB主题信息采集系统的设计与实现

内容摘要

全文目录

相似论文