学位论文 > 优秀研究生学位论文题录展示

基于购物搜索引擎的网页解析模块的设计与实现

作　者: 马俊
导　师: 郭文明
学　校: 北京邮电大学
专　业: 软件工程
关键词: 垂直搜索引擎 网页解析 正则表达式 知识库
分类号: TP393.092
类　型: 硕士论文
年　份: 2010年
下　载: 225次
引　用: 1次
阅　读: 论文下载
 

内容摘要


搜索引擎根据人们的查询要求,从浩瀚的Web资源中检索符合要求的记录返回给最终用户。如何提高搜索的质量和速度,成为当今的热门话题之一。专门针对某一领域的搜索引擎,即垂直搜索引擎,有效地缩小了搜索的范围,过滤掉一些无关信息,更具专业化,也可以节省大量的搜索时间。本课题研究的网上购物搜索引擎,是垂直搜索引擎的一个实例,是搜索引擎在电子商务领域的具体应用。该课题来源于阿尔卡特朗讯公司正在开发的实际项目,开发环境为Linux。本课题设计并实现了购物搜索引擎爬虫抓取、网页解析和索引查询三个部分的功能,经测试性能符合要求。本文首先分析了相关领域的研究进展,然后介绍了系统实现的相关技术支持,之后详细描述了系统分析与设计,以及系统实现的内容。最后,又简要叙述了系统测试的工作内容。其中,重点叙述了网页解析部分的设计内容。网页解析部分由五个模块组成,分别是超链接分析,静态网页抽取,例外网页抽取,监控模块,实验测试模块。其中超链接分析其中的关键模块,它是Crawler(爬虫)与Parser(网页解析)之间互相交互过程的关键。它的主要任务是提取网页中的超链接,并返回给Crawler;另外,还抽取每一页的当前页码返回给爬虫,用于爬虫的爬取策略。爬虫可以设定爬取的最大页面数,与当前页页码比较,决定是否结束爬取。网页解析部分的目的是将半结构化的HTML数据转化为结构化的XML数据,然后再借助正则表达式实现HTML网页内容的抽取与过滤；索引查询部分借助正则表达式从XML文件中抽取到具体字段值,以建立索引。另外,知识库的建立为智能搜索提供了基础支撑。

全文目录


相似论文

  1. 宗教类唐卡图像知识库的构建研究,TP391.41
  2. 基于Lucene的网络文学垂直搜索引擎的研究与实现,TP391.3
  3. 面向领域的数据库问答系统关键技术研究,TP311.13
  4. 制造特征提取与智能工艺决策技术研究,TH162
  5. 汉语框架自动识别中的歧义消解,TP391.1
  6. 面向观点挖掘的汽车本体知识库建立研究,TP391.1
  7. 基于知识编译技术的描述逻辑推理问题研究,TP181
  8. 基于热点网站内容分析的超链接提取研究,TP393.092
  9. 通钢七号高炉专家系统的开发与应用,TF325
  10. 垂直搜索引擎关键技术的研究与实现,TP311.52
  11. Web数据抽取技术及应用,TP311.13
  12. 基于模糊逻辑推理的汽车故障诊断系统的研究与设计,U472.9
  13. 基于分布式的垂直搜索引擎的研究与实现,TP391.3
  14. 服装质量预测系统的软件设计与实现,TP311.52
  15. 基于CUDA的正则表达式匹配系统的设计与实现,TP311.52
  16. Visual Basic程序设计题自动评分算法的研究及实践,TP311.11
  17. 烟草病虫害防治网络信息系统研究,S435.72
  18. 基于垂直搜索技术的竞争情报采集系统的设计与实现,TP391.3
  19. 个性化多媒体资源垂直搜索引擎技术研究,TP391.3
  20. 基于垂直搜索引擎的主题爬虫算法的研究,TP391.3

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机的应用 > 计算机网络 > 一般性问题 > 计算机网络应用程序 > 网络浏览器
© 2012 www.xueweilunwen.com