学位论文 > 优秀研究生学位论文题录展示

面向领域的垂直搜索系统研究与实现

作　者: 王治江
导　师: 吴江宁
学　校: 大连理工大学
专　业: 系统工程
关键词: 垂直搜索 网络蜘蛛 结构化信息抽取 后缀树聚类
分类号: TP391.3
类　型: 硕士论文
年　份: 2009年
下　载: 311次
引　用: 4次
阅　读: 论文下载
 

内容摘要


目前互联网领域主要的搜索引擎服务商如Google、百度、Yahoo等,为用户提供的都是横向的海量信息搜索。这些通用搜索引擎在满足信息全面搜索的同时,却很难兼顾搜索的准确度与相关度的质量,而且存在网页覆盖率低、索引不及时等缺点,尤其对于信息需求相对集中、分类更加详细的行业用户缺乏导向。垂直搜索引擎作为搜索引擎技术发展的一个分支方向,通过对领域内信息的全面搜集、再组织整理,将会提供更专业化、个性化的行业信息服务,能够满足用户对专业领域信息的搜索需求。本文的研究工作主要分为两个部分,第一部分主要研究了垂直搜索引擎中的网络蜘蛛技术和结构化信息抽取技术。在网络蜘蛛的研究中,重点解决了主题目标描述、对URL的搜索策略和主题相关度判定问题。其中通过领域专家选定初始种子URL,从主题网页库中自动提取特征关键词并辅助人工筛选的方式生成主题特征向量;在网络蜘蛛搜索过程中,采用最佳优先的搜索策略以保证高效地抓取主题资源;通过向量空间模型计算网页与主题特征向量之间的相似度,并考虑了关键词的位置权重。在Web信息抽取技术的研究中,对比分析了现有的Web信息抽取方法,采用了基于正则表达式的网页结构化信息抽取方法。第二部分对搜索结果聚类进行了研究,通过分析现有聚类方法的不足及搜索结果聚类的特点,提出了一种适合于搜索结果动态聚类的新的后缀树聚类算法,其中后缀树的构建以中文汉字为基本单位,采取比较子串和父串短语类代表的文档数量策略有效地解决了基于二进制方法合并短语类后的类别描述问题,并利用短语类语义层面的相似性合并同义短语类,有效地改善了聚类结果的质量。实验结果表明:与传统的文档聚类算法相比,基于后缀树的算法在Web文档聚类的精度和效率方面具有较强的优越性。最后本文设计并实现了一个面向专利领域的垂直搜索系统,其中以Lucene开源框架实现了索引和搜索功能,采用基于词典的正向最大匹配算法实现了中文切词,并运用信息可视化技术对搜索聚类结果进行展示。

全文目录


摘要  4-5
Abstract  5-9
1 绪论  9-18
  1.1 研究背景与意义  9-10
  1.2 通用搜索引擎  10-13
    1.2.1 搜索引擎的分类  10
    1.2.2 搜索引擎的组成及工作原理  10-12
    1.2.3 搜索引擎的发展趋势  12-13
  1.3 垂直搜索引擎  13-16
    1.3.1 垂直搜索引擎的内涵  13-14
    1.3.2 垂直搜索引擎的优势  14-15
    1.3.3 垂直搜索引擎的研究现状  15-16
  1.4 本文的研究内容  16-18
2 垂直搜索引擎关键技术研究  18-30
  2.1 垂直网络蜘蛛技术  18-24
    2.1.1 垂直蜘蛛的工作原理及关键问题  18-19
    2.1.2 主题目标描述  19-21
    2.1.3 网页搜索策略  21-22
    2.1.4 主题相关度判定  22-24
  2.2 网页结构化信息抽取技术  24-30
    2.2.1 Web信息抽取概述  25
    2.2.2 Web信息抽取方式分类  25-27
    2.2.3 Web信息抽取关键技术  27-28
    2.2.4 基于正则表达式的网页信息抽取方法  28-30
3 搜索结果聚类研究  30-41
  3.1 传统的文本聚类算法  30-32
  3.2 搜索结果聚类算法的特点  32
  3.3 后缀树聚类算法概述  32-33
  3.4 基于STC算法的聚类过程  33-39
    3.4.1 文档预处理  34
    3.4.2 后缀树构建  34-36
    3.4.3 短语类识别  36-37
    3.4.4 短语类合并  37-39
  3.5 实验结果分析  39-41
4 垂直搜索系统的设计与实现  41-57
  4.1 系统功能分析  41-42
  4.2 系统总体框架设计  42-44
  4.3 系统的详细实现  44-57
    4.3.1 信息采集模块  44-46
    4.3.2 网页结构化信息抽取模块  46-49
    4.3.3 索引模块  49-50
    4.3.4 中文分词  50-52
    4.3.5 信息检索模块  52-54
    4.3.6 聚类可视化模块  54-57
结论  57-59
参考文献  59-63
攻读硕士学位期间发表学术论文情况  63-64
致谢  64-65

相似论文

  1. 构件垂直搜索引擎的关键技术研究,TP391.3
  2. 基于Ajax/Lucene的站内搜索技术研究与实现,TP393.092
  3. 垂直搜索引擎技术在网络舆情巡控中的研究与应用,TP391.3
  4. 个性化多媒体资源垂直搜索引擎技术研究,TP391.3
  5. 基于Web数据挖掘的搜索引擎设计与实现,TP391.3
  6. 软件安全领域垂直搜索引擎的优化设计与实现,TP391.3
  7. 基于Lucene的汽车信息垂直搜索引擎的设计与实现,TP391.3
  8. 基于Lucene的网页抓取与检索系统,TP393.092
  9. 基于查询扩展的垂直搜索研究,TP391.3
  10. 基于Lucene的主题搜索引擎研究,TP391.3
  11. 文本聚类在话题检测与人名消歧中的应用研究,TP391.1
  12. 主题搜索引擎中相关技术的研究与实现,TP391.3
  13. 垂直搜索引擎在网络购物系统中的研究与应用,TP391.3
  14. 面向农业领域的垂直搜索技术的研究,TP391.3
  15. 面向领域的语义检索研究,TP391.3
  16. 深度网爬虫及更新策略研究,TP391.3
  17. 农业搜索引擎中的异常数据检测,TP391.3
  18. Web2.0环境下内容提取与信息发布系统研究与实现,TP393.09
  19. 专家信息垂直搜索引擎关键技术研究与实现,TP391.3
  20. Deep Web数据抽取和语义标注技术研究,TP391.1
  21. 基于Lucene的音乐资讯垂直搜索引擎的设计和实现,TP391.3

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机的应用 > 信息处理（信息加工） > 检索机
© 2012 www.xueweilunwen.com