学位论文 > 优秀研究生学位论文题录展示

移动互联网环境下无线垂直搜索引擎的研究与实现

作　者: 李东伟
导　师: 傅彦；姚晨赓
学　校: 电子科技大学
专　业: 软件工程
关键词: 垂直搜索搜索引擎移动互联网 BigPipe 博客微博
分类号: TP391.3
类　型: 硕士论文
年　份: 2011年
下　载: 181次
引　用: 0次
阅　读: 论文下载

内容摘要

随着移动手持设备智能化程度的普及,当今的计算环境已经发生了很大变化。现今时代下,人们手中的手机,已经越来越普及,越来越智能。可以预见,会有很大一批用户将跳过PC时代,直接使用手机进入互联网的世界里。在移动互联网环境下,人们的需求发生了明显变化,在移动终端上,人们可能关心的话题包括新闻资讯、餐饮娱乐、社交等等,这些领域带有明显的领域特征,其中虽然面临着信息检索的巨大需求,但这种需求已经非传统搜索引擎所能解决。事实上,在移动互联网环境下,人们需要一类具备一定领域纵深度的、垂直式的无线搜索引擎,这正是本课题所给予的时代大背景和需求动力。移动垂直搜索引擎,较传统PC上的垂直搜索引擎,具有许多不同点,许多的移动运营商按流程收费,这就要求移动搜索引擎必须尽力为用户节省流量。同时,3G时代的到来,移动互联网的速度倍增,那么移动搜索引擎的响应速度必须跟得上这个时代。另外,本文使用的垂直搜索是用于搜索博客、微博相关的信息,搜索到的信息必须具有简洁明确的特征。在移动互联网这个特定的环境下,对垂直搜索引擎的要求具有更高的要求,因此文章的组织结构是:第一分析了解搜索引擎的底层技术,介绍利用高性能架构来提升搜索引擎的响应速度,同时还介绍了优化系统资源的技术,从基础结构上满足用户对搜索引擎性能上的需求,同时还对垂直搜索引擎的背景和需求进行了更深一步的讨论。第二对垂直搜索引擎进行了详细设计,包括对移动用户的前端技术进行了设计,使用最新的优化技术对搜索引擎进行优化,为移动前端设计了最新的BigPipe技术,提高用户体验,对诸如排序、搜索、索引、缓存等模块进行了设计,提出了相应使用的技术。第三实现了面向博客的垂直搜索引擎,介绍了PageRank算法以及它的具体实现,帮助垂直搜索引擎进行排序,实现了设计部分的设计内容,如使用Lucene进行索引和搜索,使用Memcached进行缓存等,最终达到了完整的搜索引擎要求。第四用实验数据,对搜索引擎的准确性、性能进行评估。最后对本文进行了总结和未来工作的介绍。实验结果表明,基于本文实现的垂直搜索引擎,具有较高的搜索命中率,推荐内容较为合理,同时浏览器端响应速度较快,用户体验良好。

全文目录

摘要  4-5
ABSTRACT  5-10
第一章绪论  10-19
  1.1 课题背景  10-11
  1.2 移动垂直搜索引擎  11-17
    1.2.1 传统垂直搜索引擎简介  11-12
    1.2.2 移动搜索的发展现状  12-13
    1.2.3 国内外研究现状  13-16
    1.2.4 发展前景  16-17
  1.3 本文的主要工作  17-19
    1.3.1 研究内容  17-18
    1.3.2 本文的组织  18-19
第二章相关技术简介  19-29
  2.1 本章简介  19
  2.2 核心技术简介  19-21
  2.3 垂直搜索技术  21-24
  2.4 主题相关度判定  24-26
    2.4.1 布尔模型  24-25
    2.4.2 向量空间模型  25-26
  2.5 信息抽取技术  26-28
  2.6 本章小结  28-29
第三章面向博客的垂直搜索引擎的需求分析  29-35
  3.1 系统需求  29-30
  3.2 爬虫模块  30-31
  3.3 垂直信息提取模块  31
  3.4 结果排序模块  31-32
  3.5 预期垂直搜索引擎的指标  32-34
  3.6 本章小结  34-35
第四章面向博客的垂直搜索引擎的设计  35-56
  4.1 总体模块设计  35-37
  4.2 基础设施的设计  37-39
  4.3 网页信息抽取技术的设计  39-43
  4.4 网页消重的设计  43-45
  4.5 网页重排序的设计  45
  4.6 检索技术的选取  45-49
  4.7 性能优化设计  49-55
    4.7.1 BigPipe 设计  49-51
    4.7.2 资源优化设计  51-52
    4.7.3 Cache Server 的选取  52-53
    4.7.4 Cache Server 的实现设计  53-55
  4.8 本章小结  55-56
第五章面向博客的垂直搜索引擎的实现  56-91
  5.1 基础设施的实现  56-63
    5.1.1 高性能服务器  56-58
    5.1.2 存储结构  58-60
    5.1.3 负载均衡服务器  60-63
  5.2 网页信息抽取技术的实现  63-67
  5.3 性能优化的 BigPipe 技术实现  67-76
    5.3.1 单线程BigPipe  69-71
    5.3.2 多线程BigPipe  71-75
    5.3.3 与普通的对比  75-76
  5.4 性能优化的资源优化实施  76-79
  5.5 检索技术的实现  79-87
    5.5.1 分布式存储  79-80
    5.5.2 索引结构与存储  80-84
    5.5.3 主题相关度判定算法  84-85
    5.5.4 检索流程设计  85-87
  5.6 网页重排序的实现  87-90
  5.7 本章小结  90-91
第六章结果分析与性能测试  91-98
  6.1 结果展示  91-94
  6.2 压力测试  94-95
  6.3 指标测试  95-96
  6.4 稳定性测试  96-97
  6.5 本章小结  97-98
第七章结束语  98-100
  7.1 本文工作总结  98
  7.2 未来工作展望  98-100
致谢  100-101
参考文献  101-103

移动互联网环境下无线垂直搜索引擎的研究与实现

内容摘要

全文目录

相似论文