学位论文 > 优秀研究生学位论文题录展示

基于SVM分类算法的主题爬虫研究

作　者: 李正文
导　师: 张国印
学　校: 哈尔滨工程大学
专　业: 计算机系统结构
关键词: 向量空间模型 HITS SVM 主题爬虫
分类号: TP391.3
类　型: 硕士论文
年　份: 2011年
下　载: 25次
引　用: 0次
阅　读: 论文下载

内容摘要

近年来,随着互联网的快速发展,互联网上的信息量日益增长且呈现多元化的特点。于是如何能够迅速、准确而高效地为互联网用户定位所需要的信息,成为搜索引擎的主要目标。通用搜索引擎能够在较大的信息范围内获取信息,但是由于其涉及的领域过于宽泛,因此,在某些特定领域,无法给用户提供专业而深入的信息。于是,主题搜索引擎应运而生,它能够在某一特定领域,提供专业、精确而深入的搜索服务。本文以主题搜索引擎中的主题爬虫为研究内容,研究有效地爬取某一主题范围内网页的策略。本文首先对主题爬虫的相关研究进行了综述,从通用爬虫和主题爬虫的主要组成结构、基于文字内容的启发式爬取策略、基于Web链接结构的评价方法,分析了当前爬取策略的优缺点。采用向量空间模型将网页用数学方法表示,研究支持向量机算法的相关原理。提出了基于文字内容和部分链接信息的主题相关度预测算法,对未爬取的网页,预测其与主题的相关度。对于已经爬取网页,首先使用SVM分类器过滤与主题无关的网页,然后使用HITS算法构建主题子图,选取权威度或中心度高的网页作为下次爬取的起始种子。在小型开源搜索引擎TSE的基础上,构建主题爬虫,对爬取策略进行研究。本文将基于文字内容和部分链接信息的主题相关度预测算法、SVM分类算法和HITS算法相结合,实现了基于SVM分类的主题爬虫。实验表明,本文提出的基于SVM分类的主题爬虫,能够较好地爬取与主题相关的网页。

全文目录

摘要 5-6Abstract 6-9第1章绪论 9-15 1.1 论文的研究背景和意义 9-10 1.1.1 课题的背景 9-10 1.1.2 课题的意义 10 1.2 国内外研究现状 10-12 1.3 论文的主要工作 12-13 1.4 论文的组织结构 13-15第2章网络爬虫关键技术 15-27 2.1 通用爬虫 15-16 2.2 主题爬虫 16-18 2.3 基于文字内容的启发式算法 18-20 2.3.1 最好优先搜索算法 18 2.3.2 Fish算法 18-19 2.3.4 Shark搜索算法 19-20 2.4 基于WEB链接结构的评价算法 20-26 2.4.1 反向链接算法 20 2.4.2 PageRank算法 20-23 2.4.5 HITS算法 23-25 2.4.6 PageRank算法和HITS算法的比较 25-26 2.5 本章小结 26-27第3章基于SVM的主题爬虫研究 27-45 3.1 向量空间模型 27-28 3.1.1 向量空间模型的定义 27 3.1.2 文本相似度计算方法 27-28 3.2 SVM(支持向量机)分类算法 28-40 3.2.1 线性可分支持向量机 28-31 3.2.2 线性不可分支持向量机 31-34 3.2.3 非线性支持向量机 34-36 3.2.4 核函数 36-37 3.2.5 支持向量 37 3.2.6 SVM分类器 37-40 3.3 主题相关性算法的研究 40-43 3.4 本章小结 43-45第4章实验设计和结果分析 45-59 4.1 实验方案设计 45-51 4.1.1 首次爬取算法 45-47 4.1.2 主题分类 47 4.1.3 再次爬取算法 47-51 4.2 实验平台设计 51-54 4.2.1 TSE介绍 51-52 4.2.2 TSE主要类、方法及其功能 52-54 4.2.3 主题爬虫的爬取流程 54 4.3 实验环境 54-55 4.4 评定指标 55-56 4.5 实验和结果分析 56-58 4.6 本章小结 58-59结论 59-61参考文献 61-65攻读硕士学位期间发表的论文和取得的科研成果 65-67致谢 67

基于SVM分类算法的主题爬虫研究

内容摘要

全文目录

相似论文