学位论文 > 优秀研究生学位论文题录展示

从网页中精确提取链接上下文相关文本

作　者: 徐晴阳
导　师: 左万利
学　校: 吉林大学
专　业: 软件与理论
关键词: 上下文相关相关文本链接网页内容自然语言处理提取方法相关度英语语义 HTML文件启发式方法
分类号: TP393.092
类　型: 硕士论文
年　份: 2004年
下　载: 232次
引　用: 1次
阅　读: 论文下载

内容摘要

在HTML文件中的锚文本及其相关上下文中往往包含着链接指向页面主题的“简洁”但“精确”的语义线索，这通常是一个合理的假设，这些线索往往足以引导网页的人类浏览者打开链接指向的页面。毫不奇怪，这些链接上下文相关文本从World Wide Web诞生伊始便得到了充分的利用。例如，Google搜索引擎利用锚文本索引URL；在CLEVER主题编辑系统中，超链接按照它的上下文相关文本与检索词的相关度被赋予权值，以减轻HITS算法中“主题偏离”的困难；一些研究者讨索了利用这些相关文本辅助甚至代替网页内容本身进行网页的自动分类。在访问链接指向的目标页面的代价过于昂贵的情况下，这些链接上下文相关文本必须得到充分而最好的利用，这正是“主题爬行”面临的问题，它的成功依赖于通过这些源页面上的相关文本信息尽可能准确地预测目标页面的主题相关度。虽然具有这些重要价值，对如何精确提取链接上下文相关文本的研究还未得到充分的讨论，目前最好的提取方法依赖于过于简单化的启发式方法，或者依赖于各种随意指定的数学参数。锚文本似乎是可靠的语义信息来源，但它过于简短的特性妨碍了信息检索的高“查全率”，而且完全依赖锚文本甚至会降低检索性能，这一现象已经被一些研究者所证实。除了锚文本之外，锚标签左右的邻近文本被认为是链接上下文相关文本的另一重要来源，然而，这些文本中往往包含巨大的噪音，和锚文本相比，这些质量不高的文本通常会进一步降低提取文本的相关度。本篇论文提出了一个基于自然语言处理和网页结构分析的新颖的提取方法。我们认为象英语语义解析这样的自然语言处理工具有助于过滤掉无关或噪音文本，同时提取出高质量的相关文本，从而达到对人类浏览者浏览行为的“细粒度”模仿。初步的实验结果表明我们提出的方法较其他方法存在较大的优势。

全文目录

第一章绪论  6-15
  1.1 链接上下文相关文本及其作用  6-7
  1.2 提取链接上下文相关文本带来的技术挑战  7-14
  1.3 本文所做的工作  14-15
第二章 HTML语言及DOM树  15-20
  2.1 HTML语言  15-18
  2.2 与网页结构对应的DOM树  18-20
第三章自然语言处理中的解析技术  20-22
第四章链接上下文相关文本提取新方法  22-37
  4.1 总体框架  22-23
  4.2 对网页“段落”的定位  23-25
  4.3 对锚文本和邻近文本的定位  25-31
  4.4 对相关“标题文本”的提取  31-35
  4.5 总体算法流程的伪码表示  35-37
第五章算法的系统实现及比较实验结果  37-44
  5.1 系统实现  37-38
  5.2 比较实验结果  38-42
  5.3 新方法的局限性和可能的改进  42-44
第六章结束语  44-45
参考文献  45-47
论文摘要  47-48
Abstract  48-49

从网页中精确提取链接上下文相关文本

内容摘要

全文目录

相似论文