学位论文 > 优秀研究生学位论文题录展示

Deep Web数据源发现和选择研究

作　者: 李妹芳
导　师: 申德荣
学　校: 东北大学
专　业: 计算机应用技术
关键词: Deep Web 领域数据源发现数据源选择 Top-k 属性支配模式增长算法共现
分类号: TP393.09
类　型: 硕士论文
年　份: 2008年
下　载: 37次
引　用: 0次
阅　读: 论文下载

内容摘要

随着Internet信息的迅速增长,Deep Web数据资源的数量急剧增加。然而,这些数据信息只能通过动态查询响应来获取,不容易被传统的搜索引擎如Google、百度搜索到,因此并未得到充分的利用。因此,探索和研究支持Deep Web查询搜索引擎从而满足实际用户的广泛需求,成为信息领域研究的重点。由于Deep Web的自身特点,实现其数据资源集成在技术上存在很大难度。为了发现和集成这些Deep Web资源,本文首先分析了Deep Web国内外研究现状,提出了Deep Web数据集成系统框架,分析了其主要的四种机制：知识库构建机制、查询处理机制、查询转换机制和结果集成机制,并阐述了Deep Web集成的难点。其次,本文阐述了Deep Web爬虫框架,通过分析接口类型和表单处理机制,包括表单解析、表单特征提取、表单模式匹配和表单聚类和分类,结合数据源接口发现四层模型,提出了基于领域的表单爬虫框架DeepRunner,提出基于领域的Deep Web数据源发现算法DOER来获取领域数据源。本文从理论上阐述Deep Web的属性分布和问题描述,分析了Top-k查询技术和主流算法,结合Top-k算法的优点,提出了基于属性支配模式增长算法的Top-k数据源选择策略,并且结合属性间共现度特征,进一步改进算法,提高了算法执行的查准率和查全率,从而提高了用户查询服务的质量。最后,本文阐述Deep Web查询转换和查询结果集成机制。实验表明,本文的DeepRunner框架可以获取Deep Web领域数据源,验证了其可行性；通过大量的实验数据,本文验证了基于领域的数据源发现算法DOER的优越性,也证明了基于属性支配模式增长算法的Top-k数据源选择算法及其改进算法的有效性,尤其在大规模数据集成中,这两种算法效率显著高于传统的Top-k数据源选择策略。

全文目录

摘要  5-6
Abstract  6-9
第一章绪论  9-17
  1.1 研究背景  9-10
  1.2 国内外研究现状  10-14
    1.2.1 Deep Web 数据源发现和选择  10-11
    1.2.2 Deep Web模式抽取  11-12
    1.2.3 Deep Web模式匹配  12
    1.2.4 Deep Web结构化数据抽取  12
    1.2.5 Deep Web实例信息预处理  12-13
    1.2.6 Deep Web数据整合  13-14
    1.2.7 国内相关研究  14
  1.3 本文研究内容  14-15
  1.4 论文结构  15-17
第二章 Deep Web数据集成概述  17-23
  2.1 Deep Web简介  17-18
  2.2 Deep Web数据集成系统框架  18-21
    2.2.1 知识库构建机制  18-19
    2.2.2 查询处理机制  19
    2.2.3 查询转换机制  19-21
    2.2.4 结果集成机制  21
  2.3 Deep Web集成的难点  21-22
  2.4 本章小结  22-23
第三章 Deep Web数据源发现  23-41
  3.1 相关研究  23-25
  3.2 Deep Web爬虫框架  25-26
  3.3 Deep Web接口发现  26-28
    3.3.1 接口类型  26-27
    3.3.2 接口识别  27-28
  3.4 表单处理机制  28-34
    3.4.1 表单解析  28-32
    3.4.2 表单特征提取  32-33
    3.4.3 表单模式匹配  33-34
    3.4.4 表单聚类与分类  34
  3.5 基于领域的Deep Web数据源发现  34-40
    3.5.1 接口发现四层模型  34-35
    3.5.2 基于领域的表单爬虫框架  35-36
    3.5.3 基于领域的Deep Web数据源发现算法  36-40
  3.6 本章小结  40-41
第四章 Deep Web Top-k 数据源选择  41-57
  4.1 相关研究  41-45
    4.1.1 Deep Web数据源选择  41-42
    4.1.2 Top-k数据源选择  42-45
  4.2 Deep Web数据源选择方法  45-46
  4.3 Deep Web的属性分布和问题描述  46-47
  4.4 传统的Top-k数据源选择方法  47-48
  4.5 基于属性支配模式增长算法的Top-k数据源选择  48-54
    4.5.1 相关定义和性质  48-50
    4.5.2 属性支配模式增长算法  50-52
    4.5.3 Top-k数据源排序  52-54
  4.6 结合共现度的数据源选择  54-55
  4.7 本章小结  55-57
第五章实验分析和性能评价  57-63
  5.1 实验数据和实现  57-58
  5.2 实验结果分析  58-62
  5.3 本章小结  62-63
第六章总结与展望  63-65
  6.1 本文主要工作  63
  6.2 今后的工作  63-65
参考文献  65-73
致谢  73-75
攻硕期间科研及发表论文情况  75-76

Deep Web数据源发现和选择研究

内容摘要

全文目录

相似论文