学位论文 > 优秀研究生学位论文题录展示

面向非结构化数据查询优化的存储系统

作 者: 李浩
导 师: 蒋文斌
学 校: 华中科技大学
专 业: 计算机系统结构
关键词: 数据存储 非结构化数据 查询优化 Bigtable
分类号: TP333
类 型: 硕士论文
年 份: 2011年
下 载: 126次
引 用: 1次
阅 读: 论文下载
 

内容摘要


为了解决非结构化数据的存储与访问问题,向上层应用提供数据存储基础性架构,加快应用开发进度,设计并实现了面向非结构化数据查询优化的存储系统,提供统一、简单、透明、安全的数据访问接口和查询方式,有效组织、管理非结构化数据,保证低延迟、高吞吐量的数据服务及系统的高可用性。面向非结构化数据查询优化的存储系统的主要思想是借鉴Bigtable的数据模型和架构思路并做出改进,采用键值对的形式提取非结构化数据的元数据信息、建立索引,并将索引信息及非结构化数据持久化存储到文档数据库,同时,系统接口采用REST架构,提供系统平台、语言无关的数据访问方式,解决了Bigtable将复杂的数据处理和控制交由用户实现的问题,工作主要集中在以下几个方面:(1)根据NWR模型在数据一致性与可用性之间做出权衡,大量使用层次化的缓存结构,并根据数据的相关性建立了预缓存机制;(2)采用基于消息队列的数据同步机制同步缓存与持久化存储,使数据达到最终一致,同时还进行节点之间数据同步、备份,以保证有限数量节点失效时系统始终可用;(3)采用基于URL数字签名的方式保证数据访问的安全性,最后,提供复杂查询功能以满足不同层次的用户需求,通过将键值对形式的查询语法翻译为类似于SQL的查询语句进行实现。在充分挖掘系统需求和特点的前提下实现了上述系统,实验表明,在高负载情况下该系统也能稳定提供数据存储服务。相比于以文件形式存于文件系统和以BLOB类型存于关系数据库这两种方式,面向非结构化数据查询优化的存储系统在吞吐量和并发处理能力上提高了大约30%,响应时间保持在200ms左右。

全文目录


摘要  4-5
ABSTRACT  5-8
1 绪论  8-16
  1.1 问题提出  8-9
  1.2 国内外研究现状  9-13
  1.3 背景及研究内容  13-15
  1.4 文章框架结构  15-16
2 非结构化数据存储系统的设计  16-34
  2.1 系统总体结构  16-18
  2.2 基本理论模型  18-20
  2.3 非结构化数据持久化存储方案  20-23
  2.4 非结构化数据存储性能改进及同步方案  23-27
  2.5 基于REST 架构数据访问层设计  27-33
  2.6 小结  33-34
3 非结构化数据存储系统的主要实现技术  34-46
  3.1 系统总体技术选型  34-37
  3.2 非结构化数据访问与处理流程  37-41
  3.3 安全认证设计思想  41-42
  3.4 复杂查询设计思想  42-44
  3.5 小结  44-46
4 系统功能和性能评测  46-55
  4.1 测试环境和参数  46-48
  4.2 系统功能测试  48-51
  4.3 系统性能测试  51-54
  4.4 小结  54-55
5 总结与展望  55-57
致谢  57-59
参考文献  59-63
附录1 攻读学位期间参加的主要科研项目  63
附录2 攻读学位期间发表会议/学术论文  63
附录3 攻读学位期间申请专利  63
附录4 攻读学位期间申请著作版权  63

相似论文

  1. 海量多数据库集成系统的查询处理研究,TP311.13
  2. 医疗信息集成平台中HL7消息解析和存储的设计与实现,TP311.52
  3. 多核环境下内存数据库查询优化的研究,TP311.13
  4. 达梦嵌入式数据库的执行计划缓存研究,TP311.13
  5. J-TEXT托卡马克数据系统的升级与完善,TL631.24
  6. 数据存储在广域网加速系统中的研究与应用,TP333
  7. 甚高频雷电探测站数字处理系统设计与实现,TN911.23
  8. 基于逻辑卷的分级存储系统设计与实现,TP333
  9. 微固体模态陀螺的数据采集存储及处理系统的研究,TP274.2
  10. 云存储中的数据动态平衡技术研究,TP333
  11. 基于社交网络好友关系的图查询算法研究与应用,TP391.3
  12. 多格式海量数据统一存取的效率优化,TP311.13
  13. 海量数据存储与全文检索,TP333
  14. 林业海量数据的存储和传输方法研究,S712
  15. 粒子群算法在查询优化中的应用,TP391.3
  16. 广交会住宿管理系统的设计及应用,TP311.52
  17. 非结构化数据统一访问平台及索引技术研究,TP311.52
  18. 基于数据块采样的PostgreSQL统计信息估算方法的研究,TP311.13
  19. 基于XML的非结构化数据管理研究及应用,TP311.13
  20. 管理信息系统中的DB2数据库查询优化研究,TP311.13

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 电子数字计算机(不连续作用电子计算机) > 存贮器
© 2012 www.xueweilunwen.com