学位论文 > 优秀研究生学位论文题录展示

可扩展I/O的研究和参考实现

作　者: 孙凝晖
导　师: 李国杰；Kai Li
学　校: 中国科学院研究生院（计算技术研究所）
专　业: 计算机系统结构
关键词: 可扩展I/O底层应用编程界面(SIO-LLAPI) Intel并行文件系统(PFS) 参考实现异步I/O scatter-gather寻址文件条块化客户端缓冲区 Collective I/O 快速拷贝 Intel Paragon多机系统机群体系结构曙光2000超级计算机 COSMOS网络文件系统单一映像文件系统用户空间实现合作式客户端缓存 Directory Daemon
分类号: TP334.4
类　型: 博士论文
年　份: 1999年
下　载: 207次
引　用: 0次
阅　读: 论文下载

内容摘要

在文件系统和I／O领域，提高性能和I／O的可扩展性是人们的研究目标。在磁盘存储系统、网络文件系统、并行文件系统和并行I／O界面上已经有了很多研究成果，但在可扩展并行系统的I／O上，既缺乏统一的标准，又缺乏对影响因素的深入了解。可扩展I／O(SIO)研究集中在硬件系统、操作系统支持、语言编译器和Runtime系统的支持、应用的I／O特征分析，和需要大量I／O的并行应用设计五个方面。本文着重于一种可扩展I／O标准界面的设计、一个可扩展文件系统的设计，以及在大规模并行处理系统和机群体系结构系统上参考实现和原型系统的实现与评价。本文提出一种新型的I／O编程界面，称作“可扩展I／O底层应用编程界面”(SIO-LLAPI)，这种简单的以性能为目标的底面界面是用以支持文件系统开发者有效地开发高层的并行I／O界面和为并行I／O的研究者提供基础平台。这项API设计工作是美国NSF组织的Scalable I／O Initiative项目的一部分。本文描述了在Intel Paragon多机系统上SIO-LLAPI的一种参考实现(Reference Implementation)。在这个SIO底层界面的实现中，我们提供了与Intel并行文件系统(PFS)兼容的文件系统结构和文件条块化(stripe)算法，并且实现了核心内和用户空间库两个版本。这个参考实现支持SIO底层界面的所有核心特色和部分可选特色，包括scatter-gather方式读写操作、异步I／O、文件控制操作、客户端文件缓存和预取机制、文件存取的Hints机制、Collective I／O、和一种高效的文件拷贝。我们初步的性能评价表明，SIO-LLAPI提供了大幅度提高I／O性能的可能性，并且易于实现，它的API灵活性对并行I／O的研究很有帮助。这个参考实现有助于其他实现者对SIO-LLAPI标准的理解和实现经验的获得。为了更好地理解性能上隐含的因素，我们在SIO-LLAPI之上实现了Intel PFS文件系统的界面。我们的实验结果表明，在大多数情况下，这种实现方式下PFS的性能与原始的(native)PFS性能相当，在某些情况下，如较小的顺序文件存取、较大的I／O请求、和Collective I／O，SIO-LLAPI上的PFS实现比原始的PFS性能更稳定和更好。同时，我们还实现了其它的高层文件系统界面和应用程序，如在SIO-LLAPI上实现了ADIO界面，在我们的PFS界面上运行Hartree-Fock应用，都获得了性能的提高。

全文目录

摘要  4-7
Abstract  7-18
第一章引言  18-25
  1.1 可扩展I/O  19-20
  1.2 适用性  20-22
  1.3 参考实现和原型系统  22
  1.4 论文的贡献  22-24
  1.5 本文的组织  24-25
第二章背景和相关研究  25-58
  2.1 文件系统  25-28
    2.1.1 基本概念  25-26
    2.1.2 文件缓存  26-27
    2.1.3 文件系统出错恢复  27-28
  2.2 磁盘存储系统  28-33
    2.2.1 基本概念  28-29
    2.2.2 RAID  29-31
    2.2.3 磁盘优化  31
    2.2.4 日志式文件系统  31-32
    2.2.5 逻辑磁盘  32-33
  2.3 网络文件系统  33-40
    2.3.1 基本概念  33-35
    2.3.2 NFS  35-36
    2.3.3 Sprite  36-37
    2.3.4 Zebra  37-39
    2.3.5 xFS  39-40
  2.4 并行文件系统  40-45
    2.4.1 条块化机制  40-41
    2.4.2 Intel CFS  41-42
    2.4.3 Intel PFS  42-44
    2.4.4 IBM Vesta和PIOFS  44-45
  2.5 并行I／O界面  45-48
    2.5.1 高层界面研究  45-46
    2.5.2 PASSION  46-47
    2.5.3 ADIO  47-48
  2.6 可扩展I／O研究的重要方向  48-52
    2.6.1 硬件系绕  48-49
    2.6.2 操作系统支持  49-50
    2.6.3 语言、编译器和运行系统的支持  50-51
    2.6.4 I／O特征分析  51
    2.6.5 并行I／O应用程序  51-52
  2.7 若干重要问题  52-58
    2.7.1 文件服务器瓶颈  53-54
    2.7.2 Hints研究  54-55
    2.7.3 I／O可扩展性  55-56
    2.7.4 可用性  56-58
第三章可扩展I／O底层API设计  58-73
  3.1 SCALABLE I／O INITIATIVE动机  58-59
  3.2 可扩展I／O系统的结构  59-60
  3.3 底层API的目标  60-61
  3.4 底层API功能列表  61-64
  3.5 底层API的主要特色  64-73
    3.5.1 同步和异步I／O  64-65
    3.5.2 Scatter-gather方式文件和内存区域  65-67
    3.4.3 文件存取模式Hints  67
    3.4.4 应用程序控制的客户端缓存  67-69
    3.4.5 文件控制操作  69
    3.4.6 Collective I／O支持  69-70
    3.4.7 Fast Copy支持  70-71
    3.4.8 What's Not  71-73
第四章 PARAGON多计算机上的参考实现  73-104
  4.1 INTEL PARAGON多计算机  73-76
    4.1.1 体系结构  73-74
    4.1.2 通信系统  74-75
    4.1.3 Intel PFS术语  75-76
    4.1.4 测试平台  76
  4.2 参考实现  76-93
    4.2.1 设计均衡  77-81
      4.2.1.1 文件系统数据结构和文件数据布局  77-78
      4.2.1.2 文件系统体系结构  78-80
      4.2.1.3 文件系统安全性  80-81
    4.2.2 核心功能  81-85
      4.2.2.1 open／close  81-82
      4.2.2.2 同步读写  82-83
      4.2.2.3 异步I／O  83-84
      4.2.2.4 I／O控制  84-85
      4.2.2.5 其它功能  85
    4.2.3 可选机制  85-90
      4.2.3.1 客户端缓存  86-87
      4.2.3.2 合作式缓存  87-88
      4.2.3.3 预取和服务器端调度  88-90
    4.2.4 Collective I／O  90-93
    4.2.5 Fast Copy  93
  4.3 设计和性能评价  93-100
    4.3.1 实现容易  94
    4.3.2 性能  94-100
      4.3.2.1 基本读写性能  95-98
      4.3.2.2 Collective I／O和Fast Copy  98-100
    4.3.3 API的灵活性  100
  4.4 经验和实现建议  100-104
    4.4.1 读写性能因素  101-102
    4.4.2 客户端缓存  102
    4.4.3 快速IPC机制的重要性  102-103
    4.4.4 其它细节  103-104
第五章支持I／O高层界面  104-115
  5.1 SIO-LLAPI之上的PFS  104-110
    5.1.1 方法  104-105
    5.1.2 实现细节  105-106
    5.1.3 性能评价  106-110
  5.2 ADIO和其它界面  110-111
  5.3 应用的经验  111-112
  5.4 讨论  112-115
    5.4.1 功能性支持  112-114
    5.4.2 SIO-LLAPI的限制  114
    5.4.3 未回答的问题  114-115
第六章机群系统上可扩展I／O的研究和原型  115-154
  6.1 曙光2000系统  115-119
    6.1.1 机群体系结构  115-117
    6.1.2 通信机制  117
    6.1.3 文件系统和存储结构  117-118
    6.1.4 测试平台  118-119
  6.2 COSMOS文件系统  119-135
    6.2.1 设计目的  119-120
    6.2.2 设计特色  120-126
      6.2.2.1 单一映像  120-122
      6.2.2.2 Unix文件语义  122-123
      6.2.2.3 Server-less体系结构  123-124
      6.2.2.4 软件RAID和并行I／O  124-125
      6.2.2.5 管理分布  125-126
    6.2.3 文件系统的结构和数据布局  126-129
      6.2.3.1 超级块  126-128
      6.2.3.2 l-node结构和目录  128
      6.2.3.3 条块组和子文件  128-129
    6.2.4 实现和关键技术  129-133
      6.2.4.1 核心扩充  129-130
      6.2.4.2 Client Daemon  130-131
      6.2.4.3 Manager Daemon  131
      6.2.4.4 Storage Daemon  131-132
      6.2.4.5 通信机制和互斥操作  132-133
    6.2.5 性能评价  133-135
  6.3 SIO-LLAPI在COSMOS上的原型设计  135-149
    6.3.1 研究的预期目的  135
    6.3.2 主要设计决定  135-140
      6.3.2.1 用户空间实现  137
      6.3.2.2 COSMOS兼容的文件系统和存储结构  137-138
      6.3.2.3 Two-layer方法和模块设计  138-139
      6.3.2.4 Directory Daemon  139-140
    6.3.3 原型实现  140-144
      6.3.3.1 SIO API相关层  140-142
      6.3.3.2 文件系统结构相关模块  142-143
      6.3.3.3 对COSMOS Daemon的修改  143-144
    6.3.4 性能评价  144-146
    6.3.5 讨论  146-149
  6.4 机群文件系统的研究问题  149-154
    6.4.1 可靠性和出错恢复  149-150
    6.4.2 高可用性支持  150-151
    6.4.3 高效通信模式  151-152
    6.4.4 支持Read-Intensive应用  152-153
    6.4.5 用户控制的策略  153-154
第七章结论和进一步的工作  154-157
参考文献  157-163
作者简介  163

可扩展I/O的研究和参考实现

内容摘要

全文目录

相似论文