优秀研究生学位论文题录展示

面向高性能计算的可扩展I/O体系结构研究与实现

专 业: 计算机科学与技术
关键词: 高性能计算 I/O体系结构 并行计算机系统 调度算法
分类号: TP301
形 态: 共 130 页 约 85,150 个字 约 4.073 M内容
阅 读: 全文阅读说明

内容摘要


数值模拟计算是进行科学研究和探索的主要技术手段之一,其对计算机的计算和数据处理能力提出了巨大的、不断增长的需求,推动着并行计算机系统的发展。

高性能计算已进入PetaFlops时代,与此同时,数据存储也进入Petabyte(千万亿字节)时代,对I\O性能、可扩展性、可靠性、可用性和易管理性提出了严峻挑战。

大规模并行计算机系统的I\O效能已经成为阻碍系统获得高效能的重要瓶颈。

这主要表现在两个方面,一是I\O设备速度、I\O体系结构等因素的制约,使系统I\O性能和计算性能严重不匹配;二是系统规模的扩展导致I\O设备高故障率和数据恢复时间的增长,使I\O系统的可用性问题日益突出。

为了缓解I\O瓶颈问题,可以从应用程序、可扩展算法、编译器和语言、运行时库、操作系统和体系结构六方面展开研究。

其中,I\O体系结构是所有技术途径的关键支撑。

针对高性能计算I\O需求与挑战,结合高效能并行计算机系统的研制任务,论文首先研究了I\O体系结构,从体系结构上保证并行I\O的性能及可扩展性。

其次,在实现机制上,研究了涵盖I\O的存储一致性模型及实现技术、智能I\O控制、电磁混合存储加速和事务型存储管理等技术,达到提高并行I\O性能和系统可用性的目的。

论文的主要研究工作和创新点如下:

1.I\O受限的并行加速比模型针对并行计算机系统的可扩展性问题,研究了I\O负载对并行计算机系统可扩展性的影响,提出了I\O受限的并行加速比性能模型,以此为基础对三类常见的I\O体系结构的可扩展性进行了分析;最后用性能模型指导I\O体系结构设计,设计了一种面向高性能计算的可扩展并行I\O系统结构,提出了提高系统可扩展性的几种策略。

2.涵盖I\O的广义域存储一致性模型及协议实现技术针对支持全局DMA操作的共享存储系统存储一致性问题,从I\O与存储体系结构一体化设计理念出发,定义了涵盖I\O的广义程序概念,研究了广义存储一致性,建立了广义顺序一致性模型、广义释放一致性模型和广义域一致性模型,基于广义域一致性模型设计并实现了Cache-Memory-I\O数据一致性协议,在大规模CC-NUMA系统上实现了支持全局并发DMA的全局共享I\O系统。

实测结果表明,该系统I\O吞吐能力和扩展能力强,实测并行I\O带宽高达20.2GB\s,并行I\O带宽随着进程个数良好扩展。

3.基于强化学习的智能I\O调度算法RL-scheduler针对实际应用中磁盘阵列的I\O服务效率问题,将机器学习领域中的强化学习技术引入RAID控制器中,提出了基于强化学习的智能I\O调度算法RL-scheduler,利用Q-学习策略实现了面向并行应用的自治调度策略。

RL-scheduler综合考虑了调度的公平性、磁盘寻道时间和MPI应用的I\O访问效率,并提出多Q-表交叉组织方法提高Q-表的更新效率。

实验结果表明,RL-scheduler缩短了并行应用的平均I\O等待时间,提高了大规模并行计算机系统的实用I\O带宽,增强了系统的可扩展性。

4.支持事务语义的电磁混合存储管理算法针对高性能计算对I\O性能和可用性的双重需求与挑战,在存储设备一级将事务型存储管理和电磁混合存储加速技术有机结合,研究支持事务语义的电磁混合存储技术,提出了基于令牌的并行事务冲突处理协议和自适应动态逻辑分区管理算法。

模拟结果表明,支持事务语义的电磁混合存储系统能够有效利用事务访问规律提高固态盘缓存命中率,隐藏版本管理、冲突检测等开销,获得I\O性能和可用性的双重改善..……

全文目录


文摘
英文文摘
论文说明:图表目录
第一章 绪论
1.1高性能计算I/O需求与挑战
1.1.1高性能科学计算I/O需求
1.1.2 I/O瓶颈问题
1.1.3可用性问题
1.2研究方向与发展趋势
1.2.1 I/O与存储体系结构设计一体化
1.2.2 I/O优化技术融合化
1.2.3存储设备智能化
1.2.4存储管理事务化
1.2.5存储介质多元化
1.2.6存储系统节能化
1.3研究内容与相关工作
1.3.1面向I/O的存储一致性模型及实现技术
1.3.2智能I/O控制技术
1.3.3事务型存储管理技术
1.3.4电磁混合存储加速技术
1.4论文的主要研究工作与创新
1.5论文结构
第二章 I/O受限的并行加速比模型与可扩展并行I/O系统结构
2.1 I/O受限的并行加速比模型
2.2 I/O体系结构与系统可扩展性分析
2.2.1集中式I/O体系结构
2.2.2分布式并行I/O体系结构
2.2.3集中分布式并行I/O体系结构
2.3面向高性能计算的可扩展并行I/O体系结构
2.4小结
第三章 涵盖I/O的广义存储一致性模型及其实现技术
3.1涵盖I/O的广义存储一致性模型
3.1.1涵盖I/O的存储一致性视图
3.1.2涵盖I/O的共享存储系统抽象模型
3.1.3广义程序运行模型
3.1.4广义顺序一致性模型
3.1.5广义释放一致性模型
3.1.6广义域一致性模型
3.2基于LGScC模型的CC-NUMA系统全局DMA实现技术
3.2.1支持GPDMA的CC-NUMA一致性协议设计与实现
3.2.2基于GPDMA的全局共享并行I/O系统性能分析
3.3性能评测与分析
3.3.1并行I/O带宽测试
3.3.2 I/O服务时间测试
3.3.3与国际巨型机I/O系统比较
3.4小结
第四章 基于强化学习的智能I/O控制技术
4.1强化学习
4.1.1马尔可夫决策过程
4.1.2目标函数
4.1.3Q-学习算法
4.2基于强化学习的I/O调度算法
4.2.1问题提出
4.2.2算法思想
4.2.3环境状态的确定
4.2.4多Q-表交叉组织方法
4.2.5瞬时奖赏值函数
4.2.6 Q-值的更新方法
4.2.7 RL-scheduler算法
4.3 RAID控制器关键实现技术
4.3.1总体结构
4.3.2 RAID智能控制模型
4.3.3 RAID存储管理算法
4.3.4磁盘任务调度算法
4.4实验评测与分析
4.4.1 RAID性能测试
4.4.2RL-Scheduler算法评测
4.5小结
第五章 支持事务语义的电磁混合存储技术
5.1面向存储设备的事务语义基本框架
5.1.1事务原语
5.1.2版本管理
5.1.3冲突处理
5.2支持事务语义的电磁混合存储架构
5.2.1电磁混合存储系统架构
5.2.2支持事务语义的电磁混合存储策略
5.3基于令牌的并行事务冲突处理技术
5.3.1事务令牌
5.3.2令牌元数据维护
5.3.3冲突仲裁
5.4自适应动态逻辑分区管理算法
5.4.1算法思想
5.4.2访问模式检测
5.4.3基于边际效益的空间分配算法
5.4.4结合版本管理的区内替换算法
5.5实验评测与分析
5.5.1模拟测试环境
5.5.2自适应动态逻辑分区管理算法评估
5.5.3基于混合存储的事务冲突处理机制性能评估
5.6小结
第六章 总结与展望
参考文献

相似论文

  1. 基于涌现视角的多Agent系统分析研究,172页,TP301.6 TP181
  2. 相似矩阵与谱聚类,62 页,TP301.6 TP311.13
  3. 改进的粒子群算法及其在控制器参数整定中的应用,54页,TP301.6
  4. 动态可重构片上系统的任务在线放置和调度算法研究,51页,TP301.6 TP311.52
  5. 关联规则算法的研究,61页,TP301.6
  6. 主题爬虫搜索Web页面策略的研究,62页,TP301.6 TP393.092
  7. 基于纹理的高质量矢量可视化研究,145页,TP301.6 TP391.41
  8. 基于智能优化算法的体绘制研究,133页,TP301.6 TP391.41
  9. 跨智能空间上下文共享研究,120页,TP301.5
  10. 基于多个通道的概率进程演算模型,68页,TP301
  11. 高可用双机容错系统软件健壮性测试,63页,TP302.8 TP311.52
  12. 商业自动化系统数据安全技术的研究,51页,TP309 F716
  13. CA认证中心密钥生成与私钥封装系统的设计与实现,79页,TP309.7
  14. 基于Linux的可穿戴计算机导航定位系统设计与实现,70页,TP302.1
  15. 同时多线程踪迹处理器后端实现与研究,47页,TP302.1
  16. 基于准则和策略的自治式多agent服务协同体系研究,134页,TP301
  17. 虚拟域可信链的设计与实现,69 页,TP309.1
  18. 可信计算平台中TOCTOU攻击的响应方法,67 页,TP309.1
  19. 高性能DSP指令控制部件优化设计研究,74页,TP302.2
  20. 用于灾难恢复的远程备份系统的研究,68页,TP309.3
中图分类: > TP301 > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 一般性问题 > 理论、方法

© 2012 book.hzu.edu.cn