中南大学高性能网格计算平台方案建议书(编辑修改稿)

中南大学高性能网格计算平台方案建议书(编辑修改稿)内容摘要：

个航空 插头） 套 2 品目 3： I/O节点系统 IO节点 曙光A620FX 2U机架式。 2*AMD Opteron 2350HE 四核处理器 ()； 16GB Registered ECC DDRII 667MHz； 2*450GB SAS(15000转 )硬盘 2*1000M以太网卡； 1*8Gb 光纤 HBA卡； 1*20Gb 4xDDR IB 网卡； CDRW/DVDROM Combo 冗余电源 ,风扇 片 2 品目 4：登录、管理系统 管理 /登陆节点 曙光A620FX 2U机架式。 2*AMD Opteron 2350HE 四核处理器 ()； 16GB Registered ECC DDRII 667MHz； 4*450GB SAS15000转热插拔硬盘（其中 1块装系统， 3块 RAID5）； 2*1000M以太网卡； 1*20Gb 4xDDR IB 网卡； CDRW/DVDROM Combo 冗余电源 ,风扇 台 2 品目 5：网络系统 Infiniband 计算和存储网络 Voltair 24 端口 Infiniband交换机 台 4 管理 /监控网络 H3C 510024PEI交换机， 24端口 10/100/1000baseT铜接口 台 1 13 Infiniband 连接线缆 Infiniband 铜缆 根 86 品目 6：存储系统 光纤交换机 BR310， 8Gb,16端口交换机， 8端口激活，含 8个 8Gb/s短波 SFP 台 1 曙光DS6312FE 磁盘阵列 标准 3U高 19英寸 双控 数据 Cache标配 2x512MB，可选 2x1GB、 2x2GB 标配锂电池（当控制器配置 512MB Cache 时，可以保护 Cache中数据 72小时不丢失） RAID级别 : 0， 1， 1E， 5， 6， 50， 60 支持多个全局 /本地热备份盘后台同步；重建 ,冗余检测 ,SMARTconditionpolling；在线扩容； 支持 RAID0、 50、 1E之间互相迁移 4个 4Gb FC 主机通道 2个 SAS 4x 扩展接口 硬盘插槽数量 16块 支持 SAS SATA 混插 最大扩展硬盘数 80(需增加扩展柜 ) 双冗余电源与风扇 台 1 曙光JB6310EE扩展柜 3U ,16盘位 ,单扩展模块， SAS 4X 扩展接口 ,冗余电源； 台 2 硬盘 450G（ 15000转） SAS硬盘 块 45 光纤线缆 FC线缆 3M多模光纤线缆 (LCLC) 根 6 品目 7：控制和视频切换系统（ KVM） SKVM II Over IP 支持 OVERIP 台 1 CIM KVM节点控制模块 个 16 品目 8：集群管理和监控软件系统 集群监控软件系统 作业调度软件 曙光作业调度系统 DCJM 套 1 曙光大型管理监控软件 曙光大型机管理监控软件 GridView： 状态监控模块：支持显示物理机柜视图、网络拓扑视图、性能分 析视图、应用监控视图 告警管理模块：可 以实现实时告警管理、历史告警管理、告警统计报表、告警关联分析等功能 性能报表模块：可以实现系统分类报表、自定义报表、图示化统计分析功能 集群管理模块：可以实现集群网络和服务、集群用户和进程、集群文件和关机功能 集群部署模块：可以实现点到点部署、镜像管理功能 套 1 14 曙光节能软件 powerconf，与监控系统和调度系统结合，探测空闲资源，通过 CPU降频、关闭 CPU 核心、休眠节点等措施降低空闲资源能耗，并具有网络唤醒功能 套 1 曙光刀片管理软件 Dawning Blade Full View Manager System，支持节点资源监控，节点开关机，节点系统配置和风扇电源管理 套 1 品目 9：操作系统和开发环境 操作系统软件 操作系统 Redhat Enterprise 套 1 系统集成配件 应用开发环境 intel编译器，包括 C、 C++、 F7 F90 套 1 PGI编译器，包括 C、 C++、 F7 F90 套 1 GNU 编译器 支持 C/C++ Fortran77/90 套 1 DataDisplay Debugger （适用几乎所有的mandline debugger） 套 1 CodeAnalyst 系统性能分析工具 套 1 并行环境 OpenMPI（支持 Infiniband 和以太网的 MPI 环境） 套 1 Mvapich（支持 Infiniband 的 MPI 环境） 套 1 MPICH/LamMPI（支持千兆以太网的 MPI 环境） 套 1 PVM 套 1 数学库 BLAS、 GOTO、 LAPACK、 FFTW、 ScaLAPACK 套 1 应用软件 应用软件 材料化学类 :ABINIT,CPMD 套 1 生命科学类 :GROMACS,MPIBLAST,VMD 套 1 气象预报类 :MM5,WRF,NETCDF 套 1 CAE仿真类 :FEAPpv,tochnog 套 1 品目 10：集群安装调试服务 集群安装调试服务 安装调试 符合安装规范 ,调试好整个并行环境 ,并行软件测试 套 1 高级服务 用户应用软件的安装调试及调优 套 1 品目 11：培训和售后服务 售后服务 提供 5年原厂商免费上门服务 套 1 15 培训服务 曙光集群系统使用和管理 高性能计算机和曙光集群系统 Linux操作系统使用与管理 曙光集群操作系统 (DCOS)使用与管理 交换机的原理与使用 存储系统与高可用 集群作业调度系统 Linux环境下程序开发基础 并行计算概述 MPI并行程序设计 共享存储及 OpenMP并行程序设计 并行算法设计 AMD Opteron处理器 套 1 . 系统示意图 16 17 . 计算系统方案 . 概述 作为高性能计算基础设施的核心，现代高性能计算机的发展从 20 世纪 70年代的向量计算机开始，也已经有了 30 年的发展历程。 先后出现了向量机、多处理器并行向量机、 MPP 大规模并行处理机、 SMP 对称多处理机、 DSM 分布式共享存储计算机、 Constellation 星群系统、 Cluster 集群系统、混和系统等多种主体的架构，并分别在不同的时期占据着应用的主流。 开放的 Cluster 集群系统具有较多的优势，已经占据了目前高性能计算机的主流位置，在 TOP500 中占据了 80%以上的份额，在中小规模的高性能计算系统中更是占据统治地位。 基于刀片的曙光 5000A 高性能集群系统，不仅具有 Cluster 架构的普适性优点，而且更加符合现代高性能计算机对计算密度、能耗、可靠性、易用性等方面的要求，是高性能计算的最佳平台。 对于峰值性能通常超过 Tflops 的大规模并行计算机而言，刀 片式集群系统在计算密度、功耗散热、运营成本、维护成本、可靠性等方面，都明显优于其他系统，且为系统的扩容升级提供了良好的基础。 本方案使用曙光公司的第三代刀片 TC2600，刀片集群系统包括 8 个刀片柜，共配置 78 个 四 路计算刀片，峰值计算性能达到 Tflops； 同时还配置了 4台曙光 4 路 A850 服务器，峰值计算性能达到 Tflops。 系统总体峰值为 10 Tflops。 18 . 刀片集群系统 计算刀片为 四 路服务器，配置 4 个 AMD Opteron GHz 四核处理器，即每个刀片有 16个处理核心。 计算刀片 配置 32GB 内存。 刀片配置 1*160G SATA 硬盘， 2 个千兆以太网接口； 刀片服务器是 曙光 5000A 高效能服务器的基础部件，也是系统中数量最高的节点。 高效能刀片服务器设计是高效能计算机研制的关键技术点之一。 高效能刀片服务器设计包括架构设计、散热设计、节能设计、管理功能设计、交换设计、高速互联设计、可重构计算设计等等。 曙光高效能刀片服务器主要的技术突破点如下： 复杂系统设计技术：刀片不同于普通服务器，大量的部件需要协同工作。 系统设计不仅需要设计完成所有部件，还需要保证所有部件能够正确的协同工作，是一项 相当复杂的工作； 架构的分析技术：合理的架构是计算密度、系统散热、能否使用工业标准件、以及系统成本等多种因素的平衡； 散热设计技术：为保证在小空间中装入尽量多的 CPU，需要建立复杂的散热模型，进行散热设计和仿真，同时设计出先进的散热部件，保证系统散热； 20Gbps 的高速互联设计技术：计算刀片需要 20Gbps 的 DDR InfiniBand互联。 高速信号处理困难， 10Gbps的 Infiniband在刀片中采用较多， 20Gbps的 19 DDR Infiniband 集成在全球刀片服务器设计中也属于领先前沿课 题。 标准 PCIE IO扩展卡支持：给信号设计以及机构设计提出挑战，曙光高速率先在刀片服务器产品支持了标准 PCIE卡。 先进的多渠道节能技术：系统采用静态、动态功率管理来进行节能，同时系统采用根据任务来调整刀片集群的作业调度、降低 CPU 工作频率、减少工作刀片个数等手段来实现节能，同时还通过操作系统内核任务调度来实现节能； 先进管理技术，实现 USB 共享以及 USB 虚拟技术，实现 KVM over IP 的远程管理技术； 下文对曙光高效能刀片服务器重要技术工作内容进行描述： (一 ) 先进的系统架构 通过 跟踪研究业界各种先进的刀片产品，包括 IBM、 HP 等厂家的产品，对其架构的优缺点进行分析，进行了详细的功率计算，对 CPU、硬盘内存发展趋势进行分析，对目前主流高速互连技术进行分析，确定的本项目刀片服务器采用7U/10PCS 系统架构，并对该架构，已经递交发明专利申请。 在后期由 INTEL 公司联合全球 200多家厂商发起的刀片推荐技术规格标准 SSI中，兼容了曙光的刀片产品规格。 曙光公司已经开发完成并规模生产的产品 TC2600 如图所示。 20 图 高效能刀片服务器 (二）优化散热技术 刀片服务器设计的最大障碍之一 为散热问题，大部分的刀片服务器项目的失败主要是由于散热效果不佳。 高效能计算机刀片服务器首先确定科学的系统架构（ 7U/10PCS，每个刀片宽度类 1U 服务器），在保证和普通机架式产品关键部件的兼容的同时，也使得系统散热和计算密度达到平衡。 在系统的散热风道进行研究和设计中，通过软件模拟散热仿真进行反馈和修正。 软件模拟仿真完成了 7U 机箱内安装 40 颗低功耗 AMD Opteron CPU 方案。 为降低噪音，并降低风扇能耗，本项目预计采用复杂的风扇控制策略，主要为： a、基于温度区域的温度控制策略 整个刀片系统中的每一个 温度传感器采用上行和下行两套温度区间划分。 上行温度区间划分是指温度在上升过程中的温度区间的划分。 上行温度区间划分采用两级温度阀值，将上行温度区域分为 3 个区间。 这两个温度阀限是警告温度门限和紧急关机温度阀限。 对应的 3 个温度等级是：正常工作温度区间、报警温度区间和紧急关机温度区间。 三个温度等级对应的三个风扇的转速：中速、全速、超速。 下行温度区间划分是指温度在下降过程中的温度区间的划分。 下行温度区间划分采用一级温度阀值，即警报解除温度阀限。 当温度降低到该温度阀值以下，管理子系统发送警报解除消息给管理模块，在收到 该消息前系统一直处在上行温度区间所设定的状态。 警报解除温度阀限小于上行的警报温度阀值，给系统提供一个稳定的温度控制裕量。 具体示意图如下图刀片系统温度工作区间所示： 21 图 刀片系统温度工作区间 对于温度上行而言，每一个温度传感器虽然都采用 3 级温度区间，但是具体温度值根据其在系统中的位置而各不相同： CPU位置的温度传感器温度阀限较高，进风口的温度阀限较低。 考虑到各个传感器温度相关性，故采用单点最高温度控制策略，即根据该系统中最高温度等级进行风扇控制，采用正常工作温度区间对应中速，报警温度区间对应全速，紧急关 机温度区间对应超速的方式控制。 对于系统中某一个传感器的温度，一旦进入了报警温度区域，管理模块则控制所有的风扇以全速运行，同时发送报警信息给系统管理员。 通过提高风扇转速，当所有温度传感器都降低到报警解除温度阀限以下，则发出报警解除消息给管理模块，管理模块控制风扇降低其转速。 对于系统中某一个传感器的温度，一旦进入了紧急关机温度区域，管理模块控制所有的风扇超速运行，同时发送错误信息给系统管理员。 紧急关机。