cae高性能计算平台建设方案

cae高性能计算平台建设方案内容摘要：

应的应用软件。 最后，厂家长期、稳定的产品售后服务和技术支持体系也是保证一个生产处理系统正常运行的因素。 IBM 中国公司在 1998 年就投资 1500 万美元成立了国内最大的技术支持中心－ IBM 中国技术支持中心（ IBM China Technical Support Center，即 TSC），为国内的用户、代理商及 IBM 内部提供技术支持服务。 正是由于 IBM 在高性能计算方面长期以来的不懈努力，使 IBM 在 ―大规模 ‖高性能计算方面拥有大量用户 （安装并已进入实际生产运行）。 并且， IBM 公司与业内多家应用软件提供商和服务商有大量的合作和成功案例， IBM 的高性能计算解决方案能在硬件和系统的层面满足应用的需要， IBM 中国公司在此提供建议书，其目的在于根据 IBM 在并行计算项目方面的多年经验，为用户提供一个技术上的参考意见，并通过 IBM 的服务支持，协助用户以最高的性价比获得稳定、可靠的运行。 第 4 章 CAE 高性能计算系统设计原则 应用通用性原则 如上所述，不同 CAE 软件对计算机系统的需求差异很大，例如 NASTRAN应用对内存和 I/O 的要求很高；而 CFD 类的应用对 CPU 速度及网络连接有较高的要求。 为此，该计算机系统必须是一个平衡的系统，在 CPU 速度、内存容量与带宽、存储容量与带宽及网络连接等各个方面都不应该存在性能瓶颈。 半导体技术和计算机技术的飞速发展，使得不停地有新技术出现以提高某一方面的能力，因此综合优化利用所有在某一时刻最新最先进最成熟的技术才能建立一个全方面均衡的系统，任何一个主要部件的先进不代表整个系统的先进，任何一个主要部件的落后也会导致整个系统的落后。 但毋庸置疑，一个全面实现均衡设计的先进系统必然是一个成本较高的系统，最先采用新技术 通常都会带来一些额外的代价。 因此设计一个有具有不同特点的多个子系统构成的高性能计算系统也是一个对 CAE 应用非常适合的做法。 但这类系统应该具有一个较好的管理机制，能够将不同特点的作业分发到最适合的子系统上进行运算，以获得总体上均衡的效果。 系统高扩展性原则 CAE 高性能计算系统在提升作业吞吐能力（支持多用户、多作业）的同时，还有一个重要的目标是用来支持中、小规模计算机系统无法解决的特殊业务问题。 为此，该计算机系统不应该是众多低端服务器的简单堆叠。 用来构建该计算机系统的计算服务器必须具有强大的处理能力，并配合以高性能的网络连接。 下表列出了 Power575 服务器与 Intel 最新的发布的、采用两路 Nehalem 芯片（ 8 核）的服务器的一些指标对比，从中可以看出 Power575 服务器出了具有强大的计算性能优势外，更是一台性能平衡的系统，在内存及 I/O 等各方面均有优异的性能。 IBM Power 575 服 务 器 2way Nehalem 服 务 器 性能比 理论峰值速度 (GFlops) 601 倍 缓存容量 (MB) 640 18 倍 内存带宽 (GB/s) 273 32 倍 I/O 带宽 (GB/s) 94 倍 系统高可用性原则 建设大规模的高性能计算机系统将面临众多的技术难题，其中系统的稳定性、安全性及易管理性是该计算机系统应具有的基本特征。 最终用户不应该在系统管理和维护上投入过多的人力与物力，而是将精力集中于相应的科研工作。 为此，我们推荐采用更稳定的 Power 服务器和可靠性很高的刀片系统作为计算节点，辅之以成熟的软件系统和关键部件的冗余化设计，从而建立高可用的高性能计算系统。 处理器 性能最大化原则 在 CAE 用户所处的应用领域存在一个现象，即作业的运行时间很难通过增加所使用的处理器数量来减少。 下面分别列出了 ANSYS 和 ABAQUS 在典型高性能计算机上不同个数处理器上运行标准测试所花费的时间。 加速比 1 CPU 2 CPU 4 CPU ABAQUS, 7 Standard Benchmarks 1 ANSYS, 12 Standard Benchmarks 1 ABAQUS 是典型的非线性有限元分析程序，从上表可以看出，即使使用 4个 CPU，也无法将计算时间缩短至只使用一个 CPU 时的 50%。 而 ANSYS 多处理器并行的效率更差。 分析以上数据我们可以得出结论，若要提高工作效率，缩短作业的运行时间或者在一定的时间内运行更多的作业或更复杂的作业，只有提高单处理器的性能才能实现。 也就是说，由 8 个相对性能为一的处理器构造的高性能计算系统不如使用由 4 个相对性能为 2 的处理器组成的高性能计算系统的使用效果好，理想状态下对两个 4 CPU 的作业它们的性能是一样的，而对于一个作业来讲后者只需前者一半的时间就可完成作业。 对于这类应用，高性能的 Power 处理器是比较理想的选择，选择性能尽可能高的 Power 处理器还有另一个好处，就是在得到同样的运行效率的前提下，在应用软件许可证上的花费更少。 高性价比原则 只遵循上面的原则会造成系统购置成本不受限制地增加，所以需要在高性价比原则给以制约。 对于显式有限元分析以及流体和碰撞等应用，选择性能价格比更高的刀片式服务器，无疑是非常理想的选择。 同时高性价比原则也不能仅理解成硬件系统的性价比，而应该将所需软件的费用一并纳入考虑内容；也不应只是考虑系统在采购时的性价比，而应考虑系统故障造成的时间损失和信誉损失、维修备件成本、维修人员成本、能源费用等。 第 5 章 CAE 高性能计算平台方案 关于 XX 汽车 CAE 项目投资的几点建议  根据测试结果及我们以往在汽车行业的经验，理想的计算环境应该是 SMP 小机+Linux cluster 的混合架构；  项目投资应有计划、分步骤地有序进行，一期可先上 cluster 保证碰撞和显式计算并规划好未来扩展的计划；  保证 ABAQUS、 NASTRAN 等隐式计算可以在 cluster 架构下过渡性地运行，明年二期可以平滑地迁移到计划的 SMP 小型机上，不建议采用 X86 SMP 服务器  存储需要考虑并行文件系统，可以考虑一期用两个 I/O 节点保证 I/O 吞吐量并兼顾可靠性，后期可平滑扩展；  考虑到碰撞等应用对时间延迟的敏感性，建议采用 InfiniBand 等高速网络连接，并制订后期扩展计划  作业调度方面，一期可考虑开源软件，后期可选择 LSF,PBS Pro， LoadLeveler 等商业版作业调度系统。 总体方案描述 根据客户需求 ,一期采用刀片集群方案，二期扩展 SMP 小型机，具体方案描述如下： 使用一套刀片中心， 8 片刀片，内置万兆交换机为各刀片之间提供 10Gb/s 带宽。 随着用户需求的增长，该系统可同过增加刀片中心灵活的扩展。 基本配置如下： 1） 计算节点 : 8 片 HS22 CPU： 2 颗 Xeon X5670 CPU (Intel Xeon 六 核处理器 , , 12M L3缓存 , 总线 ) RAM： 24GB HDD： 2 x 146GB ‖ SAS 热插拔的 硬盘 集成 2 个千兆以太网卡 万兆的子卡 三年免费维护 2）用于安装计算节点的 BladeCenter H Chassis 1 个 管理模块 1 个 两组（ 4 个） 2900W 电源模块 内置千兆以太网交换机 BNT 万兆交换机 三年免费维护 3）管理节点 ： 1 台 IBM x3650 M3 CPU： 2 颗 Xeon E5630 CPU(四核至强处理器 12MB三级缓存，最高支持 1066MHz 内存频率， GT/s QPI，支持超线程、 TurboBoost 功能 ) RAM： 16GB HDD： 2 块 146GB ‖ SAS 热插拔的 硬盘 集成 2 个千兆以太网卡 1 个双口独立千兆以太网卡 三年免费维护 4） I/O 节点 ： 2 台 IBM x3650 M3 CPU： 2 颗 Xeon E5630 CPU(四核至强处理器 12MB三级缓存，最高支持 1066MHz 内存频率， GT/s QPI，支持超线程、 TurboBoost 功能 ) RAM： 16GB HDD： 2 块 146GB ‖ SAS 热插拔的 硬盘 集成 2 个千兆以太网卡 1 个双口 光纤通道 卡 万兆 以太网 卡 远程控制卡 三年免费维护 5）存储设备 IBM DS5300 高性能磁盘阵列 双控制单元 12 块 300GB， FC 磁盘 6）机柜套件 1 个 42U， 19 英寸标准机柜 1 套 15 英寸液晶显示套件 1 套 NetBAY Console Switch (KVM)，含键盘，鼠标 4 个 PDU 含配套电源线 7）软件部分 1．操作系统 ： Linux 2．集群管理系统 ： IBM xCAT 本系统集群管理软件采用 xCAT 完成集群管理功能，本方案建议选择主管理节点作为 xCAT的管理服务器，安装 xCAT 服务器端软件。 xCAT 服务器端软件通过 AMM 网络与刀片中心的管理模块通讯，得到刀片的状态信息，例如为部署刀片操作系统需要的网卡 MAC 地址。 通过软件分发网络，与存储节点和登陆节点通讯，进行硬件管理。 xCAT 管理操作，通过软件分发网络，与计算节点，存储节点，登陆节点通讯。 xCAT 工作逻辑如下图所示： xCAT 能够通过单点控制来管理基于 Intel 的 Linux 系统群集。 这样便简化了群集的管理，使其能够很方便地扩展，有助于提高系统管理员的效率。 同时，该软件还充分利用了 IBM 在硬件上的先进技术，如集成的系统管理处理器（ Service Processor），使管理软件能够以远程方式管理每一个系统节点，从而方便系统的管理。 xCAT 包括一种能够监控软硬件事件的基础设施，在适当的时候可以触发自动恢复操作。 CSM 的这种较高可靠性基础设施和事件监控功能，有助于快速检查和解决问题，从而增强了群集的可用性。 具体来讲， IBM 的集群系统管理软件可以实现如下的功能：  实现系统的并行安装和配置；  管理和同步节点的配置文件；  提供系统远程运行命令操作，允许以命令或脚本方式运行在集群中的所有节点上  支持用户帐户统一管理；  提供远程硬件控制，如：节点的远程开机、关机和重新启动；  动态监视系统资源使用情况； 3．编译器： GNU 编译器： C/C++编译器， Fortran77/90/95/编译器 4．并行环境软件： IBM Tivoli Workload Scheduler Loadleveler, MPI－ CH, Maui/OpenPBS Tivoli Workload Scheduler Loadleveler——是一种动态任务计划和负载平衡软件，可在集群的内部支持数以千计的各种任务； 5．文件系统： IBM GPFS （通用并行文件系统） GPFS——是一种高性能共享磁盘文件系统，可提供对集群中所有节点的快速数据访问。 单节点最高带宽 15GB/s， I/O 平衡调度改善吞吐性能，已安装的美国 ASCI Purple 实测达到102GB/s； 6．系统监控管理软件： IBM Systems Director 8）技术集成 IBM 完成硬件系统平台，操作系统，系统平台软件的安装调试以及与 LSDYNA,radioss, NASTRAN 等专业软件商联合安装与调试，确保用户的应用软件的正常运转。 9）日常维护 使用 IBM 提供的高级群集管理软件 xCAT，能够通过单点控制来管理基于 AIX/Linux 系统群集。 这样便简化了群集的管理，使其能够很方便地扩展，有助于提高系统管理员的效率。 同时，该软件还充分利用了 IBM 在硬件上的先进技术，如集成的系统管理处理器（ Service Processor），使管理软件能够以远程方式管理每一个系统节点，从 而方便系统的管理。 通过现场培训用户可以简便的完成系统管理工作。 二期扩展方案 根据现有的架构，二期可以方便地增加刀片加入现有集群，并通过 xCAT 管理新增加的小型机；同时， GPFS 并行文件系统在线扩展文件系统和添加 I/O 节点，并支持分级存储。 方案具有非常好的扩展性。 第 6 章 相关产品技术介绍 IBM BladeCenter 要点：  提供业界最全面的兼容机箱、刀片服务器、存储器和联网产品的选择性。  通过多层冗余提供极为牢靠的可用性。  端到端的可靠性和最佳业务实践承诺。  通过创新的冷却技术提供卓越的电源效率。  基于开放技术提供卓越的 I/O 性能和交换功能。  高效整合 ： IBM BladeCenter H 将服务器、存储、网络、 I/O 与应用程序紧密地集成在一起，客户可以使用通用构建模块构建强大而灵活的 IT 基础架构。 业务增长时，只要插入新的刀片即可，非常简单。 模块化设计能节约大量的电缆成本，而且在很大程度上减少了由于。