05_cae高性能计算方案建议书

05_cae高性能计算方案建议书内容摘要：

PVM等； （ 5）只能在单个节点内部支持共享内存方式的并行模式，如 OpenMP、pthreads 等； （ 6）性能价格比好。 XX 汽车 CAE 高性能计算平台方案 建议 书 15 CAE 硬件平台的选择 CAE 在制造企业中承担着关键的业务，所以其高性能平台的选择非常重要，这个平台直接影响 CAE 的运行性能 表现、整体成本和系统维护等方面问题。 想让 CAE能实现 ―随需应变 ‖，在高性能计算平台的选择上就需要进行全面的考虑。 1． CAE 软件使用 SMP 系统存在的问题 理论上讲， SMP 系统可以胜任 CAE 应用程序的运行，但是不可避免地存在一些问题。 首先是 SMP 系统价格相对较高。 而且 CAE 的某些应用软件的扩展性不好，如隐式有限元分析（ IFEA）类软件通常只能用到最多 8 个 CPU。 这个特点决定了配置超过 8CPU的大 SMP 服务器没有太大的必要，反而会造成投资的浪费。 此外， SMP 系统由一个操作系统管理，如果 没有强大的资源管理软件和作业调度软件配合，很容易造成 CPU分时处理多个任务的现象，即在一个 CPU上同时运 行多个进程，从而影响整个系统的使用效率，同时难于保证关键任务的按时完成。 常用的作业调度软件有 PBSpro、 LSF 和 OpenPBS，其中开放源代码 的 OpenPBS 很难胜任复杂的 CAE 应用软件的管理，尤其是对共享内存方式并行模式（ OpenMP，pthreads）的管理。 而 LSF 和 PBSpro 的价格比较高，同样会增加用户的投资。 2． CAE 软件使用 Cluster 系统存在的问题 目前市场上的 Cluster 系统通常是用 PC 服务器作为节点构建的，每个 PC 服务器内部一般配置 2 个 CPU。 这种类型的 Cluster 系统在承担 CAE 应 用软件运行任务时也存在一些问题，比如共享内存方式的并行模式只能运行在一个节点内部，也就是说，最多只能用 2 个 CPU去处理 OpenMP/threads 类型的 CAE 任务，很难满足应用的时效性要求。 又因为单 CPU的处理能力限制，需要更多的 CPU来完成一个计算任务，这样就需要购买较多 CPU的软件许可证，增加了用户的投资。 3． SMPCluster 混合架构 ： CAE 应用 平台 的最 佳选择 如上所述，不同 CAE 软件对计算机系统的需求差异很大，例如 NASTRAN 应用对内存和 I/O 的要求很高；而 CFD 类的应用对 CPU速度及网络连接有较高的要求。 为此，该计算机系统必须是一个平衡的系统，在 CPU速度、内存容量与带宽、存储容量与带宽及网络连接等各个方面都不应该存在性能瓶颈。 XX 汽车 CAE 高性能计算平台方案 建议 书 16 当设计 CAE 高性能计算整体解决方案时，要充分考虑用户需求，比如资金预算、问题类型、分析规模、用户数量、软件 License 个数等，以此来确定最终的硬件选型。 根据客户以上各方面需求的综合分析，可采用以下三种方案： 1） 以隐 式分析为主的解决方案 常用的隐式有限元软件有 ABAQUS/Standard、 ANSYS、 等。 根据隐式有限元分析要求内存容量大、磁盘 IO 快、通信延迟低的特点，推荐采用基于SMP 架构的 IBM Power 产品 ，小规模的隐式分析也可采用 x3850 X5 或 x3755。 2) 以显式分析为主的解决方案 常用的显式有限元软件有 ABAQUS/Explicit、 LSDYNA、 PAMCRASH 等。 相比而言，显式有限元软件对系统硬件的要求略低一些，从性价比以及软件的扩展性出发，推荐采用由 2 路的 IBM System X 作为计算节点的集群系统。 采用集群系统进行显式有限元分析具有以下优点： 1）采用集群系统，节点硬件配置可以略低一些，节省投资。 集群节点采用 XXX 系列处理器，系统内存的配置推荐 XGB/Core，配置硬盘。 2）采用集群系统，可以为用户提供更多的 CPU资源。 在同等价格的情况下，集群系统可以为用户提供更多的 CPU资源。 可以同时满足多个用户、多个计算任务的需求。 同时集群的各个节点也可独立进行运算。 3）采用集群系统，各个节点可以协同工作。 集群系统的特点在于虽然各个节点的计算性能 有限，但是多个节点可以通过高性能网络进行协同工作，共同完成大规模问题的求解。 目前主流的计算软件也都支持集群并行计算。 4）采用集群系统，进行扩展非常方便。 当需求增加时，通过增加节点数量，可以立即提升系统的整体运算能力，用户以前的投资不会浪费。 在集群系统中，网络的性能直接影响整个系统的实际运算能力。 目前市场上主要有三种高性能计算网络：千兆以太网、 万兆以太网 和 Infiniband。 应该根据用户的预算和系统规模进行选择。 5） 兼顾隐式和显式分析的解决方案 ： SMPCluster 混合架构 XX 汽车 CAE 高性能计算平台方案 建议 书 17 针对 SMP 系统 和 Cluster 系统在处理 CAE 应用时存在的问题，我们可以考虑一种综合这两类体系结构优势的高性能计算机系统 ——SMP Cluster。 如图 2 所示。 图 2 SMP Cluster 和 OpenSMP、 Cluster的比较 IBM Cluster 1350 Linux 集群系统（ IBM刀片中心 ）： IBM将目前最紧凑的刀片式服务器加入到 Cluster1350 集群产品中，使集群系统的集成度提高了一倍，即在一个 7U高的刀片抽屉中可以放置 14 个刀片服务器。 该产品不仅集成了 IBM在 x系列服务器、 p 系列服务器方面的多 种技术和特点，而且是开放的技术标准，在系统的结构和散热方面都有许多的独到之处，其关键的中间板的冗余设计，大大提高了整个系统的可靠性，连接线缆的减少使集群系统的可维护大大提高。 IBM刀片中心 BladeCenter 可以安装四种类型的刀片式服务器，一种是采用 Intel Xeon芯片的 HS22 刀片式服务器，一种是采用 AMD 芯片的 LS22/LS42 刀片式服务器，一种是采用 IBM Power 6 芯片的 JS22 刀片式服务器，一种是采用 IBM Power 架构 CELL芯片的 QS20 刀片式服务器。 使用 IBM刀片中心作为节 点来构成 Cluster1350系统具有以下特点： （ 1）采用 刀片 服务器作为节点， 使传统 Cluster 系统 具有更高的集成度，更加省电，稳定性更高 ； XX 汽车 CAE 高性能计算平台方案 建议 书 18 （ 2） 刀片中心可以 在 7U高度中 安装 14 片刀片服务器共 28 颗 CPU的 集群系统。 刀片之间操作系统独立； （ 3）节点间连接采用 IBM为 HPC 专门设计的高性能交换机，其单通道带宽达到10Gb/s，并且每个节点都配置了双通道作为冗余配置。 这样在保证跨节点通信的优越性能的同时，提供了较高的稳定性； （ 4）整个系统 节点间使用消息传递方式的 并行任务（ MPI或 PVM）。 （ 5）完善 的集群管理环境，统一进行资源管理和作业调度。 管理软件包括：  xCAT 集群系统管理软件，可以同时管理多个集群 , 包括 UNIX 集群和Linux集群；  Tivoli Workload Scheduler Loadleveler 作业调度软件，具有强大的作业调度、记帐及断点 /续算功能；  充分优化的并行使用与开发环境 IBM PE，提供高性能的、完善的并行作业运行与管理；  高性能的并行文件系统 GPFS，为整个集群提供稳定的共享文件系统。 GPFS 是一种高性能共享磁盘文件系统，可提供对集群中所有节点的快速数据访问。 单节点最高 带宽 15GB/s， I/O 平衡调度改善吞吐性能，已安装的美国 ASCI Purple 实测达到 102GB/s； （ 6）高 性能价格比。 IBM优势 IBM，即国际商业机器全球服务公司， 1911 年创立于美国，是全球最大的信息技术和业务解决方案公司，目前拥有全球雇员 31 万多人，业务遍及 160 多个国家和地区。 在过去的九十多年里，世界经济不断发展，现代科学日新月异， IBM 始终以超前的技术、出色的管理和独树一帜的产品领导着全球信息工业的发展，保证了世界范围内几乎所有行业用户对信息处理的全方位需求。 众所周知， 早在 1969 年，阿波罗宇XX 汽车 CAE 高性能计算平台方案 建议 书 19 宙飞船载着三名宇航员，肩负着人类的使命，首次登上了月球； 1981 年哥伦比亚号航天飞机又成功地飞上了太空。 这两次历史性的太空飞行都凝聚着 IBM 无与伦比的智慧。 IBM在产品技术发展路线上始终保持清晰稳定的发展方向，产品设计生产上全面保护用户的已有投资。 IBM是唯一一家在高端服务器行业有能力自己设计、研发和制造的厂家。 IBM设计和制造 CPU的成就是非凡的。 从我们目前所熟知的铜芯片、绝缘硅技术，到后继的 lowK dielectric 和 silicon strainin等新技术已一 一被发明出来。 总体而言， IBM 有很强的技术实力，在高性能服务器中引进了大量的主机上的先进技术，依靠 ―整体 ‖的系统解决方案保证系统的可用性和可靠性，将高性能计算推广应用到 ―实际生产处理 ‖系统中。 IBM 多年在 世界最快 500 套超级计算机 中 (TOP600)排名 第一。 截止到 2020 年 11 月， 其中 前 5 套 IBM占据前 4 套，前 50 套 IBM占有46%，全部 500 套中 IBM占 48%。 IBM不仅在硬件技术上处于领先地位，在高性能计算软件方案上也有着独到之处。 对于高性能计算机 复杂的 管理难点 IBM有 同时支持 Unix/Linux平台的 高效 管理软件 （ IBM xCAT）。 对于影响大型高性能集群性能的 I/O 难点 IBM有性能领先的通用并行文件系统（ IBM GPFS） ,GPFS 可以根据用户系统规模的不断扩展线性提升系统 I/O 带宽。 对于提高系统效率的作业管理软件 ， IBM有积 累了长期大规模高性能计算经验的 IBM Tivoli Workload Scheduler Loadleveler，他可以 实现资源利用率和吞吐量的最大化。 对于影响高性能计算程序的编程环境 IBM 有历经几十年的强大编译器（ 最优的 SPEC OMP2020 性能）和优秀的数学与科学 函数库 ESSL, PESSL。 IBM 更有经过充分优化的并行运行环境 IBM PE 及调试工具。 其次， IBM在系统层面保证（大型）高性能计算系统的可用和可靠性，除上述系统连接、监控和系统管理功能外， IBM的优势在于 IBM全球服务部以其在高性能计算上多年的经验和积累，将根据 ―应用 ‖和 ―客户 ‖的具体需求对整个系统运行环境的客户化，包括 IP 地址规划、主机名规划、操作系统包规划、各种服务规划以及集群系统本身的安装、维护、客户化、集群作业的分发、集群资源的分配、并行软件编译环境等等。 这点对于高性能计算进入实际生产应用意 义深刻。 XX 汽车 CAE 高性能计算平台方案 建议 书 20 在高性能计算方面， IBM有一批资深的技术专家，他们不仅了解 IBM的产品和技术，而且了解行业的应用，熟悉行业的应用软件，这些专家负责与应用软件商和客户应用的密切技术合作和支持，经常地与应用软件开发商一起研究和优化应用软件，使应用软件在 IBM的计算机体系结构上运行得更好。 有了这些专家的支持，可以使大量的应用软件可以平滑地在 IBM的平台上运行，帮助用户更好地使用 IBM的技术和产品，协助用户调试和优化相应的应用软件。 最后，厂家长期、稳定的产品售后服务和技术支持体系也是保证一个生产处理系统正常运行的因素。 IBM中国公司在 1998 年就投资 1500 万美元成立了国内最大的技术支持中心－ IBM中国技术支持中心（ IBM China Technical Support Center，即TSC），为国内的用户、代理商及 IBM内部提供技术支持服务。 正是由于 IBM 在高性能计算方面长期以来的不懈努力，使 IBM在 ―大规模 ‖高性能计算方面 拥有大量用户（安装并已进入实际生产运行）。 并且， IBM公司与业内多家应用软件提供商和服务商有大量的合作和成功案例， IBM的 高性能计算 解决方案能在硬件和系统的层面满足应用的需要， IBM中国公 司在此提供建议书，其目的在于根据 IBM在并行计算项目方面的多年经验，为用户提供一个技术上的参考意见，并通过 IBM的服务支持，协助用户以最高 的性价比获得稳定、可靠的运行。 XX 汽车 CAE 高性能计算平台方案 建议 书 21 第 4 章 CAE高性能计算系统设计原则 应用通用性原则 如上所述，不同 CAE 软件对计算机系统的需求差异很大，例如 NASTRAN 应用对内存和 I/O 的要求很高；而 CFD 类的应用对 CPU速度及网络连接有较高的要求。 为此，该计算机系统必须是一个平衡的系统，在 CPU速度、内存容量与带宽、存储容量与带宽及网络连接等各个方面都不应该存在性能瓶颈。 半导体技术和计 算机技术的飞速发展，使得不停地有新技术出现以提高某一方面的能力，因此综。