西安交大高性能计算集群

2008-11-24 10:35

 

     西安交通大学是国家教育部直属重点大学,为我国最早兴办的高等学府之一。其前身是1896年创建于上海的南洋公学,1921年改称交通大学,1956年国务院决定交通大学内迁西安,1959年定名为西安交通大学,并被列为全国重点大学。西安交通大学是“七五 ”、“八五”首批重点建设项目学校,是首批进入国家“211”和 “985”工程建设,被国家确定为以建设世界知名高水平大学为目标的学校。

 

方案分析

一.客户需求分析

2006年12月,PCC(Preconcal)为西安交通大学定制基于Fluent计算的高性能工作站,该系统由塔式工作站、交换机、以太网络等组成。主要运行Fluent等软件。经过4年的应用,Fluent在该系统上运行稳定、状态良好,参与了不少课题和项目。但随着业务需求飞速的发展,该系统已不能满足需要,更效率、更大规模计算成为当前迫切的要求。针对客户需求分析,我们设计出基于Fluent的高性能(High-Performance Computing)计算集群,以更好满足当前的计算需求。

 

二.方案分析

本方案中,我们使用的是高性能计算(High-Performance Computing)集群。简单的说,集群(cluster)就是一组计算机,它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点(node)。高性能集群在计算过程中,各节点是协同工作的,它们分别处理大问题的一部分,并在处理中根据需要进行数据交换,各节点的处理结果都是最终结果的一部分。

 

方案设计


一. 方案总览

 

                                   


由于CFD是一种典型的浮点计算密集型和内存密集型应用,其对高性能计算机的要求主要有:

1) 具有很强的计算能力,尤其是浮点运算能力;

2) 有较大容量的内存以使前处理和求解时数据能完全驻留在物理内存中,经验表明,一般每个CPU至少分配2-4GB内存,而且多多益善;

3)要求具有支持高速、低延迟的通讯网络。一般而言,100个节点以内集群采用千兆以太交换网络,100个节点以上的CFD集群要求采用性能更好的Infiband互连网络,以满足节点之间大量频繁的通讯要求。

   PCC作为专业的高性能计算系统供应商,愿为流体力学计算应用提供多快好省的高性能计算解决方案,推动流体动力学数值模拟研究的发展,

   目前PCC的高性能计算解决方案,均可采用集群架构构造更大规模系统,配置方案可灵活选择,始终追求效益/成本最大化的高效能解决方案。

 

 1.1 拓扑图

 

 

Preconcal高性能计算集群由若干台高性能节点机、高速计算网络连接到一起组成,并通过监控系统和一组集群管理软件对其进行有序管理。集群的基本体系结构如图所示,主要包括节点、网络、存储、监管和软件等几个部分。根据用户对计算规模需求的不同,可以对节点、网络和存储等进行量身定制。

1.2 节点机

       节点机主要包括两类节点:计算节点、管理节点。

计算节点要求:

   (1)CPU:有很强的计算能力,对CFD而言特别是浮点运算能力。

   (2)内存:适量的内存以使前处理和求解时数据能完全驻留在物理内存中。经验表明,每个CPU分配内存越大,计算能力越强。

   (3)支持高速、低延迟的通讯网络


   针对以上要求,我们推荐计算节点采用两路12物理核心(超线程24核心)Intel至强56处理器的系统,这种系统都具有极高的性能,非常适合用于构建高性能集群系统。最新系列的处理器都更注重大内存容量支持和高带宽内存访问。同时在能耗控制方面也做了相当多的优化,可最大限度的降低TCO。

管理节点

管理节点是外部设备和集群系统之间连接的桥梁,任何用户和系统的管理员都只能通过管理节点才可能登陆到节点机子系统上,事实上,管理节点是一个多种身份于一身的节点,它具有管理和作业提交等功能。

1.3  网络

网络系统特别是计算网络的性能很大程度上影响着整个系统的性能。由于并行计算时的数据通讯和NFS文件系统的数据传 递对网络的要求较高,为了管理、监控等操作不对计算通讯和文件IO操作产生任何干扰,本方案设计的网络系统,实现专网专用,保证了系统的高效性。对于较大规模的集群系统,还可单独设置数据传输网络,将计算过程中的数据传输与个节点之间的通讯分离开,避免相互干扰。这对于非稳态、有大量中间 数据需要保存的CFD应用而言尤其重要。数据传输网络一般采用千兆以太网,根据需要还可以在IO节点上进行双网卡绑定以提高数据传输带宽。

 

质保承诺


集群服务器系统为原装正品,提供厂家授权书和售后服务承诺函


硬件售后服务及培训要求:

一周人员培训、三年上门服务、三年专业支持


下一工作日上门服务(含配件及人工费,维修范围包含显示器、鼠标、键盘等全部原装配件,7x24小时电话响应技术支持)