san网络存储整合方案v

san网络存储整合方案v内容摘要：

不 同的设备连接到不同 virtual fabric 上即加入了相应的 virtual fabric。 然后通过 Routing 的方式将多个 VF 以及 edge Fabric 连接在一起 ，共享备份设备。 设备之间通过 LSAN_zone 方式互联，但为了保证 VF 之间、 Core Fabric 与 Edge Fabric 之间无关系统的隔离，需要对 SAN路由作详细设计。 确保各个生产区 VF 之间的主机与存储不互通，确保测试开发区的主机与生产区的主机及存储不互通。 保证每个生产区 VF 的主机可以与备份区 VF4 的 VTL 和物理带库互通，以实现 LANFree备份。 确保开发测试区的主机和备份区 VF4 的 VTL 和物理带库互通，以实现将历史数据恢复到开发测试区用于测试研发。 必要时各个生产区的存储可以与开发测试区的存储互通，将数据由存储设备直接推送到开发测试区存储上，用于测试。 必要时各个生产区的主机可以与开发测试区存储互通，用户数据拷贝恢复。 SAN 网络 NPIV 设计 N_Port ID Virtualization (NPIV) 将单个光纤端口虚拟成多个独立的端口，为每个连接到该物理端口的不同类型操作系统提供独立的端口标识（对每个操 作系统看起来就像有自己独立的物理端口一样）。 NPIV 分配一个独立的 virtual port ID 给每个光纤通道协议设备。 它允许你去分配虚拟地址而不影响现有连接和设备。 虚拟端口有与 N_port 相同的属性，因此能够提供 Fabric 相关的所有服务。 每个 NPIV 设备有独立的 device PID,Port WWN, 和 Node WWN，执行同 Fabric 中其他端口相同的功能。 也就是说， NPIV 虚拟出的多个 virtual devices 与连接在非 NPIV 端口的普通设备无异， zone 配置对于 NPIV 端口和非 NPIV 端口也没有区别，能够根据 domain和 port 符号，或 WWN，或两者兼有的方式划分。 对于完全由 virtual N_Port ID 构成的Zone，必须使用 WWNZone。 因为 对于 NPIV 端口如果使用 harddomain_id,Port)zone，并且所有的 virtual PID 使用的端口被配置在该 Zone 中，那么 port login (PLOGI)到一个不存在的 virtual PID 是不被 block的，相当于 FLOGI被发送到 NPIV port连接的设备。 如果这个设备不能处理这种异常的 PLOGI 信号， 就应该使用 WWNbased zoning。 在本期 辽宁移动 GEDC 项目中存在大量刀片服务器，每台刀片机种大约分配 5 台左右的虚拟机。 当这些虚拟机需要连接存储资源池中的 LUN 时，需要通过虚拟机的虚拟端口影射到刀片机笼的内联 FC端口，再通过外联 FC端口连接到 SAN导向器上识别存储资源池中的 LUN。 在虚拟机 LUN 需求超过 75GB 时，建议采用 LDM 方式，通过 NPIV 连接存储上的 LUN。 再通过Zone 分区的方式将多个 NPIV 逻辑上分离，保证单一主机到单一存储 LUN 的访问。 连接 拓扑 图如下： 图 NPIV 配置： 使用 portCfgNPIVPort 打开和关闭 port 的 NPIV 功能。 如下是一个具体的案例(Brocade 5100 port 10): switch:admin portCfgNPIVPort 10, 1 同时考虑到虚拟机内各业务系统的重要程度不同，应可利用交换机端的 数据流控制机制，实现 I/O 流量的控制管理。 指定数据流传输的优先级别 ,可以将 NPIV 连接线的内部划分成高，中，低三个优先级别，高优先级获得最高的带宽，而低优先级别获得最低的传输带宽。 有了这些数据流控制机制，客户可以很好的分配和利用带 宽资源，为应用程序服务，例如 虚拟机 SQL 数据库 为 核心业务，划分为高优先级，而 文件归档等 则为低优先级应用，这样，在业务流量最繁忙以至于达到瓶颈时，高优先级别的业务获得了更多的传输带宽，保证了高优先级别业务的服务水准。 图 Virtual Fabric 网络设计 在 Virtual Fabric网络设计中，我们参见图 ，划分为 VF0VF5， 6个 Virtual Fabric网络 ， 以及 edge Fabric 网络。 以下我们分别对这几个 VF 在实际环境中的部署作分别阐述。 VF0 路由 区域划分 VF0 作为 Base, 相当于 SAN 路由器，不连接任何设备，只负责连接其他 virtual fabric, 并且隔离不同 virtual fabric 间的广播风暴。 它包含 SAN 导向器中 所有需要交互端口。 VF1 核心 数据库 区域划分 本期计划为 VF1 核心 数据库 区划分 1 个端口板 32 端口 中的 16 端口 ，连接 NMC 数据库 2 台 SUN E6900、 TDDB \ NPMDB 集群数据库 4 台 SUN E4900、 XNGDB 1 台 SUN V890、bpmapp01， 1 台 SUN V4800、 TeMIP 4 台 HP 服务器集群。 连接主机见下表： 核心生产主机表： Solaris+Veritas LVM E6901/E6902 SUN E6900 NMC 数据库 (ORACLE 9i RAC) 有表可见总共大约 11 台服务器占用 11 个端口 (包括 TeMIP HP 主机 Npart)。 VF1 还具备 5 端口的扩展能力，在近期内能够充分满足用户对核心数据库 区的扩展需求。 VF2 OA 财务 区域划分 VF2 区划分系统为 OA 以及财务，划分 1 块 32 端口 板 中的 24 端口 ，连接主机见下表。 OA 系统主机表： Solaris E4901(sun cluster) SUN E4900 TDDB(ORACLE 9i HA) E4902(sun cluster) SUN E4900 NPMDB(ORACLE 9i HA) E4901(sun cluster) SUN E4900 TDDB(ORACLE 9i HA) E4902(sun cluster) SUN E4900 NPMDB(ORACLE 9i HA) xngserver SUN V890 XNGDB(ORACLE 10g) HP UX temip1,temip2,temip3,temip4 TeMIP SUN Solaris bpmapp01/bpmdb01 SUN V4800 bpmapp01/bpmdb01 Windows Archive2 HP DL380 OA 档案系统 Archive3/4 HP DL580 OA 档案系统 Archive3/4 HP DL580 OA 档案系统 EPM1/2 HP DL580 EPM Elearning HP DL580 Elearning HP UX UIPORACLE/UIPPORTAL HP RP4440 UIPORACLE/UIPPORTAL OVSA1/OVSA2 HP RP4440 OVSA1/OVSA2 HP UX Archive1 HP RX4640 OA 档案系统 Documentum/MAXIMO1/MAXIMO2 HP RP4440 Documentum/MAXIMO1/MAXIMO2 Windows DocBack1/DocBack2 HP DL580 公文后端 1,2,3,4 OASQL1 HP DL580 OA SQL SERVER Windows DocBack3/DocBack4 HP DL580 公文后端 1,2,3,4 OASQL2 HP DL580 OA SQL SERVER Windows NMC4 IBM X440 SQL SERVER2020 NMC5/NMC6 IBM X440 EXCHANGE NMCA3D9SVR1/NMCA3D9SVR2 EXCHANGE NMCA3D9SVR1/NMCA3D9SVR2 SQL SERVER 2020 (SQL3) 由此表可见大约在 OA 系统 与 财务系统中存在 20 台左右服务器 需要连接存储 LUN，占用端口大约 20 个，这样 VF2 区内共占用端口大约 20 个，剩余 4个左右端口供用户扩展。 VF3 应用服务 区域划分 VF3 区域为应用服务区，此区域划分 1 块端口卡中的 32 个端口 中的 24 端口 ，此区域连接应用服务区的 3 组刀片机笼 48 台刀片服务器，由于刀片机笼中配置 SAN 交换机， SAN 导向器可以将刀片机笼中的 SAN 交换机加入到 VF3 区内成为 VF3 区内的一部分，因此不需要为其配置过多的端口，每台 机笼内 SAN 交换机可通过 8 条 8GB 光纤通过 ISL 协议连接到 SAN导向器中的 VF3 区内，自动实现链路聚合。 （如需要实现负载均衡则需要添加 Trunking License）。 3 组机笼占用 VF3 24 个端口，每组机笼可具备 64Gb 带宽，每台服务器 4Gb 带宽，如果每台刀片服务器虚拟 5 台虚机则每台虚机可分配 80MB 带宽，基本满足业务需要。 VF3中共占用大约 24 端口， 目前没有扩展能力，但可通过增加端口板或者添加边缘交换机扩展VF3。 如果刀片机笼没有配置 SAN 交换机，则需要利旧原有的 3 台 32 端口交换机，刀片服务器连接 32 口 Brocade 4100B 交换机，在通过 4100B 中 8 条 4GB 光纤通过 ISL 协议连接到 SAN导向器中的连接到 VF3 中。 在 VF3 中大量应用服务器以虚拟机的形式存在 ，因此要求涉及连接的所有交换机都支持 NPIV 的划分方式。 在虚拟机不存在大数据量时采用传统的 LUN 映射、Zone 划分方式将 LUN 分配给 EXSserver， EXSserver 将虚拟机的映像文件 VMDK 存储在 LUN中。 当虚拟机需要的存储空间大于 75GB 时，建议直接将 LUN 映射给虚拟机采用 LDM 的方式，利用交换机 NPIV 技术使虚拟端口和 LUN 仍然实现单个启 动程序分区 SIZ 的方式。 VF4 备份资源 区域划分 VF4 区为备份区，此区域内划分 2 台备份服务器， 1台 VTL 虚拟带库设备，以及 1 台利旧 8 驱动器的 HP EML245E 磁带库，其中备份服务器每台需占用 1 个 FC 端口， EML245 可以将 8 个驱动器分别连接到 2 台 SAN 导向器中的 VF4 区中，因此每台 SAN 导向器占用 4 端口，机械手占用 1 端口，虚拟带库按每交换机 4 端口计算，则备份区 VF4 区内占用大约 11 端口。 VF1VF3 生产环境的 Virtual Fabric 通过 VF0 Base Virtual Fabric Rounting 功能与备份区互通，设置交换机的 LSAN，将相关的设备分配到相应的 LSAN Zone 中。 以 Brocade 交换机为例， 执行以下命令： zonecreate lsan_stn_w2k_hdsB, stn_w2k。 stn_hdsB。 然后将它们加入到 config 中。 cfgAdd “ config1” , “ lsan_stn_w2k_hdsB。 „„” NMCA3D10SVR1/NMCA3D10SVR2 SQL SERVER 2020 OLAP 将生成的 config 激活并保存。 cfgEanble “ config1” VF5 存储资源区域划分 VF5 区划分为存储资源 池， VF5 划分原则为横跨所有会与存储资源池有数据交互的 VF计算资源区所存在的端口板上。 保证相关的业务计算区主机与存储资源池中分配的 LUN 影射端口处于同一块端口板上。 VF1VF3 计算资源区的 VF 同样通过 VF0 Base Virtual Fabric Rounting 功能与存储资源区互通，设置交换机的 LSAN，将相关的设备分配到相应的 LSAN Zone 中。 本项目中计划为 VF5 分配端口板 1 中的 16 端口，端口板 2 中的 8 端口，端口板 3中的 8 端口。 总共 32 端口。 在本项目中核心生产区的存储设备 DMX3 配置 2 个控制器， 每控制器 8 个前端端口，设计连接到 VF5 区中的端口卡 1 上。 TIMP 系统所使用的 EVA4000 磁盘阵列配置 2 个控制器，每控制器 4 个前端端口，设计连接到 VF5 区中的端口卡 1 上。 存储资源区占用端口板 1 12端口。 新增的 CX4 磁盘阵列建议配置 2 个控制器，每控制器 8 个前端端口，设计连接到 VF5区中的端口卡 2 和 3 上。 为 OA、财务、应用服务系统的服务器提供存储空间。 将占用 2 和 3端口板各 4 个端口。 存储资源区共占用 20 端口，剩余 12 端口。 以上 Virtual Fabric 的划分建议仅仅根据我方对现有设备架构理解制定，在实际实施环境中可以按照 Virtual Fabric 网络中端口扩展灵活性，动态的添加端口。 可以按照现有实际端口使用数量划分每一个 VF 的端口数量，剩余端口可以在今后的扩展中按需求随用随加。 Edge Fabric 区域划分 Edge Fabric区域主。