多媒体管理系统设计方案

多媒体管理系统设计方案内容摘要：

300GB， Tivoli 数据迁移软件的数据库空间约50GB，这部分空间当然可以通过扩充现有的 EMC磁盘阵列来获得 1TB的存储空间，但考虑到扩充 EMC 1TB 的磁盘阵列价格和增加 FAStT700 1TB 的磁盘阵列价格大致相当，而且目前硬盘的价格也并不高，而且从集中管理的角度出发，建议不采用扩充 EMC 磁盘。 多媒体管理系统项目技术建议书 电话： 02132250365， 32250387 01062115808， 62115828 美佳达计算机工程有限责任公司 第 10页 共 51 页 如果根据高码流采用 25Mbps，低码流采用 720Kbps 的素材容量计算，在线存储需要 4TB 的存储空间。 如果高码流采用 15Mbps，低码流采用 300Kbps，则在线存储需要 2TB 的存储空间，相差的 2TB 硬盘的价格其实并不高，因此我们建议一次性能将硬盘配置到位，以免去今后在一定时期内由于扩充硬盘带来的系统调整工作。 对于磁盘全部选用目前容量最大的 146GB 单个 硬盘组成阵列，考虑到大视频流文件的容量较大，采用大硬盘可以节省阵列的体积，而且大硬盘的物理缓存也较大，这样有助于提高读写的效率。 根据以上分析，我们对于磁盘阵列配置 6TB 的绝对容量，进行 RAID5 设置后实际格式化容量为 5TB 的高速磁盘能满足需要，用户需要保存供预览和网上点播的 MPEG4格式的素材，这些素材需要快速读取，一般只能保存在磁盘上， 720K码流的 MPEG4 素材容量一般为 200M250M/小时，而且其数量和 MPEG2 素材的数量相当，因此目前需要 左右的容量用于该素材的保存（同时用 于关键帧数据的保存），如果 MPEG4的素材也存入磁带库，由于磁带库从调带到读取的时间为 90 秒，还要加上磁带走带的时间，读取一个 MPEG4 的小文件至少需要120 秒时间，作为浏览和点播用的素材需要的是访问速度，明显将 MPEG4 格式的小文件存入磁带库是不合适的，因此必须留有一个较大的磁盘空间用于存放这些素材文件。 按照要求需要保存 1个月时间的高码流素材，按照以上的计算需要 的磁盘空间。 同时要留有数据库的存储空间约 300GB，同时建立一个上下载数据及非线编的临时空间约 400GB，而且用于视频播出服务 器的缓存空间需要 300GB， Tivoli 数据迁移软件的数据库空间约 50GB。 因此计算得出总实际容量需求为 5TB。 对于 FAStT700 磁盘阵列满配置 4 个 GBIC 口， 4 对光纤分成 2 组分别连接到2个 SAN 交换机上，这样不仅提高了传输带宽，同时起到了备份作用，在本系统的设计中，主要设备是没有单点故障的。 对于 3584 磁带库中的 4 台光纤驱动器也分为 2 组分别连接到 2个 SAN交换机上，以产生 2 个独立的数据通路，目的也在于避免单点故障。 多媒体管理系统项目技术建议书 电话： 02132250365， 32250387 01062115808， 62115828 美佳达计算机工程有限责任公司 第 11页 共 51 页 采用了高可用的 Tivoli 软件作为文件在磁盘和带库间的迁移软件，由存储服务器软件根 据预定的存储策略自动完成数据在一级存储 磁盘和二级存储磁带库间的迁移工作，存储服务器安装 Tivoli 的客户端和 SANergy，存储服务器对存储素材的空间具备所有操作权限。 迁移的具体策略如下：用户上载的低码流数据原则上保存在硬盘中，对于高码流的 MPEG2 格式的素材在上载完成后放入硬盘，经过编目、非编等多道工序后，再接受审查，审查通过的素材等到缓冲区满或者用户手动触发的情况下，迁移入磁带库（目前按照用户的要求每天保留 5 小时的高码流素材，保存期为一个月），由于考虑到磁带库的速度响应时间较长，因此经常用 的素材会保存在硬盘上，其中采用的缓存策略算法，以最近最多访问的素材保留在硬盘上。 对于不同密级的资料保存在独立的磁带上，满足对绝密级资料离线保存的需要。 对于 Oracle 数据库主机安装 Tivoli 的 Oracle Agent 实现数据备份功能，在 3584 磁带库中划出几盘磁带的一个小备份空间就可以实现数据库备份的目的，由于为提高数据库性能，我们将关键帧数据保存在硬盘中，这部分数据不包含二进制文件，因此数据量很小，不会对系统产生任何影响。 在两台 M85主机上安装 SANergy 的 HA 模块以实现集群主机对 Oracle 数据 库的磁盘空间的共享访问。 对于保密的素材全部采用 DES 算法进行加密，私钥由用户自己保管，安全级别最高的绝密资料除加密以外，要离线保管，但索引数据库中保存其编目信息，在授权可以访问这些数据时将磁带重新放入磁带库读取。 对于大型存储设备和主要服务器及工作站间采用 SAN 存储网络连接，以保证大型文件的存取效率。 因此直接将采集上载工作站、非线编工作站、检索下载工作站、播出服务器、网上点播服务器、存储服务器直接通过光纤网卡连到 SAN 网络上，对 FAStT700 磁盘阵列用磁盘管理系统进行分区，通过 SANergy 软件实现文件在 FAStT700 主磁盘阵列中的共享。 由于 SANergy 可以支持 Unix 和 Windows平台的磁盘分区及文件共享，对于非编和其他许多应用，需要由多台计算机同时操作一个磁盘分区，因此需要 IBM Tivoli 软件中的 SANergy 软件部分实现此功多媒体管理系统项目技术建议书 电话： 02132250365， 32250387 01062115808， 62115828 美佳达计算机工程有限责任公司 第 12页 共 51 页 能。 软件采用美佳达媒资管理系统，分别安装于各个工作站和服务器上，这些软件协同工作，组成一个完整而严密的媒体管理网络。 对于审查、编目、授权等等功能只需要在普通 PC 上就可以实现，因此设计将这些软件全部安装在 8台编目工作站上，依据用户的使用权限来操作对应的软件。 由 于主机和存储设备预备放置在 2 楼主机房，对于 2 楼主机房的 SAN 交换机采用 IBM 2109F16 两台互相做热备，形成两条独立的物理通路，保证单点故障对整个网络没有影响。 2109F16 单台可提供 16 个 2GB 的 SAN 光纤网口，两台交换机的相互连接需要 2 个光纤接口， FAStT700 需要 4个光纤口， 3584 磁带库需要 4 个光纤口， 2台主机需要 2个光纤口， 2台 VOD 服务器需要 4个光纤口， TSM和 MDC 服务器需要 2个光纤口，存储服务器需要 2个光纤口，和 23楼交换机连接需要 2 个光纤口，和 EMC 交换机连接需要 4 个光纤口（原有 的 EMC 交换机同IBM 交换机全部由 Brocade 公司 OEM，内部协议一致，可以实现无缝连接），共计使用了 26 个光纤口，目前 32个光纤口应该可以满足需要。 对于 23楼视音频处理中心采用单台 2109F32交换机和 2楼主机房的 SAN交换机通过 4条光纤相连，所有视音频处理机全部连接到 F32 交换机上，目前对于处理系统工作站需要 13个 SAN 光纤口，目前占用了 17 个口，还剩余 15 个口，满足用户总共需要超过20个光纤口的要求。 而且新的系统可以通过高速以太网络和现有的新华社内部网络物理相连，目前的网络技术发展成熟，通过 TCP/IP 协议可以实现不同主机之间的通讯和数据传输，对于新老系统的结合将不会有任何问题。 从 2 楼机房到 23 楼机房需要配备 SAN 和以太网连接，为了确保线路安全，同时为降低成本，我们设计了在两个机房间设置四条 2GB带宽的 SAN光纤以交叉连接 4个 SAN交换机和两条千兆以太网光纤（如果整个大楼有光纤主干则不需要敷设光纤，可以直接从配线架引出两条以太网光纤即可），两组光纤互为备份，以保证传输安全。 对于采用 ADIC 磁带库的说明： 多媒体管理系统项目技术建议书 电话： 02132250365， 32250387 01062115808， 62115828 美佳达计算机工程有限责任公司 第 13页 共 51 页 ADIC 10K 磁带库是 ADIC 公司的高端磁带库，目前配置可以容纳 700 盘 LTO带，现在 使用量为 7TB 左右，还有相当的使用空间，而且 ADIC 10K 磁带库可以由多套软件进行操控，如果采用扩充 ADIC 磁带库需要购买新的 LTO 驱动器、磁带和 Tivoli 驱动软件，和采用 IBM 3584 带库的方案相比差别在于库体，其实IBM 带库的库体成本并不高，从集中管理的角度出发，当然选择独立的 IBM 磁带库会比较合理。 如果从节省一些成本的角度出发，可以利用原有的带库，只是会带来管理上的一些不便。 而且由于 ADIC 带库目前保存着大图数据，这些数据的存取效率在磁带库中并不太高，而大型视频数据采用磁带存储的效率就很高， 可以获得恒定的大数据流，两种数据混装会从一定程度上影响带库的性能，在成本不高的情况下，建议采用新的 3584 磁带库。 对于磁带库的管理设置一台 PC 服务器作为专用的 TSM 服务器，安装 TSM Server 并作为 SANergy 软件的 MDC 服务器之用，控制数据在磁盘和磁带间的迁移，并负责协调磁盘文件共享的锁定。 因此该台服务器安装 2 块 SAN 网卡以提高通道传输速度。 为实现双网的数据交换，设置了存储服务器，安装 Windows 2020 Server 操作系统、双 SAN 网卡和两块高速以太网卡实现两个网络的数据交换，在以太 网中将磁盘共享给授权的工作站，为编目著录等工作站建立访问 SAN 区域网低码流数据和关键帧数据的通道。 我们设计采用两台高端 PC 服务器构成集群，作为 VOD 服务器之用，这两台服务器同时连接 SAN 和以太网，考虑到这两台服务器要对内有足够的磁盘访问能力，并向外提供足够的以太网带宽，才能应付网上点播服务，因此各配置 4 块CPU、 2 块 SAN 网卡和 2 块光纤以太网卡。 作为集群可以自动负载均衡，因此两台服务器对外能至少提供 150 路 720Kbps 码流的视频点播。 多媒体管理系统项目技术建议书 电话： 02132250365， 32250387 01062115808， 62115828 美佳达计算机工程有限责任公司 第 14页 共 51 页 以下是系统的大致构架图： 二楼主机房 2109F16 IBM FAStT700 磁盘阵列 IBM 3584 LTO磁带库 2109F32 采集工作站 SONY IMX放像机 二十三楼音像中心 非编工作站 上载工作站 SONY IMX 放像机 编目审批工作站 下载工作站 SONY IMX 录放像机 VOD服务器 TSM 服务器 存储 服务器 3C17702 3C17702 光 纤 主 干 BAY 光纤交换机 IBM M85 主机集群 2109F16 多媒体管理系统项目技术建议书 电话： 02132250365， 32250387 01062115808， 62115828 美佳达计算机工程有限责任公司 第 15页 共 51 页 （黄线和绿线代表两条 互为备份的 SAN 光纤通道，蓝线代表高速以太网路） 以上是基本的一个系统构架图，其中包含了存储设备、数据库服务器、存储服务器、 TSM管理服务器、网上点播服务器、上载工作站、编目及审查工作站、非编工作站、检索下载工作站及诸多的管理工作站（包含用户管理、审查、授权、计费、审计等工作站），这些硬件和软件组成了一个完整的音视频媒体资产管理网络。 我们从计算机管理的角度精心考虑了整个网络的使用，对于需要大数据吞吐量的场合使用直接 SAN 连接，其余的设备通过以太网由存储服务器中转访问存储设备中的数据，这样既节省了开支，避免大 量购买昂贵的 SAN 设备，同时又保证了数据访问的实时性。 数据流程图： 在整个数据流程图中，数据源有各种规格和制式的模拟、数字录象机和光盘以及通过卫星接收的外国通讯社的电视新闻资料，其中包括经过编码和压缩的视多媒体管理系统项目技术建议书 电话： 02132250365， 32250387 01062115808， 62115828 美佳达计算机工程有限责任公司 第 16页 共 51 页 音频文件和模拟、数字视音频信号。 采集和上载工作站对视音频文件和模拟视音频信号进行编码、压缩或转码，无论何种输入源都可以兼容，同时生成 MPEG2 高画质和 MPEG4 低画质的视音频素材文件，放置在存储体中。 上载完成后，用户使用 MPEG4 低画质的视音频素材进行资料整理和编目，编目完成后生成素材编目信息，通过审 查后将素材编目信息存入中心数据库中。 节目编辑制作环节使用的是非线编工作站，其中包括粗编工作站和精编工作站，粗编工作站对应的是 MPEG4低画质的视音频素材 ,精编工作站对应的是。