云南省级气象信息存储共享系统可行性研究报告

云南省级气象信息存储共享系统可行性研究报告内容摘要：

环境中，达到优势互补。 ⑷ 数字图书馆技术 数字图书馆技术的发展将为纸质历史记录的数字化（扫描、压缩 10 成图像文件）、信息化（提取出有结构的数据、存入数据库）提供技术方法。 数字图书馆具有虚拟网络特点，是一个超大规模、开放性、分布式的数字信息资源网络体系结构。 能实现复杂信息的加工存取和海量信息存贮的功能。 网络系统具有良好的兼容性、互操作性、可扩充性，并具有智能化检索功能，符合国际标准和规范。 ⑸ 信息共享技术 以满足国家和社会公众对气象科学数据的共享需求为目的，依托成熟的业务技术体系，以现有气象数据资源为基础 ，通过整合集成，标准化和归一化处理，形成一批以大气圈层为核心， 涵 盖气候系统范畴的数据集产品； 采用大规模商用数据库技术、层次化存储管理技术和 Web 技术，建设体系基本完整、项目较为齐全、质量比较可靠的共享气象资料数据库和 可视化、分布式的气象资料共享网络服务平台，构建覆盖全省、网通行业、联结全国的基于 Inter 网络的气象科学数据共享服务平台，为各方面用户提供全方位、多层次、网络化和可视化的气象基础信息共享服务。 3 需求分析 气象信息 存储需求 ⑴ 从中国局下载的数据量估算 中国局下发全球常规观测资料 ， 每天 105MB。 中国局下发数值预报产品资料 GRIB， MM5 资料（ CN）， 每天约 210MB。 11 HLAFS 资料（ CH）， 每天约 45MB。 T213 资料（ BJ）， 每天 121MB。 欧洲中心资料（ EC）， 每天。 日本降水量资料（ RJ）， 每天 600KB。 德国降水量资料（ ED）， 每天 2MB。 ⑵ 本省收集的数据量估算 ①气象卫星观测资料： 接收风云静止卫星云图每天约 3GB； 每天接收 27 张风云静止云图，共。 其中正点接收全圆盘图 24 张，每张 110MB；半点（ 5: 11: 23:30）接 收半圆盘图3 张，每张 72MB。 转换格式文件每天 40MB； 风云极轨卫星云图约 450MB； 美国极轨卫星云图约 2500MB； EOS 卫星遥感资料约 2400MB； ②本省六部多普勒雷达观测资料： 6 个雷达站每天传输的雷达产品资料约 432MB：每次（约 6 分钟1 次）生成的 25 个雷达产品，一个站一次发送文件 300KB，一天300*6*240=432MB； 6 个雷达站传输的雷达体扫文件（基数据）压缩后为 480MB：一个站一天 80MB， 6 个站 80*6=480MB。 ③自动站资料： 目前包括每小时一次，每 10 分钟一次的自动 站报文，每天共约 12。 以后将提高到每分钟一次，每天共约 35MB。 ④本省常规地面高空观测资料： 本省常规地面高空观测资料及其加工产品， 每天 11MB； 每月常规地面高空观测资料报表文件为 150MB，每年 ； 本省高性能计算机数值预报产品 ， 预计约 50 MB； ⑤本省其它综合观测资料： 含闪电定位、酸雨检测、土壤水分监测等等资料每天 10MB； 与外系统合作获得的资料如水文资料、环境监测资料、风能监测资料、国土资源资料等约每天 100MB； ⑶ 资料汇总 省 局目前及未来 5 年的资料存储量估算见下表： 资料 名称 目前资料量 未来资料量 日资料量(MB) 年资料量(GB) 日资料量(MB) 年资料量(GB) 风云静止卫星云图 3100 3100 风云极轨卫星遥感资料 450 164 900 328 美国极轨卫星遥感资料 2500 2500 EOS 卫星遥感资料 2400 876 2400 876 多普勒雷达资料 1000 365 30000 5400 自动站资料 MICAPS 资料 1024 1024 MM5 资料 210 210 13 HLAFS 资料 45 45 T213 资料 121 121 欧洲中心资料 日本降水量资料 德国降水量资料 2 2 PCVSAT 接收常规资料 105 105 本地加工常规资料 11 11 合计 ⑷ 小结 ① 云南省 的气象 信息 工作主要是面向实时业务及准实时业务、科研和服务，对气象资料的应用及存储需求涉及到所有的气象观测资料及产品资料。 长期 以来，由于存储能力的限制，省级存储只能在基本满足业务需要的情况下选择性的存储，许多资料分散在各业务单位。 现存数据量大约 5TB (包括将信息化的纸 质资料、 归档在省气象台信息档案科 历史资料、分散 保存在各个业务单位的资料 )。 考虑新的信息资料和新的业务应用的增加， 现在 年数据增量约 为 6TB，估计 5 年后省级数据库存储 共享 系统保存的数据总量为 35TB，其中在线保存部分占 14TB，归档部分占 21TB。 ② 部分珍贵资料需信息化。 目前，许多珍贵的气象观测资料仍以纸张的形式存放在气象资料室，如序列完整、质量可靠、应用广泛的太阳辐射和农业气象报表资料以及数量众多的温度、湿度、风、降水自记纸均未作数字化处理，不能利用计算机进行加工处理和服务， 14 需进行信息化。 ③ 正在建立与 气象相关的一些资料正式收集途径。 环境保护局观测资料、水文气象观测资料、农业等与气象有关行业的观测资料目前尚无获取的正式途径，而气象业务对这些资料的需求是不言而喻的，所 以要建立正式的收集途径。 ④ 气象业务未来发展对数据存储和利用的要求很高，估计未来５年数据存储量将成倍增长，因此，省级数据库存储 共享 系统应留有足够的存储空间以满足未来５年的数据存储需求。 气象预报、服务业务发展的需求 省级气象信息 存储 共享系统是气象基本业务体系的重要组成部分，是省级资料工作的核心业务系统，本系统为基本气象信息分析预测系统提供基础资料支撑，同时又是各种加工分析产品的省级汇集地；对于气象信息服务系统，一方面，本系统为其提供基本气象资料并汇集其生成的各种气象服务产品，另一方面，又对部门外部 非商业用户提供气象资料服务而成为气象资料服务的主窗口，与其他基本业务系统有着密切的联系。 气象信息资源开发利用的需求 气象信息 存储 共享系统收集省内观测资料的主要数据源，统一组织和管理云南省气象局所收集的省内乃至全球范围的观测资料及其分析加工产品。 承担云南省气象局各业务系统、科研工作和管理部门对气象资料及其相关产品开发利用的联机检索和调用。 15 经济社会发展对气象信息的需求 依托气象信息综合业务网向下级气象部门分发各类资料产品，同时向有关政府部门提供决策服务产品和基本气象资料；通过因特网向社会上的 授权用户提供基本气象资料服务，从而实现气象资料多层次的共享。 系统功能与性能 需求 系统功能需求 省级基本气候资料存储系统的主要目标是实现气象信息的高效管理和充分共享，高效规范的应用软件是系统顺利建成并充分发挥效益的关键。 系统对软件的 功能 需求包括以下几个部份。 ⑴ 资料收集需求 气象业务的特点是既有实时性很强的中短期和短时天气预报，又有时间要求相对低的气候 业务 、 农气业务和科研，不同的业务性质对资料的时效要求也会有所不同。 因此气象资料的获取就有实时和非实时之分，在资料的收集功能方面要考虑采用不 同的手段对不同类型的资料进行有效的收集。 实时资料的绝大部分都是实时产生、实时传送、实时应用，所以对这些资料的接收时效要求非常高，要求能够随时到达随时接收，将延迟时间降到最低。 省局气象档案馆珍藏有大量的以纸张形式保存的历史气象资料，它们对气象业务和科研工作的发展具有重要的使用价值。 需要将这些非信息化的资料进行数字化处理，转化为计算机可读的信息化资料， 16 一方面服务于气象业务科研工作，充分开发和利用这些数据资源；另一方面拯救这些濒临丢失的宝贵资料。 ⑵ 数据加工处理需求 数据的加工处理是存储 共享 系统中极其重要的工 作，通过加工处理使各类气象资料进行有效的分类检测、形成格式化和标准化的数据，为数据的入库和管理乃至检索应用打好基础。 数据在进入存储 共享 系统之前要进行相应的预加工处理，而预加工处理的内容要视具体的资料而有所不同。 在存储 共享 系统中，观测资料的量相比其它资料而言并不大，但对它的处理却是最为复杂的。 对观测资料的预处理主要是指对从通信线路上接收的资料（包括实时传输的报文和非实时传输的气象月报表文件）进行格式检查，对那些格式有错误的报文和文件则要根据一定的原则由程序自动进行纠正，而不能由程序纠正的有格式错误的报文则 应该剔除放入人工纠错的目录，以保证在质量控制前资料格式的正确性。 对产品资料，凡是以报文格式传送的也都要进行基本的格式检测。 为了应用的方便，对那些以分块传送的格点资料，例如数值预报产品，则要进行多块拼接，形成有效的区域、或半球、或全球产品后再进入数据库管理。 其它以文件方式形成或传送的产品资料，要根据其具体格式进行适当的检测与处理，尤其是文件首行的关键信息需要进行检测与确认。 对于特定的气候资料、统计分析资料、特种观测及其它科学实验 17 资料等，也必须经过事先的加工处理或进行必要的格式转换再进入存储系统。 元数据是 数据管理的核心数据，它包括存储系统中各数据库子库、目录文件、数据集、被迁移数据的信息描述以及存在于本系统之外的其它单位或载体的数据记录的说明等，按照所制定的元数据标准和元数据描述标准专门制作形成的元数据文件。 存储 共享 系统中除了应具有完整的元数据集外，还应有相应的管理软件，当管理的数据发生变化时，元数据信息的生成与更新也随之进行。 气象数据种类的多样化，也使得其格式多种多样，为了使本系统所管理的数据能够在内容和格式上统一规范，则必须在资料入库前按照相应的数据格式标准，对经过预处理或质量控制后的资料再进行格式转 换，以形成入库前的标准数据格式。 这样才有利于数据库的统一管理和用户使用数据的格式标准化。 ⑶ 数据存储管理需求 存储 共享 系统的服务对象是基本气象业务、科研和对外 数据共享，主要解决公共气象数据的存储 共享 问题。 这些数据包括各种 探测资料和业务分析加工预报产品。 对于那些特定业务系统的专用数据，或服务于特定业务系统的专用数据库不进入本系统管理，根据其专用的特性进行专门管理，但基本的公用数据和服务产品则必须纳入到本系统统一管理。 对资料的需求分析表明，不同种类的资料，用户检索需要的响应时间及用户检索的频度有很大差别，而 不同需求的资料总量在数量级 18 上均超过 TB 量级，年数据增长量也超过 TB 量级。 综合考虑用户的需求和系统设备配置的性价比，存储 共享 系统需采用多级存储的概念来进行管理。 对用户而言，希望主要数据长期或永久保存在在线的存储设备中，显然这是不现实的。 存储 共享 系统可以通过多级分层管理，满足用户对资料的检索时效要求，这就需要合理规定各类数据在不同存储设备中的保存期限。 在具体设计时，将视具体资料和磁盘空间而定，其原则是必须满足业务对资料使用的时间要求。 气象数据种类的多样性、格式的复杂性和应用的时效性，决定了数据管理的复杂性。 不同种类的资料，其检索方式是不一样的。 例如，对常规观测资料，用户需要提供关于要素、时间、空间、值域等多项条件组合的检索，显然，对这类资料用数据 库方式管理较为合适；而对数值分析和预报二维格点场资料以及图形图像资料，用户一般需要某时次的完整的场资料和图形图像 文件，显然，对这类资料用文件库方式管理较为合适。 因此对数据的存储管理将包括对数据库的管理和对文件库的管理，并把它们很好地结合起来，实现对系统整体数据的集中统一管理。 数据类型的不断增加和数据量的快速增长是气象资料的显著特点，这得益于现代观（探）测技术的发展 以及计算机技术的快速发展，特别是数值预报模式分辨率的提高将会使产品数据成倍增长。 因此存储 共享 系统不但要考虑现有数据的管理和使用，更要考虑未来数据的增长趋势，特别是要适应新的资料类型的增加。 19 与此同时，随着气象事业的发展，新的业务种类的增加也会对数据的管理有新的需求。 这就要求存储 共享 系统具有良好的可扩充性，预留足够的扩展接口，这包括新种类资料的入库、新的检索需求、存储空间的预留及可扩充性等因素，以适应新增数据和新的业务需求。 ⑷ 数据维护需求 对于保存于在线设备中的数据，无论是采用数据库管理还是采用文件系统管理 ，总是要不断地进行追加与更新，这是气象数据的应用特点所决定的。 特别是对于实时资料，必须具有随时处理、随时入库、随时更新的能力。 实时资料的更新一般是由运行的程序自动完成的，但如果资料格式有变化或者有新的资料类型出现，则原来的程序将不能正确处理，必须对相应的程序进行修改才能保证数据的正确与完整。 对于非实时资料的追加，应有自动和人工两种方式。 对由实时转入非实时的数据采用自动方式，对那些分散的、通过加工收集的零散数据则采用人工 输 入命。