成都市防汛指挥系统升级改造项目技术

成都市防汛指挥系统升级改造项目技术内容摘要：

据实 时 遥 测 数 据短 信 发 送水 文 数 据 库 网 站 发 布  水文局水文站点数据 成都市水文局在汛期间，通过拨号的方式，定时发送报文到防办水文接收机，并存放在 SQL 水文数据库中。 通过现有防汛系统的信息接收处理程序读取数据，将水文站和雨量站的信息集中显示在防汛网上。 22  气象局数据 现有气象局的数据是通过气象局数据服务器与防汛办服务 器之间的 FTP 协议进行数据传输的。 气象局自动将雨量站报文通过 FTP 传到防汛办服务器上，防汛办服务器上的自动雨量接收处理程序对发送过来的报文进行解析，最终将雨量站数据发布到防汛系统的网站上。 另外，卫星云图、天气预报和气象局基本雨量站信息等都是由气象局登陆系统手工录入后显示在系统网站上。  自建水位站点数据 现有自建水位站点共有 13 个，通过短信发送方式将水位报文发送到防汛服务器中心端，再通过配套的软件解析入库，并保存到遥测水位数据库中。 信息接收处理程序通过读取遥测水位数据库，并最终发布到防汛系统的网站上。  工情 数据 现有工情数据包括的工程类型大致有：穿堤建筑物、堤防（段）、低洼地区、电站、防洪规划、河流、救生高台、跨河工程、水库、水渠、水闸、险点险段，主要包括工情名称、位置、以及工情资料等基本属性。 采集方式的多样化，不仅数据质量受到影响，数据的可用性也得不到有效保证，亟需建立一套更规范合理、先进实用的采集处理模式，实现数据的自动采集、检查、核对、入库和查询展示。 23 . 总体结构 建成后的数据中心主要由三部分组成，分别是防汛信息资源库系统、数据交换平台与综合信息查询展示系统。 其中，防汛信息资源库系统实现各类数据的存 储，包括业务数据库、共享库与核心库及数据清洗、转换和维护子系统；数据交换平台实现各业务系统数据的采集与交换；综合信息查询展示系统实现基础的信息的查询、统计、分析。 . 防汛信息资源库系统 防汛信息资源库为防汛系统完整一致、标准规范的数据平台，集中存储和管理了成都市防汛办各业务系统所需的基础数据和对外收集以及区市县防汛办收集的各类实时与管理信息，例如实时水、雨、工情信息、险情信息，水库、低洼信息等。 资源库主要包括了共享库、市级平台业务库与核心库，并提供数据清洗、转换和维护功能。 系统实现现有系统数据库的所有数据进 行清理、分析、处理、更新，形成 24 详细具体的数据分析报告，并将数据按照新建数据中心的规范标准进行分类、整编、入库。 数据库表的设计，按照“有标贯标，无标自定”的原则，遵循国家水利部颁布的行业标准和国家防汛抗旱指挥系统综合数据库设计规范，结合成都市防汛业务系统的实际需要，进行必要的增补和扩充。 相关标准和规范如下： 《国家防汛抗旱指挥系统设计大纲》； 《国家防汛抗旱指挥系统工程防洪数据库管理系统软件设计说明书》； 《水情信息编码标准》； 《基础水文数据库表结构及标识符标准》； 《基础水文数据库表结 构及标识符标准》； 《实时雨水情数据库表结构》。 建成后的防汛信息资源库系统能够方便的收集、管理、维护各类数据信息，具有完善的指标体系扩展维护管理功能。 方便与上下级单位及气象、水文等其他部门进行数据共享交换。 数据库存储和管理全市各类基础数据和专题数据，实现全市防汛信息的最大程度的共享和高效利用。 共享库的数据来源于气象、水文等防汛相关部门以及其他各区市县业务部门。 通过数据中心的数据采集子系统采集数据，其他业务系统连接到数据采集子系统，经过数据交换平台连接到数据中心共享库中。 共享库是市级 平台业务数据库系统、核心数据库、信息查询展示之间起着信息交换桥梁的作用。 通过数据采集和交换，抽取来自对外收集的各类数据及市级平台业务系统中的各业务数据，数据内容主要包括各业务系统需要的共享数据以及综合查询所需的各业务系统的汇总信息，反应防汛业务的指标等数据。 25 市级平台业务数据库为操作型的 OLTP 数据库，为成都市市级业务系统，包括成都市防汛指挥系统市级平台和移动指挥系统提供数据存储和访问。 核心数据库 是对多个异构的数据源有效集成，集成后按照主题进行重组，并包含历史数据，存放在 核心数据库 中的数据一般不再修改。 核心数据库是以业务系统和大量业务数据的积累为基础。 核心数据库不是静态的概念，只有把信息及时 提供 给需要这些信息的 部门和管理 者，供他们做出 改善管理业务 的决策，信息才能发挥 应有的 作用。 核心数据库可作为未来数据分析和挖掘工作的基础。 数据清洗与转换子系统为市级平台业务库数据进入共享库和核心库提供了支持。 按照定制的规则，根据共享库和核心库的需要，通过清理与转换操作完成。 系统主要由数据库加载和管理模块，规则库，规则引擎，数据清洗模块，以及管理监控模块组成。 系统的 体系框架图如下所示。 规 则 库规 则 引 擎管理监控用 户 界 面数据清洗数据库加载和管理  数据库加载和管理 26 系统通过 JDBC 连接需要进行数据清洗的各种主流数据库，读取数据库结构，并选取要进行数据清洗的表对其操作，并可以查看清洗之后生成的数据表。  规则库和规则引擎 当源数据库与目标数据库结构不一致、数据类型不一致、数据编码不一致时需要使用数据转换规则库进行清洗转换。 通过规则引擎实现输入或输出数据的格式转换，以及异构系统的数据交换接口；实现对数据的预处理，如格式校验、格式转换、拆分映射等，然后汇集和整合并入数据库。  数据 清洗 用户定义好作用在数据表上的规则集合之后，就可以调用数据清洗模块开始对数据进行清洗过滤。  管理监控 管理监控对清洗过程进行监控，在根据清洗规则进行数据清洗的过程中，允许用户看到当前的状态，比如目前运行到了哪条规则，估计进度，以及诸如运行时间，规则描述等辅助信息。  用户界面 基于可视化图形界面，进行清洗转换的规则、流程和任务等的定制、管理、监控。 数据维护包括元数据维护、信息分类编码维护、数据结构维护、数据库维护、数据备份、数据脱机备份和异地保存等。 为了更好地利用现有数据资源 ，需要对原有系统数据进行清理、补录和比对工作，基于 形成的数据规范建立实时水雨情库、历史大洪水库、工程库、社会经济库、洪涝灾害库、气象信息库、防汛管理库、图形库、动态影像库等数据库。 27 . 防汛数据交换平台 数据交换平台是整个防汛信息系统的数据枢纽，系统实现防汛信息资源库与其他业务系统之间以及市防汛办与区县防汛办及其它部门的数据交换与共享。 与现有的业务系统应保持相互隔离和透明，对现有业务系统没有影响或尽量减少影响。 可以在不影响数据交换平台的基础架构条件下，扩充增加业务系统。 数据交换平台连接起来的多个 系统之间要可以实现其中任何系统出现故障，都不会对其他系统造成直接的危害和影响。 数据交换平台能够适应各种异构业务数据库系统，能够在各种主流Unix/Linux、 Windows 等不同的操作系统间平滑移植，采用双机热备、负载均衡，部署了数据总线的任何一台机器发生故障均不影响整个数据交换平台的正常工作和运行，在业务繁忙时可将任务自动分配到多台数据总线服务器上运行。 数据交换平台包括数据采集、数据质检、数据传输、数据服务注册等模块。 1．数据采集 实现基层业务数据的统一采集，并将数据发送共享库中。 实现源数据库和目 标数据库之间的信息的转换，根据需求对抽取的数据进行必要数据处理，能够提供图形化界面，方便用户设置数据转换规则。 转换的类型包括：字段名转换、代码转换、数据类型转换、数据校验、数据合并等。 提供开放的开发框架，用户可以按照框架要求开发新的采集接口以满足各类防汛业务数据采集的需求。 需要提供对市区两级防汛指挥系统、移动指挥系统以及其他系统的采集接口。 各业务系统通过采集接口（数据接口适配器）可为其他业务应用系统和其他部门（应急办、上级防办等）提供数据交换共享服务，也能对接口进行相应 28 的管理。 数据采集的流程遵照下图步 骤完成： 信 息 采 集 接 收数 据 判 断预 处 理数 据 分 类 入 库 数 据 管 理 数 据 转 发 其中数据管理是数据字典、日志管理、导入导出管理等；数据转发是提供给其他系统或上级部分、其他部门。 根据事先定制的规则自动对系统测报数据进行科学的排查和纠错，并支持方便的人工干预措施，实现对监控点数据的纠错改造和优化整合。 将实时采集到的监测点数据，结合水文气象数据的实际业务数据特点，比如数据常规情况下的有意义的业务值的分布范围等规则，对超过该规则的数据，作为可疑数据实时显示并通过声音或短信的形式进行提示，同时自动根据周围站点的 数据情况计算出一个建议的值给用户参考，然后用户对所提示的可疑数据进行人工检验，检验过程可直接对数据进行修改维护更新操作，经人工干预纠错后的数据不修改原始水文数据库，单独生成新的经质控的水文数据库，做为各应用系统的主要数据源。 主要特点：  数据纠错人工干预 提供数据纠错人工干预功能，用户可根据系统自动提醒符合纠错规则的数据进行人工干预修改，同时系统会自动提供一个可参考的修改值，为用户提供直观的修改依据。 对非满足规则的数据，用户也可直接根据需要进行修改。  数据纠错内容查询 提供数据纠错内容查询，能查询已纠错的数 据的内容，包括原始数据值、人工修改值的对比，纠错的。 29  数据纠错信息统计 提供数据纠错信息统计，能根据同一类别的数据纠错服务功能，按年、月、日、时段统计分析数据出错的比例信息、出错的内容，以图表的形式直观展现。  数据纠错规则定制 提供数据纠错规则定制功能，提供值域范围检验、周边站点同比两种策略定制方式。 （ 1） 值域范围检验：系统会自动判断当前收到的数据信息是否超出值域范围（可在后台设定）。 比如，设定一天单雨量站不能超过 500MM，超出即判断为错误，系统同时对此条记录进行标示，在后台以醒目的方式提示管理人员。 （ 2） 周边站点同比：由于对采集数据信息是按照一定的地理位置信息进行排序，所以根据水文气象业务的特点，某两个相距近的监测站点，监测数值应该相近，此误差可通过后台进行设定，若超出此范围标识为错误，系统同时对此条记录进行标示，在后台以醒目的方式提示用户。 实现不同 系统 之间安全、可靠、稳定、高效的信息交换传 输，并根据具体应用的需求，配置和管理各种符合业务需求的信息交换流程。 实现数据不重传、不漏传和断点续传；对于大文件可以实现文件分割传送，并且在异常情况下有相应的补救措施。 能够满足较大规模数据传输要求。 实现在网络发生故障、系统产生异常或发生崩溃的情况下数据交换“不丢、不错、不重”。 支持加密和用户身份验证技术（ SSL， CA 认证），保证信息传输过程中信息传递的安全性和用户操作的不可否认性，支持 UNIX/Linux、 Windows 等不同的操作系统，支持不同平台间平滑移植。 数据服务注册服务采用 Web Services 技术，将数据中心的数据访问业务封 30 装成 Web Services 的 SOAP 调用接口，定义服务描述，发布到数据中心的 UDDI目录服务器上，使防汛办内部其他应用系统可以发现、调用 UDDI 注册信息，获取所需数据，实现业务逻辑在各个应用系统分布式的处理。 . 综合信息查询展示系统 综合信息查询展示系统对共享数据库和核心数据库中存储的各类数据进行综合查询、分类汇总、统计分析以及数据挖掘等，根据用户的特定需求灵活设置数据查询和汇总条件等，可提供报表定制、打印预览和导出 Excel 报表等功能。 系统具备完善的用户管理和权限管理功能，通过数据权限的管理，进行成都市防汛指挥系统使用人员、部门的添加、删除、权限分配等，实现对数据中心各种类型的数据的安全受限访问。 系统能够实现在共享数据的基本加工，实现数据动态 和静态的展示功能，并将结果转化为 web 方式通过 IE 提供本地和远端访问，具体包括如下几项基本功能：  数据关联的 查询 ；  多角度的查询 ；  静态、动态 视图 展示；  分组数据的展示 ；  多维数据展示。 为了发挥其作用，展示的方式必须是灵活、可配置、可定制展示方式的信息展示系统。 31 . GIS数据更新 本次建设需对原有 GIS 专题数据（含空间信息和属性信息）进行全面更新、地图整饰，确保 GIS 数据真实反映最新情况。 内容包括： 序号 图层名称 序号 图层名称 1 水位站 22 干渠 (线 ) 2 水文站 23 干渠 (面 ) 3 雨量站 24 支渠 (线 ) 4 视频监控点 25 支渠 (面 ) 5 水库 26 斗渠 (线 ) 6 低洼地区 27 治河工程 7 险点险段 28 跨河工程 8 堤防 29 水库 9 救生高台 30 河流 10 救灾物资仓库 31 水闸 11 水闸 32 水渠 12 电站 33 电站 13 穿堤建筑物 34 穿堤建筑物 14 干流 (线 ) 35 堤防（段） 15 干流。