统计云大数据平台总体技术方案

统计云大数据平台总体技术方案内容摘要：

次经济普查等重要统计业务的数据采集和处理工作。 （图 9：核心业务系统逻辑架构）  基础应用 系统  大型普查：支持人口普查、农业普查、经济普查等大型普查任务；  专项调查：人口变动、投入产出、 Ramp。 D 等；  经常性调查： 支持各专业的常规性调查、如月报、季报、年报等。  联网直报 系统 实现工业、能源、投资、贸易和重点服务业等主要专业 100%以上的“四上” 共 100 多万多家单位的联网直报的工作。 目前联网直报系统采用全国集中部署和使用， 17 个省（区、市）的企业通过网络直接向 统计局 数据中心报送数据， 14个省（区、市）的企业通过网络向国家批准的省级节点报送数据，国家实时从省级节点抓取原始数据。 目前企业上报数据以月报方式为主，平均每月 3~4 张报表，大约共有 200 多个统计指标。 10 在数据采集和处理环节，采用统一兼容的数据采集软件系统进行数据采集、录入、审核、编辑和汇总，提高了统计生产过程的可控性和规范性，减轻了调查对象和基层的工作负担，促进了地区数据与国家数据、专业数据与综合数据的有效衔接。 （图 10：联网直报系统体系结构）  遥感、空间定位与地理信息系统 利用遥感（ RS）、地理信息系统（ GIS）和全球定位系统（ GPS）为代表的空间信息技术，构建相关统计应用。 以农村社会经济调查司为例，该司目前通过高分遥感卫星（ 863 项目），结合 GPS、 GIS 对农产品进行种植面积、 产量、 灾情等数据的 调查、 统计、预测及可视化展现。  其他应用系统  统计分析建模软件  办公自动化（ OA）系统  电子邮件系统  视频会议系统  统计局 内、外网站  微信、微博、手机客户端信息发布平台  各司局内部专业应用系统等 11 数据资源建设 国家统计数据资源体系由基础支撑数据库、专业原始数据库、专业工作数据库、综合应用数据库等功能子系统初步构成；按统一 设计、分级建设、同构互联的原则，由中央和地方的统计数据库系统共同组成。  专业原始数据库 专注于基础性调查数据的集中管理、维护，需要统筹考虑统计数据结构及相关安全域划分管理；支持微观的专业报表基础数据文件、中观的主题数据文件和宏观的综合数据报表文件的归档管理，提供接收、下载、导入导出、整理维护、加载更新等管理功能，是统计数据处理系统与统计数据库体系的数据管理和交换子系统。 这部分内容需在物理隔断的涉密网部署管理。  专业工作数据库 使用数据仓库和专业统计分析、数据挖掘工具软件，建设形成专业性的主题数据库或数据仓库系统，支持数据处理阶段后专业内部针对基础数据深入的分析汇总和结构查询，这部分功能应在物理隔断的涉密网运行管理；支持跨专业、跨部门的综合数据共享查询，支持综合应用库的建设和应用，这部分功能需在逻辑隔断的内网运行管理。  综合应用数据库 以常规数据库系统对供宏观决策支持、部门共享或公开发布的综合指标、综合数据进行管理，形成以应用查询为主要功能的数据库系统。 本系统以数据处理结果、专业工作数据库为来源，根据共享程度及安全域划分，分别在物 理隔断的涉密网、逻辑隔断的内网或外网运行管理。 国家统计数据库等发布数据库属于此类。  基础支撑数据库 一是统计调查项目管理数据库、基本单位名录库等元数据管理系统，二是地理信息和遥感信息等基础信息管理系统，为统计工作和其他数据库提供基础性共享信息支撑。 安全体系建设 统计局 城域网划为 14 个安全域，配置了防火墙、入侵检测、网络信息审计、客户端安全管理、漏洞扫描、病毒防范、 VPN 登录认证、数据库审计、网上行 12 为管理系统、防病毒网关、恶意代码拦截网关、网页防篡改系统、主机保护、安全服务器、网络异常流量分析等信息安全软 硬件系统技术措施；并实行用户上网实名制管理；实现核心统计业务应用系统的安全身份认证管理；同时，在系统内组织安全系统的建设，实现全网一致的安全策略。  安全管理 制定了国家统计信息系统安全保障体系五年总体规划；全国统计信息系统的二级、三级安全管理中心布局，整体进度已完成 90%以上。 实施 统计局 重要信息系统的安全等级保护定级工作。  物理安全保障 全国约 3/4 的统计部门建设了专用机房，大多数机房配置了专用设备，采取了安全措施。 国家局机关建设了标准屏蔽机房。  网络安全 国家统计系统骨干网采用了冗余技术，配置了各类安全防 护系统，建设了统一的国家、省、地市三级网络管理系统，实现对网络运行状况的实时监控，实现网络资源的动态调控与分配。  主机安全、应用安全和数据安全 建立了 CA 认证系统，正在建立网络用户实名制制度，保证网络用户的合法性，确保统计信息网络的安全性。 关键 问题 分析 随着经济全球化和中国经济的快速增长，各级党委和政府、企业、社会团体和社会公众都越来越多地关注统计信息，对统计数据的准确及时、客观完整提出了更高的要求。 建立既符合中国国情，又与国际一般规则基本接轨的现代统计体系，切实提高统计数据的科学性、准确性和统计工作的权威性，提高统计工作能力，提高统计数据质量，提高政府统计公信力，为党和政府、国内、国际社会提供优质高效的统计服务是统计工作一贯不变的方针。 在新的形势和信息技术高速发展的背景下，给统计工作带来了新的发展机遇和挑战。 经过多年的建设， 统计局 信息化有了 相当的信息资产 积累，具备了一定的发 13 展基础。 但从技术视角来看，还存在需要进一步改进提升的空间和薄弱环节，主要表现在：  信息化建设缺乏有效的顶层设计 和统筹规划 ；  各个 系统 技术架构封闭， 整合交互少，信息孤岛多 ；  重生产支撑轻协同共享，缺乏对数据资源的深度开发利用 ；  缺乏统一的数据和技术标准 ，系统融合困难 ；  现有技术架构缺乏对大数据的 有效 处理能力。 随着大数据时代的到来，对统计学与政府统计具有划时代的意义。 对统计学而言，大数据将突破通过样本推断总体的传统方法，直接对总体进行相关分析，并更加注重结论的相关性和实时性；对政府统计工作而言，大数据是采用多种数据收集方式、整合多种数据来源的数据，是采用现代信息技术和架构高速处理及挖掘、具有高度应用价值和决策支持功能的数据、方法及其技 术集成。 大数据让让官方统计迎来重要的发展战略机遇期，也使其面临着前所未有的课题。 一方面，计算机技术、网络技术和空间信息技术的巨大进步，为提高统计生产力提供了广阔空间。 海量的非结构化、电子化数据，极大地丰富了统计数据的来源，为数据提供了更多的收集手段；另一方面，统计调查主体的多元化发展趋势和电子商务、电子政务、搜索引擎等领域的飞速发展，也对现有的统计业务模式、工作方法和 IT 架构提出了新的挑战。 14 业务 需求 理解 随着智能分析和互联网数据挖掘技术的日益成熟，从海量数据中挖掘出更多有价值的信息资源成为可能，这对保证统计工作的顺利开展、提升数据信息处理质量和效率，都将起到至关重要的作用。 作为国家数据信息的官方生产和管理部门， 统计局 对于加强系统内部的统计信息化建设、建立大数据平台服务的需求较为迫切，主要集中在统计云平台建设、数据采集与拓展、创新应用等方面。 开放的统计云数据平台 目前，政府统计部门对企业、家庭、个人的调查都是通过预先设定好的统计标准报表，要求调查对象按照表中的统计指标填报数据，然后整理汇总成最终的统计数据并对外公布。 统计部门希望通过应用大数据，实现政府统计部工作从“先有指标再有数据”到“先有数据再有指标”的质变。 ：针对统计数据标准各异的特点，统计局希望能够搭建一个标准的指标平台，实现对元数据、指标的统一报表管理以及数字化管理，从而解决数据不统一的问题。 规范政府统计部门应用大数据的统计标准，也是为数据资源的利用与共享提供可靠的平台支持。 数据计算和存储：通过建设稳定的大数据资源平台来支持数据库技术和云存储技术，解决对基础设施的管控和数据计算和存储问题，形成整个系统的平台处理基础。 ：打破原有的闭源数据分析处理思路和模式，各司局之间的业务数据可以用过开源的数据平台进行沟通和查询，建立信息互通机制，一方面可以根据不同的业务模型和角度来分析平台上的共有数据；另一方面也为数据的有效性提供更多维度的评估参考。 数据采集与拓展 如何通过大数据采集技术来实现统计局现有数据的成功拓展，成为统计系统内部业务提升的核心需求。 统计局关于互联网数据 的采集与拓展需求，主要是实现从互联网海量数据资源中挖掘出更多数据资源的问题。 数据采集与拓展方面的主要需求有： 15 ：目前的政府统计是在统一标准下处理结构化数据，然而统计局现存的历史数据多以文本、音频、视频、照片等非结构化形式存在，处理大量缺乏统一标准的非结构化数据是现阶段统计分析业务应首要解决的问题。 通过技术手段来激活历史数据、扩充有效数据来源，可以拓宽统计分析的时间维度和信息视角，为统计工作后期的分析汇总工作增加评判依据。 ：现有政府统计的工作中，统计标准的应用范围 大多局限在统计系统内部。 利用互联网信息发布速度快、分布广等特性，统计局希望可以通过大数据技术对互联网信息进行精准采集，用以增加数据采集来源、拓展统计标准的应用范围，从而提升统计数据分析的应用水平。 ：从非标准化、信息量繁杂的网络信息中抓取核心的关键数据，对这些信息进行标准分类转换，按照统计局的统一业务标准进行有效分类。 ：统计局希望可以通过多渠道采集到的数据信息来验证和评估现有数据的准确性。 互联网信息数据具有数据量大、类型丰富、信息价值高的特点，可以利用大数据技术有效补充现有统计数 据的不足，从多个维度全面解释社会经济现象，从而更好的提高统计数据的适用性。 创新应用开发 基于平台建设与数据采集拓展的基础上，统计局各业务部门希望可以在可视化、自动化、评估预测等方面实现技术突破。 ：摒弃传统的表格、饼柱图等分析方式，借助图形化手段，清晰有效地传达与沟通信息。 例如，可以将统计局收集到的二手房交易价格信息、农作物种植及病虫害信息等分别用地图 GIS 的形式集中展示，从而更清晰的表达数据与数据之间的逻辑关系，赋予数据内在价值和活力。 ：希望数据处理平台可以提供自动生成分析报表的创 新功能，可根据系统导入的数据文件，批量生成统计分析表格，从而替代现有的重复手工劳动，实现报表的一键分析处理和发布。 ：现有的数据来源广泛，数据质量校验的形式大多依靠人工经验分析，且数据验证的标准较为单一。 统计局各业务司希望可以利用大数据的分析处理技术，挖掘更多数据资源来作为现有数据基础的验证和参考。 同时希望可以 16 在数据资源丰富的基础上，依靠专业的建模分析工具来发现数据背后所表达的客观规律，从而准确描述和预测未来的发展趋势，为国家宏观决策提供可参考的数据依据。 基础 平台建设需求 主干系统采用应用和数 据大集中模式，为了满足业务系统对可用性、可靠性和安全性的要求，保障数据中心业务数据的安全、可靠，提高业务系统稳定性和业务连续性，须建立多个数据中心来承载业务系统实现应用的高可用性，主干系统大集中的数据中心整体部署采用 “两地三中心 ”（同城双活、异地灾备）架构（即上节第四种架构）：  在北京同城部署两个生产数据中心，生产数据中心以双活模式工作，在这种工作模式下，所有的业务系统同时在两个生产数据中心运行，同时为用户提供服务，当某个数据中心的应用系统出现问题时，由另一个数据中心的应用来持续的提供服务；双活数据中心最大 的特点是：一、充分利用资源，避免了一个数据中心常年处于闲置状态而造成浪费。 通过资源整合，双活数据中心的服务能力是双倍的。 二、双活数据中心如果中断了一个数据中心，另外一个数据中心还在运行，对用户来说是不可感知的。  在南宁部署容灾数据中心，为北京生产双中心业务系统提供灾备机制，当北京生产中心的出现故障时，可以将单个应用或者数据中心整体切换到容灾数据中心。 三中心完全按照应用级灾备目标建设，每个中心均具有独自承担业务运行和数据管理的相关能力，三中心的设置既可以在同城范围有效保证数据的同步性、安全性、负载均衡性和业务连续性，又可以在远距离进行异地数据保护和灾难业务接管，在提高业务处理性能的同时防范同城与异地范围内的灾难。 17 18 第二章 总体 架构 设计 总体架构 19 数据 架构视图 创新的业务模式 20 第三章 基础资源平台 设计 网络 设计 系统现状 网络结构现状 目前统计业务网络具备北京 三里河 数据中心，统计业务网络为星形结构的广域网，各直属局到总局北京数据中心为双路主备设计，配置有双路链路负载均衡设备 ， 主线路为 144Mbps， 管理 和音视频线路各 为 2Mbps。 各 市 局到 省局 数据中心的带宽各个局不一样， 根据 各省条件 不同 ，配置 10Mbps 以上省属 专线。 相关拓扑结构如下图所示。 系统资源现状 设备现状 21 现有总局数据中心具备网络与安全设备现状如下表。 区域 /类别 设备类型 产品型号 数量 总局。