国家统计云大数据平台-方案提纲-

国家统计云大数据平台-方案提纲-内容摘要：

测。 人口和就业统计 组织实施全国 人口普查 、人口抽样调查等 ；收集和提供人口、 司 劳动力 就业、工资和社会保障等统计数据。 „„ „„ 准确、翔实、全面 的 数据是统计工作的基础， 传统的 政府统计目前 主要 有两种 基本 的数据来源，一种是各类统计机构组织通过普查或者调查方式收集的统计数据， 主要用于加工生产官方统计资料；另一种是各种机构、组织、个人产 生的行政记录。 从数据来源的渠道来讲，主要包括组织内数据（统计局自己生产加工的数据）和组织外数据（来自于其他政府部门、社会和互联网渠道的数据）。 （图 6： 数据处理视角的业务流程 ） 信息化现状 统计信息化是中国统计走向现代化的核心，是提高统计数据质量的关键，是中国统计更加规范统一的重要支撑。 统计信息化是统计建设的重要内容，是推动统计改革的内在动力。 经过多年的信息化建设， 国际统计局已经建成了比较完备的 IT 软硬件基础设施和专业应用系统，在统计业务的各个环节特别是数据的采集生产环节提供了 较为 有力 的支撑。 基础设施 建设 在基础设施建设方面，国家统计局通过骨干网扩容提速，实现国家局到 31个省（市、区）统计局和新疆生产建设兵团统计局的一级主干网， 采用了双设备、 双线路的冗余架构， 专线的网络 带宽已提升到 155M（数据） +2*2M（音视频），另外还有 1*2 链路用来对网络系统的带外管理 ，大部分异地办公的省级调查总队实现了同城百兆光线的链接。 目前，国家统计局的互联网出口 带宽已经提升至1G（联通、电信各 500M）。 局域网实现了核心万兆交换，桌面千兆接入，部分省及省以下统计信息网络系统进行了扩容改造的配套建设，提升了带宽，有的已将统计 信息网延伸到了乡镇一级 ， 全国县以上政府统计机构的 3068 家统计局、调查队分别以专线、 VPN 专线、政务网等方式接入国家统计信息主干网 ， 并且各省 都建设了 独立的互联网出口。 国家统计系统的信息交换、数据传输能力不断提升。 （图 7： 国家统计信息网络拓扑结构 ） 近年来，国家统计局 利用虚拟化、资源池、云计算等新技术、新理念，对国家统计核心业务系统进行资源整合，构建了大规模联机业务处理和高并发事务处理能力的核心业务系统，进一步提升了统计数据处理系统的可靠性、安全性，为未来全国统计业务的统一在线处理提供云服务打下了基础。 同时， 利用农业普查、经济普查、人口普查等大型普查的中央投资以及各地配套资金，为乡镇、县市、 省统计局 也 配备了大量的微机、激光打印机、服务器、小型机、存储、数据库、中间件等软硬件设备，进一步推动了统计信息化基础建设。 以三里河西楼为主的机房面积大约 3000 平方米，包括传输机房、 IDC 机房、存储机房和 UPS 机房。 目前大约有小型机近 40 台， PC 服务器 300 余台，并建立了集中的网络设备监控管理系统。 目前核心机房的设备大约分为三大部分： 1. 小型机系统：主要承载 统计局核心业务系统 的各个关键应用及 Oracle 数据库 ； 2. 虚拟化 平台：包括 300 多台 PC 服务器、 150TB 磁盘阵列的虚拟化资源池，部署了 160 多个不同类型和部门的应用软件系统； 3. PC 服务器：采用物理机的方式部署了覆盖系统所有工作人员的电子邮件系统与 OA 系统。 （图 8： 国家统计局机房设备分布 ） 应用系统建设 依托基础设施资源，统计局信息化应用开发取得了显著进展 ，特别是 2020年 1 月份以来，国家统计局正式实施统计“四大工程 （一库、一表、一台、一网） ”，带来了统计数据生产方式的重要变革，在新的数据生产方式下，原有的分散设计改为统一设计，调查制度由原来的分散布置改为统一布 置，原始数据由间接采集改为直接采集，实现了国家统计局直接掌握原始数据 并加工和汇总 ，各级统计机构在线实时共享数据，大大 提升 了统计局信息化应用的 整体 水平。 国家统计局开发的数据处理软件，已成功应用于农业普查、经济普查、“ Ramp。 D”资源清查、人口普查等大型普查，以及畜牧业监测、城乡住户一体化、“一套表”等多项统计调查。 采用 3G/4G 无线 网络技术，已在全国 500 个城市开展了手持移动电子采价系统在统计数据采集工作中的应用。 按照全国一库在线、分级管理维护的模式，建成了全国统一的基本单位名录库系统，并建立了与质监、工商、税务 、编办、民政等部门的单位信息共享交换机制和名录比对系统。 国家统计局的 OA 办公自动化系统，已在全国 大部分 个省级统计局、调查总队 推广 使用。 遥感、空间定位和地理信息系统等空间技术，已在农作物对地调查、主要粮食作物种植面积测量与估产、人口普查、经济普查和投资项目监测等统计业务应用。 统计局核心业务系统采用 采用虚拟化技术，提供统一的 WEB 服务、数据库服务、存储服务以及管理调度， 支持企业联网直报系统、第六次人口普查和第二次、第三次经济普查等重要统计业务的数据采集和处理工作。 （图 9： 核心业务系统逻辑架构 ）  基础应用 系统  大型普查：支持 人口普查、农业普查、经济普查等大型普查任务；  专项调查：人口变动、投入产出、 Ramp。 D 等；  经常性调查： 支持各专业的常规性调查、如月报、季报、年报等。  联网直报 系统 实现工业、能源、投资、贸易和重点服务业等主要专业 100%以上的“四上” 共 100 多万多家单位 的联网直报的工作。 目前联网直报系统采用全国集中部署和使用， 17 个省（区、市）的企业通过网络直接向国家统计局数据中心报送数据，14 个省（区、市）的企业通过网络向国家批准的省级节点报送数据，国家实时从省级节点抓取原始数据。 目前企业上报数据以月 报方式为主，平均每月 3~4张报表，大约共有 200 多个统计指标。 在数据采集和处理环节，采用统一兼容的数据采集软件系统进行数据采集、录入、审核、编辑和汇总，提高了统计生产过程的可控性和规范性，减轻了调查对象和基层的工作负担，促进了地区数据与国家数据、专业数据与综合数据的有效衔接。 （图 10： 联网直报系统体系结构 ）  遥感、空间定位与地理信息系统 利用遥感（ RS）、地理信息系统（ GIS）和全球定位系统（ GPS）为代表的空间信息技术，构建相关统计应用。 以农村社会经济调查司为例，该司目前通过高分遥感卫星（ 863 项 目），结合 GPS、 GIS 对农产品进行种植面积、 产量、 灾情等数据的 调查、 统计、预测及可视化展现。  其他应用系统  统计分析建模软件  办公自动化（ OA）系统  电子邮件系统  视频会议系统  国家统计局 内、外网站  微信、微博、手机客户端信息发布平台  各司局内部专业应用系统等 数据资源建设 国家统计数据资源体系由基础支撑数据库、专业原始数据库、专业工作数据库、综合应用数据库等功能子系统初步构成；按统一设计、分级建设、同构互联的原则，由中央和地方的统计数据库系统共同组成。  专业原始数据库 专注于基础性调查数据的集中管理、维 护，需要统筹考虑统计数据结构及相关安全域划分管理；支持微观的专业报表基础数据文件、中观的主题数据文件和宏观的综合数据报表文件的归档管理，提供接收、下载、导入导出、整理维护、加载更新等管理功能，是统计 数据处理系统与统计数据库体系的数据管理和交换子系统。 这部分内容需 在物理隔断的涉密网部署管理。  专业工作数据库 使用数据仓库和专业统计分析、数据挖掘工具软件，建设形成专业性的主题数据库或数据仓库系统，支持数据处理阶段后专业内部针对基础数据深入的分析汇总和结构查询，这部分功能应在物理隔断的涉密网运行管理；支持跨专业、 跨部门的综合数据共享查询，支持综合应用库的建设和应用，这部分功能需 在逻辑隔断的内网运行管理。  综合应用数据库 以常规数据库系统对供宏观决策支持、部门共享或公开发布的综合指标、综合数据进行管理，形成以应用查询为主要功能的数据库系统。 本系统以数据处理结果、专业工作数据库为来源，根据共享程度及安全域划分，分别在物理隔断的涉密网、逻辑隔断的内网或外网运行管理。 国家统计数据库等发布数据库属于此类。  基础支撑数据库 一是统计调查项目管理数据库、基本单位名录库等元数据管理系统，二是地理信息和遥感信息等基础信息管理系统，为 统计工作和其他数据库提供基础性共享信息支撑。 安全体系建设 国家统计局城域网划为 14 个安全域，配置了防火墙、入侵检测、网络信息审计、客户端安全管理、漏洞扫描、病毒防范、 VPN 登录认证、数据库审计、网上行为管理系统、防病毒网关、恶意代码拦截网关、网页防篡改系统、主机保护、安全服务器、网络异常流量分析等信息安全软硬件系统技术措施；并实行用户上网实名制管理；实现核心统计业务应用系统的安全身份认证管理；同时，在系统内组织安全系统的建设，实现全网一致的安全策略。  安全管理 制定了国家统计信息系统安全保障体系五年总体 规划；全国统计信息系统的二级、三级安全管理中心布局，整体进度已完成 90%以上。 实施国家统计局重要信息系统的安全等级保护定级工作。  物理安全保障 全国约 3/4 的统计部门建设了专用机房，大多数机 房配置了专用设备，采取了安全措施。 国家局机关建设了标准屏蔽机房。  网络安全 国家统计系统骨干网采用了冗余技术，配置了各类安全防护系统，建设了统一的国家、省、地市三级网络管理系统，实现对网络运行状况的实时监控，实现网络资源的动态调控与分配。  主机安全、应用安全和数据安全 建立了 CA 认证系统，正在建立网络 用户实名制制度，保证 网络用户的合法性，确保统计信息网络的安全性。 关键 问题 分析 随着经济全球化和中国经济的快速增长，各级党委和政府、企业、社会团体 和社会公众都越来越多地关注统计信息，对统计数据的准确及时、客观完整提出了更高的要求。 建立既符合中国国情，又与国际一般规则基本接轨的现代统计体系，切实提高统计数据的科学性、准确性和统计工作的权威性，提高统计工作能力，提高统计数据质量，提高政府统计公信力，为党和政府、国内、国际社会提供优质高效的统计服务 是统计工作一贯不变的方针。 在新的形势和信息技术高速发展的背景下，给统计工作带来了新的 发展机遇和挑战。 经过多年的建设，国家统计局信息化有了 相当的信息资产 积累，具备了一定的发展基础。 但从技术视角来看，还存在需要进一步改进提升的空间和薄弱环节，主要表现在：  信息化建设缺乏有效的顶层设计 和统筹规划 ；  各个系统 技术架构封闭， 整合交互少，信息孤岛多 ；  重生产支撑轻协同共享，缺乏对数据资源的深度开发利用 ；  缺乏统一的数据和技术标准 ，系统融合困难 ；  现有技术架构缺乏对大数据的 有效 处理能力。 随着大数据时代的到来，对统计学与政府统计具有划时代的意义。 对统计学而言，大数据将突破通过样本推断总体的传统方法，直 接对总体进行相关分析，并更加注重结论的相关性和实时性；对政府统计工作而言，大数据是采用多种数据收集方式、整合多种数据来源的数据，是采用现代信息技术和架构高速处理及挖掘、具有高度应用价值和决策支持功能的数据、方法及其技术集成。 大数据让让官方统计迎来重要的发展战略机遇期，也使其面临着前所未有的 课题。 一方面，计算机技术、网络技术和空间信息技术的巨大进步，为提高统计生产力提供了广阔空间。 海量的非结构化、电子化数据，极大地丰富了统计数据的来源 ，为数据提供了更多的收集手段 ；另一方面，统计调查主体的多元化发展趋势和电子 商务、电子政务、搜索引擎等领域的飞速发展，也对 现有的统计业务模式、工作方法和 IT 架构提出了新的挑战。 业务 需求 理解（代贵峰 王程秀 ） 随着智能分析和互联网数据挖掘技术的日益成熟，从海量数据中挖掘出更多有价值的信息资源成为可能，这对保证统计工作的顺利开展、提升数据信息处理质量和效率，都将起到至关重要的作用。 作为国家数据信息的官方生产和管理部门，国家统计局对于加强系统内部的统计信息化建设、建立大数据平台服务的需求较为迫切，主要集中在统计云平台建设、数据采集与拓展、创新应用等方面。 开放的统计云数据平台 目 前，政府统计部门对企业、家庭、个人的调查都是通过预先设定好的统计标准报表，要求调查对象按照表中的统计指标填报数据，然后整理汇总成最终的统计数据并对外公布。 统计部门希望通过应用大数据，实现政府统计部工作从“先有指标再有数据”到“先有数据再有指标”的质变。 ：针对统计数据标准各异的特点，统计局希望能够搭建一个标准的指标平台，实现对元数据、指标的统一报表管理以及数字化管理，从而解决数据不统一的问题。 规范政府统计部门应用大数据的统计标准，也是为数据资源的利用与共享提供可靠的平台支持。 据计算和存储：通过建设稳定的大数据资源平台来支持数据库技术和云存储技术，解决 对基础设施的管控 和数据计算和存储 问题 ，形成整个系统的平台处理基础。 ：打破原有的闭源数据分析处理思路和模式，各司局之间的业务数据可以用过开源的数据平台进行沟通和查询，建立信息互通机制，一方面可以根据不同的业务模型和角度来分析平台上的。