科研项目立项论证报告--基于云数据空间的航空航天多源情报数据管理与共享关键技术研究(编辑修改稿)

科研项目立项论证报告--基于云数据空间的航空航天多源情报数据管理与共享关键技术研究(编辑修改稿)内容摘要：

是提供在传统的数据库中存储知识的方法；二是通过图形用户界面，管理知识的储存、访问和获取。 6 成果形式 1 软件系统 基于云数据空间的航空航天多源情报数据组织与共享系统软件（ 1 套） 2 技术报告 符合军用软件标准文档（ 1 套） 技术研究论与研究报告（ 1 套） 1) 航空航天情报信息数据空间研究报告 2) 云文件系统技术研究报告 3) 基于语义的检索技术研究报告 4) 多源数据 动态加载技术研究报告 5) 分布式数据的划分与处理技术研究报告 6) 基于云数据空间的航空航天多源情报数据组织与共享软件系统设计报告 7) 基于云数据空间的航空航天多源情报数据组织与共享软件系统测试报告 主要技术指标 主要技术指标如下： （ 1） 支持多于 100 个存储节点的有效； （ 2） 管理情报搜索准确率： 90%以上； （ 3） 情报搜索率： 10000－ 10000000（条） /秒； （ 4） 查询分析结果的显示模式：图形显示和文本显示。 3 技术可行性和先进性 技术方案 或主要 技术途径 7 主要技术途径  本课题拟采取以下的研究方法及途 径：  密切结合空军情报信息系统的建设现状；  密切结合航空航天情报工作的实际；  基于软件工程、信息工程、数据库、海量信息处理、 SOA 与 Web 服务技术、语义Web、软件体系架构等方面的最新研发成果；  跟踪学习国内外先进的经验与方法，开展一些创新性研究。 技术方案 云 数 据 空 间检 索 管 理 统 计 分 析应 用 层云 文 件 系 统源 数 据 层元 数 据存 储 层数 据 分 析 引 擎抽 取(Extract)转 换( T ra n s fo rm )清 洗(C le a n in g )载 入(Loading)处 理 引 擎分 类( C la s s ify )排 序(Sorting)索 引( in d e x in g )输 出(Output)任 务 调 度(Scheduler)组 织 层数 据 库文 档网 页 图 像数 据 集 成安 全系 统 配 置动 态 加 载 图 1 基于云数据空间航空航天多源情报组织与共享系统总体设计 基于云数据空间的航空航天多源情报组织与共享系统示意图如图 1 所示。 本课题拟采用的具体实施方案如下： 1 数据空间技术 在数据空间模 型方面，提取情报信息数据的共性，建立统一的数据表示方式，抽象出统一的数据源管理接口，满足跨库、异构数据的集成需求。 在数据空间管理方面，一方面，研究数据空间监控引擎，监控数据空间外部数据源的变化以及数据空间内部数据的变化。 根据不同的变化，对数据空间进行更新。 通过并 8 发控制、事务处理、版本控制等手段保证数据更新过程中引起的一致性问题。 另一方面，研究数据的查询技术，通过基于语义的数据查询技术提高系统的查询能力和效率，通过查询转换实现多数据源的查询。 在数据空间系统架构方面，依据之前建立的数据空间模型以及相关的技术 研究成果，构建适用于情报信息系统的数据空间系统框架，为情报信息应用系统提供数据访问与管理的基本支撑。 文 档 邮 件 网 页 图 片 „ „数 据 源数 据 空 间数 据 集 成 引 擎配 置 管 理 数 据 管 理数 据 输 出 接 口 图 2情报信息数据空间集成与管理框架 情报信息数据空间系统框架如图 2 所示，数据集成引擎负责对多源数据对象进行信息抽取和表示，并通过模式匹配确定数据对象在数据空间中是否已经存在，完成数据集成操作。 数据管理负责数据的访问、查询、更新等，是数据空间系统框架的核心部分。 配置管理实现数据空间的参数配置管理，是数据空间的操作更加高效。 数据输出接口为用户提供统一的数 据访问方式，屏蔽底层异构数据源数据访问方式的差异，使得用户只需关注于数据本身以及应用的逻辑操作。 2 云文件系统关键技术研究 在元数据管理技术方面，采用元数据服务器的代理冗余方式，即由元数据服务器代理机构成了元数据服务层，每个代理机构成一个对等的服务节点，规避主从式存储模式架构的性能和可靠性瓶颈问题，提高性能和可靠性。 在并行处理技术方面，拟利用一个并行优化的 BlobSeer 存储层代替 Hadoop 云计算系统的分布式文件存储系统。 在单点故 9 障技术方面，拟基于 P2P 构建数据共享网络，消除单点失效，保证较好的拓展性和 可靠性。 在文件分块存储技术方面，拟研究一种有效的动态的文件分块存储算法，在文件容错、磁盘碎片、分块大小、并行支持等方面上提供动态的策略与折中。 数 据 块 服 务 器数 据 块 服 务 器数 据 块 服 务 器元 数 据 服 务 器元 数 据 服 务 器元 数 据 服 务 器元 数 据 服 务 器应 用 程 序应 用 程 序应 用 程 序应 用 程 序应 用 程 序 层对 等 式 元 数 据 服 务 层块 数 据 服 务 器 层 图 3 面向云存储的文件系统架构 基于以上关键技术的研究，设计面向云存储的分布式文件系统架构，如图 3 所示，采用层次结构，从里向外依次定义为块数据服务层、元数据服务层以及客户端应用层。 元数据服务层是系统的关键与核心，采用多代理的方式，将元数据服务器主机构成了一个对等式的分布式服务网络，形成该元数据服务层。 主要负 责侦听客户端和块数据服务器端的请求时间与处理、文件到文件块的映射以及文件块到文件服务器的映射、名字空间管理、文件管理等功能。 块数据服务层与基本的主从式分布式系统功能类似，主要包括管理数据块信息、数据块的读写、以及元数据服务器的指令处理等功能。 应用客户端层作为服务的接入层，提供用户接口。 3 基于语义的检索技术 情报信息本体的构建。 对情报信息系统领域内概念以及概念间关系的精确描述，通过对领域中知识和概念的分析，确定他们之间的关系和可能。