中国石油数据仓库解决方案

中国石油数据仓库解决方案内容摘要：

，并且建立相应的关系即可。 在逻辑模型的基础上，我们可以建立数据仓库的物理模型。 出于性能的考虑，物 理模型一般满足第三范式，同时兼顾了可扩展性的需要。 15 同时，建立数据仓库的工具本身也具备良好的可扩展性。 由于数据仓库是通过图形化界面建立一系列的流程（ process），数据之间的转换关系也是通过图形化界面方式定义的，修改起来非常方便。 系统的安全管理 数据仓库系统是一个信息管理系统，如何能保证信息的在安全性，是一个信息管理系统成败的关键。 严格的授权管理，灵活的权限组合，犹如为数据仓库系统安装了一个高科技的智能钥匙，使授权者畅通无阻，无权者寸步难行。 安全级别管理原则：  总部领导可授权查看所有信息；  各级机构及 人员只能查看所辖范围内信息及同级的部分汇总信息；  根据人员职能不同 , 可以分组授权 , 也可以单独授权；  各类查询授权可灵活控制，并不受操作区域的限制。 安全级别的技术实现 数据仓库系统的安全级别的具体技术实现分为两级管理： 数据分析模型权限管理机制 是利用多维数据分析模型的用户授权功能，系统管理员可以根据实际需要对不同的多维分析模型授予不同的用户或用户组，只有授权的用户才能看到此多维数据数据库中的数据，例如：可以为总部领导授权访问所有的多维数据分析模型，那他将可以看到的所有分析结果，而将总部各职能部门的领导 的权限制在自己职能管辖范围内的多维数据分析模型上，这样他只能访问自己职能管辖范围内的分析结果。 前端分析工具的权限管理机制 16 前端分析工具也具有授权机制，可以规定哪些图表授权给哪些人看。 这样，只要在前端对同一多维数据模型抽取不同的维或同一维的不同组合来建立不同的图表，授权给不同级别的人，同时还可规定哪些人具有编辑权，哪些人只能浏览。 Websphere 还可以使用 SSL加密协议，加强客户端浏览器到 Web服务器的通讯信道的安全性，包括服务器认证，客户端认证，对信息加密等安全措施。 商业智能实施方法论 商业智能系 统的实现是一项高要求、涉及面广泛的复杂的工作，需要一套行之有效的工作方式来规范工作、协调项目组、降低风险、提高效率、降低成本、保证质量，保证整个项目的成功。 IBM 集中各个技术领域的专家和顾问，利用多年项目经验，针对不同的技术领域制定了完善的系统集成服务方法论，定义整个开发团队的开发工作的组织、综合指导单个开发人员和开发团队 、规定每个任务的开发成果、提供监控和衡量项目中的产品和活动的标准，以确保项目组按照一套成功、可靠的方法实施项目。 IBM 的项目实施的方法论包括对不同技术领域、不同工作领域的详细的指 导，其中重点针对商业智能和电子商务等应用领域。 根据最新的应用软件开发领域的成果和 IBM 的实践经验， IBM 的方法论包含了：  通用的体系架构，专业词汇与成功经验的知识库  工作计划与项目实施中具体工作的指南  项目提交结果、工作成果的明了清晰的定义  高效利用技术与工具的指南  高效率项目管理的基础 其着重在于如何有效、高效地利用有限的时间、资金和资源，建立能够满足客户的真正的业务需要的应用系统。 17 IBM 的方法论将项目所包括的业务分析、需求制定、系统设计、开发、运行等整 个项目周期，一层一层地分解为阶段、工作、任务、子任务，并规定每个任务的工作成果（ Work Product ），从而为项目中在不同层次的各步骤，规定了完备的目标、规范和指导。 方法论是基于 IBM 公司几十年、数千个项目成败的经验，其核心是为了解决应用开发中遇到的普遍业务问题。 也就是说， IBM 项目组将不必花大量时间来应付燃眉之急，他们可以轻易从中找到解决办法。 参照方法论，我们可以知道为了项目的成功，应该作什么工作，工作和任务是如何组织和进行的，项目小组的每个成员所负的责任，每个工作应该得到什么结果，任何判断这 些结果的质量，如何进行管理，内部如何有效的进行交流，风险控制，管理需求变更等等。 在方法论中还包括相关的实例和文档模板。 所有这些，一方面保证了工作的方向、正确的实施和避免工作的疏忽，另一方面提高工作的效率。 在商业智能的方法论中，为成功地建立商业智能系统， IBM 将整个项目过程组织为有机集成在一起的 8 个阶段： 18 1. 项目启动（ Solution Startup ） 在每个项目的开始，项目的决策者和参与者需要明确项目的目标、确定整个项目的工作范围、作初步的项目计划和风险分析 ，确定项目组的组织结构。 该阶段是项目的起始阶段，它为以后的工作做好铺垫。 2. 业务需求发现（ Business Discovery ） 作为整个项目的关键，在业务需求发现阶段需要业务人员的积极参与，以发现和确认业务需 求、问题和驱动因素，在如何能够正确利用商业智能来满足业务的需要、解决业务中存在的问题，以利于客户的业务发展等方面，提出一套有效的策略和方法。 在业务需求发现阶段，主要完成下图所示的工作：  客户交流：与客户有关方面的业务人员进行充分细致的交流，通过对业务流程、 数据、组织结构和环境等各方面的了解，理解客户的业务方向、策略、现状。  确定工作领域：该工作需要确定项目工作领域内的多方面的内容，包括解决各个业务需求、问题的可能性，需求实现的可能性、现状和未来发展之间的差距、各项需求的优先次序、重要的数据分类等。  针对各个领域确定相应的策略：根据前面的工作成果进行进一 19 步的分析，得到业务情况分析、业务收益分析、项目阶段计划和项目评估等工作成果。 并同客户一起进一步审阅该阶段的工作。 在给客户的提交件中包含项目定义、环境评估、业务机会定义、方案选择和业务原因、建议方案等内容。 IBM 建议商业智能项目一定要包括业务需求发现阶段，通过对业务的理解和分析来降低项目风险并保证客户项目的成功。 业务需求发现阶段重要的因数包括：  找出业务机会、衡量尺度和可能的问题  将解决方案很好地与业务目标相联系  业务人员和技术人员的有力协作  由小开始，逐步扩大  通过学习和培训不断提高 3. 系统基础架构规划（ Infrastructure Planning ） 在进行业务需求发现的同时， IT 人员可以同步进行系统基础架构规划工作，由于在商业智能方案中需要应用新技术和独特的体系结构，对基础架构规划是非常重要的。 这一阶 段的目的是规划 IT 基础架构，保证在分步实施商业智能的过程中，不至变动整体架构。 同时，通过对现阶段 IT 架构和能力的分析，提出分步实施的 IT 方案。 该阶段的工作可以保证按照客户的预期，根据客户的发展、需要和资金情况，保证长期项目的顺利实现。 进行系统基础架构规划，需要收集包括技术标准、现阶段 IT 架构、应用情况、组织结构等方面的客户信息。 通过与未来的架构进行对比，确定技术、网络和技能等方面存在的差距，作为规划系统建设和相关支持工作的基本依据。 4. 方案概要（ Solution Outline ） 方案概要阶段将向客 户提出花费、进度和风险等影响项目投资决策相关信息。 因为商业智能的特殊性和复杂性，项目不光是包括系统建设和应用开发，还涉及客户很多其他部门，同时还需考虑 20 以后的发展规划，该阶段的工作对于客户进行评估决策相当重要。 在此阶段将分析客户现阶段业务功能、业务流程、 IT 情况等各个方面，建立数据的概念模型、逻辑模型、业务流程模型，分析数据源信息、数据质量，勾画测试、培训和系统配置策略，计划原型测试。 这些工作为准确评估项目提供重要依据。 5. 宏观设计（ MacroDesign ） 宏观设计阶段将设计出一个健壮的应用框架，保证各 个发布版本的开发周期和总体质量。 在方案概要阶段已经初步确定项目的方案和范围，在此之上，通过宏观设计，将方案的实施策略进一步落实，作为以后分步实施的基础。 市场环境是不断变化的，业务需求也随之不断变化，建立的新系统面临的一个挑战便是如何应对不断变化的需求。 IBM 从项目方法到设计思想都充分考虑了市场环境下我们必须面对的变化， IBM 的项目过程中很重要的一个方法是采用渐进式的开发过程，这种开发方式使得开发者可以在比较短的周期按优先次序实现部分需求，一方面降低项目风险，减少开发中的难度，一方面又可以节省资金，使客户 能够尽早的从项目中获益，充分发挥项目的效益。 但这种开发方式在降低编程实现的难度的同时却需要周密规划、设计一个健全良好的应用框架作为保证。 宏观设计阶段的重要工作就是从全局考虑，设计能够经受各种不可预期的业务变化的基础结构，保证未来的开发设计工作快速有效的实现。 在此阶段为减少长期项目的成本，还要制定对整个项目标准、规范和指导。 6. 微观设计（ Micro Design ） 微观设计阶段是反复式开发中开发每个版本的三个阶段的开始阶段。 微观设计阶段将项目范围缩小到本版本的范围，通过对在前面方案概要和宏观设计中的成果的进一 步精练，对系统进行更加详细的设计，以细化到可以直接付诸编码实施的程度。 在前面方案概要和宏观设计阶段，已经实现了系统的分析模型，如数据的概念模型、逻辑模型、应用架构等，为降低复杂性、提高灵活度、 21 便于交流，这些分析模型一般都不拘于具体物理平台。 而在微观设计中需要针对具体的系统平台，依据分析模型建立实际的应用模型，包括数据的物理模型。 7. 构造周期（ Build Cycle ） 在构造周期阶段将渐进地开发和测试系统直到实现该版本的设计目标。 在构造周期阶段的一个基本观点就是渐进式的实现和配置。 在方案概要阶段已经做出的版 本计划勾画出所需开发的版本数量。 在微观设计阶段，依据每个版本的目标将开发细分为多个构造周期，并明确每个周期的具体目标。 在每个构造周期又包含了多个编程周期以实现构造周期的每个具体目标。 这种开发方式就是前面提到的渐进式开发，也称作反复式开发。 8. 发布（ Deployment ） 发布阶段，将进行系统的验收测试、客户培训、设置投产环境、安装和设置系统，进行投产准备，并切换投产。 同时回顾项目计划，为下一个版本的开发做好准备。 在实际工作中，将灵活地按照方法论的指导，根据实际需要，客户化以上 8 个阶段中的具体任务、交付件和 工作成果，作为项目指南。 在商业智能方法论的指导下，利用 IBM 知识库的经验， IBM 将会和客户一起，通过针对客户的业务需求，建立明确的项目目标，清晰界定项目的范围，提出的项目计划，优化项目实施，从而保证项目成功。 数据仓库建立的重要环节 在商业智能项目的实施过程中，数据仓库的建立是一个非常重要的环节。 因为在这之后的所有工作（包括多维分析，数据挖掘及前端的数据发布等），都以此为基础，同时建立数据仓库也是商业智能方案实施有别于其它系统项目的突出的一步。 总体说来，所有的数据仓库在建立过程中需要考虑以下几个环节： 9. 业务需求定义 22 前面我们已经提到过，商业智能方案实施的第一个原则就是分阶段、循序渐进的原则。 因此在业务需求定义阶段，一定要与用户就本次实施的内容和范围达成共识。 在同客户的共同讨论下，总结出客户的战略性商业目标和起点，并用于指导建立数据仓库的策略、结果和目标。 在这一过程的最初阶段，工作会集中在从企业的多个角度来看待数据仓库，例如客户对企业信息的要求，关心的主题，和一个实际的业务案例。 随着工作继续，工作的中心将转移到划定实施的范围和结果，确定客户对信息的需求，并针对需求建立适当的模型。 10. 数据的获取 数据获取流程 用于确定，抽取，转换，和将系统必需的来自多种数据源的数据装载到数据仓库中。 首先依据主题来确定和评估数据源，并对数据可用性进行分析，即检查已有的数据是否能够满足需求，同时制定出数抽取、转换和装载的策略。 在我们的解决方案中 Warehouse Manager 可以用成所有的工作，有效的提高实施的效率。 随后为数据初次装载，更新制定计划；对源数据做更进一步的研究，分析当前数据与数据仓库中所需要的数据究竟有多大差距，从而发利用当前的数据是否能够满足客户的需求。 最后建立数据抽取、转换和装载的模型。 这个模型一旦确立，并通过测 试，就会用于生成实际的生产数据库。 11. 数据质量 这一步是为数据仓库提供一致的，可靠和正确的数据。 数据质量的策略是建立在与客户对于数据清洗和整合功能的清楚的理解基础之上的。 这个流程定义了错误处理，数据清洗等业务规则。 对于错误处理的业务规则有可能因进行数据的第一次加载或随后的更新等不同步骤而不同。 为了使数据仓库中的装载可靠的数据，数据质量模型与数据获取模型结合起来，用于控制质量功能模块在整个数据转换过程发挥作用。 12. 数据仓库管理 23 这部分工作主要包括定数据仓库维护的策略和要求，还要完成对管理流程，必要的工具的评估和 测试，包括版本控制，定时执行，备份，数据仓库的安全性和对数据的支配。 此外，还会定义一些管理和监控的任务，包括对不同级别数据访问的授权，管理用户查询，确定重复查询，定义访问的上限指标，添加或删除用户和修改访问的权限。 13. 元数据管理 接下来需要考虑的是元数据的管理，包括定义元数据的类型，存储位置，元数据的整合和对元数据的访问。 在元数。