数据挖掘与bi借数据一双慧眼(编辑修改稿)

数据挖掘与bi借数据一双慧眼(编辑修改稿)内容摘要：

任务包括：为模型的训练和验证准备数据集；在模型的建立中使用适当的建模技术；针对不同的建模技术测试模型性能；必要地精炼挖掘模型；和主题专家一起检验挖掘模型；记录挖掘模型和结果。 5．实施：在这个阶段，需要用模型的结果来帮助做出业务决定、战略设计和战术实施。 收集实施结果反馈，为模型的退化进行侦测，更进一步改善模型性能。 在利用模型的结果时，复杂的展示层界面通常是不必要的。 数据挖掘过程的自 动化是 CRM（客户关系管理）的解决方案中不可或缺的一部分，因此是与典型的数据挖掘分开实施的项目。 任务包括：客户模型评分和存储模型结果，性能跟踪和进一步整合其它业务系统；数据挖掘过程的自动化是单独的项目；模型结果的现场测试是单独的项目。 数据挖掘项目的项目计划会涵盖以上的各个阶段，但完成整个项目所需的时间则要根据多个关键因素而定，如挖掘专题的复杂程度、客户对挖掘结果性能评定的期望、可用的数据完备性及数据质量、项目人力资源是否充足以及人员能力等等。 如表 1 是为期二个月（ 40个工作日）的数据挖掘项 目计划，可以作为其他挖掘项目制定计划的参考基准。 从表 1 的项目计划可以看出，数据挖掘项目需要参与的成员或角色有：数据挖掘专家、 PDM（产品数据管理）建模人员、 ETL 开发人员和应用开发人员。 同时需要熟悉业务的人员以及熟悉数据仓库PDM 的人员予以支持。 (■ NCR（中国）有限公司数据仓库事业部技术经理 张磊博士 ) ◆ 智能源于积累 国内商业智能市场正处于刚刚起步的阶段，继去年电信行业全国性数据仓库建设之后，今年会有更多的企业、集成商参与到这个市场。 信息系统相对比较完善的企业会较早涉足这一 领域，从而推动商业智能推广的应用。 但当前用户对如何建设商业智能还缺乏足够的经验。 如北京协和医院、三九宜工生化股份有限公司和山东烟草专卖局的信息部门主管，各自都提出了一些建设商业智能系统的问题。 这些问题很有代表性，也是许多开始探索商业智能应用的企业所面临的困惑。 总结起来，以上困惑可以归纳为三个问题： 业带来什么效益，或者说商业智能系统能够做什么。 商业智能建设步骤和技术架构是什么。 针对以上困惑，一般把商业智能系统建设划分为三 个阶段：理解尝试阶段、集中建设阶段、成熟应用阶段。 ◆ 理解尝试阶段 目前大多数人对商业智能系统还没有深入地理解。 大家纷纷从各自的角度出发，给商业智能下定义，猜想商业智能是一种什么样的应用。 有人认为，商业智能不就是做报表的吗。 实际上，传统业务系统是面向点的，能给出详细的功能定义。 而商业智能系统是面向面的，用专业术语讲叫主题，因此，很难准确地描述商业智能到底能实现哪些功能，或只能实现哪些主题。 商业智能的确可以产生报表，但不是事先定义的固定报表，而是经过分析之后的结果展现，其分析的过程 必须要有人参与，系统只是一个工具，智能是由人来完成的。 基于此，我建议，目前的商业智能系统最好先以 12 个主题为主展开，如即席查询，目的是让操作人员理解系统使用方式，积累业务经验。 数据挖掘在目前也可以开展，但也要以 12 个为主，不要贪多，目的不是用这 12 个主题来解决业务问题，而是充分理解商业智能和数据挖掘的使用方式和内涵。 国内很多企业一开始上商业智能系统，就上 OLAP，就研究能有多少个数据挖掘可以开展。 我认为这是一个误区，没有一定的经验积累，定义 OLAP 的维度和指标是不可能的，而且前期的变动也太大。 数据挖掘的基础是数据理解，通过即席查询对数据充分理解后，才谈得上各种算法的应用。 在这一阶段中，商业智能系统的架构可能多次调整。 但通过这一阶段的摸索，我们应该对商业智能的作用、意义以及企业的使用方式，都有了一个相对深入的了解。 而建立的 12 个主题也可以起到一定的辅助决策作用了。 随后，就可以进入集中建设阶段。 ◆ 集中建设阶段 经过前一阶段的经验积累，企业有了一个稳定的使用方式和系统架构，这个阶段的主要问题就是企业级数据的整合，以及交叉主题的开展。 在这一阶段里，企业可以根据经验，把日 常经常使用的分析做成 Cube。 全企业展开数据仓库系统的建设。 数据挖掘可以随着数据仓库的展开和数据积累的增加，而大范围展开。 最终使商业智能系统成为企业日常行为中不可或缺的一部分，使即席查询成为业务员的日常习惯。 ◆ 成熟应用阶段 经过了集中建设阶段，商业智能应用在企业已经全面铺开。 但是，许多问题单单靠成熟的工具，已经无法满足企业的进一步需求，需要新的挖掘方式。 这时就进入了商业智能领域整体水平需要提升的阶段。 此时，各行业的专家将归纳出许多商业规律，技术专家研究出许多新的数学模型，以满足更高层次的 商业智能需求。 而商业智能也将变成一个成熟的产业，一个新的更高层次。