数据仓库与数据挖掘综述(编辑修改稿)

数据仓库与数据挖掘综述(编辑修改稿)内容摘要：

随时间变化） 13. 变长数据 14. 加锁管理（程序员能显式控制锁管理程序） 15. 单独索引处理（查看索引就能提供某些服务） 16. 快速恢复 数据仓库技术 — [Inmon， 1996] 17. 其他技术特征，传统技术起很小作用  事务集成性、高速缓存、行 /页级锁定、参照完整性、数据视图 18. 传统 DBMS与数据仓库 DBMS区别  为数据仓库和决策支持优化设计  管理更多数据： 10GB/100GB/TB  传统 DBMS适合记录级更新，提供：锁定 Lock、 提交 Commit、 检测点CheckPoint、 日志处理 Log、 死锁处理 DeadLock、 回退 Roolback.  基本数据管理，如：块管理，传统 DBMS需要预留空间  索引区别：传统 DBMS限制索引数量，数据仓库 DBMS没有限制  通用 DBMS物理上优化便于事务访问处理，而数据仓库便于 DSS访问分析 19. 改变 DBMS技术 20. 多维 DBMS和数据仓库  多维 DBMS作为数据仓库的数据库技术，这种想法是不正确的  多维 DBMS（ OLAP） 是一种技术，数据仓库是一种体系结构的基础 21. 双重粒度级别（ DASD/磁带） 数据仓库技术 — [Inmon， 1996] 22. 数据仓库环境中的元数据  DSS分析人员和 IT专业人员不同，需要元数据的帮助  操作型环境和数据仓库环境之间的映射需要元数据  数据仓库包含很长时间的数据，必须有元数据标记数据结构 /定义 23. 上下文和内容（上下文维）  简单上下文信息（数据结构 /编码 /命名约定 /度量）  复杂上下文信息（产品定义 /市场领域 /定价 /包装 /组织结构）  外部上下文信息（经济预测：通货膨胀、金融、税收 /政治信息 /竞争信息 /技术进展） 24. 刷新数据仓库  数据复制（触发器）  变化数据捕获（ CDC）（ 日志） 提纲  数据仓库概念  数据仓库体系结构及组件  数据仓库设计  数据仓库技术（与数据库技术的区别）  数据仓库性能  数据仓库应用  数据挖掘应用概述  数据挖掘技术与趋势  数据挖掘应用平台（科委申请项目） 数据仓库性能 — [Inmon, 1999]  使用  数据  平台  服务管理 王天佑 等译，《数据仓库管理》， 电子工业出版社， 20xx年 5月 提纲  数据仓库概念  数据仓库体系结构及组件  数据仓库设计  数据仓库技术（与数据库技术的区别）  数据仓库性能  数据仓库应用  数据挖掘应用概述  数据挖掘技术与趋势  数据挖掘应用平台（科委申请项目） 数据仓库应用 — DW用户数的调查 5 0 0 1 0 0 016% 1 0 0 014%1 0 0 5 0 036% 1 012%5 0 1 0 022%“ DW系统的用户 在 100500以内或以上 是未来一段时期内 的主要部分“ DW用户 的调查 最近一年 Meta Group Survey 调查对象： 3000+ 用户或意向用户 DW数据规模的调查 1 T B40% 5 0 G B12%5 0 2 5 0 G B19%2 5 0 5 0 0 G B8%5 0 0 G B 1 T B21%DW规模的调查 最近一年 Meta Group Survey 调查对象： 3000+ 用户或意向用户 How Much?  $36m for midsize pany, less if smaller, more if larger  $10m+ for large anizations, large data sets  1050+% annual maintenance costs  33% Hardware / 33% Software / 33% Services How Long?  24 years for 80/20 of full system for midsize pany  612 months for initial iteration  36 months for subsequent iterations How Risky?  For EDW Projects, 20% (Meta) to 70% (OTR, DWN) fail  High failure rate for nonbusiness driven initiatives  Very few systems meet the expectations of the business  Failure not due to technology, due to “soft” issues  Massive upside to successful projects (100% 20xx+% ROI)  99% politics 1% technology 参考文献  Inmon,.,” Building the Data Warehouse” ,Johm Wiley and Sons,1996.  Ladley,John,”Operational Data Stores:Building an Effective Strategy”,Data warehouse:Pratical Advice form the Experts,Prentice Hall,Englewood Cliffs,NJ,1997.  Gardmer,Stephen R., “Building the Data warehouse”,Communication of ACM, September 1998, Volume 41, Numver 9, 5260.  Douglas Hackney , , DW101: A Practical Overview, 20xx  Pieter R. Mimno, “The Big Picture How Brio Competes in the Data Warehousing Market”, Presentation to Brio Technology August 4, 1998.  Alex Berson, Stephen Smith, Kurt Therling, “Building Data Mining Application for CRM”, McGrawHill, 1999  Martin Stardt, Anca Vaduva, Thomas Vetterli, “The Role of Meta for Data Warehouse”, 20xx  , Ken Rudin, Christopher K. Buss, Ryan Sousa, “Data Warehouse Performance”, John Wiley amp。 Sons , 1999 提纲  数据仓库概念  数据仓库体系结构及组件  数据仓库设计  数据仓库技术（与数据库技术的区别）  数据仓库性能  数据仓库应用  数据挖掘应用概述  数据挖掘技术与趋势  数据挖掘应用平台（科委申请项目） 数据挖掘应用综述  数据挖掘应用概述  数据挖掘技术与趋势  数据挖掘应用平台 数据挖掘应用概述  应用比例  Data Mining Upsides  Data Mining Downsides  Data Mining Use  Data Mining Industry and Application  Data Mining Costs 应用比例 Clustering 22% Direct Marketing 14% CrossSell Models 12% m 20xx/6/11 News  Discovery of previously unknown relationships, trends, anomalies, etc.  Powerful petitive weapon  Automation of repetitive analysis  Predictive capabilities Data Mining Upsides  Knowledge discovery technology immature  Long learning and tuning cycles for some technologies  “Black box” technology minimizes confidence  VLDB (Very Large Data Base) requirements Data Mining Downsides Data Mining Uses  Discover anomalies, outlie。