北气一卡通系统方案(编辑修改稿)

北气一卡通系统方案(编辑修改稿)内容摘要：

手机或掌上型裝置（ PDA）来连结使用各种的 WEB 服务。 也就是说，我们可以通过以上的各种设备，或是从一个应用程序（甚至从另一个 Web Service 上面）通过网络去呼叫调用需要的各种功能（也就是 Web Service），以提供需要的服务，诸如是 B2C、 B2B 或是 P2P 的网上服务，而这里的网络可以是 Inter、Intra 或是 Extra。 以上两个方面结合起来就是 Web Service。 下图展示了 Web Service 的基本原理。 Web Service 基本原理示意图 、 Oracle 数据库优化方案 Oracle数据库优化方案主要从大型数据库 ORACLE环境四个不同级别的调整分析入手，分析 ORACLE 的系统结构和工作机理，从九个不同方面较全面地总结了 ORACLE 数据库的优化调整方案。 从多个角度出发，对 Oracle 优化中的很多关键问题进行了深入全面的探讨，从内存优化、 IO 规划及优化到 SQL优化调整，以较为完整的体系阐述了 Oracle 的优化技术，更主要的是，结合实际应用环境，提供了一系列解决问题的思路和方法，具有很强的实战性和可操作性。 下面详细介绍。 对于 ORACLE 数据库的数据存取，主要 有四个不同的调整级别，第一级调整是操作系统级包括硬件平台 ,第二级调整是 ORACLE RDBMS 级的调整 ,第三级是数据库设计级的调整 ,最后一个调整级是 SQL 级。 通常依此四级调整级别对数据库进行调整、优化，数据库的整体性能会得到很大的改善。 下面从九个不同方面介绍 ORACLE 数据库优化设计方案。 、 数据库优化自由结构 OFA(Optimal flexible Architecture) 数据库的逻辑配置对数据库性能有很大的影响 ,优化自由结构 OFA,简单地讲就是在数据库中可以高效自由地分布逻辑数据对象 ,因此 首先要对数据库中的逻辑对象根据他们的使用方式和物理结构对数据库的影响来进行分类 ,这种分类包括将系统数据和用户数据分开、一般数据和索引数据分开、低活动表和高活动表分开等等。 数据库逻辑设计的结果应当符合下面的准则：（ 1）把以同样方式使用的段类型存储在一起；（ 2）按照标准使用来设计系统；（ 3）存在用于例外的分离区域；（ 4）最小化表空间冲突；（ 5）将数据字典分离。 、 充分利用系统全局区域 SGA（ SYSTEM GLOBAL AREA） SGA 是 oracle 数据库的心脏。 用户的进程对这个内存区发送事务，并且以这里作为高速缓存读取命中的数据，以实现加速的目的。 正确的 SGA 大小对数据库的性能至关重要。 SGA 包括以下几个部分： 数据块缓冲区（ data block buffer cache）是 SGA 中的一块高速缓存，占整个数据库大小的 1%2%，用来存储从数据库重读取的数据块（表、索引、簇等），因此采用 least recently used (LRU,最近最少使用 )的方法进行空间管理。 字典缓冲区。 该缓冲区内的信息包括用户账号数据、数据文件名、段名、盘区位置、表说明和权限，它也采用 LRU 方式管理。 重做日 志缓冲区。 该缓冲区保存为数据库恢复过程中用于前滚操作。 SQL 共享池。 保存执行计划和运行数据库的 SQL 语句的语法分析树。 也采用 LRU 算法管理。 如果设置过小，语句将被连续不断地再装入到库缓存，影响系统性能。 、 规范与反规范设计数据库 规范化 所谓规范化实质上就是概念的单一化。 数据库中数据规范化的优点是减少了数据冗余，节约了存储空间，相应逻辑和物理的 I/O 次数减少，同时加快了增、删、改的速度。 反规范化 在数据库的设计过程中有时故意保留非规范化约束，或者规范化以后又反规范，这样做通常是为了 改进数据库的查询性能，加快数据库系统的响应速度。 数据库设计中的优化策略 数据应当按两种类别进行组织：频繁访问的数据和频繁修改的数据。 比较复杂的方法是将规范化的表作为逻辑数据库设计的基础，然后再根据整个应用系统的需要，物理地非规范化数据。 规范与反规范都是建立在实际的操作基础之上的约束，脱离了实际两者都没有意义。 只有把两者合理地结合在一起，才能相互补充，发挥各自的优点。 数据库逻辑设计的规范化 数据库逻辑设计的规范化就是我们一般所说的范式，我们可以这样来简单理解范式： 第 1 规范：没有重复的组或多值的列 ，这是数据库设计的最低要求。 第 2 规范 : 每个非关键字段必须依赖于主关键字，不能依赖于一个组合式主关键字的某些组成部分。 消除部分依赖，大部分情况下，数据库设计都应该达到第二范式。 第 3 规范 : 一个非关键字段不能依赖于另一个非关键字段。 消除传递依赖，达到第三范式应该是系统中大部分表的要求，除非一些特殊作用的表。 更高的范式要求这里就不再作介绍了，个人认为，如果全部达到第二范式，大部分达到第三范式，系统会产生较少的列和较多的表，因而减少了数据冗余，也利于性能的提高。 合理的冗余 完全按照规范化设计的系统几乎 是不可能的，除非系统特别的小，在规范化设计后，有计划地加入冗余是必要的。 冗余可以是冗余数据库、冗余表或者冗余字段，不同粒度的冗余可以起到不同的作用。 冗余可以是为了编程方便而增加，也可以是为了性能的提高而增加。 从性能角度来说，冗余数据库可以分散数据库压力，冗余表可以分散数据量大的表的并发压力，也可以加快特殊查询的速度，冗余字段可以有效减少数据库表的连接，提高效率。 主键的设计 主键是必要的， SQL SERVER 的主键同时是一个唯一索引，而且在实际应用中，我们往往选择最小的键组合作为主键，所以主键往往适 合作为表的聚集索引。 聚集索引对查询的影响是比较大的，这个在下面索引的叙述。 在有多个键的表，主键的选择也比较重要，一般选择总的长度小的键，小的键的比较速度快，同时小的键可以使主键的 B 树结构的层次更少。 主键的选择还要注意组合主键的字段次序，对于组合主键来说，不同的字段次序的主键的性能差别可能会很大，一般应该选择重复率低、单独或者组合查询可能性大的字段放在前面。 外键的设计 外键作为数据库对象，很多人认为麻烦而不用，实际上，外键在大部分情况下是很有用的，理由是： 外键是最高效的一致性维护方法，数据库的 一致性要求，依次可以用外键、CHECK 约束、规则约束、触发器、客户端程序，一般认为，离数据越近的方法效率越高。 谨慎使用级联删除和级联更新，级联删除和级联更新作为 SQL SERVER 20xx当年的新功能，在 20xx 作了保留，应该有其可用之处。 我这里说的谨慎，是因为级联删除和级联更新有些突破了传统的关于外键的定义，功能有点太过强大，使用前必须确定自己已经把握好其功能范围，否则，级联删除和级联更新可能让你的数据莫名其妙的被修改或者丢失。 从性能看级联删除和级联更新是比其他方法更高效的方法。 字段的设计 字段是数据库最基本的单位，其设计对性能的影响是很大的。 需要注意如下： A、数据类型尽量用数字型，数字型的比较比字符型的快很多。 B、数据类型尽量小，这里的尽量小是指在满足可以预见的未来需求的前提下的。 C、 尽量不要允许 NULL，除非必要，可以用 NOT NULL+DEFAULT 代替。 D、少用 TEXT 和 IMAGE，二进制字段的读写是比较慢的，而且，读取的方法也不多，大部分情况下最好不用。 E、自增字段要慎用，不利于数据迁移。 1数据库物理存储和环境的设计 在设计阶段，可以对数据库的 物理存储、操作系统环境、网络环境进行必要的设计，使得我们的系统在将来能适应比较多的用户并发和比较大的数据量。 这里需要注意文件组的作用，适用文件组可以有效把 I/O 操作分散到不同的物理硬盘，提高并发能力。 1系统设计 整个系统的设计特别是系统结构设计对性能是有很大影响的，对于一般的 OLTP 系统，可以选择 C/S 结构、三层的 C/S 结构等，不同的系统结构其性能的关键也有所不同。 系统设计阶段应该归纳一些业务逻辑放在数据库编程实现，数据库编程包括数据库存储过程、触发器和函数。 用数据库编程实现业务逻辑的好处是减少网 络流量并可更充分利用数据库的预编译和缓存功能。 1索引的设计 在设计阶段，可以根据功能和性能的需求进行初步的索引设计，这里需要根据预计的数据量和查询来设计索引，可能与将来实际使用的时候会有所区别。 关于索引的选择，应改主意： A、根据数据量决定哪些表需要增加索引，数据量小的可以只有主键。 B、根据使用频率决定哪些字段需要建立索引，选择经常作为连接条件、筛选条件、聚合查询、排序的字段作为索引的候选字段。 C、把经常一起出现的字段组合在一起，组成组合索引，组合索引的字段顺序与主键一样，也需要把最常用的字段放 在前面，把重复率低的字段放在前面。 D、一个表不要加太多索引，因为索引影响插入和更新的速度。 、 合理设计和管理表 利用表分区 分区将数据在物理上分隔开，不同分区的数据可以制定保存在处于不同磁盘上的数据文件里。 这样，当对这个表进行查询时，只需要在表分区中进行扫描，而不必进行全表扫描，明显缩短了查询时间，另外处于不同磁盘的分区也将对这个表的数据传输分散在不同的磁盘 I/O，一个精心设置的分区可以将数据传输对磁盘 I/O 竞争均匀地分散开。 避免出现行连接和行迁移 在建立表时，由于参数 pctfree 和 pctused 不正确的设置，数据块中的数据会出现行链接和行迁移，也就是同一行的数据不保存在同一的数据块中。 因此 ,在创建表时，就应该充分估计到将来可能出现的数据变化，正确地设置这两个参数，尽量减少数据库中出现行链接和行迁移。 别名的使用 别名是大型数据库的应用技巧，就是表名、列名在查询中以一个字母为别名，查询速度要比建连接表快 倍。 、 索引 Index 的优化设计 管理组织索引 索引可以大大加快数据库的查询速度，索引把表中的逻辑值映射到安全的 RowID，因此索引能进行快速定位数据的物理地址。 对一个建有索引的大型表的查询时，索引数据可能会用完所有的数据块缓存空间， ORACLE 不得不频繁地进行磁盘读写来获取数据，因此在对一个大型表进行分区之后，可以根据相应的分区建立分区索引。 聚簇的使用 Oracle 提供了另一种方法来提高查询速度，就是聚簇（ Cluster）。 聚簇根据共同码值将多个表的数据存储在同一个 Oracle 块中，这时检索一组Oracle 块就同时得到两个表的数据，这样就可以减少需要存储的 Oracle 块，从而提高应用程序的性能。 优化设置的索引，就必须充分利用才能加快数据库访问速度。 ORACLE 要使用一个索引，有一些最基本的条件： 1） where 子名中的这个字段，必须是复合索引的第一个字段； 2） where 子名中的这个字段，不应该参与任何形式的计算。 多 CPU 和并行查询 PQO(Parallel Query Option)方式的利用 CPU 处理器来执行事务处理和查询 CPU 的快速发展使得 ORACLE 越来越重视对多 CPU 的并行技术的应用，一个数据库的访问工作可以用多个 CPU 相互配合来完成，加上分布式计算已经相当普遍，只要可能，应该将数据库服务器和应用程序的 CPU 请求分开 ，或将 CPU 请求从一个服务器移到另一个服务器。 对于多 CPU 系统尽量采用Parallel Query Option(PQO,并行查询选项 )方式进行数据库操作。 Parallel Query Option(PQO,并行查询选择 )方式进行数据查询 .使用 PQO方式不仅可以在多个 CPU 间分配 SQL 语句的请求处理，当所查询的数据处于不同的磁盘时，一个个独立的进程可以同时进行数据读取。 SQL*Loader Direct Path 选项进行大量数据装载 使用该方法进行数据装载时，程序创建格式化数据块直接写 入数据文件中，不要求数据库内核的其他 I/O。 实施系统资源管理分配计划 ORACLE 提供了 Database Resource Manager（ DRM,数据库资源管理器）来控制用户的资源分配， DBA 可以用它分配用户类和作业类的系统资源百分比。 在一个 OLDP 系统中，可给联机用户分配 75%的 CPU 资源，剩下的 25%留给批用户。 另外，还可以进行 CPU 的多级分配。 除了进行 CPU 资源分配外，DRM 还可以对资源用户组执行并行操作的限制。 使用最优的数据库连接和 SQL优化方案 方案 使用直接的 OLE DB 数据库连接方式。 通过 ADO 可以使用两种方式连接数据库，一种是传统的 ODBC 方式，一种是 OLE DB 方式。 ADO 是建立在OLE DB 技术上的，为了支持 ODBC，必须建立相应的 OLE DB 到 ODBC 的调用转换，而使用直接的 OLE DB 方式则不需转换，从而提高处理速度。 使用 Connection Pool 机制在数据库处理中，资源花销最大的是建立数据库连接，而且用户还会有一个较长的连接等待时间。 解决的办法就是复用现有的 Connection，也。