独立分量分析法(编辑修改稿)

独立分量分析法(编辑修改稿)内容摘要：

大值野点会引起较大误差 预备知识：三、概率密度函数的展开 非多项式函数的加权和形式： 文献提到，当 与标准高斯分布 相差不太大时， 可用若干个非多项式函数 的加权和来逼近： 需要满足以下条件： (1)、正交归一性 (2)、矩消失性 ()py ()Gpy()py ( i) ( ) ( 1 ~ )F y i N()1( ) ( ) [1 ( ) ]NiGiip y p y c F y (i)()Fy()( ) ( ) 0 , 0 , 1 , 2kiGp y y F y d y k( ) ( )( ) ( ) ( )ijG ijp y F y F y dy 探查性投影追踪 为了使近似性能较好， F(y)除了上述性质外，最好能有以下性质： (1)、统计特性 E[F(y)]不难求得 (2)、当 y增大时， F(y)的增长速度不能快于 ，以使 E[F(y)]对野点不太敏感。 通常 N取 1或 2。 有以下函数形式可用： 2y(1) ( ) :Fy 1 lo g c o sh aya2( / 2 )yye 1 2 , 1aa  通 常 取(2) ( ) :Fy 2( / 2 )yey预备知识：四、信号通过线性系统信息特征的变化 信号通过线性系统 熵关系： |B|=1，即系统正交归一时，熵不变 KL散度关系： |B|=1，即系统正交归一时， KL散度为 0 ()txB( ) ( )tty B x线 性 系 统( ) ( ) logHH y x B[ ( ) , ( ) ] l ogKL p p x y B预备知识：四、信号通过线性系统信息特征的变化 互信息关系： 负熵关系： [ ( ) ] = [ ( ) ]J p J pyx11( ) ( ) l o g ( ) ( )NNiiiiI y I x H y H x   B( , ) ( ) ( ) ( ) ( )I x y H y H y x H x H x y   目录 目录 问题的提出 数学准备 独立分量法具体算法 一、主要步骤 二、各类 ICA算法简介 三、 Fast ICA算法 总结与展望 目录：独立分量法具体算法 独立分量法具体算法 一、主要步骤 二、各类 ICA算法简介 三、 Fast ICA算法 独立分量法具体算法：一、主要步骤 独立分量分析： 对交叠信号 X，求解混矩阵 B，使 Y=BX各分量尽量相互独立。 独立判据函数 G。 主要步骤： 预处理部分（简化计算） 核心算法部分 独立分量法具体算法：一、主要步骤 预处理部分 ：  对 X零均值处理 √ 球化分解（白化） 即：乘球化矩阵 S，使 Z=SX各行正交归一，即 ZZ’=I 意义：消除原始各道数据间二阶相关，以后只需要考虑高阶矩量 (因为独立时各阶互累积量为 0)，使很多运算过程简化。 注意：各道数据间不相关，不一定独立，除非是高斯信号 独立分量法具体算法 : 一、主要步骤 —— 主成分分析与球化 协方差矩阵： 特征值分解： U:特征向量矩阵，正交归一，每一列称为一特征向量 Λ:特征值对角矩阵， 可排序： 特征值代表分量功率大小。 P中各行正交，称为 X的主分量，且可见各行能量从大到小排列 可以选择能量大的主分量代表 X，此即为主成份分析的由来。 TXC X X12[ , , ]M  Λ Di agT UΛU12 0M     12[ , , ]MU u u u =i i iXC u uT1Mi i ii XC u uTP U X T PP Λ独立分量法具体算法 : 一、主要步骤 —— 主成分分析与球化 取球化阵： 可见： 满足球化条件。 1 / 2 T 1 / 2  Z S X Λ UX Λ P1 / 2 TS Λ UT 1 / 2 T T 1 / 2 1 / 2 T T 1 / 2[ ] [ ] [ ]   ZZ Λ U X X U Λ Λ UU Λ UU Λ I独立分量法具体算法：一、主要步骤 主要步骤： 预处理部分 —— 得到 0均值，方差 1数据 Z √ 核心算法部分 寻求解混矩阵 U，使 Y=UZ， Y各道数据尽可能独立（独立判据函数 G） 注意： (1)、由于 Y独立，各行必正交。 且通常取 U保持 Y各行方差为 1，故 U是正交变换。 (2)、所有算法预处理部分相同，以后我们都设输入的为球化数据 z，寻找正交矩阵 U，使 Y=Uz独立。 由于独立判据函数 G的不同，以及步骤不同，有不同的独立分量分析法。 目录：独立分量法具体算法 独立分量法具体算法 一、主要步骤 二、各类 ICA算法简介。