确定信号的盲分离_信息处理课群综合训练与设计(编辑修改稿)

确定信号的盲分离_信息处理课群综合训练与设计(编辑修改稿)内容摘要：

线性组合而成，忽略时间下标 t，并假设每个混合信号 xi都是一个随机变量，而不是时间信号。 每个观测值 xi(t),为该随机变量的一次抽样。 不失一般性，设混合的随机变量和独立源都具有零均值。 下面用矩阵形式来定义 ICA模型。 令 X=(x1,x2,„ xn)T 为 n 维随机向量， S=(s1,s2,„ sm)T 是 m 维未知源信号，武汉理工大学《 信息处理课群综合训练与设计 》课程设计说明书 7 则 ICA 的线性模型可表示为：  mi iisaASX 1 ， i=1,2,„ m，（式 8） 式中， si称为独立分量， A=[a1,a2,„ am]是一满秩的 n*m 矩阵，称为混合矩阵，ai是混合矩阵的基向量。 由方程可知，各观测数据 xi是由独立源 si经过不同的 aij线性加权得到的。 独立源 si 是隐含变量，不能被直接测量；混合矩阵 A 也是未知矩阵，唯一可利用的信息只剩观测的随机矢量 X。 若没有任何限制条件，要仅由 X 估计出 S 和 A，方程的解必为多解。 而 ICA 正是在某些限制条件下，根据X 的统计特性，给出方程唯一解，实现独立分量的提取。 如上所述， ICA 的一个重要基本假设就是对未知源信号独立性的要求。 将基本的 ICA 模型扩展到有噪声的情形，并且假设噪声是以加性噪声形式存在的。 这是一个相当现实的假设，因为加性噪声是因子分析和信号处理中通常研究的标准形式，具有简单的噪声模型表达方式。 因此，噪声 ICA 模型可表示为： x As n （式 9） 式中，  1, ... Tnn n n 是噪声向量。 信号源噪声，即直接添加到独立成分（即信号源）上的噪声。 信号源噪声可用下式来表示 ： ()x A s n （式 10） 实际上，如果可以直接考虑带噪声的独立成分，那么可将此模型写为： ~x As （式 11）可以看出，这就是基本的 ICA 模型，只是独立成分本身变了。 针对 ICA 具体模型，未知源信号间相互独立即要求：          xvssxvssxx mnxmnmnxmnS  22 222 2ˆ   （式 12） 在 ICA 模型中，除了要求源信号相互独立外，还必须满足非高斯分布的特性。 此外，为简化模型，假设未知混合矩阵 A 是方阵，即 m=n。 那么 ICA 的目武汉理工大学《 信息处理课群综合训练与设计 》课程设计说明书 8 的就是寻找一个变换矩阵，对 X 进行线性变换，得 n 维输出向量： WASWXY  （式 13） 当允许存在比例不定性和顺序不定性的前提下， Y 成为对独立分量 si的一个估计 SY ˆ。 以上，从盲源分离观点阐述了 ICA 的模型，下面给出从多维信号的线性描述观点论述的 ICA 模型。 设 X=(x1,x2,„ ,xn)T 为 n 维观测数据， ICA 的目的即寻找一个坐标系统 n , 21  ，使得当 X 中各分量 x1,x2,„ ,xn 在该坐标系下投影时： nni sssx   2211 ， i=1,2,„ ,n（式 14）投影系数s1,s2,„ ,sn 相互独立。 若令 Y=WX,在 ICA 实现算法中，系统目标是寻找一个最优矩阵 W 使使出yi 相互统计独立，即 Y 互信息为零。 可以证明，此时  nW  , 211  为 ICA线性描述模型中的坐标系统。 数据分析问题中的约束条件 对于 ICA/BSS 中所涉及的多维数据分析问题，一般都要对观测信号及生成信号的过程作一些假设，这些约束能使分离问题有一个合理而有意义的解，同时约束条件还须具有一定范围的实用性。 一般有如下的假设： 1) 各源信号之间统计独立，即源信号的联合概率密度函数是各分量的边缘密度函数的连乘积。 这是独立分量分析的前提和基本准则。 2) 观察信号数 N 大于或等于源信号数 M，当 N=M时称为正定 ICA，当 NM时称为欠定 ICA，当 NM 时称为过定 ICA。 实际情况中，源信号的数目很可能是未知的。 3) 源信号中至多有一个高斯信号源。 若有多个高斯分布的源，由中心极限定理可知，高斯性信号的线性组合仍是高斯性的，这是 ICA 算法无法进行有效的盲分离。 武汉理工大学《 信息处理课群综合训练与设计 》课程设计说明书 9 当满足以上三条假设时 ICA/BSS 是可实现的。 为了进一步简化问题求解，可以再做以下假设： 各传感器引入的噪声可以忽略不计。 但有时也可以将噪声看作一个源信号，这可以使得算法有更强的鲁棒性和更广泛的适应性，但这是就要相应的增加传感器数目。 有一些关于各源信号的先验知识如概率密度函数。 虽然 ICA 是不需要知道源信号的先验知识的，但实际情况我们是可以知道诸如源信号类型，甚至其 概率分布的一些特性的。 这也有助于 ICA 的求解。 算法的分类与基本原理 从以上的介绍中可以知道 ICA 的目标就是使整个系统的输出信号彼此相互尽量独立。 因此，不同的 ICA 算法研究主要体现在独立性度量准则的选取和对目标函数的优化准则的不同上。 故而 ICA 算法可以简单的表述为： ICA 算法 =目标函数 +优化算法 其中，目标函数的选取影响了算法的统计性质，是 ICA 算法必须解决的根本问题。 而优化算法则影响了算法的收敛速度、存储要求和计算的稳健性等，常见的优化算法主要有梯度下降法、牛顿迭代法等。 在梯度下降法中有两种 处理方式不同的算法：在线学习算法（ online learning）和批处理算法（ batch model）。 前者在每接收一个新样本时更新网络权值，而后者的每次更新需要一批数据参与运算。 在线学习是一种自适应学习，具有实时处理的特点；批处理学习需要对过去的数据重复利用，因此存储容量要求较大，但其显著特点是具有比在线学习更快的收敛速度。 因此 ICA 算法的性能是目标函数的选择同优化算法的选择之间的结合和妥协。 下面给出按照不同的目标函数所相应的分离准则给出不同的 ICA 算法。 目前的算法中基于独立性测度的目标函数主要有这么 几种代价函数： 1. 基于非高斯性度量的代价函数。 武汉理工大学《 信息处理课群综合训练与设计 》课程设计说明书 10 2. 基于互信息量最小化的代价函数。 3. 基于极大似然的代价函数。 基于非高斯性的最大化 非高斯性是独立性的度量之一，非高斯性越强则说明越独立。 非高斯性可用峭度或负熵测量。 如果我们分析出所分离出的信号 Y 的各个分量是原始信号 S的估计的话，那么负熵和1 ( ( ))ini J p y应该具有最大值，这是因为各个原始分量具有最大的非高斯性，即它们的累加也是应该最大，这也被称为负熵最大化（ Negentropy Max,NM）估计原理。 可以得出，分离信号 Y 各个分量的负熵和为： 11( ( ) ) ( ( ) ( ) ) ( )innG i iiiJ p y H y H y C o n s t I Y    （式 15） 其中 Const 为常量，是不依赖于 W 的。 这样就可以得到基于负熵最大化的分离矩阵的目标函数： 39。 11 1 2( ( ) ) ( , , ) ()()()ni TTinJ p y I y y K y pYWXW W p Y     （式 16） 实际中负熵计算比较困难，常用高阶积累量近似。 基于互信息的最小化 互信息 ()IY 越小， Y 的各分量之间越独立。 基于互信息最小化（ Minimum Mutual Information,MMI）的目标函数为： 1( ) ( ) ( ) ( ) l o g d e tniiL W I Y H y H X W   （式 17） MMI 的基本思想是根据式 17 所示的目标函数，对观测信号 X 求分离矩阵W，使得恢复信号 Y 各分量之间的互信息最小。 我们可以得到分离矩阵 W 的优化算法： () TW I f y y W  （式 18） 武汉理工大学《 信息处理课群综合训练与设计 》课程设计说明书 11 基于互信息的最小化 设源信号 S 的概率密度函数为1( ) ( )ns i iip S p s，可以得出： 1ˆ ( ) d e t ( ) |nx i i S W Xip X W p s  （式 19） 因此如果能求得一个 ˆW ，使得 ( , )l XW 对于 X 的集合平均值达到最大值，则ˆW 即是所需要的解，这就称为 ML 原理。 算法 FastICA 算法，又称固定点 (FixedPoint)算法，是由芬兰赫尔辛基大学Hyv228。 rinen 等人提出来的。 是一种快速寻优迭代算法，与普通的神经网络算法不同的是这种算法采用了批处理的方式，即在每一步迭代中有大量的样本数据参与运算。 但是从分布式并行处理的观点看该算法仍可称之为是一种神经网络算法。 FastICA 算法有基于峭度、基于似然最大、基于负熵最大等形式，这里，我们介绍基于负熵最大的 FastICA 算法。 它以负熵最大作为一个搜寻方向，可以实现顺序地提取独立源，充分体现了投影追踪（ Projection Pursuit）这种传统线性变换的思想。 此外，该算法采用了定点迭代的优化算法，使得收敛更加快速、稳健。 FastICA 算法有不同的目标函数形式，包括基于非高斯性的最大化、基于最大似然等。 这里主要介绍基于非高斯性最大化中用峭度和负熵表示的方法。 由于负熵难以计算，可以采用如下近似方法：      2( ( ) ) G aussJ p y E g Y E g Y      （式 20） 其中， GaussY 是一与 Y 具有相同方差的高斯随机变量，根据信息论可知在具有相同方差的随机变量中，高斯分布的随机变量具有最大的微分熵。 E 为均值运算； g 为非线性函数，可取   )tanh( 11 yayg  ，或    2/ex p 22 yyyg  或  33 yyg  等非线性函数，这里， 21 1 a ，通常我们取 11a。 快速 ICA 学习规则是找一个 方向以便  XWYXW TT  具有最大的非高斯性。 这里，非高斯性用式 20 给出的负熵 ()TJW X 的近似值来度量 ,目标是通过优化算武汉理工大学《 信息处理课群综合训练与设计 》课程设计说明书 12 法使 TWX的负熵最大化。 FastICA 算法的推导就不详细给出了，其分离矩阵迭代公式为：      39。 TTW E X g W X E g W X W （式 21） /W W W （式 22） 总结上述基于负熵最大化的 FastICA 算法的基本步骤如下： 1. 对观测数据 X 进行中心化，使它的均值为 0； 2. 对数据进行白化， XZ ； 3. 选择一个初始权矢量（随机的） W； 4. 令      39。 TTW E。