智能视频监控中目标跟踪算法研究及应用毕业论文设计(编辑修改稿)

智能视频监控中目标跟踪算法研究及应用毕业论文设计(编辑修改稿)内容摘要：

淮南师范学院本科毕业论文 9 这意味着像素的偏移量可以达到 15 层。 这就是我们能够使用较小的积分窗口来计算较大的像素运动矢量的原因。 迭代的光流法计算过程 现在介绍一下光流法计算的详细过程。 在金字塔图像的每个层次 L，找到偏移向量 Ld 实际上就是找到使得残差函数 L 最小的 d。 因为这个计算步骤对各个层次都是一样的，现在我们丢掉上标 L，且定义新图像 A、 B 如下所示： ( , ) ( , ) ( , ) [ 1 , 1 ] [ 1 , 1 ]L x x x x y y y yA x y I x y x y p p p p              （ 29） ( , ) ( , ) ( , ) [ , ] [ , ]L L Lx y x x x x y y y yB x y J x g y g x y p p p p             （ 210） 注意到 A(x,y)和 B(x,y)的定义域稍微有些差异。 实际上， A(x,y)是在窗口大小为xy(2 +3) (2 +3) 的范围内定义的，而不是 xy(2 +1) (2 +1)。 在后面运用中心差分算子计算 A(x,y)的导数时，这个差异将变得更加明显。 为了说明的清晰起见，我们改变运动向量的表示方法，新的表示方式为 _ [ , ]Txy   ,而图像位置新的表示方式为[ , ]Txyp p p。 依据新的表达方式，我们的目的是找到一个偏移向量 _ [ , ]Txy   ，它使得下面的残差函数取得最小值 ： _ 2( ) ( , ) ( ( , ) ( , ) )yyxxx x y yppx y x yx p y p A x y B x y              （ 211） 对这个式子可以采用标准的 光流法处理。 为了优化这个问题，  对 _ 的一阶导数为零 ： __() [0,0]  （ 212） 通过将这个式子展开以后，我们得到 ： __() 2 ( ( , ) ( , ) ) [ ]yyxxx x y yppxyx p y pBBA x y B x y xy              （ 213） 我们把 ( , )xyB x y用它在点 _ [0,0]T 的一阶泰勒展开式来代替 (因为采用了金字塔图像的方法，每层的运动偏移量比较小，因而采用一阶泰勒展开是一个很好的解决方案 )： _ __() 2 ( ( , ) ( , ) [ ] ) [ ]yyxxx x y yppx p y pB B B BA x y B x y x y x y                   （ 214） 注意到 A(x,y)B(x,y)可以看作是在点 [ , ]Txy 的一个导数，所以 ： 智能视频监控中目标跟踪算法研究及应用 10 10 ( , ) ( , ) ( , ) ( , ) [ , ] [ , ]x x x x y y y yI x y A x y B x y x y p p p p             （ 215） 矩阵 []BBxy仅仅是一个梯度向量，我们在这里对表示方法作一个小小的改 变： []x TyI BBI I xy      （ 216） 注意到图像的梯度 xI 和 yI 可以不必考虑第二幅图像 B，而只需根据图像在点 P 的邻域 xy(2 +1) (2 +1) 的信息求得 (在迭代法求光流的过程中，这一点的重要性是很明显的 )。 如果我们使用了差分近似微分算子，这两幅图像的导数的形式如下所示： ( , ) ( 1 , ) ( 1 , )( , )2( , ) ( , 1 ) ( , 1 )( , )2( , ) [ , ] [ , ]xyx x x x y y y yA x y A x y A x yI x yxA x y A x y A x yI x yyx y p p p p                    （ 217） 实际上，根据上面的记号方式，我们得到： _ __1 ( ) ()2 yyxxx x y ypp TTx p y pI I I          （ 218） _ 2 __ 21 ( )2yyxxx x y yT pp x x y xx p y p yx y yI I I IIIII I I         （ 219） 其中： 22yyxxx x y ypp x x yx p y p x y yI I IGI I I     （ 220） yyxxx x y ypp xx p y p yIIb II     （ 221） 这样，计算公式可以简写为： _ ___1 ( )2TGb  （ 222） 这样，简化后得到所求的光流向量为： _1opt Gb  （ 223） 金字塔图像的 Lucas Kanade 特征点跟踪算法总结 淮南师范学院本科毕业论文 11 图 为 LucasKanade 光流跟踪流程图；下列各式子的详细定义可以在前面几节中找到。 LucasKanade 光流跟踪的目标是：已知图像 I 中的点 u 在图像 J 中找到与之相对应的点 v。 B e g i n图 像 金 字 塔 表 示 初 始 化L u c a s K a n a d e 光 流空 间 梯 度 矩 阵 GL K 迭 代 初 始 化 迭 代 次 数 K （ 从 1 开 始 ）下 次 迭 代 条 件图 像 错 配 向 量LLIJ、[ 0 , 0 ]LTg  L0?迭 代 结 束。 _kb_1kkGbK 223。 K + 1 第 L 层 的 光 流第 L 1 层 假 设12 ( )L L Lg g dL 223。 L 1v = u + dE n d00d g dNY Y N0[ 0 , 0 ]Tv 1k k kvv kLdv 图 LucasKanade 光流跟踪流程图 特征点选取 在上面，我们已经总结了整个跟踪流程，即通过光流法找到图像 I 中的点 u 在图像 J 中的对应点 v；然而，我们还没有给出如何求取图像 I 中的特征点 u。 实际上，跟智能视频监控中目标跟踪算法研究及应用 12 12 踪的关键步骤是如何求取光流向量 k （详见上述的跟踪流程），在这一步中， G 矩阵必须是可逆的，或换句话说， G 的最小特征值必须够大（大于某一阈值）。 这个像素点的特征才容易被跟踪。 因此，特征点的选取过程如下所示： 1） 在图像 I 中的每个像素点计算矩阵 G 的最小特征值 m ； 2） 在整个图像 I 中，求出 m 的最大值 max ； 3） 保留图像中特 征值 m 大于最大特征值 max 的 10%或 5%的像素点； 4） 从这些像素点中保留局部特征值最大的像素点（如果一个像素点的特征值 m大于 33 领域内的其他像素点的特征值，则这个像素点被保留）； 5） 保留下来的这些像素子集中的任何两个像素点之间的距离必须大于给定的阈值（比如 5 或 10 个像素）。 经过上述处理过程，被保留下来的像素点是比较容易跟踪的特征点。 实验结果与分析 实验过程分三个模块 ：视频读入、目标检测模块和光流跟踪模块；首先，读入视频图像；然后，采用目标检测模块来进行目标检测，通过目标检测得到目标的质心位置；最后，将目标质心当作光流跟踪的特征点，采用 LucasKanade 光流跟踪算法，进行目标跟踪。 在 VC++ 环境下对采集的视频做了 LucasKanade 光流跟踪实验，该视频图像大小为 3202帧率为 15 帧 /秒、 RGB24 真彩色图像。 实验中采用的参数是：积分窗口为 1111（即公式（ 21）中的 x 、 y 均采用 5 个像素），金字塔层数 L 为 3，迭代次数 K 为 20 次。 第 11 帧 第 43 帧 第 68 帧 第 78 帧 第 93 帧 第 107 帧 图 Lucas Kanade 光流法跟踪结果 淮南师范学院本科毕业论文 13 图 为 Lucas Kanade 光流法跟踪结果。 图中绿色的 “1”和蓝色的 “2”为目标的 ID，同一个目标标注了同一 ID，红色的方框为跟踪框，红色 “+”为光流预测的目标质心。 从图中可以看出：目标 1 和目标 2 在第 68 帧之前，跟踪效果比较理想；目标 1 的跟踪框在第 78 帧之后开始偏离目标，到达第 93 帧时，由于目标模糊不清、并且与背景较为相似，所以跟踪框偏离加大，并停止跟踪；但由于目标 2 比较清晰，故始终能稳定跟踪。 通过大量实验发现， Lucas Kanade 光流跟踪要求图像质量比较高，图像纹理丰富，对质量较差的图像跟踪效果并不理想，主要表现在以下几点： 1)不容易选定 一个固定的邻域大小，使其适合不同的视频段和不同的特征点； 2)容易出现特征点跟踪不稳定的情况； 3)某些点处的矩阵 G 病态或者不可逆，此时方程的解不可靠从而发生跟踪漂移现象； 4)光流跟踪依靠的是特征点的局部信息，每个点都是独立跟踪的结果，其跟踪结果并不稳定。