视频序列中运动目标跟踪方法的研究毕业论文(编辑修改稿)

视频序列中运动目标跟踪方法的研究毕业论文(编辑修改稿)内容摘要：

d。 这样我们就必须兼顾准确度和鲁棒性 来选择积分窗口。 为了更好的解决这个问题，采用了基于金字塔 图像的 光流跟踪 方 法。 这个方法对局部跟踪的准确性提出了一个很好的解决方案。 (1)、 金字塔图像表示 描述一个 xynn 的图像 I，令 0II 表示第 0 层图像（原始图像），那么金字塔图像表示是以一种回归形式而建立的：根据 0I 计算 1I ， 1I 计算 2I ， 2I 计算 3I ，以此类推；令 L=1,2,… 表示一系列金字塔图像层次 ，图像 LI 的大小为： xynnLL( /2 ) ( /2 )，图像 LI 通过对图像 1LI 隔行隔列采样得到。 采用金 字塔图像表示方法的主要目的是处理大矢量的运动问题 (处理大于积分窗的目标运动的问题 )。 因此应当用图像中最大期望的光流来恰当的确定金字塔图像的高 度。 在大多数的情况下，超过 4 的金字塔图像层次没有太大的意义。 (2)、 基于金字塔的图像跟踪 回到前面说的跟踪问题 :对于图像 I 中的一个给定的点 u，找到它在图像 J 中对应的位置 v=u+d，或者找到目标运动的矢量 d。 对于 0,1,..., mLL ， 定义 [ , ]L L Lxyu u u 是点 u 在金字塔图像 LI 中的映射。 根据前面关于金字塔图像定义 的描述，则向量 Lu 的计算公式如下： ( 0 ,1, ..., )2L mLuu L L （ 22） 等式（ 22） 中的除法 是 对两个坐标分别进行 的。 基于金字塔图像 Lucas Kanade 光流法跟踪的处理过程如下： 首先在最深的一个层次视频序列中运动目标跟踪方法的研究 8 Lm 计算光流，然后，这个计算结果转递到 Lm1 层；根据最初的假定，在 Lm1 层计算出新的光流并把它转到 Lm2 层，这样一直操作直到回到第 0 层（原始图像）。 现在让我们用数学公式详细的介绍一下从第 L+1 层到第 L 层的递归过程。 假定在第 L 层有对被跟踪目标的位置有个大致估计，而从最高层 Lm 到第 L+1 层传递过来的运动矢量是 [ , ]L L L Txyg g g。 这样，为了计算出在第 L 层的光流，需要找到一个使得下面的残差函数 : 2( ) ( , ) ( ( , ) ( , ) )LL yx yxLL xyxyuuL L L L L L L L L L Lx y x x y yx u y ud d d I x y J x g d y g d          （ 23） 达到最小的偏移向量 : [ , ]L L L Txyd d d （ 24） 注意到，在第 L 层的积分窗口的大小是保持恒定的尺寸的，即 : xy(2 +1) (2 +1) 在第二幅图像中 ,用 这里得到的最初估计 Lg 作 预平移。 这样，求得的残余流向量[ , ]L L L Txyd d d 就足够小，因此能够通过标准的光流法来求出这个运动矢量。 计算残余光流的细节将在下一节介绍。 现在，我们假定这个向量已经计算 出来 (为了说明算法的完整性 )。 然后，这个计算过程的结果就传送到第 L1 层，传递的向量是 : 1 2( )L L Lg g d  （ 25） 下一层次的残余光流 1Ld ， 也 可以通过同样的步骤计算出来。 这个通过光流法计算出来的 这个 向量，使得下列残差函数 11()LLd 达到最小值。 将此 计算过程一直继续，直到算到最底层 (L=0)。 此 算法的初始化过程是通过设定最高层 ( mL )的初始运动估计为零开始的 : [0,0]mL Tg  （ 26） 最终的光流 d 通过对最底层 (原始图像 )作光流法计算得到偏移量，这个偏移量的大小是 : 00d g d （ 27） 注意到这个偏移量也可以用下列的式子来表示： 0 2mL LLLdd （ 28） 视频序列中运动目标跟踪方法的研究 9 使用金字塔图像计算光流的一个明显的好处是，对于一个有着较大的像素偏移的矢量 d，可以通过计算几个比较小的残余光流来得到。 注意到每个层次基本的光流法可以搜索得到的运动矢量达到 maxd ，这样运用金字塔图像的方 法最多能够处理的运动矢量范围达到 1m ax (2 1)mLfinald 。 例如，如果金字塔图像的层次有 3 层的话 ( 3mL )，这意味着像素的偏移量可以达到 15 层。 这就是我们 能够使用较小的积分窗口来计算较大的像素运动矢量的原因。 迭代的光流法计算过程 现在介绍一下光流法计算的详细过程。 在金字塔图像的每个层次 L，找到偏移向量Ld 实际上就是找到使得残差函数 L 最小的 d。 因为这个计算步骤对各个层次都是一样的，现在我们丢掉上标 L，且定义新图像 A、 B 如下所示 : ( , ) ( , ) ( , ) [ 1 , 1 ] [ 1 , 1 ]L x x x x y y y yA x y I x y x y p p p p               （ 29）( , ) ( , ) ( , ) [ , ] [ , ]L L Lx y x x x x y y y yB x y J x g y g x y p p p p             （ 210） 注意到 A(x,y)和 B(x,y)的定义域稍微有些差异。 实际上， A(x,y)是在窗口大小为xy(2 +3) (2 +3) 的范围内定义的，而不是 xy(2 +1) (2 +1)。 在后面运用中心差分算子计算 A(x,y)的导数时，这 个差异将变得更加明显。 为了说明的清晰起见，我们改变运动向量的表示方法，新的表示方式 为 _ [ , ]Txy   ,而图像位置新的表示方式为[ , ]Txyp p p。 依据新的表达方式，我们的目的是找到一个偏移向量 _ [ , ]Txy   ，它使得下面的残差函数取得最小值 : _ 2( ) ( , ) ( ( , ) ( , ) )yyxxx x y yppx y x yx p y p A x y B x y              （ 211） 对这个式子可以采用标准的光流法处理。 为了优化这个问题，  对 _ 的一阶导数为零 : __() [0,0]  （ 212） 通过将这个式子展开以后，我们得到 : 视频序列中运动目标跟踪方法的研究 10 __() 2 ( ( , ) ( , ) ) [ ]yyxxx x y yppxyx p y pBBA x y B x y xy              （ 213） 我们把 ( , )xyB x y用它在点 _ [0,0]T 的一阶泰勒展开式来代替 (因为采用了金字塔图像的方法，每层的运动偏移量比较小，因而采用一阶泰勒展开是一个很好的解决方案 ): _ __() 2 ( ( , ) ( , ) [ ] ) [ ]yyxxx x y yppx p y pB B B BA x y B x y x y x y                   （ 214） 注意到 A(x,y)B(x,y)可以看作是在点 [ , ]Txy 的一个导数，所以 : ( , ) ( , ) ( , ) ( , ) [ , ] [ , ]x x x x y y y yI x y A x y B x y x y p p p p             （ 215） 矩阵 []BBxy仅仅是一个梯度向量，我们在这里对表示方法作一个小小的改 变： []x TyI BBI I xy      （ 216） 注意到图像的梯度 xI 和 yI 可以不必考虑第二幅图像 B，而只需根据图像在点 P 的邻域 xy(2 +1) (2 +1) 的信息求得 (在迭代法求光流的过程中，这一点的重要性是很明 显的 )。 如果我们使用了差分近似微分算子，这两幅图像的导数的形式如 下所示 : ( , ) ( 1 , ) ( 1 , )( , )2( , ) ( , 1 ) ( , 1 )( , )2( , ) [ , ] [ , ]xyx x x x y y y yA x y A x y A x yI x yxA x y A x y A x yI x yyx y p p p p                    （ 217） 实际上，根据上面的记号方式，我们得到 : _ __1 ( ) ()2 yyxxx x y ypp TTx p y pI I I          （ 218） _ 2 __ 21 ( )2yyxxx x y yT pp x x y xx p y p yx y yI I I IIIII I I         （ 219） 其中： 视频序列中运动目标跟踪方法的研究 11 22yyxxx x y ypp x x yx p y p x y yI I IGI I I     （ 220） yyxxx x y ypp xx p y p yIIb II     （ 221） 这样，计算公式可以简写为 : _ ___1 ( )2TGb  （ 222） 这样，简化后得到所求的光流向量为 : _1opt Gb  （ 223） 金字塔图像的 Lucas Kanade 特征点跟踪算法总结 图 为 LucasKanade 光流跟踪流程图；下列各式子的详细定义可以在前面几节中找到。 LucasKanade 光流跟踪的目标是：已知图像 I 中的点 u 在图像 J 中找到与之相对应的点 v。 视频序列中运动目标跟踪方法的研究 12 B e g i n图 像 金 字 塔 表 示 初 始 化L u c a s K a n a d e 光 流空 间 梯 度 矩 阵 GL K 迭 代 初 始 化 迭 代 次 数 K （ 从 1 开 始 ）下 次 迭 代 条 件图 像 错 配 向 量LLIJ、[ 0 , 0 ]LTg  L0?迭 代 结 束。 _kb_1kkGbK 223。 K + 1 第 L 层 的 光 流第 L 1 层 假 设12 ( )L L Lg g dL 223。 L 1v = u + dE n d00d g dNY Y N0[ 0 , 0 ]Tv 1k k kvv kLdv 图 LucasKanade 光流跟踪流程。