天清汉马usg防火墙技术白皮书_v40

天清汉马usg防火墙技术白皮书_v40内容摘要：

高精度应用层协议分析 协议分析是深度检测必不可少的环节，它可以减少特征匹配的计算量，提高匹配精度。 但是深度的协议分析本身也需要相当大的计算量，如何既保证特征匹配和文件还原所需的分析精确度，又不占用过多的资源，是高速环境下必须面对的课题。 我们将主要通过以下两方面来解决这一问题， 1) 基于攻击研究和特征知识库选择分析深度。 协议分析不需要的无限制的精细，否则入侵防御系统将变成一个低效的应用代理系统，协议分析应该建立在对网络攻击 研究的基础上，对特征知识库中需要的协议信息进行分析，这点的实现关键集中在攻击研究上，软件实现中可通过编译时的条件控制和运行时对特征库进行扫描设置相应开关完成； 2) 高效协议自识别算法。 对于非周知端口的通信，需要通过内容识别其所属的协议类型。 这一内容识别的过程类似于攻击检测的特征识别过程，可以通过多阶段分析和匹配算法的选择降低计算开销。 天清汉马 USG 防火墙 技术白皮书 北京启明星辰信息 安全 技术有限公司 第 14 页  多模匹配算法选择 由于在一个报文的匹配中，最为耗时的匹配运算是在报文中匹配多个串模式。 过去的几十年中学术界提出了若干的多模匹配算法，并且在工业界得到了很好的应用，比如 AC 算法、 WM 算法在软件检测系统中证明了其优秀的性能。 在以往的多模匹配算法通常是在理论分析的基础上，在 IA32 架构和随机数据源上进行实验选择，且算法一经确定就固化在软件中。 实际这样得出的算法不能保证在所有的处理器架构和数据源条件下都保证是已知算法中最优的。 现在在学术界存在多种多串并行匹配的算法，在商业产品中应用较多有AhoCorasick、 WuManber 和 ExB 算法或它们的变种。 根据研究发现，所有这些算法的性能分析全部是基于理想的存储模型，忽略访存的性能开销。 由于存储器速度远低于处理器速度，两者相差一个数量级 以上，为避免存储器效能低造成系统整体的效能低下，绝大多数系统采用多级存储结构，增加少量的高速缓存隐藏存储器的性能瓶颈。 但是在多串匹配算法中，数据结构非常庞大，并且匹配过程中不断在非连续的地址间跳转，此时高速缓存的命中率大幅下降，不考虑访存开销显然已不能反映各算法在实际应用中的效能。 实际上不存在一种普适的算法能够在各种情况下都有最佳表现，同样的算法可能在不同的数据源、特征集、处理器结构上性能相差甚远。 我们将结合具体的硬件（处理器）架构和匹配规则的分布类型，将其抽象为与匹配算法效能相关的若干关键参数，计算出当 前适用的最优算法。 具体采用动态和静态两种方式实现自适应选择。 如下图， 天清汉马 USG 防火墙 技术白皮书 北京启明星辰信息 安全 技术有限公司 第 15 页 算法统一调用模块静态特征统计模块静态算法选择决策模块 算法调度模块ACBMACBM改进 1ACBM改进 2WMWM改进 1匹配算法库模块自适应配置文件反馈事件队列静态自适应模块动态自适应模块匹配文本规则树配置动态算法选择决策模块动态特征统计模块匹配结果配置管理层面 控制层面 服务层面 图 5. 自适应示意图 静态自适应在系统初始化时进行，统计各协议变量特征及相关匹配模式特征，结合备选多模式匹配算法的性能特征，为规则匹配树节点选择最优的多模式匹配算法。 控制参数包括处理器类型、主频、 Cache Line 长度、 L2Cache 容量、存储器时延、最短模式长度、次短模式长度、模式数量、模式字符集大小、同前缀模式数量等等。 动态自适应在系统运行过程中采样统计影响算法效率的网络数据，如果统 计值显示当前网络数据趋势稳定，则进行动态算法选择，确定是否有大幅超过当前算法效率的算法模块存在，并进行调用。  最优规则树 特征匹配的过程不仅包括串匹配，还有对诸如地址、端口、协议类型等等许多协议字段的匹配。 为了方便，我们将多个协议字段构成的模式称为多数据类型模式，与上面提到的串模式进行区分，串模式可以认为是多数据类型模式的一个子集。 在以往的工作中，我们受 AC 算法的启发，将其扩展到多数据类型模式匹配，即将多个模式中的相同协议字段归并，构建一个或多个树型模式结构，达到一次匹配多个模式的目的。 与串匹配不同的是， 多数据类型模式中，每种数据类型的单次匹配开销是不同的，在实际运行中的命中几率也是不同的。 同样是树型数据结构，其最佳效率和最差效率相差可能在一个数量级以上，如果能将低命中率、低匹配开销的工作尽可能提前，将会接近最佳的匹配效率。 天清汉马 USG 防火墙 技术白皮书 北京启明星辰信息 安全 技术有限公司 第 16 页 智能内容过滤技术 内容分析子系统要充分发挥当前处理器所具备的多核能力。 一个大的原则就是数据交换过程中尽量避免核间和核内的临界锁以及字符串拷贝，所以数据的生产者和消费者应该使用一个大的缓冲区来交换数据。 传统的做法就是把这个缓冲区变成一个环形队列，捕包程序和协议栈程序分别持有一个写指针和读 指针，只要两个指针不互相超越就可以。 在协议栈单线程的情况下这种方法没有问题，但是在多核以及 SMP 情况下，为了充分发挥硬件的计算能力，必须把内容分析过滤子系统多线程化（并行化）。 但是上述数据交换方式在内容分析多线程的情况下就出现了问题。 当协议栈多线程的时候，必须使用专门的线程实现捕包程序捕获的数据包的分发，也就是把数据包分发到相应的线程进行处理。 这样问题也就出现了：那个环形缓冲区的读指针不再正确。 这是因为，为了避免拷贝操作，分发线程并没有将捕包程序捕获的数据进行拷贝以后再分发，而是直接对其指针进行操作，在这 种情况下，分发程序是不知道协议栈什么时候能够分析完成并释放缓冲区的，因而分发程序不可以直接简单增加环形队列的读指针来申明当前缓冲区以消费完成，可以写入新的数据。 又由于协议栈分析时多线程同时进行，没有办法确定每一数据包分析完成的时间，这样很难确定环形缓冲区的读指针了。 为此，天清汉马 USG 防火墙 采用了如下的解决方法：依然遵循数据交换的大原则，依然采用大的缓冲区来交换数据，但是对缓冲区的形式作一个变换。 最初定义的是直接在缓冲区上定义读写指针将缓冲区当成环形队列使用，现在不同是缓冲区不再是一个环形队列，而被分成了 独立的两部分：空闲缓冲区队列和已使用缓冲区队列。 注意这里提到的两个缓冲区不是具体的数据缓冲区，而是保存数据缓冲区数据单元指针的指针列表。 捕包程序在捕获一个数据包之前，从空闲缓冲区队列的头部取下一个空的存储单元（为了提高访问速度，采用内存边界对齐的数据单元，比如说 2k 字节一个单元），将从网卡读入的数据拷贝到这个缓冲区以后，捕包程序将这个缓冲单元挂到已使用缓冲队列的尾部。 分析线程在从缓冲区取数据的时候从已使用缓冲队列的头部取下一个数据单元进行消费，消费完成以后直接将这个数据单元挂到待发送缓冲区队列就可以了，这 样既避免的锁定，也避免了内存拷贝。 而且可以天清汉马 USG 防火墙 技术白皮书 北京启明星辰信息 安全 技术有限公司 第 17 页 充分利用缓冲区的空间。 上述过程构成了本方案的多目标分发机制。 基于多目标分发的多线程连接级并行的内容分析子系统本质上是同时运行多个逻辑上独立的并行内容分析协议栈，结构框如图示。 存储单元存储单元...存储单元数据捕获系统从空闲队列中取空闲存储单元填充数据以后挂到数据队列上数据分发线程从数据队列中取数据单元数据发送线程将待发送数据发送后数据单元返回给空闲队列内容还原与分析处理线程内容还原与分析处理线程空闲存储单元队列使用存储单元队列索引单元索引单元„索引单元索引单元索引单元„索引单元存储单元 图 6. 并行内容分析协议栈 并行协议栈通过一个数据分发器将捕包系统捕获的网络数据包按照 IP 包首的源地址和目的地址对分发到相应的线程进行处理，并通过一个发送单元收集器完成数据单元的发送，数据发送完毕以后将发送单元占用的数据单元返回给空闲存储单元 队列供数据捕获系统使用，让捕包系统重复利用这些单元，实现捕包到分析的零拷贝过程。 每一个内容分析线程均有一个私有的协议栈状态表和两个数据队列索引，其中协议栈状态表是协议栈在进行 IP 协议、 TCP 协议已经上层应用协议还原的时候用来保存上下文信息和暂存数据使用，而两个数据队列索引则分别用来存储待分析的数据块和已分析块。 这样，任何一个协议栈线程在进行数据操作的时候都不会和其他协议栈线程共享数据块，避免协分析线程间的临界锁，提供整个系统的计算吞吐量。 此处的多目标分发机制具有如下特点：  实现了内容分析子模块从数据分析 过滤的零拷贝过程 天清汉马 USG 防火墙 技术白皮书 北京启明星辰信息 安全 技术有限公司 第 18 页  避免了核间和核内的临界锁，极大的提高了内容分析子系统的计算资源利用率 数据监控 NetFlow技术 在对网络数据进行分析统计方面， NetFlow 是一项关键技术，它能根据客户的要求总结流量统计数据，而这些数据对网络安全的管理、规划是非常有用的。 它的价值在于：  无需探针（ probe）就能进行 IP 流量的流分析，而且对设备的性能影响很小；  提供极为丰富和宝贵的数据，这些数据可用于网络安全的管理和规划；  将网络中的数据包识别为网络流的形式，从而无需再单独处理每个数据包，仅仅处理网络流中的第一个包即可。 后面的包都作为该网络流的一部分。 这种流线型的包处理方式提高了网络服务的能力。 NetFlow 系统由流采集器、流收集器、 NetFlow 数据分析器三个部分组成，由于流采集器仅仅采集 IP 数据流的统计信息，更深入的分析由 NetFlow 数据分析器来完成，所以在网络上启用流采集功能后，对设备转发数据包的性能影响不大，在网络流量较大时，流采集器也能正常工作。 例如启明星辰的天清汉马 USG防火墙 支持流采集器的功能，而安全管理平台则集成了流收集器和 NetFlow 数据分析器的功能，因此，利用启明星辰的天清汉马 USG 防火墙 和安全管 理平台，就能构建一个完整的 NetFlow 系统（以下简称 “启明星辰 NetFlow 系统 ”）。 天清汉马 USG 防火墙 输出报文主要由两部分组成：报头和 Flowset。 Flowset是输出报文中紧随报头的部分，包含着收集器必须解析和翻译的信息。 Flowset有两种类型：模版 Flowset 和数据 Flowset。 模版 Flowset 描述了数据 Flowset 中使用的字段。 每个数据 Flowset 则包含了一个或多个流的统计数据。 当一个NetFlow 收集器接收到一个模版 Flowset，它会存储这个 Flowset 和输出源地址，这样 当它收到后继的数据 Flowset 时，如果数据 Flowset 对应于此模版 Flowset ID和源地址，那么它就能根据此模版 Flowset 定义的字段解析出这些数据。 天清汉马 USG 防火墙 技术白皮书 北京启明星辰信息 安全 技术有限公司 第 19 页 图 7. 数据字段分析图 上图最左边是输出报文的结构框架，右边则详细描述了各部分的内容（通过不同颜色来标识）。 不难看出， NetFlow 输出报文中包含许多有价值的流量统计数据，这些流信息充分揭示了有关网络使用的 “4W”问题： Which：哪一个用户（ IP）使用了网络。 What：网络流量的类型是什么。 When：在什么时间使用网络，使用了多长时间。 Where：网络流量流向何处。 利用 NetFlow 数据分析器对这些数据进行统计分析，就能从中提取出网络流量特征，从而为网络管理员提供一张丰富而详尽的网络利用视图 ，为做网络安全管理与规划提供了事实依据。 非法连接过滤技术 将系统获取的网络数据按标准的以太数据结构、 IP 数据结构、 TCP/UDP 数据结构，并进行 TCP 的会话查找，每条会话相对应源和目的 MAC 地址、源和目天清汉马 USG 防火墙 技术白皮书 北京启明星辰信息 安全 技术有限公司 第 20 页 的 IP 地址、源和目的端口地址、连接次数等。 将上述所获的网络连接信息放入网络连接知识库中，该缓冲区按照索引标识、源和目的地址进行合并存放，即相同的源和目的地址将该连接的发生次数进行累计计算。 当某一连接被释放 ， 主动要求释放连接的一端发送 TCP FIN 数据包 ， 监视整个连接的释放过程 ， 如释放正常完成 ， 在知识库中 找到相对应的 TCP 会话 ，将连接发生的次数减 1。 这样可以始终保证知识库中存放的是发生频率最高的连接。 该算法会以 1 秒钟为单位时间 ， 进行流量的统计 ， 如果上 1 秒钟的流量大于事先约定的阀值 ， 那么立即进入流量识别模式 ， 如果连接请求可以在知识库搜索到 ， 则直接放行 ， 并记录放行的数据包数 ， 否则以上 1 秒钟的流量作为样本 ， 计算放行的概率。 作为拒绝服务攻击的主要手段 SYN Flood 攻击效果尤为显著 ， 通常 SYN Flood 的防范方式为应用 SYN Cookie 机制。 它的原理是 :在 TCP 服务器收到 TCP SYN 包时 ， 不分配一个专门 的数据区，而是根据这个 SYN。