综合网络数据采集平台技术方案v1

综合网络数据采集平台技术方案v1内容摘要：

在弹出的确认框中点击确定按钮，即可完成同步操作。 示意图如下： 同步操作 COUNTER 算法编辑： 支持算法的新增、修改、删除、同步 查看操作， 页面分 指标分组、分组预处理、指标算法三 个标签页。 示意图如下： 右键菜单算法编辑 算法编辑弹出页面 新增： 支持对算法的新增操作。 修改： 支持对算法的修改操作。 删除： 支持对算法的删除操作。 同步： 支持对算法的同步操作 备份和还原 支持指标算法备份和还原。 支持的粒度 分 KPI和 COUNTER。 备份： 支持对算法的备份操作。 点击备份按钮，页面弹出输入框 ，输入备份描述，点击确定按钮，实现备份操作。 示意图如下： 弹出算法备份窗口 还原： 支持对算法的还原操作，能够还原备份人在某时间节点备份的信息。 点击还原按钮，页面弹出输入框，页面如下图所示，输入备份人 id 和备份时间后点击确定按钮，会弹出该用户在这个时间点上所备份的信息，点击右下角的“确认还原”按钮，系统提示是否确定要还原，点击确定后，即可实现还原操作。 示意图如下： 弹出还原操作窗口 选择要还原的信息 历史算法查询 支持指标算法修改历史查询，可以查询算法的修改人、修改时间、原算法信息。 历史算法查询： 在指标算法管理菜单下选择“算法历史查询”子菜单，进入 “算法修改记录“查询页面，可通过用户、专业、层次、厂家、版本、表、开始时间、结束时间的组合条件来进行算法的历史记录查询， 填写所需要查询的条件后点击查询按钮， 查询结果分为 指标分组、分组预处理和指标算法三个标签页显示算法修改记录， 记录每次变更的变更时间、变更人、变更操作等信息。 算法历史查询 指标分析 . 影响分析 支持指标影响分析，通过图像方式形象化展现 影响分析： 对于 图标标注的正式字段且有算法的指标，可以进行影响分析，影响分析图显示某 counter 发生变化时会影响到那些 KPI 指标。 示意图如下： 右键菜单影响分析 影响分析图 . 血统分析 支持指标血统 分析，通过图像方式形象化展现。 血统分析： 对于 图标标注的正式字段且有算法的指标，可进行血统分析，血统分析图显示 从 counter 到 kpi 指标的计算过程。 示意图如下： 右键菜单血统分析 血统分析图 . 关联分析 支持指标关联分析，从指标到 counter 再到指标的分析。 算法版本差异分析 支持分析指标版本间差异，并可以把一个版本的算法更新到另一个版本中。 按照专业类型、层次标识、厂家、一个版本、另一个版本、表进行版本见的差异分析，可比较同一厂家不同版本之间任意一组 指标算法 之间的属性值差异，比较结果分为指标分组、分组预处理、分组后处理、公共算法、指标算法五 个 标签页 来显示 ，其中指标分组、分组预处理、分组后处理、公共算法 页面 仅显示版本差异 ，指标算法页面 除显示版本差异外还支持对版本差异部分更新。 示意图如下： 版本比较弹出窗口 支持用不同的颜色显示不用的比较结果。 例 指标算法 差异页面 ，在比较结果列表中相邻两行比较的是不同版本之间指标算法同一属性之间的差异，无特殊颜色代表同一属性没有差异，粉色代表同一属性有差异，橙色代表一个版本有而另一个版本没有该属性。 示意图如下： 显示差异 粉色 显示差异 橙色 支持图形化方式查看指标算法。 点击算法编辑列的查看按钮 ，界面以图表形式展示指标算法 ，示意图如下： 粉色标注两个版本存在 差异 橙色标注一个版本有而另一个版本没有该属性 查看指标算法图 支持算法同步。 点击页面上的“同步”按钮实现算法的同步操作，执行同步操作时系统弹出对话框提示“请选择一个版本进行同步”，可选项为进行版本比较的两个版本，选择进行版本比较的两个版本之一后，系统提示该操作将同步的版本名表名，确定是否执行，点击“确定”按钮完成算法同步。 示意图如下： 同步 同步选择 点击同步按钮实现同步 同步确认 支持将同一属性的比较记录从某个版本中删除或插入到某个版本中。 选中一条记录，在该记录行上点击右键弹出菜单如下图所示，“从 xxx（版本）删除”操作将所选记录行从所属版本中删除，“插入到 xxx（版本）”操作将所选记录行插入到与之作比较的版本中。 示意图如下： 删除与插入操作 支持将同一属性的相邻两行记录更新至相应的版本中。 比较结果列表中相邻两行比较的是不同版本之间指标算法同一属性之间的差异，选中比较同一属性的相邻两行记录， 选择的先后顺序不同则被更新对象不同 ，后选择的作为将要更新到的版本，若先选择 版本 1再选择版本 2，在该记录行上点击右键弹出菜单为“更新至版本 2”，若先选择版本 2再选择版本 1，在该记录行上点击右键弹出菜单为“更新至版本 1”，示意图如下： 更新操作 更新操作 负载均衡管理 采集服务查询 支 持采集服务查询，可查询采集机详细信息，包括 启停标识、启停状态、启停时间。 查询时左侧采集机树图列出了当前监控的所有采集机， 在采集机树图中选择所要查询的采集机，则显示该采集机的详细信息，信息包括启停标识、启停状态、启停时间，其中启停标识以不同图标来标注不同状态， 代表启动正常， 代表启动异常。 每一个列项可以设定该列的排列顺序如升序、降序，另外系统为用户提供了自由设定列项的操作，用户可以通过选择需要显示的列，去除不关心的参数以保证只查看关心的参数。 示意图如下： 采集服务查询 采集机的服务情况 采集机设置 “采集机 设置”可以查看到采集机的基本信息，其中“是否启用”以不同图标来标注启用情况， 代表状态为“启用”， 代表状态为“停用”。 每一个列项把鼠标停留在上边都会出现一个 图标，可以设定该列的排列顺序如升序、降序，另外系统为用户提供了自由设定列项的操作，用户可以通过选择需要显示的列，去除不关心的参数以保证只查看关心的参数。 示意图如下： 采集机设置 . 信息编辑 支持 采集机名称、配置信息修改 ，采集机删除。 别名修改： 支持对采集机别名进行修改。 示意图如下： 别名修改 采集机别名修改对话框 采集机别名修改执行成功 采集机硬件数据修改 ： 支持对采集机的数据信息进行修改 ，可修改数据包含 CPU 总量、硬盘总量、内存总量、线程总数、采集能力、最大负荷数。 示意图如下： 采集机数据修改 采集机删除： 支持对采集机的删除。 示意图如下： 删除采集机 . 权重分配 根据设置的采集能力权重及允许最大负荷值，进行权重分配。 . 启停设置 设置采集 机是否启用。 若 采集机启用状态为 即“启用”，“启停”列显示停用按钮， 可对此采集机进行停用操作。 若 采集机启用状态为 即“停用”，“启停”列显示启用按钮， 可对此采集机 进行启动操作。 操作过程中提示用户是否确认执行该操作。 示意图如下： 停用按钮 确定停用采集机 启用按钮 确定启用采集机 采集机组设置 把几个采集机分为一组，某些任务在该组内的采集机间进行负载均衡。 采集机可按业务域进行分组，对于同一业务域内的采集机进行负载均衡任务分发，实现同一业务域内的各采集机之间任务的动态分配，保持各采集机负荷均衡。 支持对采集机组的查看、新建、修改、删除操作。 查看分组： 可以查看目前已经建立的所有负载分组，每个负载分组信息包含负载分组名称、包含的采集机、描述。 示意图如下： 查看分组 新建分组： 通过设置负载均衡分组配置信息 （负载 分组名称、描述、包含的采集机 ） 完成采集机组的新建。 点击“新建分组”按钮弹出对话框，填入新建负载均衡分组配置信息，包括负载分组名称、描述、包含的采集机，其中“包含的采集机”下拉框列出当前系统已启用的所有采集机，选中将要归属到该新建分组的采集机，单击确定按钮完成新建分组操作。 示意图如下： 新建分组 修改分组： 通过对负载分组的描述、包含的采集机 完成 采集机组的 修改。 选中要修改的负载分组左端的单选框，单击“修改分组”按钮，弹出对话框，可对负载分组的描述、包含的采集机进行修改，点击确定按钮即完成对该负载分组的修改。 示意图如下： 采集机组修改配置 删除分组： 支持对设置的采集机组的删除。 示意图如下： 删除分组 任务定向 设定某采集源的任务指定在某采集机上执行，在所有采集机上，采集机组内部进行均衡。 任务生成 根据策略按时生成任务。 任务合并 将 不同消费者对相同数据的订阅任务合并。 任务分发 根据采集机负荷、当前任务数、采集机权重等计算把任务发送某台采集机。 任务执行 根据任务信息，调用相应的适配器采集 counter 数据，数据采集后 调用 KPI计算。 数据检测 检测厂家设备数据准备情况，自动触发采集。 采集状态监控 . 负荷监控 实时监听采集机的负荷情况。 . 任务执行监控 监控任务执行过程，更新任务执行状态。 原始数据获取 调度采集适配器从厂 家 侧获取数据。 指标计算 根据指标算法，把 COUNTER 数据计算成指标数据，计算 不依赖于资源数据，不发生时间、空间粒度变化的计算。 数据推送 采集机把生成好的数据推送的文件服务器的指定目录下。 数据入库 把数据入库到话务库、网优库中。 任务负载均衡监控 . 负载均衡状态监控 任务负载均衡查询功能监控任务负载均衡状态，包括查询各个采集机的总新任务个数、采集机任务数、采集机组任务数等。 系统可以定期更新状态信息，也可通过“刷新”按钮实时手动刷新状态信息。 支持按照监控列进行升序、降序排序。 支持监控列的自由设定操作，用户可以通过选择需要显示的列，去除不关心的系统状态参数以保证只监控关心的、重点的运行状态。 示意图如下： 任务负载均衡 . 采集任务监控 监控采集机当前任务正在执行状态。 可以选择任务状态、采集机、采集源、任务开始时间、任务结束时间作为查询条件过滤采集任务，任务状态下拉框包括新任务、正在执行、成功、失败、全部。 示意图如下： 任务状态下拉框 采集任务监控 . 新任务启停 可以设定新任务停止后续执行，可以设定已经执行过任务被重新执行。 对任务状态为“新任务”的任务支持手工干预，对“新任务” 可 进行停止操作 ，对停止的任务可进行 任务重发操作。 示意图如下： 新任务启停 运行负荷阈值查看 支持对运行负荷阀值查看。 运行负荷阀值查看：可以查看的内容包括监控内容、下限值、上限值、系统配置、告警级别名称、告警级别、采集机 ID。 系统提供了自由设定监控列的操作，监控的每一个列项把鼠标停留在上边都会出现一个 图表，用户可以通过选择需要显示的列，去除不关心的系统状态参数以保证只查看关心的、点的系统状态参数。 示意图如下： 运行负荷阀值查看 某个采集机的运行负荷阀值 数 据质量管理 系统概况监控 系统概况监控是 对系统中所有问题的监控，是系统维护的首页，通过该窗口可以了解整个系统的运行情况。 系统监控到异常 时 根据规则生成告警， 告警包括告警分类、告警标识、告警级别、告警标题、告警正文等信息，系统概况监控页面通过呈现系统生成的告警来实现对系统所有问题的监控，默认显示 告警级别为“严重”的告警。 对于告警可执行如下操作： 重要告警查询： 支持对 重要告警查询，查询后页面显示告警级别为“严重”的告警列表。 示意图如下： 重要告警查询 告警批量清除： 支持批量告警清除，选中要清除的告警（可多选）后可执行批量清除操作，批量清除时系统提示是否确定执行该操作，可通过提示取消批量清除操作，确认执行批量清除操作后可输入对清除掉的告警的描述，系统提示清除是否成功。 示意图如下： 告警批量清除确认执行 告警清除描述 告警清除成功提示 详细告警查询： 支持通过告警级别、活动状态、告警是否发送、告警分类、采集源名称、厂家 ID、指标组名称、采集机 ID、告警发生开始时间、告警发生结束时间、数据开始时间、数据结束时间等信息组合的条件进行告警的精确查询，查询过程中查询条件可重置。 示意图如下： 精确查询 数据总体监控 从全局角度显示各专业数据完整性情况，同时也能够显示某个采集源的数据完整性情况，包括数据条数、数据发布次数、发布时间和发布结果。 支持通过 消费者、监控 时间维度进行总体监控，可 呈现当天整体情况 ，整体情况视图中根据“专业” 、“业务类别”显示柱状图（譬如话务网性能数。