任务调度
任务调度架构变迁史
文件 工作线程 工作线程 …… 独立写结果线程 全局结果队列 结果文件 全局计数器 独立 进度汇报 线程 控制台 每 x秒 需求 4—多进程，写 DB，报进度 Python线程不能真正全部发挥所有 CPU系统资源，线程数上限大约 200，需要进一步提高速度，检测结果写入数据库， URL数量为 10万，工作中打印进度 信息 ，结束时统计 需求
文件 工作线程 工作线程 …… 独立写结果线程 全局结果队列 结果文件 全局计数器 独立 进度汇报 线程 控制台 每 x秒 需求 4—多进程，写 DB，报进度 Python线程不能真正全部发挥所有 CPU系统资源，线程数上限大约 200，需要进一步提高速度，检测结果写入数据库， URL数量为 10万，工作中打印进度 信息 ，结束时统计 需求