农业信息垂直搜索引擎研究报告

农业信息垂直搜索引擎研究报告内容摘要：

的设计和实现使用人机交互的理论和方法 ， 以充分适应人 类的思维习惯。 从搜索引擎的工作流程来看看 ， 可以看做三步 ： 从互联网上抓取网页一建立 索引数据库一在索引数据库中搜索排序。 从互联网上抓取网页 利用能够从互联网上自动收集网页的 Spider系统程序 ， 自动访问互联网 ， 并沿着任何网页中的所有 URL 爬到其它网页 ， 重复这过程 ， 并把爬过的所有网 5 页收集存放到 URL库中。 建立索引数据库 由分析索引系统程序对收集回来的网页进行分析 ， 提取相关网页信息 (包括 网页所在 URL、 编码类型 、 页面内容包含的关键词 、 关键词位置 、 生成时间 、大小 、 与其它网页的链接关系等 )， 根据一定的相关度算法进行大量复杂计算 ， ，得到每一个网页针对页面内容中及超链中每一个关键词的相关度 (或重要性 )， 然 后用这些相关信息建立网页索引数据库。 在索引数据库中搜索排序 当用户输入关键词搜索后 ， 由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。 因为所有相关网页针对该关键词的相关度早己算好 ，所以只需按照现 成的相关度数值排序 ， 相关度越高 ， 排名越靠前。 最后 ， 由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。 垂直搜索引擎概念的提出 ， 就是相对前面介绍的通用搜索引擎的信息量大 、 查询不准确 、 深度不够等提出来的新的搜索引擎服务模式 ， 通过针对性的为某一特定领域 、 某一特定人群或某一特定需求提供的有一定价值的信息和相关服务。 可以简单的说成是搜索引擎领域的行业化分工。 垂直搜索引擎本身的特点是 “ 专 、 精 、 深 ”， 且具有行业色彩 ， 相比较通用 搜索引擎的海量信息无序化 ， 垂直搜素引擎则 显得更加专注 、 具体和深入。 垂直搜索引擎已成为新的研究 、 开发领域 ， 并将向智能化 、 个性化 、 精确化 、 专业化 、交叉语言检索 、 多媒体检索等适应不同用户需求的方向发展 ， 目前已经引起了世界各国计算机科学界和信息产业界的高度关注。 垂直搜索引擎为用户提供的并不是上百甚至上千万相关网页 ， 而是范围极为缩小 、 极具针对性的具体信息。 因此 ，特定行业的用户更加青睐垂直搜索引擎 ， 是垂直搜索引擎的长期 、 稳定的群体。 由于垂直搜索引擎专注于服务行业用户 ， 拥有广泛 !精深的行业资源 ， 所以 具有很好的经济价值和广泛发展前景。 在应用上 ， 垂直搜索引擎呈 现出面向主题 垂直搜索引擎发展趋势 ， 特点是 ： 分类细致明确 、 数据全面深入 、 更新及时。 针对某一特定行业或某一主题进行目录的细化分类 ， 结合机器抓取只与行业 相关的信息 、 力求做到本行业信息多而精。 从采集方式看 ， 通用搜索引擎以被动方式为主 ， 搜索引擎和被采集的网页没有约定的 、 标准的格式。 企业搜索则以主动方式为主 ， 被采集的各种数据等都 6 和企业搜索引擎有着约定好的采集接口和安全接口 ； 垂直搜索引擎采用被动和主动相结合的方式 ， 通过主动方式 ， 有效采集网页中标引的元数据 ， 整合上下游网页资源或者商业数据库 ， 提供更加准确的搜索服务。 从采集深度 ， 动态网页采集的优先级数据库信息采集来看 ， 通用搜索引擎采用广度优先的策略 ， 所以采集深度要求不高 ， 而垂直搜索和企业搜索需要挖掘出 行业内所有相关的网页信息 ， 所以往往采用深度优先的策略 ， 同时由于行业内的一些有商业价值的信息采用动态发布的方式 ， 如供求信息等 ， 所以垂直搜索对动态网页的采集优先级较高。 由于信息在互联网是海量的 ，非结构化的信息需要经过结构化的梳理后才 能更好的展现。 而垂直搜索引擎和普通的网页搜索引擎最大的区别是对网页信息进行了结构化信息抽取 ， 也就是将网页的非结构化数据 抽取成特定的结构化信息数据 ， 例如网页搜索是以网页为最小单位 ， 视频搜索则是以视频为最小单位 ， 而垂直搜索是以结构化数据为最小单位。 然后将这些数据存储到数据库 ， 进行进一步的加工处理 ， 例如 ； 去重 、 分类 、 合并等 ， 最后分词 、 索引再以搜索的方式满足用户的需求。 整个过程 ， 数据由非结构化数据抽取成结构化数据 ， 经过深度加工处理后以非结构化的方式和结构化的方式返回给用户。 从信息检索看 ， 垂直搜索引擎不但能对网页信息中结构化信息进行检索 ，而且能提供结构化和非结构化信息结合的检索方式。 从检索结果的排序方式看 ，通用搜索主要通过 PageRank算法来实现。 企业搜索大多采用检索内容和检索词的 相关度来实现 ； 而垂直搜索的排序要求更加多样化 ， 例如 ： 按时间排序 、 按相关 度排序等。 垂直搜索引擎是专门用来检索某一主题范围或某一类型信息 ， 追求专业性与 服务深度是它的特点。 这种高度目标化 、 专业化的搜索引擎的优势在于针对性强 ， 对特定范围的网络信息的覆盖率相对较高 ， 有明确的检索目标定位 ， 有效地弥补 了综合性搜索引擎对专门领域及特定主题信息覆盖率过低的问题。 同时 ， 能够把 具有相同兴趣点的人们集中在一个主题内 ， 不仅集中提供各种专业资源 ， 而且给 大家提供一个相 互交流 、 共享经验和教训的场所 ， 展望行业发展前景的机会和场 合。 相比较综合搜索引擎的海量信息无序化，垂直搜索引擎则显得更加专注、具体和深入。 （ 1） 爱看图标网，中文图标搜索引擎（ 目前收录了 10000多个图标， 功能还不错，可以按照图标系列、分类、色系、关键字、图标标题等搜索；你可以查看每一个图标的作者信息、尺寸大小、图像文件格式、色系、所属分类等信息。 每一张图标都提供 png格式下载，大多数图 7 标同时还提供 ico格式下载。 （ 2） 网，中文文档搜索引擎（ 网号称收录了一亿多文档，是最大的中文文档库，提供针对文档标题、简介、内容的关键字检索功能，并且支持 Word、 PDF、 PPT、 Jpg等 30多种 文件格式。 8 第二章 农业 信息垂直 搜索引擎 国内外发展现状 随着信息高速的发展 ， 搜索引擎成为人们获取信息的重要途径。 随着农业信息化进程的推进 ， 农业信息资源开发日显重要。 作为国家信息资源的重要组成部分 ， 农业信息资源是一种基础行、战略性的资源 ， 对推动我国农业信息发展尤 为重要。 要从众多农业信息中寻找自己所需要的信息部分 ， 最便捷的方式就是提供一个搜索引擎 ， 农业搜索引擎便应运而生。 谷歌、百度等综合搜索引擎经过 20 多年的发展已经达到了很高的水平 ， 其搜索结果基本上可以满足用户需求 ， 且这些搜索引擎的性能仍在根据用户的需要在进行不断优化。 对于农业方面的信息 ， 这 2种搜索引擎都能提供海量的信息 ，供农业领域查询。 但这 2种搜索引擎在搜索时的信息量大、查询不准确、深度不够以及专业化、智能化等方面存在弊端。 针对这种情况 ， 一些人提出了垂直搜索引擎的新概念 ， 垂直搜索引擎是搜索。