搜索引擎设计学士学位论文(编辑修改稿)

搜索引擎设计学士学位论文(编辑修改稿)内容摘要：

数据存储采用 MySQL 和 Sequoiadb 数据库。 沈阳理工大学学士学位论文 IX 2 搜索引擎相关技术 JSpider 软件 JSpider 软件介绍 JSpider 是一个纯 Java 编写的高度可配置和可定制的网络蜘蛛引擎。 你可以通过 JSpider 检查提供的网站是否出错，可以对提供的网站内部的链接进行检查，分析提供站点的结构，也可以通过 JSpider 下载一个完整的网站。 Jspider 的扩展性非常强大，你也可以自己定制一个 JSpider 插件来完成指定的功能。 JSpider 软件工作原理 如果把互联网比喻成为一个蜘蛛网，那么，类似 Jspider 的软件就像一只蜘蛛一样，在互联网上孜孜不倦地遍历互联网的上各个站点，然后将其指定内容存储到数据库当中。 JSpider 软件又被叫作网络爬虫。 网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。 传统爬虫从一个或若干初始网页的 URL 开始，获得初始网页上的 URL， 在抓取网页的过程中，不断从当前页面上抽取新的 URL 放入队列 ,直到满足系统的一定停止条件，流程如图 所示。 聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的 URL 队列。 然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页 URL，并重复上述过程，直到遍历完所有链接时停止。 另外，所有被爬虫抓取的网页将会被存储到数据库当中，进行一定的分析、过滤，并建立索引，以便之后的查询和检索。 沈阳理工大学学士学位论文 X J s p i d e r获 得 U R LU R L 是 否 处 理 过根 据 遍 历 算法 ， 提 交 下个 要 处 理 的U R L是解 析 H T M L否下 载 页 面根 据 解 析 到的 H R E F 属 性获 得 页 面 链接把 该 U R L 载入 已 经 处 理的 U R L 数 据库 图 JSpider 工作原理 Java、 JSP 和 Android 介绍 Java 介绍 Java 是一种 可以 撰写跨平台应用软件的面向对象的程序设计语言，是由 Sun Microsystems公司于 1995年 5月推出的 Java程序设计语言和 Java平台 （即 JavaSE, JavaEE, JavaME）的总称。 Java 技术具有卓越的通用性、高效性、平台移植性和安全性，广泛应用于个人 PC、数据中心、游戏控制台、科学超级计算机、移动电话和互联网，同时拥有全球最大的开发者专业社群。 在全球云计算和移动 互联网的产业环境下， Java 更具备了显著优势和广阔前景。 沈阳理工大学学士学位论文 XI Java 由四方面 组成 ： Java 编程语言、 Java 类文件格式、 Java 虚拟机和 Java应用程序接口 (Java API)。 平台 Java 平台由 Java 虚拟机 （ Java Virtual Machine，简称 JVM）和 Java 应用编程接口（ Application Programming Interface，简称 API）构成。 Java 应用编程接口为 Java 应用提供了一个独立于操作系统的标准接口，可分为基本部分和扩展部分。 在硬件或操作系统平台上安装一个 Java 平台之后， Java 应用程序就可运行。 Java 平台已经嵌入了几乎所有的操作系统。 这样 Java 程序可以只编译一次，就可以在各种系统中运行。 与传统程序不同， Sun 公司在推出 Java 之际就将其作为一种开放的技术。 全球数以万计的 Java 开发公司被要求所设计的 Java 软件必须相互兼容。 “Java 语言靠群体的力量而非公司的力量 ”是 Sun 公司的口号之一，并获得了广大软件开发商的认同。 这与微软公司所倡导的注重精英和封闭式的模式完全不同。 Sun 公司对 Java 编程语言的解释是： Java 编程语言是个简单 、面向对象、分布式、解释性、健壮、安全与系统无关、可移植、高性能、多线程和动态的语言。 Java 平台是基于 Java 语言的平台。 这样的平台非常流行。 因此微软公司推出了与之竞争的 .NET 平台以及模仿 Java 的 C语言。 Android 介绍 Android 是一种基于 Linux 的自由及开放源代码的 操作系统 ，主要使用于移动设备，如 智能手机 和 平板电脑 ，由 Google 公司和 开放手机联盟 领导及开发。 尚未有统一中文名称，中国大陆地区较多人使用 “安卓 ”或 “安致 ”。 Android 操作系统最初由 Andy Rubin 开发，主要支持手机。 20xx 年 8 月由 Google 收购注资。 20xx 年 11 月， Google 与 84 家硬件制造商、软件开发商及电信营运商组建开放手机联盟共同研发改良 Android 系统。 随后 Google 以 Apache 开源许可证的授权方式，发布了 Android 的源代码。 第一部 Android 智能手机发布于 20xx 年 10 月。 Android 逐渐扩展到平板电脑及其他领域上，如 电视 、 数码相机 、 游戏机 等。 20xx年第一季度， Android 在全球的市场份额首次超过 塞班系统 ，跃居全球第一。 Android 系统架构和气操作系统一 样，采用了分层的架构。 从图 看，Android 分为四个蹭，从高层到底层分别是应用程序曾、应用程序框架层、系统运行库层和 Linux 内核层。 沈阳理工大学学士学位论文 XII 图 Android 分层 Android 应用程序框架，开发人员 可以完全访问核心应用程序所使用的 API框架。 该应用程序的架构设计简化了组件的重用。 任何一个应用程序都可以发布它的功能块并且任何其它的应用程序都可以使用其所发布的功能块（不过得遵循框架的安全性）。 同样，该应用程序重用机制也使用户可以方便的替换程序组件。 Android 包含一些 C/C++库，这些库 能被 Android 系统 中不同的 组件 使用。 它们通过 Android 应用程序框架为 开发者 提供服务。 SQL 数据库访问技术 开发一个成功的搜索引擎，数据库扮演着一个重要的角色。 从 Jspider 遍历并下载网站开始，就要求数据库必须能承受大数据数量、长时间数据插入，保证快速查找指定关键字段和保持数据库长期稳定性。 数据库是搜索引擎的核心部分之一，涉及到搜索数据的完整性和实时性。 搜索引擎需要一种高效、安全的存取方式访问数据库里的内容，本搜索引擎采用传统数据库 Mysql 和新型 Nosql 数据库 Sequoiadb 做 为解决方案，使用标准的 SQL(结构化查询语言 )和 Java 提供的接沈阳理工大学学士学位论文 XIII 口驱动的方式存取数据库。 传统关系型数据库 MySQL MySQL 简介： MySQL 是一个关系型数据库管理系统，由瑞典 MySQL AB 公司开发，目前属于 Oracle 公司。 MySQL 是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。 MySQL 的 SQL 语言是用于访问数据库的最常用标准化语言。 目前MySQL 被广泛地应用在 Inter 上的中小型网站中。 由于其 体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，许多中小型网站为了降低网站总体拥有成本而选择了 MySQL 作为网站数据库 关系型数据库介绍 在关系型数据库中数据以行和列的形式存储，以便于用户理解，这一系列的行和列被称为表，一组表便组成了数据库。 在关系数据库中：各数据项之间用关系来组织 ,关系是表之间的一种连接，通过关系，我们可以更灵活地表示和操纵数据；另外，用户可以非常方便的用查询来检索数据库中的数据，一个 Query是一个用于指定数据库中行和列的 SELECT 语句。 关系数据库是支持关系模型的数据库系 统。 关系模型由关系数据结构、关系操作集合和完整性约束三部分组成。 关系操作分为关系代数、关系演算、具有关系代数和关系演算双重特点的语言（ SQL 语言）。 完整性约束提供了丰富的完整性：实体完整性、参照完整性和用户定义的完整性。 实体完整性规则：若属性 A是基本关系 R 的属性，则属性 A 不能取空值。 参照完整性：若属性（属性组） F 是基本关系 R 的外码，它与基本关系 S的主码 Key 相对应（基本关系 R 和 S 不一定是不同的关系），则对于 R 中每个元组在 F 上的值必须为：空、 .或者取空值（ F 的每个属性值均为空值）； 关系代数的运算按运算符的 不同主要分为传统的集合运算和专门的关系运算两类。 集合运算有二目运算，包括并、交、差、广义笛卡尔积四种运算。 专门的关系运算包括选择、投影、连接、除等。 根据关系系统支持关系程度不同，可以把关系系统分为四类：表式系统、（最小）关系系统、关系完备系统、全关系系统。 沈阳理工大学学士学位论文 XIV 表式系统：只支持关系数据结构（即表），不支持集合级的操作。 （最小）关系系统：支持关系数据结构，它支持关系数据结构和选择、投影、连接三种关系操作。 关系上完备的系统这类系统支持关系数据结构和所有的关系代数操作（功能上与关系代数等价）。 NoSQL Sequoiadb 数据库 Sequoiadb 简介 Sequoiadb 数据库是由巨杉公司自主研发的一款具有完全自主知识产权的大数据数据库内核。 Sequoiadb 数据库是一款非关系型型数据库，对比传统的关系型数据库， Sequoiadb 数据库能更好地支持分布式数据存储、高并发性数据操作，而且未来对于数据库的扩容成本也较传统数据库低。 NoSQL 数据库介绍 NoSQL = Not Only SQL ，意即 “不仅仅是 SQL”，是一项全新的数据库革命性运动，早期就有人提出，发展至 20xx 年趋势越发 高涨。 NoSQL 的拥护者们提倡运用非关系型的数据存储，相对于铺天盖地的关系型数据库运用，这一概念无疑是一种全新的思维的注入。 随着互联网 网站的兴起，非关系型的数据库成了一个极其热门的新领域，非关系数据库产品的发展非常迅速。 NoSQL 数据库特点： 1) 它们可以处理超大量的数据。 2) 它们运行在便宜的 PC 服务器集群上， PC 集群扩充起来非常方便并且成本很低，避免了 “sharding”操作的复杂性和成本。 3) 它们击碎了性能瓶颈， NoSQL 的支持者称，通过 NoSQL 架构可以省去将 Web 或 Java 应用和数据转换成 SQL友好格式的时间，执行速度变得更快。 4) 没有过多的操作，虽然 NoSQL 的支持者也承认关系数据库提供了无可比拟的功能集合，而且在数据完整性上也发挥绝对稳定，他们同时也表示，企业的具体需求可能没有那么多。 NoSQL 数据库比较关系型数据库优点： (1)易扩展 沈阳理工大学学士学位论文 XV NoSQL 数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。 数据之间无关系，这样就非常容易扩展。 也无形之间，在架构的层面上带来了可扩展的能力。 (2)大数据量，高性能 NoSQL 数据库都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。 这得益于它的无关系性，数据库的结构简单。 一般 MySQL 使用 Query Cache，每次表的更新 Cache 就失效，是一种大粒度的 Cache，在针对 的交互频繁的应用， Cache 性能不高。 而 NoSQL 的 Cache 是记录级的，是一种细粒度的Cache，所以 NoSQL 在这个层面上来说就要性能高很多了。 (3)灵活的数据模型 NoSQL 无需事先为要存储的数据建立字段，随时可以存储自定义的数据格式。 而在关系数据库里，增删字段是一件非常麻烦的事情。 如果是非常大数据量的表，增加字段简直就是一个噩梦。 这点在 大数据量的 时代尤其明显。 (4)高可用 NoSQL 在不太影响性能的情况，就可以方便的实现高可用的架构。 比如Cassandra， HBase 模型，通过复制模型也能实现高可用。 JSP 技术 JSP 语言介绍 JSP（ Java Server Pages)是由 Sun Microsystems 公司倡导、许多公司参与一起建立的一种动态网页技术标准。 JSP 技术有点类似 ASP 技术，它是在传统的网页HTML 文件 (*.htm,*.html)中插入 Java 程序段 (Scriptlet)和 JSP 标记 (tag)，从而形成 JSP 文件 (*.jsp)。 用 JSP 开发的 Web 应用是跨平台的，既能在 Linux 下运行，也能在其他操作系统上运行。 JSP 其根本是一个简化的 Serlet 设计，他实现了 Html 语法中的 java 扩张（以 %, %形式）。 JSP 与 Servlet 一样，是在服务器端执行的，通常返回给客户端的就是一个 HTML 文本，因此客户端只要有浏览器就能浏览。 Web 服务器在遇到访问 JSP 网页的请求时，首先执行其中的程序段，然后将执行。