中文分词_毕业设计说明书

中文分词_毕业设计说明书内容摘要：

（属于 J2EE 规范）用作实现的一部分。 Struts 继承了 MVC内蒙古工业大学本科毕业设计说明书 3 的各项特性，并根据 J2EE 的特点，做了 相应的变化与扩展。 Struts 跟 Tomcat、 Turbine 等诸多 Apache 项目一样，是开 源软件，这是它的一大优点，使开发者能更深入的了解其内部实现机制。 除此之外， Struts 的优点主要集中体现在两个方面： Taglib 和页面导航。 JSP概述 JSP(Java Server Pages)技术提供了一种简单快速的方法来创建显示动态生成内容的 Web 页面。 由业界处于领先地位的 Sun 公司制定了相关的 JSP 技术规范，该规范定义了如何在服务器和 JSP 页面间进行交互，还描述了页面的格式和语法。 JSP 技术是行 业协作的结果，它的设计是开放的，符合行业标准的，并支持绝大多数的服务器、浏览器和相关工具。 由于使用可重用的组件和标签取代了对页面本身脚本语言的严重依赖， JSP 技术大大加快了开发的速度。 所有 JSP的实现均支持以 Java编程语言为基础的脚本语言，它有与生俱来的可适应性，支持复杂的操作。 JSP 的优点有：对用户界面的更新，其实就是由 Web Server 进行的，所以给人的感觉更新很快；所有的应用都是基于服务器的，所以他们可以时刻保持最新版本；客户端的借口不是很繁琐，对于各种应用易于部署、维护和修改。 内蒙古工业大学本科毕业设计说明书 4 第二章 系统分析 系统功能分析 系统功能框图 计算机专业搜索系统的功能框图如图 21所示 图 21 功能框图 系统功能介绍 （ 1） 信息搜索功能 1） 中文分词 这块是本设计的主要内容，用来把中文句子拆分 成 一个一个的词语。 2） 计算机专业搜索 在这里输入查询条件后进行搜索。 这里只能查询计算机相关方面的内容。 （ 2） 用户管理功能 计算机专业搜索系统 搜索管理 用户 管理 用户 登录 信息修改 用户 注册 搜索中心 内蒙古工业大学本科毕业设计说明书 5 1） 用户注册 对页面中的详细信息填写 后 ，提交到服务器，然后将结果保存到数据 库中。 2） 用户登录 填写好登录用户名和密码后，提交到数据库进行 查询 ， 当 用户名和密码正确后，转到 页面。 3） 忘记密码 当用户忘记密码的时候，可以到忘记密码通过填写用户名、密码问题和密码答案，和数据库中的数据进行比较，全部正确会返回一个新的密码。 4） 修改用户信息 当用户想要修改自己的信息时，可以到此页面进行修改。 数据库 分析 数据库设计的任务是确定系统所需的数据库。 数据库是表的集合，通常一个系统只需一个数据库。 本系统主要用了两张表，一张是用来存放用户信息的SCAN_MEMBERINFO表， 在进行用户管理时，会使用此表的内容； 另 一张是用来存放大量的搜索内容的 SCAN_DETAILS表 ， 在进行搜索时，会操作此表。 系统 用例图 （ 1） 用户注册用例图 这部分是用户在一开始使用此系统时要进行注册会员，通过注册的会员号才能进入系统进行搜索。 用户注册用例图如图 22 所示。 图 22 用户注册用例图 （ 2） 忘记密码用例图 这部分实现的是会员当忘记密码时，可以通过这里进行找回密码，这里找回的密码是系统新设定的密码。 忘记 密码 用例图如图 23所示。 （ 3） 用户登 录 用例图 这 部分实现的是用户在注册上会员号后，通过会员号登 录 到系统内部，这样才能进行 计算机专业 搜索。 用户登 录用例图如图 24 所示。 内蒙古工业大学本科毕业设计说明书 6 图 23 忘记 密码用例图 图 24 用户登 录 用例图 （ 4） 系统 核心 用例图 搜索中心 提供 中文信息搜索。 个人基本信息是用来显示会员的基本信息。 管理基本信息主要是进行会员信息修改。 系统 核心用例图如图 25 所示。 图 25 系统 核心 用例图 系统开发环境 （ 1） 硬件环境 设计 本系统 时，要求的硬件环境如表 21所示 表 21 硬件环境表 内存 1G CPU Inter(R) Celeron (R) CPU 内蒙古工业大学本科毕业设计说明书 7 （ 2） 软件环境 设计本系统时，要求的软件环境如表 22所示 表 22 软件环境表 操作系统 Linux 开发工具及相关技术 MyEclipse、 Java、 Hibernate、 Struts 内蒙古工业大学本科毕业设计说明书 8 第三章 系统总体设计 系统设计目的 在搜索中文句子时，和搜索英文句子不一样。 英文中的每个词之间都是用空格隔开。 而中 文句子是以字为单位，词与词没有明确的分隔符，这样就需要一种用来 划 分中 文词语的算法。 本系统主要是设计在搜索引擎中的中文分词算法，通过这个算法来对中文句子进行拆分，然后用拆分出的词语进行中文的搜索。 开发设计思想 本系统主要是实现中文分词算法，通过中文分词算法进行中文搜索。 本系统在中文分词算法 设计的过程 中， 主要 采 用了机械分词，把句子中的字组成词，然后和词典每行的词进行比较， 如果相同 就把这个词保存 到 List集合中。 这样把一句话分成以词为单位，通过这些词进行搜索。 这里用到了词典，词典中存放词语的方式是一 行一个词语，这样可以在程序中通过取词典中每一行的内容，把每个词 取出 并存 放在 List集合 中。 然后在程序中通过 List中的内容和拆分的词进行比较。 系统 数据库 设计 本系统 的数据库比较简单， 主要 使 用了两张表，一张是用来存放用户信息的SCAN_MEMBERINFO表， 如表 31 所示 ； 另 一张是用来存放大量的搜索内容的SCAN_DETAILS表 ， 如表 32 所示。 表 31 用户 信息 表 SCAN_MEMBERINFO 表 字段名 类型 描述 标识 id Number 主键 唯一标识 nickname Varchar2 非空，唯一 用户名 password Varchar2 非 空 密码 gender Varchar2 非空 性别 age Number 非空 年龄 Varchar2 非空 邮箱 address Varchar2 无 地址 phone Varchar2 无 电话 内蒙古工业大学本科毕业设计说明书 9 passwordquestion Varchar2 无 密码问题 passwordanswer Varchar2 无 密码答案 registerdate Date 无 注册时间 latestdate Date 无 最后登录时间 表 32 信息 内容表 SCAN_DETAILS 表 字段名 类型 描述 标识 id Number 主键 唯一标识 name Varchar2 非空，唯一 标题 remark Varchar2 无 内容 系统模块设计 （ 1） 表示层 设计系统的外部视图。 这里用 JSP进行设计，把设计好的 JSP页面全部根据功能的划分放到 pages文件中。 （ 2） 业务逻辑层 处理外部视图的命令和设计中文分词算法来实现中文搜索。 WEB包中的 Action和Form是用来实现 JSP页面和业务逻辑进行连接， Service包中主要 实现 了 业务逻辑。 （ 3） 持久化层 连接数据库和 处理业务逻辑层与数据库层的功能实现。 这里主要 采 用 Hibernate进行与数据库连接和交互的， DAO包中的代码就是用来实现这些交互的。 （ 4） 数据库层 创建数据库。 这个系统 采 用 Oracle 10g数据库。 内蒙古工业大学本科毕业设计说明书 10 第四章 系统详细设计 信息搜索的设计 中文分词 此模块主要是对 中 文句子进行拆分，然后 以词为单位进行搜索。 （ 1） 中文分词的流程图 ，如图 41 所示。 取 出 中 文 字 符串与 词 典 进 行 顺 序 比 较保 存 这 个 词字 符 串 正 向 自减 一 个 字 符字 符 串 长 度 是 否 为 1YYN开 始结 束N 图 41 中文分词流程图 （ 2） 中文分词算法描述 词典，用来 保存 中文 词语 的文件，在进行中文分词时，与拆分出的词进行比较。 内蒙古工业大学本科毕业设计说明书 11 本词典设计比较简单， 词典中的词语 以每行一个词 的形式 存放。 在提取词典中的词语时， 用了 BufferedReader 来把 内存 中。 使用存放 在内存中的 页面搜索信息和从词典里提取的词语进行比较，如果 比较后结果相同 保存到 内存 中。 减少一个字， 再 与 词典 中的各行词比较， 结果相同 保存到 内容 中。 重复执行上面流程， 直到 这 句话 再。