(最新)hadoop入门实战手册

(最新)hadoop入门实战手册内容摘要：

为什么要选择 Hadoop。 系统特点 下面列举 hadoop 主要的一些特点： 1) 扩容能力（ Scalable）：能可靠地（ reliably）存储和处理千兆字节（ PB）数据。 北京宽连十方数字技术有限公司 公开 内部公开 √ 机密 绝密 2) 成本低（ Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。 这些服务器群总计可达数千个节点。 3) 高效率（ Efficient）：通过分发数据， hadoop 可以在数据所在的节点上并行地（ parallel）处理它们，这使得处理非常的快速。 4) 可靠性（ Reliable）： hadoop 能自 动地维护数据的多份复制，并且在任务失败后能自动地重新部署（ redeploy）计算任务。 使用场景 个人觉得最适合的就是海量数据的分析，其实 Google最早提出 MapReduce也就是为了海量数据分析。 同时 HDFS最早是为了搜索引擎实现而开发的，后来才被用于分布式计算框架中。 海量数据被分割于多个节点，然后由每一个节点并行计算，将得出的结果归并到输出。 同时第一阶段的输出又可以作为下一阶段计算的输入，因此可以想象到一个树状结构的分布式计算图，在不同阶段都有不同产出，同时并行和串行结合的计算也可以很好地在分布式集群 的资源下得以高效的处理。 2 术语 1) Namenode: HDFS 采用 master/slave架构。 一个 HDFS 集群是由一个 Namenode和一定数目的 Datanodes 组成。 Namenode 是一个中心服务器，负责管理文件系统的名字空间 (namespace)以及客户端对文件的访问。 Namenode 执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录。 它也负责确定数据块到具体Datanode 节点的映射 2) Datanode: 集群中的 Datanode 一般是一个节点一个，负责管理它所在节点上的存储。 HDFS 暴露了 文件系统的名字空间，用户能够以文件的形式在上面存储数据。 从内部看，一个文件其实被分成一个或多个数据块，这些块存储在一组 Datanode上。 Datanode 负责处理文件系统客户端的读写请求。 在 Namenode 的统一调度下进行数据块的创建、删除和复制。 3) Secondnamenode: 光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode（ snn）就是 NameNode（ nn）的热备进程。 其实丌是。 snn 是 HDFS 架构中的一个组成部分，但是经常由于名字而被人误解它真正的用 北京宽连十方数字技术有限公司 公开 内部公开 √ 机密 绝密 途，其实它 真正的用途，是用来保存 namenode 中对 HDFS metadata 的信息的备份，并减少 namenode 重启的时间。 4) Jobtracker 和 Tasktracher: JobTracker 是 MapReduce 框架中最主要的类之一，所有 job 的执行都由它来调度，而且 Hadoop 系统中只配置一个 JobTracker 应用。 它们都是由一个 master 服务 JobTracker 和多个运行于多个节点的 slaver 服务 TaskTracker 两个类提供的服务调度的。 master 负责调度 job 的每一个子任务 task 运行于 slave 上，并监控它们，如果发现有失败的 task 就重新运行它， slave 则负责直接执行每一个 task。 TaskTracker 都需要运行在 HDFS 的 DataNode 上，而 JobTracker 则丌需要，一般情况应该把 JobTracker 部署在单独的机器上。 3 Hadoop的 单机 部署 参考：forms 目的 本章节 的目的是帮助你快速完成单机上的 Hadoop 安装与使用以便你对 Hadoop 分布式文件系统 (HDFS)和 MapReduce 框架有所体会，比如在 HDFS 上运行示例程序或简单 作业等。 先决条件 支持平台 1) GNU/Linux 是产品开发和运行的平台。 Hadoop 已在有 2020 个节点的 GNU/Linux主机组成的集群系统上得到验证。 北京宽连十方数字技术有限公司 公开 内部公开 √ 机密 绝密 2) Win32 平台是作为 开发平台 支持的。 由于分布式操作尚未在 Win32 平台上充分测试，所以还不作为一个 生产平台 被支持。 所需软件 Linux和 Windows 所需软件包括 : 1. Sun ，必须安装。 2. ssh 必须安装并且保证 sshd 一直运行，以便用 Hadoop 脚本管理远端 Hadoop 守护进程。 安装软件 如果你的集群尚未安装所需软件，你 得首先安装它们。 以 Linux为例 : $ sudo aptget install ssh $ sudo aptget install rsync 下载 为了获取 Hadoop 的发行版，从 Apache 的某个镜像服务器上下载最近的 稳定发行版。 下载地址： 运行 Hadoop集群的准备工作 解压所下载的 Hadoop 发行版。 编辑 conf/，至少需要将 JAVA_HOME设置为 Java 安装根路径。 尝试如下命令： $ bin/hadoop 将会显示 hadoop 脚本的使用文档。 现在你可以用以下三种支持的模式中的一种启动 Hadoop 集群： ? 单机模式 ? 伪分布式模式 ? 完全分布式模式 北京宽连十方数字技术有限公司 公开 内部公开 √ 机密 绝密 单机模式的操作方法 默认情况下， Hadoop 被配置成以非分布式模式运行的一个独立 Java 进程。 这对调试非常有帮助。 下面的实例将已解压的 conf 目录拷贝作为输入，查找并显示匹配给定正则表达式的条目。 输出写入到指定的 output 目录。 $ mkdir input $ cp conf/*.xml input $ bin/hadoop jar grep input output 39。 dfs[az.]+39。 $ cat output/* 注：语法不理解没关系看下面进一步说明 显示结果 1 dfsadmin 伪分布式模式的操作方法 Hadoop 可以在单节点上以所谓的伪分布式模式运行，此时每一个 Hadoop 守护进程都作为一个独立的 Java 进程运行。 配置 注： 以前的版本 是 ,可 hadoop 在 版本，配置文件由以前的 ,hdfs ,.内在的原因是因为 hadoop 代码量越来越宠大，拆解成三个大的分支进行独立开发，配置文件也独立了 conf/: configuration property name/name value /property /configuration conf/: configuration 北京宽连十方数字技术有限公司 公开 内部公开 √ 机密 绝密 property name/name value1/value /property /configuration conf/: configuration property name/name valuelocalhost:9001/value /property /configuration 免密码 ssh设置 现在确认能否不输入口令就用 ssh 登录 localhost: $ ssh localhost 如果不输入口令就无法用 ssh登陆 localhost，执行下面的命令： $ sshkeygen t dsa P 39。 39。 f ~/.ssh/id_dsa $ cat ~/.ssh/ ~/.ssh/authorized_keys 执行 首先使用 hadoop 命令对 Hadoop File System (HDFS) 进行格式化。 首先，请求 namenode 对 DFS 文件系统进行格式化。 在安装过程中完成了这个步骤，但是了解是否需要生成干净的文件系统是有用的。 [hadoop@TEST085 ]$ bin/hadoop namenode –format 注： 在确认请求之后，文件系统进行格式化并返回一些信息 ： 11/07/12 17:47:12 INFO : STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = TEST085/ 北京宽连十方数字技术有限公司 公开 内部公开 √ 机密 绝密 STARTUP_MSG: args = [format] STARTUP_MSG: version = STARTUP_MSG: build = r 1099333。 piled by 39。 oom39。 on Wed May 4 07:57:50 PDT 2020 *****************************************。