基于hadoop数据分析系统设计毕业设计(编辑修改稿)

基于hadoop数据分析系统设计毕业设计(编辑修改稿)内容摘要：

r 上导入 hadoop001 与 hadoop002 上的公钥： 4) hadoop001 导入 master 的公钥： [hduser@hadoop001 ~]$ ssh cat ~/.ssh/ .ssh/authorized_keys [hduser@master ~]$ ssh cat ~/.ssh/authorized_keys .ssh/authorized_keys [hduser@master ~]$ ssh cat ~/.ssh/authorized_keys .ssh/authorized_keys [hduser@master ~]$ sshkeygen t rsa [hduser@master ~]$ cat .ssh/ .ssh/authorized_keys [hduser@ master ~]$ chmod 600 .ssh/authorized_keys 广州大学华软软件学院 某某企业数据分析系统设计 18 5) hadoop002 导入 master 的公钥： 安装 JDK 1) master 上安装 JDK： 2) 其它三台主机也要部署 JDK [root@master ~] mkdir /usr/java tar zxvf C /usr/java/ [root@master ~] tar zxvf C /usr/java/ [root@master ~] vim /etc/profile JAVA_HOME=/usr/java/ JRE_HOME=/usr/java/PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/:$JAVA_HOME/lib/:$JRE_HOME/lib export JAVA_HOME JRE_HOME PATH CLASSPATH [root@master ~] source /etc/profile [root@master ~] java version java version Java(TM) SE Runtime Environment (build ) Java HotSpot(TM) Client VM (build , mixed mode) [hduser@hadoop002 ~]$ ssh cat ~/.ssh/ .ssh/authorized_keys 广州大学华软软件学院 某某企业数据分析系统设计 19 安装 Hadoop 安装 32 位 Hadoop 1) 配置 Hadoop 环境变量： 2) 解压 Hadoop 文件并建立相应的目录： 3) 设定 Hadoop 集群中 Slaves 角色主机： [hduser@master ~]$ vim [hduser@master ~]$ tar zxvf [hduser@master ~]$ mkdir p dfs/{name,data} [hduser@master ~]$ mkdir temp [hduser@master ]$ vim etc/hadoop/ export JAVA_HOME=/usr/java/ [hduser@master ]$ vim etc/hadoop/ JAVA_HOME=/usr/java/广州大学华软软件学院 某某企业数据分析系统设计 20 4) 配置 文件： [hduser@master ~]$ vim configuration property name/name value /property property name/name value131072/value /property property name/name valuefile:/home/hduser/temp/value /property property name/name value*/value /property property name/name value*/value /property /configuration 广州大学华软软件学院 某某企业数据分析系统设计 21 5) 配置 文件： [hduser@master ~]$ vim configuration property name/name value:9001/value /property property name/name valuefile:/home/hduser/dfs/name/value /property property name/name valuefile:/home/hduser/dfs/data/value /property property name/name value3/value /property property name/name valuetrue/value /property /configuration 广州大学华软软件学院 某某企业数据分析系统设计 22 5) 配置 文件： [hduser@master ~]$ vim configuration property name/name valueyarn/value /property property name/name value:10020/value /property property name/name value:19888/value /property /configuration 广州大学华软软件学院 某某企业数据分析系统设计 23 6) 配置 文件： [hduser@master ~]$ vim configuration ! Site specific YARN configuration properties property name/name valuemapreduce_shuffle/value /property property name/name value/value /property property name/name value:8032/value /property property name/name value:8030/value /property property name/name value:8031/value /property „„„„ 广州大学华软软件学院 某某企业数据分析系统设计 24 7) 将配置好的 Hadoop 文件复制到其它节点： 8) 格式化 namenode： 9) 启动 hdfs： 10) 启动 yarn： [hduser@master ]$ ./sbin/ [hduser@master ]$ ./sbin/ [hduser@master ~]$ ./[hduser@master ~]$ scp r :~ [hduser@master ~]$ scp r :~ [hduser@master ~]$ scp r :~ 续上 name/name value:8033/value /property property name/name value:8088/value /property /configuration 广州大学华软软件学院 某某企业数据分析系统设计 25 11) 验证服务启动情况： [hduser@master ~]$ jps 3454 NameNode 4003 Jps 3622 SecondaryNameNode 3758 ResourceManager [hduser@hadoop001 ~]$ jps 2190 NodeManager 2090 DataNode 2288 Jps [hduser@hadoop002 ~]$ jps 2167 Jps 2069 NodeManager 1969 DataNode [hduser@hadoop003 ~]$ jps 1853 Jps 1761 NodeManager 1661 DataNode 广州大学华软软件学院 某某企业数据分析系统设计 26 12) 查看集群状态： [hduser@master ]$ ./bin/hdfs dfsadmin report Safe mode is ON Configured Capacity: 306228731904 ( GB) Present Capaci。