pagerank的mapreduce实现

pagerank的mapreduce实现内容摘要：

该命令在 ~/.ssh目录生成 id_dsa和 ，我们把 key里面 ： $cat ~/.ssh/ ~/.ssh/authorized_keys 完成以后，就可以实现无密码登陆本机 $ssh localhost  5，关闭防火墙： $sudo ufw disable Step1 安装 Hadoop运行环境  6，安装 jdk。 /downloads/ 安装路径为 /home/uname/jdk，添加环境变量到/etc/profile中： export JAVA_HOME=/home/uname/jdk export JRE_HOME=/home/uname/jdk/jre export CLASSPATH= .:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH  （注：网上有许多 jdk的安装教程，同学们可以参考） Step1 安装 Hadoop运行环境  7，安装 hadoop。 $ mv ~/ $cd ~ $ tar –zvxf 添加 hadoop的安装路径到 /etc/profile中： export HADOOP_HOME=/home/uname/hadoop export path=$HADOOP_HOME/bin:$PATH Step1 安装 Hadoop运行环境  8，配置 hadoop： (1)$HADOOP_HOME/conf/添加： export JAVA_HOME=/home/uname/jdk (2)conf/masters和 conf/slaves文件中，将master和 slave的地址都改为 (3)配置 conf/, conf/, conf/： Step1 安装 Hadoop运行环境 configuration property name/name value/home/uname/tmp/value /property property name/name value /property /configuration Step1 安装 Hadoop运行环境 configuration property name/name value1/value /property /configuration 由于是只有一台机器的伪分布式，所以replication必须设置为 1，否则运行会报错 Step1 安装 Hadoop运行环境 configuration property name/name value:9001/value /property /configuration Step1 安装 Hadoop运行环境  9，运行 hadoop： $ cd $HADOOP_HOME $ cd bin 格式化文件系统 $ hadoop namenode –format 启动 hadoop $ 用 jps命令查看 java进程，可以知道 hadoop是否启动成功 Step1 安装 Hadoop运行环境  *10，安装 eclipse，进行 hadoop开发 (在ubuntu图形界面下安装 eclipse，也可以用aptget工具安装）。 当然，也可以不使用eclipse，直接用 vim编辑 java程序，使用javac手动编译 hadoop程序。 Step2 获取网页集合存放到 HDFS中  在网上下载一些网页（当然如果能用爬虫爬取最好），。