Hadoop 安装配置教程
VMware: 11.0.0 build-2305329
Ubuntu版本：14.04.1
Jdk: jdk-6u45-linux-x64.bin
Hadoop: hadoop-0.20.2.tar.gz
首先安装JDK，可以到oracle官网上去下载你所需版本()
下载完成后,使用将文件拷贝到/home/vincent/目录下
更改权限；默认文件没有可执行权限
Sudo chmod 777 jdk-6u45-linux-x64.bin
使用命令:cd ~ ，
进入到/home/Vincent/目录下
接下来就是解压了
解压完成后，得到jdk1.6.0_45文件夹
使用命令：vi /etc/profile 编辑profile文件，在profile文件后面添加下面的语句：
#set java enviroment
JAVA_HOME=/home/vincent/jdk1.6.0_45/
export JRE_HOME=/home/vincent/jdk1.6.0_45/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
{
注意：在此版本中，vi编辑器有可能会和方向键冲突，
问题：
ubuntu中vi在编辑状态下方向键不能用，还有回格键不能删除等我们平时习惯的一些键都不能使用。
方案一：
解决办法：
可以安装vim full版本，在full版本下键盘正常，安装好后同样使用vi命令。
安装vim：
ubuntu预装的是vim tiny版本，而需要的是vim full版本。执行下面的语句安装vim full版本：
$sudo apt-get remove vim-common
$sudo apt-get install vim
这样就行了，vim是一款优秀的软件，可以在运用中体会到。
(推荐使用)方案二：
在vi命令行使用命令“：set nocompatible”，就是设置vi不使用兼容模式。
}
接下来重启Ubuntu
重启后测试jkd
出现这个说明安装成功
接下来安装Hadoop
安装ssh服务
ssh可以实现远程登录和管理，详细情况请google百度
ubuntu默认并没有安装ssh服务，如果通过ssh链接ubuntu，需要自己手动安装ssh-server。命令行：
sudo apt-get install openssh-server
测试出入命令: ps –e |grep ssh
出现sshd说明安装成功
终端下进入hadoop源码包所在目录，使用复制命令把hadoop源码包复制到/home/hadoop下
cp hadoop-0.20.2.tar.gz /home/hadoop
然后解压,命令行如下
tar -xzvf *.tar.gz
配置hadoop的hadoop/conf下的hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml
1)配置hadoop-0.20.2/conf/hadoop-env.sh，命令行：
gedit /home/hadoop/hadoop-0.20.2/conf/hadoop-env.sh
2) ctrl + f 搜索到JAVA_HOME
把前面的#去掉，加上本系统jdk路径，保存退出
配置hadoop-0.20.2/conf/core-site.xml，命令行：
gedit /home/hadoop/hadoop-0.20.2/conf/core-site.xml
在hadoop新建hadoop_tmp目录，原因是:http://blog.csdn.net/bychjzh/article/details/7830508
将如下<configuration> </configuration>之间的添加进入，保存退出:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-0.20.2/hadoop_tmp</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>
配置hadoop-1.2.1/conf/mapre-site.xml，命令行：
gedit /home/hadoop/ hadoop-0.20.2/conf/mapre-site.xml.xml
将如下<configuration> </configuration>之间的添加进入，保存退出
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
配置hadoop-0.20.2/conf/hdfs-site.xml，命令行：
gedit /home/hadoop/ hadoop-0.20.2/conf/hdfs-site.xml
将如下<configuration> </configuration>之间的添加进入，保存退出
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
至此hadoop的安装配置已经完毕，稍后的是hadoop的初次运行操作
格式化hdfs文件系统
进入hadoop-0.20.2/bin
当你看到下图时
恭喜你，hdsf文件系统格式化成功
启动hadoop服务
出现如下画面
jps是查看java虚拟机运行的java线程
然后出现如下画面
不计jps，有五个hadoop相关线程，恭喜你，hadoop安装配置成功，运行正常。
然后可以退出hadoop。，以后再用时再启动，导入数据。
测试：
浏览器输入
浏览器输入
分布式Hadoop
a) 首先再次新建一个Ubuntu虚拟机
b) 并且安装openssh-server
c) 查看此虚拟机的IP地址：192.168.114.132
d) 在第一个虚拟机中执行：
这样就把jdk复制到新建的虚拟机中了
配置如下信息：
hadoop-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
masters
slaves
拷贝Hadoop-0.20.2到其他虚拟机中：
sudo scp -r hadoop-0.20.2/
ssh无密码登录
创建ssh-key，这里我们采用rsa方式，命令行如下：
ssh-keygen -t rsa -P ""
在master中，运行./start-all 的时候，会出现 cannot mv ……permission deny，是因为权限的问题，在slave中设置Hadoop0.20.2权限，chmod –r 777 /hadoop0.20.2 （注意-R 选项）
在master中启动./start-all.sh时候在master中有
在slave中有tasktracker和jps，但是没有datanode，在输入网址时 中node值为0；
查看日志，原来在slave中没有设置 dfs.data.dir : /usr/hadoop-0.20.2/data 的权限，在slave中使用命令 设置该权限：
注意命令选项 –R ，意思是该路径下的所有文件