CentOS7下安装配置Hadoop（单机版）

添加Hadoop的启动用户（如果使用root用户启动则可以省略）：

修改主机名：

添加以下内容：

NETWORKING=yes

HOSTNAME=node01

添加以下内容：

注：这里的IP为当前服务器IP

同时需要将localhost.localdomain的地方修改成node01

生成并配置生成ssh免登陆密钥：

解压并安装Hadoop：

下载地址：http://hadoop.apache.org/releases.html

修改配置文件：

i）配置hadoop-env.sh：

修改以下内容：

JAVA_HOME=/usr/java/jdk1.8.0_161/

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_NODEMANAGER_USER=root

export YARN_RESOURCEMANAGER_USER=root

 

ii）配置core-site.xml：

修改完成之后内容如下：

iii）配置hdfs-site.xml：

修改完成之后内容如下：

iv）配置mapred-site.xml：

指定MapReduce程序应该放在哪个资源调度集群上运行。若不指定为yarn，那么MapReduce程序就只会在本地运行而非在整个集群中运行。

修改完成之后内容如下：

v）配置yarn-site.xml

修改完成之后内容如下：

给Hadoop添加环境变量（可以省略）：

添加以下内容：

然后执行：

启动：

i）初始化：

ii）启动：

iii）检查是否已经启动：

如果以上几个进程都存在，则说明已经启动成功。

iv）几个Web管理界面：

• HDFS的Web管理界面：http://192.168.197.130:50070/

• MR的Web管理界面：http://192.168.197.130:8088/

测试Hadoop的基本操作：

详细命令可以参考：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

i）新建一个本地文件，在Hadoop中新建一个工作目录：

ii）使用put命令上传本地文件：

将本地的/home/test.txt文件上传到hdfs的/data/目录：

iii）列出hdfs的/data/目录的文件：

iv）查看hdfs上的文件：

v）下载hdfs上的文件：

将hdfs上的/data/test.txt下载到/home/目录，并重命名为hdfs_test.txt：

vi）删除hdfs上的文件：

vii）删除hdfs上的目录及其目录下面的所有文件：