hadoop 3.0实践

本地是使用mac air 做的基础尝试

使用的 是 3.0.0 的版本

/usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop 主要都在这个目录下

1.配置hadoop-env.sh java_home路径

2.core-site.xml

1
2
3
4
5
6
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

3.hdfs-site.xml

1
2
3
4
5
6
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

4.mapred-site.xml

1
2
3
4
5
6
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

5.yarn-site.xml

1
2
3
4
5
6
7
8
9
10
<configuration> 
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>

6 格式化文件系统

bin/hdfs namenode -format

启动 namenode 和 datanode

sbin/start-dfs.sh

节点可在 9870端口查看

让 HDFS 可以被用来执行 MapReduce jobs:

bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/root

启动 resourcemanager 和 nodemanager

sbin/start-yarn.sh

端口 8088