本地是使用mac air 做的基础尝试
使用的 是 3.0.0 的版本
/usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop 主要都在这个目录下
1.配置hadoop-env.sh java_home路径
2.core-site.xml
1 | <configuration> |
3.hdfs-site.xml
1 | <configuration> |
4.mapred-site.xml
1 | <configuration> |
5.yarn-site.xml
1 | <configuration> |
6 格式化文件系统
bin/hdfs namenode -format
启动 namenode 和 datanode
sbin/start-dfs.sh
节点可在 9870端口查看
让 HDFS 可以被用来执行 MapReduce jobs:
bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/root
启动 resourcemanager 和 nodemanager
sbin/start-yarn.sh
端口 8088