hadoop 3.0实践

发表于 | 分类于 | 阅读次数:
字数统计: 277 | 阅读时长 ≈ 1

本地是使用mac air 做的基础尝试

使用的 是 3.0.0 的版本

/usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop 主要都在这个目录下

1.配置hadoop-env.sh java_home路径

2.core-site.xml

1
2
3
4
5
6
<configuration>
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://localhost:9000</value>
 </property>
</configuration>

3.hdfs-site.xml

1
2
3
4
5
6
<configuration>
 <property>
 <name>dfs.replication</name>
 <value>1</value>
 </property>
</configuration>

4.mapred-site.xml

1
2
3
4
5
6
<configuration>
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
</configuration>

5.yarn-site.xml

1
2
3
4
5
6
7
8
9
10
<configuration> 
<property> 
<name>yarn.nodemanager.aux-services</name> 
<value>mapreduce_shuffle</value> 
</property> 
<property> 
<name>yarn.nodemanager.env-whitelist</name>
 <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> 
</property> 
</configuration>

6 格式化文件系统

bin/hdfs namenode -format

启动 namenode 和 datanode

sbin/start-dfs.sh

节点可在 9870端口查看

让 HDFS 可以被用来执行 MapReduce jobs：

bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/root

启动 resourcemanager 和 nodemanager

sbin/start-yarn.sh

端口 8088