Hadoop集群规划和配置以及启动

Hadoop集群配置以及启动

集群部署规划

注意:NameNode和SecondaryNameNode不要安装在同一台服务器
注意:ResourceManager也很消耗内存,不要和NameNode、SecondaryNameNode配置在同一台机器上。

一、集群规划

hadoop102 hadoop103 hadoop104
HDFS NameNode、DataNode DataNode SecondaryNameNode、DataNode
YARN NodeManager ResourceManager、NodeManager NodeManager

二、集群配置

  1. 核心文件配置
    配置core-site.xml

    cd /opt/module/hadoop-3.1.3/etc/hadoop/
    vim core-site.xml

    文件内容如下:

    <configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
    <property>
        <name>hadoop.proxyuser.shixia.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.shixia.groups</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>shixia</value>
    </property>
    </configuration>
  2. HDFS配置文件
    配置hdfs-site.xml (在这里我配置了副本数量为1,是因为本地测试学习,生产环境请设置为3(默认也为3))

    vim hdfs-site.xml

    文件内容如下:

    <configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
    <!-- 指定HDFS副本的数量 -->
    <property>
    <name>dfs.replication</name>
    <value>1</value>
    </property>
    </configuration>
  3. YARN配置文件
    配置yarn-site.xml

    vim yarn-site.xml

    文件内容如下:

    <configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
    </configuration>
  4. MapReduce配置文件
    配置mapred-site.xml

    vim mapred-site.xml

    文件内容如下:

    <configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    </configuration>
  5. 配置workers

    vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

    在该文件中增加如下内容:

    hadoop102
    hadoop103
    hadoop104

    注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。

  6. 在集群上分发配置好的Hadoop配置文件

    xsync /opt/module/hadoop-3.1.3/etc/hadoop/

二、群起集群

  1. 启动集群初始化
    如果集群是第一次启动,需要在hadoop102节点格式化NameNode(注意格式化之前,一定要先停止上次启动的所有namenode和datanode进程,然后再删除data和log数据)

    hdfs namenode -format
  2. 启动HDFS

    start-dfs.sh
  3. 在配置了ResourceManager的节点(hadoop103)启动YARN

    start-yarn.sh

三、查看启动后的集群

  1. Web端查看HDFS的Web页面:http://hadoop102:9870/

  2. Web端查看SecondaryNameNode
    浏览器中输入:http://hadoop104:9868/status.html 查看SecondaryNameNode信息

版权声明:
作者:十下
链接:http://blog.edkso.cn/?p=469
来源:十下博客
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
打赏
< <上一篇
下一篇>>