搜索内容

Hadoop
  • Hadoop

    Yarn容量调度器队列配置

    Yarn容量调度器队列配置 增加hive队列 默认Yarn的配置下,容量调度器只有一条Default队列。在capacity-scheduler.xml中可以配置多条队列,修改以下属性,增……
    十下 2021-02-18
  • Hadoop

    项目经验之Hadoop参数调优

    项目经验之Hadoop参数调优 一、HDFS参数调优hdfs-site.xml dfs.namenode.handler.count=20 * log2(Cluster Size) 比如集群规模为8台时,此参数设置为60 NameNo……
    十下 2021-02-17
  • Hadoop

    Hadoop Archive归档操作

    Hadoop Archive归档操作 需要启动YARN进程 归档文件 把/x/..../xx/input目录里面的所有文件归档成一个叫input.har的归档文件,并把归档后文件存储到/x/...……
    十下 2021-02-15
  • Hadoop

    HDFS小文件弊端及优化方法

    HDFS小文件弊端及优化方法 一、HDFS小文件弊端 HDFS上每个文件都要在NameNode上建立一个索引,这个索引的大小约为150byte,这样当小文件比较多的时候,就会产……
    十下 2021-02-15
  • Hadoop

    Hadoop性能基准测试

    一、测试HDFS写性能 测试内容:向HDFS集群写10个128M的文件 hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient……
    十下 2021-02-15
  • Hadoop

    LZO创建索引

    LZO创建索引 创建LZO文件的索引,LZO压缩文件的可切片特性依赖于其索引,故我们需要手动为LZO压缩文件创建索引。若无索引,则LZO文件的切片只有一个。 hadoop ……
    十下 2021-02-09
  • Hadoop

    Hadoop支持LZO压缩配置

    支持LZO压缩配置 hadoop本身并不支持lzo压缩,故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译,编译步骤如下。 hadoop-l……
    十下 2021-02-09
  • Hadoop

    HDFS存储多目录

    HDFS存储多目录 若HDFS存储空间紧张,需要对DataNode进行磁盘扩展。 在DataNode节点增加磁盘并进行挂载。 在hdfs-site.xml文件中配置多目录,注意新挂载磁……
    十下 2021-02-09
  • Hadoop

    Hadoop集群规划和配置以及启动

    Hadoop集群配置以及启动 集群部署规划 注意:NameNode和SecondaryNameNode不要安装在同一台服务器 注意:ResourceManager也很消耗内存,不要和NameNode、Seco……
    十下 2021-02-09
  • Hadoop

    Linux安装hadoop-配置Hadoop环境变量

    Linux安装hadoop-配置Hadoop环境变量 一、安装Hadoop 进入到Hadoop安装包路径下cd /opt/software/ 解压安装文件到/opt/module下面tar -zxvf hadoop-3.1.3.tar……
    十下 2021-02-09