搜索内容

项目经验
  • Hadoop

    项目经验之Hadoop参数调优

    项目经验之Hadoop参数调优 一、HDFS参数调优hdfs-site.xml dfs.namenode.handler.count=20 * log2(Cluster Size) 比如集群规模为8台时,此参数设置为60 NameNo……
    十下 2021-02-17
  • Hive

    项目经验之Hive总结@@@待完善

    Hive项目经验之Hive总结 一、hive的组成之引擎 引擎 数据缓存 使用场景 mr 基于磁盘 统计周、月、年,数据量比较大的场景 (7天) tez 基于内存 最快……
    十下 2021-02-16
  • Hadoop

    HDFS小文件弊端及优化方法

    HDFS小文件弊端及优化方法 一、HDFS小文件弊端 HDFS上每个文件都要在NameNode上建立一个索引,这个索引的大小约为150byte,这样当小文件比较多的时候,就会产……
    十下 2021-02-15
  • Kafka

    项目经验之Kafka机器数量计算

    项目经验之Kafka机器数量计算 Kafka机器数量(经验公式)=2(峰值生产速度副本数/100)+1 先拿到峰值生产速度,再根据设定的副本数,就能预估出需要部署Kafka……
    十下 2021-02-12
  • Kafka

    项目经验之Kafka压力测试

    项目经验之Kafka压力测试 一、 Kafka压测 用Kafka官方自带的脚本,对Kafka进行压测。Kafka压测时,可以查看到哪个地方出现了瓶颈(CPU,内存,网络IO)。一般……
    十下 2021-02-12