Hadoop 服务器内核参数设置

Posted on Edited on In Disqus:

查看服务器默认参数

1
2
# debain 为例
sudo /sbin/sysctl -a

设置参数

内核参数：

1
2
3
4
5
6
7
8
fs.file-mx=6815744
fs.aio-max-n=1048576
net.core.rmem default=262144
net.core. wmem default=262144
net.core.rmem max=16777216
net.core.wmem_max=16777216
net.ipv4.tcp_ rmem=4096 262144 16777216
net.ipv4.tcp_ Wmem=4096 262144 16777216

文件数限制和进程数

1
2
3
4
5
6
7
8
9
10
11
#ulimit
# HDP 推荐10000, 大服务器可以设置到更多

sudo vim /etc/security/limits.conf

soft nofile 65535
hard nofile 65535

# 进程数量
soft nproc 32768
hard nproc 32768

生效：

1
2
3
4
systctl -p

systctl -a

其它检查项目

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# 磁盘 I/O 速度 (read ) 70MB/S  以上
hdparm -t /dev/sda1 


#  NTP 同步时间很重要

# DNS  hosts 配置正反向DNS
# 大集群启动linux nscd 服务
通过编辑/etc/nscd.conf文件，在其中增加如下一行可以开启本地DNS cache：
enable-cache hosts yes


# 禁止 swap ( datanode )
# 防止内存满后使用 swap ，将swappiness 设置为1, 加速机器内存用满后立即退出程序
swappiness=1


# 磁盘整理是否要禁止，还没实际测试过，但是 Cloudrea 公司建议禁用