在使用GeoEast过程中,有时候作业出错会出现"Too many open files"或者Socket/File: Can’t open so many files等错误,主要的原因都是文件句柄设置的问题。
按照正常来说,一般只需要修改用户进程级别的打开文件句柄即可,但个别情况下,只修改用户进程级别的打开文件句柄并不能解决问题,这个就需要检查系统级别的打开文件句柄数量,下面介绍下两种之间的区别以及设置方法。
file-max 表示系统级别的能够打开的文件句柄的数量。是对整个系统的限制,并不是针对用户的。
ulimit -n 控制进程级别能够打开的文件句柄的数量。提供对shell及其启动的进程的可用文件句柄的控制。这是进程级别的。
对于服务器来说,file-max和ulimit都需要设置,否则会出现文件描述符耗尽的问题。
一般如果遇到文件句柄达到上限时,会碰到"Too many open files"或者Socket/File: Can’t open so many files等错误。
为了让服务器重启之后,配置仍然有效,需要用永久生效的配置方法进行修改。
file-max:
查看系统级别的能够打开的文件句柄的数量,Centos7默认是794168
# cat /proc/sys/fs/file-max
794168
系统级打开最大文件句柄的数量永久生效的修改方法,修改文件,文件末尾加入配置内容:
# vim /etc/sysctl.conf
fs.file-max = 2000000
然后执行命令,使修改配置立即生效:
# sysctl -p
ulimit:
查看用户进程级的能够打开文件句柄的数量,Centos7默认是1024
# ulimit -n
1024
进程级打开文件句柄数量永久生效的修改方法,修改文件/etc/security/limits.conf,文件末尾加入配置内容:
这里限制一个用户的所有shell能打开的最大数:
# vim /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535
修改以后,需要重新登录才能生效。
如果需要设置当前用户session立即生效,还需要执行:
# ulimit -n 65535
对于服务器,一般修改进程级的最大打开文件句柄数即可(系统默认1024,有点小)。一般不需要调整系统级的最大数。
如果出现了达到系统级别最大限制时,也需要同步调整系统级的最大数的。