linux排障：服务端口被打满

事故描述

promotion请求其他服务异常，业务日志报错：“cannot assign requested address”

排障过程

1、

netstat -nap | grep ESTABLISHED | wc -l

发现很多链接没有释放，通常这个连接数就几十个

2、

#可用临时端口范围 cat /proc/sys/net/ipv4/ip_local_port_range #当前用户进程可以打开的文件描述符数量，即单个进程能同时建立的连接数数量 ulimit -n #空闲多少秒后开始发送 keepalive 探测包 cat /proc/sys/net/ipv4/tcp_keepalive_time

发现容器提供的端口有28232个，可以打开的文件描述符为1048576，系统默认keepalive时间为7200s。

事故原因

初步判断短时间内创建大量链接，且在处理完请求后tcp链接没有释放，导致端口被占用完。

于是抓包分析，发现在服务端没有抓到FIN包，并且出现很多keep-alive的报文，怀疑关闭链接的方法有问题或者没生效。经过讨论和测试，发现后端使用的框架里面有一个tcp链接keepalive的相关的配置：

后面将配置改为disablekeepalive: true 关闭了keepalive功能。经过测试已经正常，再运行脚本的时候，tcp链接数已经稳定。