操作系统

升级CentOS6.5内核,开启Nginx的fastopen和reuseport特性

Jager · 5月7日 · 2016年 · 7241次已读

前面,张戈博客在折腾Nginx的SSL优化时,注意到前人在Nginx的listen配置中,添加了 fastopen=3 reuseport 这2个参数。

于是脑补了下,原来是启用Nginx对TCP_FASTOPEN和TCP_SO_REUSEPORT新特性的支持,至于有什么好处,请自行脑补下–>传送门升级CentOS6.5内核,开启Nginx的fastopen和reuseport特性

一、必要环境

当我依葫芦画瓢也添加这2个参数时,报错了:

nginx: [emerg] invalid parameter "fastopen=3" in ***

继续脑补了下,发现系统必须支持 TCP_FASTOPEN和TCP_SO_REUSEPORT,然后重新编译Nginx加入如下参数:

--with-cc-opt=-DTCP_FASTOPEN=23

TCP_SO_REUSEPORT特性在kernel-2.6.32-431.29.2及kernel-3.9被启用,CentOS
6用户可以通过更新内核到2.6.32-431或更高版本来支持这项特性。

这个非常简单,直接yum -y update就行了。

关于TCP_FASTOPEN特性在kernel-3.6被客户端支持,在kernel-3.7被服务端支持,也就是说使用TCP_FASTOPEN需要CentOS 6更新内核至3.7或更高版本,以便支持这项特性。

——摘自kn007的个人博客

二、升级内核

1、方式选择

看了下前人的分享,Centos内核升级一般有2种方式:编译安装或利用EPEL的yum源在线升级

在我看来,下载源码编译安装,不但步骤繁琐,而且容易出错,简直是小白的克星,而yum在线升级不易出错且步骤简单,简直是懒人必选良方,因此这里就只分享yum在升级方案,如果不是centos,就只能自己去找下源码编译的教程了。

在yum的ELRepo源中,有 mainline(3.13.1)、 long- term(3.10.28)这2个内核版本,考虑到long-term更稳定,会长期更新,所以选择这个版本。

2、导入public key

rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org

3、安装ELRepo到CentOS-6.5中

rpm -ivh http://www.elrepo.org/elrepo-release-6-5.el6.elrepo.noarch.rpm

4、安装 kernel-lt(lt=long-term)

yum --enablerepo=elrepo-kernel install kernel-lt -y

Ps:如果是安装kernel-ml(ml=mainline版本),则把上述代码中的 kernel-lt 改为 kernel-ml。

5、确认Grub引导顺序

一般来说,新安装的内核映像会位于第一位,所以只要检查grub.conf中的default值是否指向新装内核即可,比如我的系统:

#编辑grub配置文件
vim /etc/grub.conf

# grub.conf generated by anaconda
#
# Note that you do not have to rerun grub after making changes to this file
# NOTICE:  You have a /boot partition.  This means that
#          all kernel and initrd paths are relative to /boot/, eg.
#          root (hd0,0)
#          kernel /vmlinuz-version ro root=/dev/sda3
#          initrd /initrd-[generic-]version.img
#boot=/dev/sda
default=0  #一般最新升级的内核映像位于第一位,所以这里保证 default=0即可!
timeout=5
splashimage=(hd0,0)/grub/splash.xpm.gz
hiddenmenu
title CentOS (3.10.101-1.el6.elrepo.x86_64)  #最新3.10.101内核也就是这个了!
        root (hd0,0)
        kernel /vmlinuz-3.10.101-1.el6.elrepo.x86_64 ro root=UUID=6e3dc2ee-2daf-48a7-96e4-8b7ca821c23c rd_NO_LUKS rd_NO_LVM LANG=en_US.UTF-8 rd_NO_MD SYSFONT=latarcyrheb-sun16 crashkernel=auto  KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet
        initrd /initramfs-3.10.101-1.el6.elrepo.x86_64.img
title CentOS (2.6.32-573.22.1.el6.x86_64)
        root (hd0,0)
        kernel /vmlinuz-2.6.32-573.22.1.el6.x86_64 ro root=UUID=6e3dc2ee-2daf-48a7-96e4-8b7ca821c23c rd_NO_LUKS rd_NO_LVM LANG=en_US.UTF-8 rd_NO_MD SYSFONT=latarcyrheb-sun16 crashkernel=auto  KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet
        initrd /initramfs-2.6.32-573.22.1.el6.x86_64.img
title CentOS (2.6.32-431.el6.x86_64)
        root (hd0,0)
        kernel /vmlinuz-2.6.32-431.el6.x86_64 ro root=UUID=6e3dc2ee-2daf-48a7-96e4-8b7ca821c23c rd_NO_LUKS rd_NO_LVM LANG=en_US.UTF-8 rd_NO_MD SYSFONT=latarcyrheb-sun16 crashkernel=auto  KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet
        initrd /initramfs-2.6.32-431.el6.x86_64.img

6、启用特性

编辑 /etc/sysctl.conf ,插入  net.ipv4.tcp_fastopen = 3,执行如下命令即可:

echo "net.ipv4.tcp_fastopen = 3" >>/etc/sysctl.conf

搞定一切之后,我们重启系统完成此次内核升级。

——以上参考自 《使用yum快速升级CentOS 6.5内核到 3.10.28 | 原作者:健富的博客

三、重新编译

接下来,我们需要重新编译我们的Nginx或Tengine,新增 –with-cc-opt=-DTCP_FASTOPEN=23

1、先查看当前Nginx的编译参数:

#执行 nginx -V 命令
...其他略...
configure arguments: --prefix=/usr/local/nginx --user=www --group=www --with-http_v2_module --with-http_ssl_module --with-http_gzip_static_module --with-http_realip_module

2、新增开启FASTOPEN参数,重新编译Nginx参数为:

./configure --prefix=/usr/local/nginx --user=www --group=www --with-http_v2_module --with-http_ssl_module --with-http_gzip_static_module --with-http_realip_module --with-cc-opt=-DTCP_FASTOPEN=23

Ps:就是在原有的参数上新增  –with-cc-opt=-DTCP_FASTOPEN=23 ,重新编译前面已经分享过具体操作,这里就不赘述了,不会的朋友请参考:Nginx在线服务状态下平滑升级或新增模块的详细操作记录

3、重新编译,修改Nginx的listen配置:

编辑网站的配置文件,比如zhang.ge.conf,找到listen,然后再结尾分号前面新增 fastopen=3 reuseport参数,比如:

listen  80 fastopen=3 reuseport;

如果使用的是Tengine,这个配置就会报错:

nginx: [emerg] invalid parameter "reuseport" in ****

最后了解到,Tengine关于reuserport的配置并不是在Listen,而是放到 events 模块。

所以,如果是Tengine,那么编辑nginx.conf主配置文件,找到events模块,如下新增 reuse_port on; 参数:

events
    {
        use epoll;
        worker_connections 51200;
        multi_accept on;
        reuse_port on; #新增参数
    }

然后,在网站的listen处新增 fastopen=3 :

listen  80 fastopen=3;

最后,reload重载Nginx即可,这样就不会报错了。

四、其他记录

升级内核,并启用了Nginx新特性之后,并没有进行深入的压力测试,所以本文无法给出优化后的各项性能数据,也不知道具体有多少提升,感兴趣的朋友可以自己开启,然后压测看看。

不过,升级内核后,系统多了200+rcuos和rcuob进程:升级CentOS6.5内核,开启Nginx的fastopen和reuseport特性

实际查看,也并没有占用系统内存或其他资源,看了一些老外论坛相关说明,也没得出一个所以然来,所以先视而不见吧!

29 条回应
  1. 小C博客 2016-5-7 · 13:36

    看不懂的干货

    • Jager 2016-5-8 · 18:55

      ╮(╯▽╰)╭ 很多人反馈文章把简单的东西写复杂了,看来我得修改下文章风格。

  2. 通宝娱乐官网 2016-5-7 · 17:11

    满满的干货,一看到代码就头疼,可惜了。加强学习。。。。

  3. 憧憬Licoy 2016-5-8 · 15:20

    每次一看到Jager博主发新文章了,我就知道我的自信心又要受一次打击了

    • Jager 2016-5-8 · 18:55

      😮

  4. 酷科技 2016-5-9 · 14:03

    学习了,,,,

  5. 酷科技 2016-5-9 · 14:03

    学习,学习

  6. 两天 2016-5-10 · 15:54

    ssl没了 😯

  7. 回梦博客 2016-5-10 · 23:25

    这些功能都很好,就像http2。能加快网站速度。但是套了一层CDN之后。。。。。。

    • Jager 2016-5-11 · 11:47

      明眼人。。

  8. 微部落博客 2016-5-11 · 8:41

    终于可以打开了,好像Jager的博客好几天没能打开了

    • Jager 2016-5-11 · 11:46

      不会吧,只是https打不开吧,浏览器缓存301死循环了

      • 微部落博客 2016-5-17 · 11:04

        可能我家里电脑的原因,要清一下浏览器了,单位可以正常打开。是https打开出错。

  9. aunsen 2016-5-11 · 13:01

    只有买台阿里云ESC来玩玩么。。。

  10. 好书推荐 2016-5-11 · 18:08

    张哥技术牛啊

  11. edf壹定发 2016-5-12 · 13:42

    博客做得不错,风格很喜欢。高大上又有点技术感,赞。

  12. 动漫 2016-5-12 · 15:43

    categor 和 tag 你这边是怎么去掉的呢?用.替代的话查看源码发现是影响收录的

  13. 微商 2016-5-12 · 17:47

    以前博客301循环了,然后那个浏览器就打不开了,现在换一个浏览器还可以正常访问

  14. 纯洁博客 2016-5-17 · 8:42

    要多学习一下了,都看不懂

  15. 明月登楼 2016-5-17 · 11:01

    干货,但没有看懂! ❗

  16. 七支剑 2016-5-19 · 20:14

    慢慢消化下 不知道能不能搞懂

  17. 得唔得 2016-5-23 · 13:33

    霍雨浩看上去确实年纪很轻,但徐默沉却清楚的感觉到这个年轻人不简单。面对他们这么多人并不慌张,虽然也曾出言威胁,但在被王少杰打了之后并没有破口大骂,神色间淡定从容。这必然是有所依仗

  18. 成都卫校 2016-6-1 · 11:39

    挺棒的

  19. 五冶大学 2016-6-3 · 10:31

    都不怎么看得懂。。。。哈哈哈。

  20. 五冶大学 2016-6-4 · 10:57

    谢谢博主分享

  21. 电影天堂迅雷下载 2016-6-11 · 21:33

    还没用过这样的系统

  22. 阳光幼教 2016-9-9 · 16:08

    一直用的阿里云

  23. 小黑 2017-8-22 · 20:03

    你好,最近在浏览博客的时候看到你的文章,觉得你写的挺实用的,我是一个大学生,自己也想从事运维之类的工作,感觉Linux很好玩,你能不能做一期关于运维你的成长之路的经验贴之类的文章,求解

    • Jager 2017-8-23 · 23:02

      看啥时候有空我总结总结。。
      学习套路:知道做–>有记录–>懂分享–>让看懂(分享的东西有条理,思路清晰,别人能看懂)