操作系统

服务器日志备份超节省空间的思路

Jager · 7月10日 · 2014年 · 2495次已读

这两天,监控频繁发来服务器磁盘空间90%+的报警,打扰睡觉不说,塞得满满的总是不舒服的。刚来公司才20天,对于部分细节上的运维了解得还不是很到位,比如这备份机制是怎样的?于是,将几台空间老报警的服务器的文件及任务计划仔细看了下,总算是摸清楚了这新公司的重要日志的备份机制了:

服务器日志备份超节省空间的思路

由于最终存储备份的2台机器用的是增量同步备份,从而越来越大。而日志要留着以备查验,只好考虑做压缩备份了。

于是把日志来源服务器A、B…N等服务器上的rsync备份脚本修改如下,同步之前先做压缩(8-17行):

#!/bin/bash
client="192.168.1.$1"
project='website'
passwordFile='./password'
src='/data/logs/resin/'
dest="[email protected]::accesslog/$project/$server/"
#Desc compress the rensin's log
begin=`date +%Y-%m-%d-%H:%M`
cd $src
echo ***********Compress start at $begin**************>>compress.log
echo the file list of Compressing this time:>>compress.log
for file in `find . -name "*201[3-9]*"  -type f ! -name "*.tar.gz"`;do
        tar cvzf $file.tar.gz $file >>compress.log && rm -f $file
done
echo ***********Compress Completed at `date +%Y-%m-%d-%H:%M`**************>>compress.log
#rsync
cd /data/scripts/accesslog_rsync
rsync -ahrv --delete --delete-excluded --exclude='jvm-default.log*' --exclude='watchdog-manager.log*' --password-file=$passwordFile $src $dest
exit 0

压缩完成之后再进行rsync同步备份。修改后的备份机制如下:

服务器日志备份超节省空间的思路

写完脚本,并做好任务计划之后,我开始写脚本压缩日志来源服务器及最终备份服务器上已存在的日志文件。由于这些日志文件都是文本格式,压缩效果非常赞!体积几乎减小了十倍!

下面是一台备份目录做压缩前后的对比截图

压缩前:264G

服务器日志备份超节省空间的思路

 

压缩后:30G

服务器日志备份超节省空间的思路

压缩费时:3小时左右。

写在最后:其实这些备份方法在老公司一直都在用的,新公司一直都是由开发人员兼顾运维, 估计也没考虑那么多了吧!文中的脚本非常简单,主要分享了一个服务器日志备份的省空间思路,没啥技术含量,高手勿喷,哈哈!

11 条回应
  1. 香港虚拟主机 2014-7-11 · 8:44

    压缩前后的差别好大啊

  2. www.mfbuluo.com 2014-7-11 · 9:46

    博主用的单独服务器吗?

    • Jager 2014-7-11 · 12:29

      文章说的是公司的服务器

  3. 梦轩丽人 2014-7-11 · 11:43

    264G压缩为30G,博主很给力啊,感觉很深奥!

  4. 夏日博客 2014-7-11 · 16:02

    服务器日志经常进行清空,要么占用的太大了。

  5. 文字头像吧 2014-7-11 · 18:18

    给力哈,贵站用的是什么的服务商呢?

  6. 七弦琴 2014-7-11 · 20:48

    为毛不放到本地,或者删除很老的日志呢?或者直接放到云端,服务器放日志有什么优点吗?

    • Jager 2014-7-21 · 16:43

      没办法,这些日志涉及到支付业务,至少保留一年,这是公司硬性要求,以供稽核。谁不想rm -f呢。

  7. PHP二次开发 2014-7-11 · 22:22

    搞了三天的centos了,也有点心得,以后分享一下。

  8. 彩虹之家 2014-7-11 · 22:49

    为什么每次来到这里都是技术文章,完全看不懂啊!我是菜鸟!

  9. 小桃泳衣旗舰店 2014-7-17 · 16:05

    技术文章啊,高手http://www.xiaotaoyongyi.com/