1月16日 · 2025年
FastTTS：支持私有化部署和源阅读无缝对接的语音合成服务
632 11 0
8月17日 · 2022年
gRPC开发过程中遇到的问题记录
3004 39 4
8月3日 · 2022年
SQLAlchemy因密码含有@符号连接MySQL失败
2970 14 0
6月17日 · 2022年
Flyer：基于FastAPI的轻量级API开发框架
3653 6 0
3月18日 · 2022年
APISIX高级路由之301/302跳转配置
3452 10 0
3月1日 · 2022年
解决paramiko使用invoke_shell交互式命令超时问题
5238 6 1
2月25日 · 2022年
分享一个APISIX网关返回502的典型案例
2351 7 1
12月23日 · 2021年
解决百度搜索出现安全中心提醒
1767 27 4
12月12日 · 2021年
APISIX运维优化之解决长尾请求（耗时抖动）问题
3460 11 0
7月24日 · 2014年
Linux下用dd命令测试硬盘的读写速度
4460 14 17
9月2日 · 2014年
百度蜘蛛狂暴了！再次启用本地缓存，附nginx下wp super cache的mod_rewrite规则
1462 14 39
12月23日 · 2013年
Shell下制作自解压安装包,实现脚本的简单加密
5603 5 1
脚本编程阅读更多![]()
一开始搭建中国博客联盟，既有博友提醒我，做网址大全这类网站维护很麻烦，需要大量的精力去Debug一些已夭折的网站，更是拿松哥的博客大全举例。当然，我也是深以为然。前些时间，看到梦轩丽人的boke123网址大全的维护记录，好像是纯手工检查，张戈实在是佩服的五体投地，太有毅力了。现在博客联盟也收录的博客也已破200了，全部来自自主提交，不管你是草博还是名博，张戈不会强买强卖。由于大部分都是建站... 
导读：2个月前，张戈博客分享了一篇Python+Shell定时备份网站到阿里云OSS的教程，已经有非常多的站长朋友用上了，反馈还不错，也有不少朋友提出了很多优化建议，比如上传完成后能否删除本地压缩包之类的，本文将继续分享另一种云端备份方案。一、优点分析内网传输：和阿里云OSS一样，腾讯云COS同样支持内网和外网文件传输，对于腾讯云服务器，使用内网传输绝对是最快、最稳定的备... 
昨天，同事告诉我发现一个诡异的问题，grep无法搜索shell中的变量，着实很惊讶。到他所说的服务器上试了下，还真是不行！大概就是这样一个要求：①、有个文本为userid.txt，里面每一行一个用户id，类似如下：00010003000500070009②、另外还有一个文本为record.txt，里面是所有用户的操作记录，一行一条，并且包含有id，类似如下：... 
难得今天晚上9点前赶回家，而且最近草稿箱也压了不少“湿货”，就挑一篇发出来好了！不过在发文章之前先吐槽一下那个从昨天攻击张戈博客到现在还在继续的无聊蛋疼之人！本来就算开启了云加速全缓存也是扛不住的，因为静态中混着动态请求，比如浏览计数。还好灵机一动，对这些动态做了点小手脚，现在基本毫无压力了！粗略分析一下这个攻击博客的小人，无外乎是2种人：①、最近张戈博客流量大涨，估计遭人... 
最近在折腾博客主题，通常来说大多数人认为换主题会影响SEO，实际上只要你把工作都做到位了，是没有任何问题的。比如，换主题后你得仔细检查标题和描述等内容是否发生改变、换主题后是否带来了大量的404页面等。当然，更细微的可能是换主题之后，网站的内链网络也发生了微妙的改变，但是整体的影响较小。总之，张戈博客这次更换主题基本上没有看到明显的SEO影响，反而出现几个新的关键词。好了，题外话到... 最近在跟一个自动化发布平台的建设事项，其中Linux系统的远程控制通道则由我独立开发完成，其中涉及到了Linux系统远程命令和文件传输操作。因为之前写Linux系统密码管理系统的时候，用的是Paramiko的SSHClient。所以，我这次依然采用Paramiko来做实现，代码虽短，说起其中的坑，我也是一把辛酸一把泪的填上了。先上完整代码：# -*- coding: utf-8... 公司最近用上了 SendCloud 的邮件代发服务，于是就有了各种监控需求。比如每天发信额度是不是要超标了或是邮件是否堵塞了等等。最近经常接触 python，所以这次也一样，继续学习使用 python 来完成各种脚本需求。SendCloud 提供了很多对外查询的 API，只要 Get 或 Post 传递用户名和 KEY 即可获得想要的各种数据，比如最简单的【已使用额度】就可以在用户... 一、起因昨天，开发组兄弟发现resin日志出现不少支付宝业务报错信息，用户用支付宝购买了产品，钱到账后公司系统却未返回支付成功状态！这还得了？用户明明支付成功了，结果却显示未到账！！！必须赶紧解决，用户投诉是小，用户流失就大了！仔细分析日志后，发现是解析支付宝接口域名（mapi.alipay.com）时出现延时，导致获取不到支付成功的返回信息！检查发现OpenSUSE的name... 最近我在改造手头负责的一个HTTP Restful API服务，集成对gRPC协议（在鹅厂叫tRPC，是gRPC的本土衍生版本）的支持。由于是从0学习这个协议，因此也踩了不少坑，这里用一篇文章来记录下，希望可以帮助到同样从0学习gRPC的朋友。列表参数赋值老的Rest接口中，大量用到了列表参数，看了下pb协议，给这个参数定义如下：message Foo { rep...
8月22日 · 2014年
Shell+Curl网站健康状态检查脚本，抓出中国博客联盟失联站点
6682 8 12
1月2日 · 2017年
利用腾讯云COS云对象存储定时远程备份网站
9175 94 81
11月15日 · 2014年
grep无法查找shell传过来的变量？先注意一下文本格式吧！
12641 21 6
3月24日 · 2015年
bat/cmd批处理连接SqlServer数据库查询脚本
2541 12 10
5月3日 · 2015年
SEO技巧：Shell脚本自动提交网站404死链到搜索引擎
16229 67 74
5月7日 · 2017年
分享一个自写的Python远程命令和文件（夹）传输类
8385 40 37
3月29日 · 2015年
SendCloud邮件队列状态和已使用额度的Python监控脚本
4130 5 2
6月26日 · 2014年
Linux操作系统DNS解析(nameserver)监控脚本
7960 6 20
8月17日 · 2022年
gRPC开发过程中遇到的问题记录
3004 39 4
操作系统阅读更多1. 简介sed是非交互式的编辑器。它不会修改文件，除非使用shell重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。sed编辑器逐行处理文件（或输入），并将结果发送到屏幕。具体过程如下：首先sed把当前正在处理的行保存在一个临时缓存区中（也称为模式空间），然后处理临时缓冲区中的行，完成后把该行发送到屏幕上。sed每处理完一行就将其从临时缓冲区删除，然后将下一行读入，进行处理和... ![]()
昨天在给服务器做年终“大扫除”整理时，发现有个目录下因为文件过多而删除失败，最终使用xargs才搞定，于是顺便来记录下。在执行某些命令时，当Linux某个目录下文件过多就会因为“参数列表过长”而报错无法执行。比如，我要清空/var/spool/clientmqueue/下的庞大数量的临时文件，如果直接执行 rm -f *，有时就会会出现“参数列表过长”的错误提示，因为linux下一般的... ![]()
本人是Linux运维工程师，对这方面有点心得，现在我说说要掌握哪方面的工具吧。说到工具，在行外可以说是技能，在行内我们一般称为工具，就是运维必须要掌握的工具。我就大概列出这几方面，这样入门就基本没问题了。Linux系统如果是学习可以选用Redhat或CentOS，特别是CentOS在企业中用得最多，当然还会有其它版本的，但学习者还是以这2个版本学习就行，因为这两个版本都是兄... ![]()
上一篇博文《Redhat设置NFS挂载的简单步骤》,其中摘录了一段nfs中fuser的使用，索性将其全部发出，以供参考。对于NFS的安全问题，我们是不能掉以轻心的。那么我们如何确保它的安全呢？这里我们首先我们需要分析一下它的不安全性。看看在那些方面体现了它的不安全。NFS服务安全性分析：不安全性主要体现于以下4个方面: 1、新手对NFS的访问控制机制难于做到得心应手,控制目... 
这两天接到的任务是给JAVA开发项目组部署【JAVA+MySQL主从+Redis主从】运行环境。部署过程中大问题倒没有，小问题却不少，因此也涨了不少经验值。后续有时间我会一一整理记录下来，沉淀而不忘分享。今天，装完一台redis，并配置好redis.conf后，想偷懒直接用scp传到另一台redis，省去全部重新编辑的麻烦。结果一执行就出现下面这个错误：bash: scp: c... ![]()
本文展示了10个有趣的Linux动态命令，这些命令和实用功能无关，仅供娱乐！看完此文，你会对Linux有个全新的认识，谁说IT男就没有屌丝娱乐的一面呢？还等什么，就让我们开始看文章吧~看完之后记得亲自尝试一下哦！Linux最强大的一个特征就是它有大量的各种小命令工具，这也可以称做是它最有趣的一个地方了。在这些大量的有用的命令和脚本中，你会发现有少部 分命令工具不那么有用的——如果你不愿意说是完... 
Linux系统安装软件，不管是从性能还是从稳定考虑，优先推荐编译安装的方式都是无可厚非的。不过在编译安装的时候，偶尔会提示缺失一些依赖组件，比如curl-devel、libevent等。这时候，要去找相应的编译包或者rpm包又要耗费时间！而且，往往当你找到并开始安装的时候，很有可能又有新的依赖组件缺失提示！！郁闷死你。。。这时候，在线安装功能就可以出马了，比如Centos下的yum、ubunt... 
最近，烦心事有点多，博客也像是进入了便秘期。虽然还远远不到说放弃的地步，但总有一种挤不出牙膏的郁闷感。很怀念前几个月的冲劲和激情，一天都能存好几篇优质草稿。看来，张戈博客是首次进入瓶颈阶段了！没办法了，先转点基础教程充门面，当然也是为了温故而知新。vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用... 
简单使用：awk ：对于文件中一行行的独处来执行操作 。awk -F ：\'{print $1,$4}\' :使用‘：’来分割这一行，把这一行的第一第四个域打印出来 。AWK命令介绍awk语言的最基本功能是在文件或字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作，完整的awk脚本通常用来格式化文本文件中的信息 1. 调用awk... 
在家手痒，又把本本的系统换成了Linux。收到公司服务器的报警之后，突然想起需要用VPN远程处理。只好又折腾下linux下的远程桌面了。下面简单的记录下（绝非教程贴）：一、主角：rdesktoprdesktop是linux下支持Windows远程桌面连接的客户端程序，在linux系统下可通过它远程访问Windows桌面，支持多种版本。rdesktop是sourceforge下支持G...
3月6日 · 2014年
Linux：sed命令详解
4112 6 34
1月17日 · 2014年
Linux基础知识之xargs命令
4844 12 18
12月18日 · 2013年
详解Linux运维工程师必备技能
3479 13 1
1月23日 · 2014年
如何确保NFS服务安全
1436 0 4
3月27日 · 2015年
linux/scp命令报“bash: scp: command not found lost connection”错误的解决办法
1797 14 3
5月15日 · 2014年
10个超有趣的Linux命令
4492 1 23
8月13日 · 2014年
SUSE Linux系统在线安装软件命令zypper参数详解
11250 22 4
1月5日 · 2015年
Linux系统内存监控、性能诊断工具vmstat命令详解
4569 7 4
3月8日 · 2014年
Linux：awk命令详解
9969 28 27
7月28日 · 2014年
Linux下通过rdesktop连接Windows远程桌面
21523 15 8
WEB应用阅读更多![]()
今天，不知道写什么，就找来一篇很详细的Nginx安装教程，“滥竽充数”了，另外后面附上马哥关于nginx讲解的核心视频教程。Nginx（发音同 engine x）是一款轻量级的Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like 协议下发行。由俄罗斯的程序设计师Igor Sysoev所开发，供俄国大型的入口网站及搜索引擎Rambler（俄文：Рам... 
最近给张戈博客全站开启了https，所以对这块关注比较多。昨天脑补的时候发现http2.0只支持SSL加密的网站，即https。于是心血来潮，给张戈博客开启了http 2.0，尝尝鲜。查了下资料，发现Nginx不久前发布的 1.9.5版本支持http2.0，而1.8.x时代只是对SPDY进行了支持。一直用的1.62稳定版，此次为了测试http2.0，直接进行了版本跳跃，升级到了1.9.5版... APISIX为了提高性能，默认会打开keepalived特性，预设会话保持时长为60s，我们在部署网关的时候也保留了这个优化特性，恰好我的上游服务基于Gunicorn+FastAPI开发框架，也开启了keepalived，会话保持默认设置为5s。这样就有问题了：网关和上游服务建立连接后60s内，新请求会继续复用这个连接，但是上游却在5s后主动关闭了连接，因为网关将新请求转发给上游时，才发现连接已经被关闭了，因此就出现了上述报错。... 
最近在折腾网站XSS漏洞修复的时候，当我把XSS漏洞和谐成功之后，360扫描送来了一个"彩蛋"： 本以为又是360误报，结果点击看了下，还真能打开PHPinfo：PHP彩蛋我也是第一次听说，貌似老一辈的程序员们都知道，因为PHP是由黑客语言发展而来，所以各方面都透露着放荡不羁的极客精神！一、如何触发PHP彩蛋？我们只要在运行PHP的服务器上，在域名后面输入... 在决定全面铺开使用APISIX之前，Kong网关在我们的生产环境已经试用了将近一年，因此存在大量的生产环境API接口使用的是Kong HMAC鉴权。此次迁移到APISIX网关，为了减少客户端的改造工作，我们决定将Kong网关的HMAC鉴权插件移植到APISIX，同时将Kong的HMAC认证作为后续API接口的统一鉴权方案。... 
最近接到了一个需求：通过Nginx代理把现网一个自研代理程序给替换掉，感觉有点意思，也有所收益，简单分享下。需求背景部门的生产环境异常复杂，有部分第三方引入的系统位于特殊网络隔离区域，请求这些系统需要通过2层网络代理，如图所示：中心源系统请求目标系统API的形式各异，我简单收集了下，至少有如下3种：curl --digest -u admin:xxxxxx... 这是我上一家公司的案例总结，发现躺在草稿箱好几个月了，今天得空就整理发布一下。先说一下开发那边提来的2个case：①、同一个域名需要反向代理到前台和后台（不同机器和端口）；②、需要采用IP+端口的模式，嵌入到APP作为DNS污染后的备选方案。对于第①个问题，很好解决：通过区分二级目录来反代不同的节点即可，所以代码类似如下：server { li... 
张戈博客曾分享过不少关于七牛云存储的一些经验技巧，对七牛感兴趣或者遇到相关问题的朋友可以看一看以前的相关文章： 七牛&又拍云CDN云存储节省GET次数的小技巧 WordPress简单代码开启七牛CDN及集成七牛缩略图的方法 浅谈网站使用七牛云存储之后的robots.txt该如何设置？ Linux/vps本地七天循环备份和七牛远程备份脚本前段时间，百度云加... Configmap的方式来配置APISIX。最开始我们就采用 Configmap的方式在腾讯云TKE上部署APISIX，当网络区域越开越多时，每个TKE集群都需要去定义一套config.yaml对应的Configmap，管理非常繁琐。因此，这里我们利用Python的Jinja2插件来自动化渲染APISIX的配置文件，整体非常方便！... 很久没写文章了，博客已经长草了，今天挤点时间分享一些小干货，也是回应一下不少站长朋友的留言问题。有不少站长朋友问张戈博客的静态文件为啥是另外一个域名？有啥好处？如何实现？其实这算是一种动静分离的做法，不过我这里用了偷懒的办法实现，而非彻底的动静分离，不过最终效果的区别并不大。先啰嗦一下动静分离的概念和好处。一、动静分离我们的网站简单来说分为2种数据... 很多业务系统都用到了Haproxy这个高性能反向代理负载均衡器。在日常运维当中，Haproxy后端节点的上（接入）、下（剔除）线操作绝对是家常便饭，而且人工重启的时候经常有胆颤心惊的感觉。下面分享一种命令行操作Haproxy后端节点平滑上下线的技巧。一、新增配置Haproxy自带了一个非常实用的管理页面，我们可以在harpxoy.cfg新增如下配置，开启Haproxy监控管理页面功... 
张戈博客不久前分享过Nginx开启缓存为WordPress加速的教程，其中分享了2种缓存模式：代理模式和本地模式。我一直以为单个 ngx_cache_purge 缓存模块只支持proxy代理模式，结果热心的网友回复，其实这个模块也是支持本地缓存的，而且WordPress还有配套的插件！看来还是我孤陋寡闻了！我像发现了新大陆一般，立马进入折腾状态，幸不辱命，已经成功部署！最爽...
5月23日 · 2014年
菜鸟教程：Ngnix安装详解
4702 7 9
12月8日 · 2015年
升级Nginx1.9.5以上版本，开启博客网站http2.0时代
7700 17 18
2月25日 · 2022年
分享一个APISIX网关返回502的典型案例
2351 7 1
1月13日 · 2015年
PHP彩蛋还是漏洞？expose_php彩蛋的触发和屏蔽方法
5315 2 4
11月7日 · 2021年
APISIX插件开发之Kong网关HMAC鉴权插件（附客户端SDK）
2072 7 0
1月20日 · 2019年
分享一个Nginx正向代理的另类应用案例
3192 6 13
7月22日 · 2015年
Nginx通过二级目录（路径）映射不同的反向代理，规避IP+端口访问
7349 81 9
5月10日 · 2015年
为WordPress开启Nginx缩略图功能，七牛从此陌路
5309 20 31
11月14日 · 2021年
APISIX运维优化之配置文件自动化生成方案
3864 5 1
2月3日 · 2018年
小网站最简单实用的动静分离优化方案
12982 48 45
2月24日 · 2018年
Haproxy进阶管理：命令行控制后端节点上下线
1790 11 11
5月30日 · 2015年
Nginx开启fastcgi_cache缓存加速，支持html伪静态页面
9881 43 117
