1月16日 · 2025年
FastTTS：支持私有化部署和源阅读无缝对接的语音合成服务
609 11 0
8月17日 · 2022年
gRPC开发过程中遇到的问题记录
2984 39 4
8月3日 · 2022年
SQLAlchemy因密码含有@符号连接MySQL失败
2953 14 0
6月17日 · 2022年
Flyer：基于FastAPI的轻量级API开发框架
3628 6 0
3月18日 · 2022年
APISIX高级路由之301/302跳转配置
3435 10 0
3月1日 · 2022年
解决paramiko使用invoke_shell交互式命令超时问题
5212 6 1
2月25日 · 2022年
分享一个APISIX网关返回502的典型案例
2333 7 1
12月23日 · 2021年
解决百度搜索出现安全中心提醒
1753 27 4
12月12日 · 2021年
APISIX运维优化之解决长尾请求（耗时抖动）问题
3436 11 0
4月24日 · 2016年
Nginx网站使用CDN之后禁止用户真实IP访问的方法
14490 24 49
12月13日 · 2014年
WordPress高亮插件：Crayon Syntax Highlighter加载优化
1116 12 18
脚本编程阅读更多
由于电信宽带和谐了443端口，近期我花了不少时间折腾了下近半年都没瞅一眼的博客。经过一番折腾（详见前文），博客总算可以运行在家里的NAS上，整体部署方案如下：图1. 张戈博客部署架构图一、预缓存从上图可以看到，由于中间用于代理转发的腾讯云CDN和阿里云CDN都是没有缓存的，如果CloudFlare的缓存过期，将需要绕过多层链路回源获取网页内容，相比速度就会慢很多。所以，需... 
最近我在改造手头负责的一个HTTP Restful API服务，集成对gRPC协议（在鹅厂叫tRPC，是gRPC的本土衍生版本）的支持。由于是从0学习这个协议，因此也踩了不少坑，这里用一篇文章来记录下，希望可以帮助到同样从0学习gRPC的朋友。列表参数赋值老的Rest接口中，大量用到了列表参数，看了下pb协议，给这个参数定义如下：message Foo { rep... 
此工具可将标准版的sitemap.xml转换成电脑版—移动版的对应关系sitemap，用于百度开放适配&360移动适配的文件提交。工具用批处理制作，仅起到批量转换的辅助功效，免去手动制作的麻烦！可以用于移动适配的提交测试！张戈不会php，而shell又不能普遍适用，所以只能挑了自己比较拿手的批处理来制作这个辅助工具！因为批处理的局限性，做出来的工具只能用于尝鲜测试使用！或长期不更新的CMS企业网站来提交移动适配sitemap。另外，响应式站点亦无需提交适配！... 
博客前些时间分享过一次vps远程备份到七牛的工具，全傻瓜式交互操作，但也有一个很大的缺憾，那就是不够灵活，在无人干预的情况下，无法完成对多个站点的远程备份设置。这次博客搬家到vps后，张戈花了点时间完善了下，实现了多站点，多数据库的本地七天循环备份和同步备份至七牛云存储的脚本。一、类型说明①、七天循环备份受服务器空间制约，我们不可能在VPS上每天都备份一份新的网站数据，... 最近一直在开发自动化运维发布平台，底层命令行、文件通道主要基于paramiko模块，使用过程中遇到各种各样的问题，本文主要用于收集问题及解决记录，以备后续使用。一、Error reading SSH protocol banner连接错误这个关键词，在百度、谷歌一搜一大把的提问，也有少部分给出了解决方案，但是最终都无法解决，我经过不断尝试和解读paramiko源码，终于搞定了这个问题，在此... 最近新来的实习生小伙子在重构一个我入职时开发的老系统，这个系统之前用的是Python twisted框架开发的，这次重构希望可以换到FastAPI，也就是我上一篇文章分享的Flyer开发框架。小伙子很给力，花了几天自学了下FastAPI和Flyer就开始开发了，结果用Flyer框架的时候，连接MySQL报错如下：sqlalchemy.exc.OperationalError: (... ![]()
Tomcat重启脚本，送给有需要的JSP环境运维同行们~运行环境：XP/windows 2003测试通过,其他环境由于手头上条件限制未测试;脚本功能：在常规调用tomcat自带的关闭/重启脚本中加入假死判断，若出现假死则予以强行Kill掉相关JAVA进程;脚本特点：可在tomcat/Jboss/apache混合平台使用，针对性的只重启tomcat相关进程;注意事项：... ![]()
今天上午，同事叫我帮他看下他正在写的脚本到底哪里出了问题，执行总是达不到预期功能。于是ssh连过去看能否发现问题，经过多次Debug定位与排除，问题终于得到解决。 同事在网上down了一个脚本菜单模板，想把我们已经存在的功能脚本整合到一起，做成多功能的Linux运维工具。目前已经添加了挺多功能，而早上才添加的一个抓取高占用CPU的Java线程功能时出现了无法出现交互界面的问题...
2月8日 · 2020年
网站预缓存工具，提升网站整体加载速度
6654 73 0
8月17日 · 2022年
gRPC开发过程中遇到的问题记录
2984 39 4
5月16日 · 2014年
百度开放适配&360移动适配专用Sitemap格式转换工具
8681 13 52
8月31日 · 2014年
Linux/vps本地七天循环备份和七牛远程备份脚本
10419 14 45
6月16日 · 2017年
Python远程控制模块paramiko遇到的问题及解决记录
5857 32 17
8月3日 · 2022年
SQLAlchemy因密码含有@符号连接MySQL失败
2953 14 0
12月27日 · 2013年
Tomcat重启脚本For Windows
7366 19 4
2月26日 · 2014年
菜单式Shell运维脚本调试小记
3691 10 7
操作系统阅读更多![]()
本文展示了10个有趣的Linux动态命令，这些命令和实用功能无关，仅供娱乐！看完此文，你会对Linux有个全新的认识，谁说IT男就没有屌丝娱乐的一面呢？还等什么，就让我们开始看文章吧~看完之后记得亲自尝试一下哦！Linux最强大的一个特征就是它有大量的各种小命令工具，这也可以称做是它最有趣的一个地方了。在这些大量的有用的命令和脚本中，你会发现有少部 分命令工具不那么有用的——如果你不愿意说是完... 
作为一个大公司的运维，手头管理了成百上千的服务器是家常便饭，甚至更多。而我们一般都是用跳板机登陆，由于这些机器一般都是克隆或者虚拟化出来的，所以登陆后的命令行提示符几乎是一个模子刻出来的，比如都是：[root@localhost ~]#这时，我们肯定会经常遇到这样一个困扰：操作服务器时因某事中断，回头继续操作的时候肯定会ifconfg确认下是否是我要操作的服务器，因为无法从表象识别... 
1. 简介sed是非交互式的编辑器。它不会修改文件，除非使用shell重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。sed编辑器逐行处理文件（或输入），并将结果发送到屏幕。具体过程如下：首先sed把当前正在处理的行保存在一个临时缓存区中（也称为模式空间），然后处理临时缓冲区中的行，完成后把该行发送到屏幕上。sed每处理完一行就将其从临时缓冲区删除，然后将下一行读入，进行处理和... 之前博客分享过一篇《Linux/vps本地七天循环备份和七牛远程备份脚本》，我自己也一直在用。某天检查备份的时候，突然发现数据库的备份的压缩包是空的！看了下crontab的日志，发现有如下错误：Access denied for user \'dbuser\'@\'localhost\' to database \'db\' when using LOCK TABLES原来，我在计划任务中备份... ![]()
时常，某个程序或软件并没有语法错误，并且你检查它的相关内容也确实没有发现问题。这是因为你用普通文本编辑器软件来查看的时候，有许多字符没有显示出来，但在终端使用cat命令可以很容易地检测出是否存在这些字符。首先，我们创建一个简单的文本文件，写入一些特殊字符。打开终端，运行命令：printf \'testing\012\011\011testing\014\010\012more tes... cronsun 是一个分布式任务系统，单个节点和 Linux 机器上的 crontab 近似。是为了解决多台 Linux 机器上 crontab 任务管理不方便的问题，同时提供任务高可用的支持（当某个节点死机的时候可以自动调度到正常的节点执行）。支持界面管理机器上的任务，支持任务失败邮件提醒，安装简单，使用方便，是替换 crontab 一个不错的选择。... 
近年来，Linux开始获得越来越多的关注，那你知道国内外流行的Linux版本都有哪些吗？本文中整理了五大Linux发行版，他们分别是RedHat、SUSE、Debian、ubuntu、Gentoo，一起来看看吧。Linux长时间以来都是极客圈子内的玩物，大众对其知之甚少，但谁都无法否认其重要性。近年来，Linux开始获得越来越多的关注，那你知道国内外流行的Linux版本都有哪些吗？一起来看看网... 
上次张戈博客刚公布了RHEL7的最新资讯及下载地址，并且在文章结尾也猜测centos7也会即将发布，于是一直持续关注着Centos 7的最新动态，前些天centos发布了一个预览版，而非正式版，张戈也就没分享出来。今天，刚从厦门旅游回来，突然发现Centos在7/8号就已经发布了！好吧，我也奥特曼了。下面转载一段来自【太平洋电脑网】的相关介绍，就懒得另行码字了。7月8日，Cen... 本系列文章一共三篇，分别为《脚本编程与Linux命令》、《接入层与网络基础》和《 MySQL 与 SQL 优化》，由腾讯高级工程师 luaruan(阮永顺) 原创、张戈博客整理分享，如有勘误请在博客留言。希望对需要学习、面试Linux运维的同学有所帮助。$1 入参，空值时默认赋值技巧variable=${1:-"default value"} # 当未传参时，赋默认值。echo...
5月15日 · 2014年
10个超有趣的Linux命令
4485 1 23
8月13日 · 2015年
Linux在批量服务器管理中实用的PS1命令提示符格式
4331 5 5
3月6日 · 2014年
Linux：sed命令详解
4099 6 34
11月18日 · 2014年
Linux系统crontab备份数据库执行不成功？可能是百分号%在作怪！
4259 3 4
12月30日 · 2013年
Linux终端：用cat命令查看不可见字符
1135 0 1
11月19日 · 2017年
替代crontab，统一定时任务管理系统cronsun简介
4574 50 37
2月10日 · 2014年
国内外流行的Linux发行版
666 0 12
7月14日 · 2014年
CentOS 7.0.1406正式版发布，附更新记录及CentOS7 iso镜像文件下载地址
18809 18 12
10月26日 · 2018年
Linux运维基础技能： 脚本编程与Linux命令
4422 15 16
WEB应用阅读更多
盼望以久的PHP 7.0正式版，终于在今天发布了！官方给出的新特性如下：PHP 7.0.0 comes with new version of the Zend Engine with features such as (incomplete list): Improved performance: PHP 7 is up to twice as fast as PHP 5.6... 
将2个网站搬到阿里云，一个是因为阿里云稳定，另一个就是牛逼轰轰的云盾了。之前在博客联盟群里模拟CC攻击过搭建在阿里云ECS上的博客，结果云盾毫无反应，而网站已经挂了。这次特意细看了一下云盾上的CC防护功能，发现有部分朋友估计并未正确使用WAF。所以，我在本文就简单的分享一下阿里云盾-WAF网站防御的正确使用方法。一、域名解析大部分朋友，只是开启了云盾就不管了，这也就是很多朋友受到C... ![]()
上午共享的那个varnish安装手册，个人看了下，有点不知所云，好吧~看来还是先安装玩玩！苦逼公司服务器没法连外网，不能用什么wget或yum命令直接下载安装，每每看到别人博客贴出的在线安装代码时，总有一股羡慕嫉妒“恨”冒了出来。。。好吧，既然没法上外网，那只能麻烦点通过下载源码来编译安装了！Varnish 3.0.4下载地址： http://repo.varnish-cache.... 
在实际业务场景中，APISIX限速太笼统，达不到业务要求，最终，我们自己在limit-count插件基础上进行改造，重新设计一个限速机制，能够针对不同的服务给不同的Consumer设置差异化的访问限速，满足生产环境更精细化的限速需求。... 
最近接到了一个需求：通过Nginx代理把现网一个自研代理程序给替换掉，感觉有点意思，也有所收益，简单分享下。需求背景部门的生产环境异常复杂，有部分第三方引入的系统位于特殊网络隔离区域，请求这些系统需要通过2层网络代理，如图所示：中心源系统请求目标系统API的形式各异，我简单收集了下，至少有如下3种：curl --digest -u admin:xxxxxx... Configmap的方式来配置APISIX。最开始我们就采用 Configmap的方式在腾讯云TKE上部署APISIX，当网络区域越开越多时，每个TKE集群都需要去定义一套config.yaml对应的Configmap，管理非常繁琐。因此，这里我们利用Python的Jinja2插件来自动化渲染APISIX的配置文件，整体非常方便！... 
最近给张戈博客全站开启了https，所以对这块关注比较多。昨天脑补的时候发现http2.0只支持SSL加密的网站，即https。于是心血来潮，给张戈博客开启了http 2.0，尝尝鲜。查了下资料，发现Nginx不久前发布的 1.9.5版本支持http2.0，而1.8.x时代只是对SPDY进行了支持。一直用的1.62稳定版，此次为了测试http2.0，直接进行了版本跳跃，升级到了1.9.5版... 
说到Nginx的内容替换功能，大部分人应该都听说过Nginx内置的的subs_filter替换模块，但是这个模块有个缺憾，就是只能替换一次，而且还不支持正则表达式，这就有些鸡肋了。不过，我们可以集成一个第三方的替换模块：ngx_http_substitutions_filter_module，来实现我们的各种需求。经过测试，这个模块至少有如下实用功能：①、支持多次替换②... 
上一篇文章分享了如何开启 Nginx 的缩略图功能，也提到了 Nginx 缩略图在完美替代七牛缩略图或PHP缩略图的同时，还会带来一定的CPU负载消耗。因此，本文就来分享一下如何解决这个实时生成缩略图带来的CPU开销问题。思路很简单，既然你要实时生成，那我就将你生成的缩略图缓存一份好了！在我测试期间发现，Nginx 的缓存也同样可以缓存伪静态的 html 页面，完全可以替代WP-S... 博客前面分享了一篇《分享一个Nginx正向代理的另类应用案例》，时隔不久，身为救火队员、万金油的博主又再一次接到了一个另「W」类「T」需「F」求：场景和上次有些类似，也是部门引进的第三方应用，部署在各个网络区域，从OA办公区域无法直接访问。目前，运营人员都需要登陆Windows跳板机，才能打开这些应用的WEB控制台。既不方便，而且还有一定Windows服务器的维护工作量，于是找到我们团队... 上上篇文章《nginx平滑升级&新增模块》提到了公司的https访问需求。当我新增了SSL模块之后，却发现以前还真没部署过https访问。下面整理我的部署过程，并收集了一下Apache和Tomcat这2种Linux下常用的WEB软件配置SSL的简单简单步骤，以便回头翻阅。一、下载证书成功申请SSL证书之后，就可以下载到配置SSL的证书了！一般情况下，都可以选择下载相应WEB...
12月2日 · 2015年
PHP7.0正式版编译安装升级及WordPress问题解决分享
8209 17 30
2月28日 · 2015年
阿里云盾网站安全防御(WAF)的正确使用方法
4253 43 23
3月13日 · 2014年
HTTP加速器varnish安装小记(1)
3963 3 32
11月3日 · 2021年
APISIX插件开发之精细化限速插件
3342 10 0
1月20日 · 2019年
分享一个Nginx正向代理的另类应用案例
3183 6 13
11月14日 · 2021年
APISIX运维优化之配置文件自动化生成方案
3847 5 1
12月8日 · 2015年
升级Nginx1.9.5以上版本，开启博客网站http2.0时代
7692 17 18
12月18日 · 2016年
Nginx内容替换模块http_substitutions_filter_module及实用案例分享
2734 25 28
5月20日 · 2015年
为网站开启Nginx缓存加速，支持html伪静态页面
20043 33 53
5月2日 · 2019年
分享一个Nginx反向代理的另类应用案例
6927 35 37
12月27日 · 2014年
Linux+Nginx/Apache/Tomcat新增SSL证书，开启https访问教程
25161 51 24
