数据库在使用的过程中会随着数据量的增加而需要扩容,一般需要扩容的原因如下:历史数据量增加,磁盘空间不足;计算的数据量增加,计算性能跟不上(CPU 或磁盘 IO 吞吐限制); 网络传输量增加,网卡限制。为了增加计算节点,Greenplum 提供了 gpexpand 扩容脚本。此次扩容遇到不少问题,总结如下:1. Greenplum 服务器不建议运行在非标准 SSH 端口上。2. root 和 gpadmin 用户都需要做 SSH 等效性验证。3. 扩容过程之前检测磁盘空间是否充裕、时间是否同步。4. 扩容过程中如果出现某张表没有分布,需要重新执行 gpexpand -d 60:00:00 -D gpexpand 命令。5. 扩容过程中,注意告警信息,包括 Greenplum 机器负载、流量和进程数。

Read more...


SQLAdvisor 是由美团点评公司北京 DBA 团队开发维护的 SQL 优化工具:输入 SQL,输出索引优化建议。它基于 MySQL 原生词法解析,再结合 SQL 中的 where 条件以及字段选择度、聚合条件、多表 Join 关系等最终输出最优的索引优化建议。目前 SQLAdvisor 在美团公司内部大量使用,较为成熟、稳定。美团点评开源 SQL 优化工具 SQLAdvisor 得到的优化建议比较满意,建议在线上试用一段时间。这个工具的成本在于需要在线上 DB 安装相关依赖,如果确认采用,可以考虑在初始化 DB 服务器时部署此工具。

Read more...


在平时的迁移或者其他维护场景中,我们需要利用备份的物理 binlog 做回溯。本篇文章根据真实案例进行讲解,如何优雅地利用 binlog 进行物理回溯。结论如下:拷贝回去的 binlog,需要将属性改为 mysql;mysql-bin.index 这个文件不管加一行减一行,在触发 FLUSH LOGS 的时候原有的复制会被中断。如果旧 Master 有从库,恢复其他从库数据的时候,需要暂时将已有的从库同步停掉(执行 STOP SLAVE),就能避免中断;任何线上操作,都要在完备的测试前提下再操作;迁移过程中,重要的一点是做好数据校验,不管是用 pt,还是手动写脚本,这个过程不能缺失。

Read more...


在第一篇网站优化日志中,写到了一些优化策略。本篇文章从主题格式、增加功能方面讲解下网站的优化。第一,博客主题由两列显示改为一列显示,右侧导航栏完全取消,包括关于、Google 搜索、分类、Blogroll。第二,改变宽度。第三,去除无用页面,包括赞赏页、分类页。第四,在页脚添加邮箱、GitHub、Twitter、Instagram 和 RSS 图标。第五,顶部导航栏添加 Blogroll。第六,在文章和关于页面添加赞赏功能。第七,关于页面添加 PGP 和 公钥。最后。经过这么一番折腾,下面就是成果。生命在于折腾,不会前端的我,通过建站以来的折腾,对前端多少有些了解了。目前美中不足的是,之前提供的 Google 搜索也下掉了,博客暂时没有搜索功能,留个坑吧。

Read more...


GitHub 简称 GayHub,又称世界上最大的同性交友平台,还称程序员的左右手。但由于众所周知的原因,GitHub 在没有翻墙的前提下,访问速度就像乌龟在漫步,让追求效率的程序员痛苦不堪,恨不得肉身翻墙,享受优质互联网服务的同时晒晒太阳,吹吹海风。熟练的程序员基本上都使用 Terminal 或者命令行访问 GitHub。那么问题来了,怎么优雅地使用 GitHub 呢?我觉得应该分享分享。终端加速 GitHub 方法的前置条件,一是购买了加速服务或者租用 VPS 搭建加速服务,二是系统是 macOS,三是终端是 iTerm,四是 Shell 是 zsh。终端加速 GitHub,需要明确的是,http_proxy 和 https_proxy 的方法是无效的。最佳实践有两种方法,一是使用 proxychains,二是为 Git 配置代理。终端可以呼呼地使用 GitHub,那网页呢,也很简单,且听。网页加速 GitHub 方法的前置条件,一是购买了加速服务或者租用 VPS 搭建加速服务,二是系统是 macOS 或者 Win,三是浏览器是 Chrome。最后,为自由付费是值得的。最近工信部颁文:未经批准不得自建或租用 VPN,以后的墙只会越来越高,自由的成本也会越来越高,珍重!

Read more...