-
在线修改PG字段类型
2020年01月30日 in PG 管理
场景 在数据库的生命周期中，有一类需求是很常见的，修改字段类型。例如： 使用INT作为主键，结果发现业务红红火火，INT32的21亿序号不够用了，想要升级为BIGINT 使用BIGINT存身份证号，结果发现里面有个X需要改为TEXT类型。 使用FLOAT存放货币，发现精度丢失，想要修改为Decimal 使用TEXT存储JSON字段，想用到PostgreSQL的JSON特性，修改为JSONB类型。 那么，如何应对这种需求呢？ 常规操作 通常来说，ALTER TABLE可以用来修改字段类型。 …
-
故障档案：PG安装Extension导致无法连接
2019年06月13日 in PG 管理
今天遇到一个比较有趣的Case，客户报告说数据库连不上了。报这个错： psql: FATAL: could not load library "/export/servers/pgsql/lib/pg_hint_plan.so": /export/servers/pgsql/lib/pg_hint_plan.so: undefined symbol: RINFO_IS_PUSHED_DOWN 当然，这种错误一眼就知道是插件没编译好，报符号找不到。因此数据库后端进程在启动时尝试加 …
-
PostgreSQL 常见复制拓扑方案
2019年03月29日 in PG 管理
复制是系统架构中的核心问题之一。 集群拓扑 假设我们使用4单元的标准配置：主库，同步从库，延迟备库，远程备库，分别用字母M,S,O,R标识。 M：Master, Main, Primary, Leader, 主库，权威数据源。 S: Slave, Secondary, Standby, Sync Replica，同步副本，需要直接挂载至主库 R: Remote Replica, Report instance，远程副本，可以挂载到主库或同步从库上 O: Offline，离线延迟备库，可以挂载到主 …
-
温备：使用pg_receivewal
2019年03月02日 in PG 管理
备份是DBA的安身立命之本，也是数据库管理中最为关键的工作之一。有各种各样的备份，但今天这里讨论的备份都是物理备份。物理备份通常可以分为以下四种： 热备（Hot Standby）：与主库一模一样，当主库出现故障时会接管主库的工作，同时也会用于承接线上只读流量。 温备（Warm Standby）：与热备类似，但不承载线上流量。通常数据库集群需要一个延迟备库，以便出现错误（例如误删数据）时能及时恢复。在这种情况下，因为延迟备库与主库内容不一致，因此不能服务线上查询。 冷备（Code Backup）： …
-
故障档案：pg_dump导致的连接池污染
2018年12月11日 in PG 管理
PostgreSQL很棒，但这并不意味着它是Bug-Free的。这一次在线上环境中，我又遇到了一个很有趣的Case：由pg_dump导致的线上故障。这是一个非常微妙的Bug，由Pgbouncer，search_path，以及特殊的pg_dump操作所触发。 背景知识 连接污染 在PostgreSQL中，每条数据库连接对应一个后端进程，会持有一些临时资源（状态），在连接结束时会被销毁，包括： 本会话中修改过的参数。RESET ALL; 准备好的语句。 DEALLOCATE ALL 打开的游 …
-
PostgreSQL数据页面损坏修复
2018年11月29日 in PG 管理
PostgreSQL是一个很可靠的数据库，但是再可靠的数据库，如果碰上了不可靠的硬件，恐怕也得抓瞎。本文介绍了在PostgreSQL中，应对数据页面损坏的方法。 最初的问题 线上有一套统计库跑离线任务，业务方反馈跑SQL的时候碰上一个错误： ERROR: invalid page in block 18858877 of relation base/16400/275852 看到这样的错误信息，第一直觉就是硬件错误导致的关系数据文件损坏，第一步要检查定位具体问题。 这里，16400是数据库 …
-
关系膨胀的监控与治理
2018年10月06日 in PG 管理
PostgreSQL使用了MVCC作为主要并发控制技术，它有很多好处，但也会带来一些其他的影响，例如关系膨胀。关系（表与索引）膨胀会对数据库性能产生负面影响，并浪费磁盘空间。为了使PostgreSQL始终保持在最佳性能，有必要及时对膨胀的关系进行垃圾回收，并定期重建过度膨胀的关系。 在实际操作中，垃圾回收并没有那么简单，这里有一系列的问题： 关系膨胀的原因？ 关系膨胀的度量？ 关系膨胀的监控？ 关系膨胀的处理？ 本文将详细说明这些问题。 关系膨胀概述 假设某个关系实际占用存储100G，但其中有很 …
-
TimescaleDB 快速上手
2018年09月07日 in PG 管理
官方网站：https://www.timescale.com 官方文档：https://docs.timescale.com/v0.9/main Github：https://github.com/timescale/timescaledb 为什么使用TimescaleDB 什么是时间序列数据？ 我们一直在谈论什么是“时间序列数据”，以及与其他数据有何不同以及为什么？ 许多应用程序或数据库实际上采用的是过于狭窄的视图，并将时间序列数据与特定形式的服务器度量值等同起来： Name: CPU …
-
PipelineDB快速上手
2018年09月07日 in PG 管理
PipelineDB安装与配置 PipelineDB可以直接通过官方rpm包安装。 加载PipelineDB需要添加动态链接库，在postgresql.conf中修改配置项并重启： shared_preload_libraries = 'pipelinedb' max_worker_processes = 128 注意如果不修改max_worker_processes会报错。其他配置都参照标准的PostgreSQL PipelineDB使用样例 —— 维基PV数据 -- 创 …
-
故障档案：序列号消耗过快导致整型溢出
2018年07月20日 in PG 管理
0x01 概览 故障表现： 某张使用自增列的表序列号涨至整型上限，无法写入。 发现表中的自增列存在大量空洞，很多序列号没有对应记录就被消耗掉了。 故障影响：非核心业务某表，10分钟左右无法写入。 故障原因： 内因：使用了INTEGER而不是BIGINT作为主键类型。 外因：业务方不了解SEQUENCE的特性，执行大量违背约束的无效插入，浪费了大量序列号。 修复方案： 紧急操作：降级线上插入函数为直接返回，避免错误扩大。 应急方案：创建临时表，生成5000万个浪费空洞中的临时ID，修改插入函数， …