-
如何用 pg_filedump 抢救数据？
2023年09月27日 in PG 管理
WeChat Column 备份是DBA的生命线 —— 但如果你的 PostgreSQL 数据库已经爆炸了又没有备份，那么该怎么办呢？也许 pg_filedump 可以帮到你！ 最近遇到了一个比较离谱的活儿，情况是这样的：有个用户的 PostgreSQL 数据库损坏了，是 Gitlab 自己拉起的 PostgreSQL。没有从库，没有备份，也没有 dump。跑在拿 SSD 当透明缓存的BCACHE上，断电后起不来了。 但这还没完，接连经受了几轮摧残之后，它彻底歇菜了：首先是因为忘了 …
-
PG中的本地化排序规则
2021年03月05日 in PG 管理
为什么Pigsty在初始化Postgres数据库时默认指定了locale=C与encoding=UTF8 答案其实很简单，除非真的明确知道自己会用到LOCALE相关功能，否则就根本不应该配置C.UTF8之外的任何字符编码与本地化排序规则选项。特别是` 关于字符编码的部分，之前写过一篇文章专门介绍，这里表过不提。今天专门说一下LOCALE（本地化）的配置问题。 如果说服务端字符编码配置因为某些原因配置为UTF8之外的值也许还情有可原，那么LOCALE配置为C之外的任何选就是无可救药了。因为对 …
-
PG复制标识详解（Replica Identity）
2021年03月03日 in PG 管理
引子：土法逻辑复制 复制身份的概念，服务于 逻辑复制。 逻辑复制的基本工作原理是，将逻辑发布相关表上对行的增删改事件解码，复制到逻辑订阅者上执行。 逻辑复制的工作方式有点类似于行级触发器，在事务执行后对变更的元组逐行触发。 假设您需要自己通过触发器实现逻辑复制，将一章表A上的变更复制到另一张表B中。通常情况下，这个触发器的函数逻辑通常会长这样： -- 通知触发器 CREATE OR REPLACE FUNCTION replicate_change() RETURNS TRIGGER AS $$ …
-
Postgres逻辑复制详解
2021年03月03日 in PG 管理
逻辑复制 逻辑复制（Logical Replication），是一种根据数据对象的 复制标识（Replica Identity）（通常是主键）复制数据对象及其变化的方法。 逻辑复制 这个术语与 物理复制相对应，物理复制使用精确的块地址与逐字节复制，而逻辑复制则允许对复制过程进行精细的控制。 逻辑复制基于 发布（Publication） 与 订阅（Subscription）模型： 一个 发布者（Publisher） 上可以有多个发布，一个 订阅者（Subscriber） 上可以有多个 订阅 。 一 …
-
故障档案:时间回溯导致的Patroni故障
2021年02月22日 in PG 管理
摘要：机器因为故障重启，NTP服务在PG启动后修复了PG的时间，导致 Patroni 无法启动。 Patroni中的故障信息如下所示： Process %s is not postmaster, too much difference between PID file start time %s and process start time %s patroni 进程启动时间和pid时间不一致。就会认为：postgres is not running。 两个时间相差超过30秒。patroni 就 …
-
PG慢查询诊断方法论
2021年02月01日 in PG 管理
You can’t optimize what you can’t measure 慢查询是在线业务数据库的大敌，如何诊断定位慢查询是DBA的必修课题。 本文介绍了使用监控系统 —— Pigsty诊断慢查询的一般方法论。 慢查询：危害 对于实际服务于在线业务事务处理的PostgreSQL数据库而言，慢查询的危害包括： 慢查询挤占数据库连接，导致普通查询无连接可用，堆积并导致数据库雪崩。 慢查询长时间锁住了主库已经清理掉的旧版本元组，导致流复制重放进程锁死，导致主从复制延 …
-
黄金监控指标：错误延迟吞吐饱和
2020年11月06日 in PG 管理
前言 玩数据库和玩车有一个共通之处，就是都需要经常看仪表盘。 盯着仪表盘干什么，看指标。为什么看指标，掌握当前运行状态才能有效施加控制。 车有很多指标：车速，胎压，扭矩，刹车片磨损，各种温度，等等等等，各式各样。 但人的注意力空间有限，仪表盘也就那么大， 所以，指标可以分两类： 你会去看的：黄金指标 / 关键指标 / 核心指标 你不会看的：黑匣子指标 / 冷指标。 黄金指标就是那几个关键性的核心数据，需要时刻保持关注（或者让自动驾驶系统/报警系统替你时刻保持关注），而冷指标通常只有故障排查时才 …
-
数据库集群管理概念与实体命名规范
2020年06月03日 in PG 管理
名之则可言也，言之则可行也。 概念及其命名是非常重要的东西，命名风格体现了工程师对系统架构的认知。定义不清的概念将导致沟通困惑，随意设定的名称将产生意想不到的额外负担。因此需要审慎地设计。 TL;DR **集群（Cluster）**是基本自治单元，由用户指定唯一标识，表达业务含义，作为顶层命名空间。 集群在硬件层面上包含一系列的节点（Node），即物理机，虚机（或Pod），可以通过IP唯一标识。 集群在软件层面上包含一系列的实例（Instance），即软件服务器，可以通过IP:Port唯一标 …
-
PostgreSQL的KPI
2020年05月29日 in PG 管理
管数据库和管人差不多，都需要定KPI（关键性能指标）。那么数据库的KPI是什么？本文介绍了一种衡量PostgreSQL负载的方式：使用一种单一横向可比，与负载类型和机器类型基本无关的指标，名曰PG Load（PG负载）。 0x01 Introduction 在现实生产中，经常会有衡量数据库性能与负载，评估数据库水位的需求。一种最朴素的形式就是，能不能有一个类似于KPI的单一指标，能直接了当地告诉用户他心爱的数据库负载有没有超过警戒线？工作量到底饱和不饱和？ 当然这里其实隐含着一个重要信息，即用户 …