声明配置
Pigsty将基础设施和数据库视为代码:Database as Code & Infra as Code
你可以通过声明式的接口/配置文件来描述基础设施和数据库集群,你只需在 配置清单 (Inventory) 中描述你的需求,然后用简单的幂等剧本使其生效即可。
配置清单
每一套 Pigsty 部署都有一个相应的 配置清单(Inventory)。它可以以 YAML 的形式存储在本地,
并使用 git 管理;或从 CMDB 或任何 ansible 兼容的方式动态生成。
Pigsty 默认使用一个名为 pigsty.yml 的单体 YAML 配置文件作为默认的配置清单,
它位于 Pigsty 源码主目录下,但你也可以通过命令行参数 -i 指定路径以使用别的配置清单。
清单由两部分组成:全局变量 (all.vars)和多个 组定义(all.children) 。 前者 all.vars 通常用于描述基础设施,并为集群设置全局默认参数。后者 all.children 则负责定义新的集群(PGSQL/Redis/MinIO/ETCD等等)。一个配置清单文件从最顶层来看大概如下所示:
all: # 顶层对象:all
vars: {...} # 全局参数
children: # 组定义
infra: # 组定义:'infra'
hosts: {...} # 组成员:'infra'
vars: {...} # 组参数:'infra'
etcd: {...} # 组定义:'etcd'
pg-meta: {...} # 组定义:'pg-meta'
pg-test: {...} # 组定义:'pg-test'
redis-test: {...} # 组定义:'redis-test'
# ...
集群
每个组定义通常代表一个集群,可以是节点集群、PostgreSQL 集群、Redis 集群、Etcd 集群或 Minio 集群等。它们都使用相同的格式:hosts 和 vars。
你可以用 all.children.<cls>.hosts 定义集群成员,并使用 all.children.<cls>.vars 中的集群参数描述集群。以下是名为 pg-test 的三节点 PostgreSQL 高可用集群的定义示例:
pg-test: # 集群名称
vars: # 集群参数
pg_cluster: pg-test
hosts: # 集群成员
10.10.10.11: { pg_seq: 1, pg_role: primary } # 实例1,在 10.10.10.11 上,主库
10.10.10.12: { pg_seq: 2, pg_role: replica } # 实例2,在 10.10.10.12 上,从库
10.10.10.13: { pg_seq: 3, pg_role: offline } # 实例3,在 10.10.10.13 上,从库
你也可以为特定的主机/实例定义参数,也称为实例参数。它将覆盖集群参数和全局参数,实例参数通常用于为节点和数据库实例分配身份(实例号,角色)。
参数
全局变量、组变量和主机变量都是由一系列 键值对 组成的字典对象。每一对都是一个命名的参数,由一个字符串名作为键,和一个值组成。值是五种类型之一:布尔值、字符串、数字、数组或对象。查看配置参数以了解详细的参数语法语义。
绝大多数参数都有着合适的默认值,身份参数 除外;它们被用作标识符,并必须显式配置,例如 pg_cluster, pg_role,以及 pg_seq。
参数可以被更高优先级的同名参数定义覆盖,优先级如下所示:
命令行参数 > 剧本变量 > 主机变量(实例参数) > 组变量(集群参数) > 全局变量(全局参数) > 默认值
例如:
- 使用命令行参数
-e pg_clean=true强制删除现有数据库 - 使用实例参数
pg_role和pg_seq来为一个数据库实例分配角色与标号。 - 使用集群变量来为集群设置默认值,如集群名称
pg_cluster和数据库版本pg_version - 使用全局变量为所有 PGSQL 集群设置默认值,如使用的默认参数和插件列表
- 如果没有显式配置
pg_version,默认值18版本号会作为最后兜底的缺省值。
模板
在 Pigsty 目录中的 conf/ 目录里,提供了针对许多不同场景的预置配置模板可供参考选用。
在 configure 过程中,您可以通过 -c 参数指定模板。否则会默认使用单节点安装的 meta 模板。
关于这些模版的功能,请参考 配置模板 中的介绍。
切换配置源
要使用不同的配置模板,您可以将模板的内容复制到 Pigsty 源码目录的 pigsty.yml 文件中,并按需进行相应调整。
您也可以在执行 Ansible 剧本时,通过 -i 命令行参数,显式指定使用的配置文件,例如:
./node.yml -i files/pigsty/rpmbuild.yml # 根据 rpmbuild 配置文件,初始化目标节点,而不是使用默认的 pigsty.yml 配置文件
如果您希望修改默认的配置文件名称与位置,您也可以修改源码根目录下的 ansible.cfg 的 inventory 参数,将其指向您的配置文件路径,这样您就可以直接执行 ansible-playbook 命令而无需显式指定 -i 参数。
Pigsty 允许您使用数据库(CMDB)作为动态配置源,而不是使用静态配置文件。 Pigsty 提供了三个便利脚本:
bin/inventory_load: 将pigsty.yml配置文件的内容加载到本机上的 PostgreSQL 数据库中(meta.pigsty)bin/inventory_cmdb: 切换配置源为本地 PostgreSQL 数据库(meta.pigsty)bin/inventory_conf: 切换配置源为本地静态配置文件pigsty.yml
参考
Pigsty 带有 280+ 配置参数,分为以下32个参数组,详情请参考 配置参数 。
| 模块 | 参数组 | 描述 | 数量 |
|---|---|---|---|
INFRA | META | Pigsty 元数据 | 4 |
INFRA | CA | 自签名公私钥基础设施 CA | 3 |
INFRA | INFRA_ID | 基础设施门户,Nginx域名 | 2 |
INFRA | REPO | 本地软件仓库 | 9 |
INFRA | INFRA_PACKAGE | 基础设施软件包 | 2 |
INFRA | NGINX | Nginx 网络服务器 | 7 |
INFRA | DNS | DNSMASQ 域名服务器 | 3 |
INFRA | PROMETHEUS | Prometheus 时序数据库全家桶 | 18 |
INFRA | GRAFANA | Grafana 可观测性全家桶 | 6 |
INFRA | LOKI | Loki 日志服务 | 4 |
NODE | NODE_ID | 节点身份参数 | 5 |
NODE | NODE_DNS | 节点域名 & DNS解析 | 6 |
NODE | NODE_PACKAGE | 节点仓库源 & 安装软件包 | 5 |
NODE | NODE_TUNE | 节点调优与内核特性开关 | 10 |
NODE | NODE_ADMIN | 管理员用户与SSH凭证管理 | 7 |
NODE | NODE_TIME | 时区,NTP服务与定时任务 | 5 |
NODE | NODE_VIP | 可选的主机节点集群L2 VIP | 8 |
NODE | HAPROXY | 使用HAProxy对外暴露服务 | 10 |
NODE | NODE_EXPORTER | 主机节点监控与注册 | 3 |
NODE | PROMTAIL | Promtail日志收集组件 | 4 |
DOCKER | DOCKER | Docker容器服务(可选) | 4 |
ETCD | ETCD | Etcd DCS 集群 | 10 |
MINIO | MINIO | MinIO S3 对象存储 | 15 |
REDIS | REDIS | Redis 缓存 | 20 |
PGSQL | PG_ID | PG 身份参数 | 11 |
PGSQL | PG_BUSINESS | PG 业务对象定义 | 12 |
PGSQL | PG_INSTALL | 安装 PG 软件包 & 扩展 | 10 |
PGSQL | PG_BOOTSTRAP | 使用 Patroni 初始化 HA PG 集群 | 39 |
PGSQL | PG_PROVISION | 创建 PG 数据库内对象 | 9 |
PGSQL | PG_BACKUP | 使用 pgBackRest 设置备份仓库 | 5 |
PGSQL | PG_SERVICE | 对外暴露服务, 绑定 vip, dns | 9 |
PGSQL | PG_EXPORTER | PG 监控,服务注册 | 15 |