pg_fact_loader
在 Postgres 中构建事实表
概览
| 扩展包名 | 版本 | 分类 | 许可证 | 语言 |
|---|---|---|---|---|
pg_fact_loader | 2.0.1 | ETL | MIT | C |
| ID | 扩展名 | Bin | Lib | Load | Create | Trust | Reloc | 模式 |
|---|---|---|---|---|---|---|---|---|
| 9820 | pg_fact_loader | 否 | 是 | 否 | 是 | 否 | 否 | fact_loader |
| 相关扩展 | pg_cron pg_partman pg_jobmon mimeo timescaledb citus tablefunc pg_bulkload |
|---|
版本
| 类型 | 仓库 | 版本 | PG 大版本 | 包名 | 依赖 |
|---|---|---|---|---|---|
| EXT | PGDG | 2.0.1 | 1817161514 | pg_fact_loader | - |
| RPM | PGDG | 2.0.1 | 1817161514 | pg_fact_loader_$v | - |
| DEB | PGDG | 2.0.1 | 1817161514 | postgresql-$v-pg-fact-loader | - |
安装
您可以直接安装 pg_fact_loader 扩展包的预置二进制包，首先确保 PGDG 仓库已经添加并启用：
pig repo add pgdg -u # 添加 PGDG 仓库并更新缓存
使用 pig 或者是 apt/yum/dnf 安装扩展：
pig install pg_fact_loader; # 当前活跃 PG 版本安装
pig ext install -y pg_fact_loader -v 18 # PG 18
pig ext install -y pg_fact_loader -v 17 # PG 17
pig ext install -y pg_fact_loader -v 16 # PG 16
pig ext install -y pg_fact_loader -v 15 # PG 15
pig ext install -y pg_fact_loader -v 14 # PG 14
dnf install -y pg_fact_loader_18 # PG 18
dnf install -y pg_fact_loader_17 # PG 17
dnf install -y pg_fact_loader_16 # PG 16
dnf install -y pg_fact_loader_15 # PG 15
dnf install -y pg_fact_loader_14 # PG 14
apt install -y postgresql-18-pg-fact-loader # PG 18
apt install -y postgresql-17-pg-fact-loader # PG 17
apt install -y postgresql-16-pg-fact-loader # PG 16
apt install -y postgresql-15-pg-fact-loader # PG 15
apt install -y postgresql-14-pg-fact-loader # PG 14
创建扩展：
CREATE EXTENSION pg_fact_loader;
用法
使用基于队列的变更数据捕获来构建和维护事实表。通过处理审计/变更日志表来增量更新事实表。
启用
CREATE EXTENSION pg_fact_loader;
可选地与 pglogical 配合用于基于副本的设置：
CREATE EXTENSION pglogical;
CREATE EXTENSION pglogical_ticker;
CREATE EXTENSION pg_fact_loader;
工作流程
- 复制源表 到报表数据库（通过 pglogical 或其他方式）
- 创建审计/变更日志表 在 OLTP 系统中为源表创建
- 创建事实表 结构用于聚合数据
- 创建合并函数 接受一个键 ID 并返回事实表的一行
- 配置 pg_fact_loader 将队列表关联到事实表
- 回填 初始化事实表数据
- 调度 工作进程持续处理变更
配置表
-- 注册事实表
INSERT INTO fact_loader.fact_tables (fact_table_relid, fact_table_agg_proid, ...)
VALUES ('public.customers_fact'::regclass, 'customers_fact_merge'::regproc, ...);
-- 注册队列（审计）表
INSERT INTO fact_loader.queue_tables (queue_table_relid, queue_of_base_table_relid, ...)
VALUES ('audit.customers_audit'::regclass, 'public.customers'::regclass, ...);
-- 将队列表与事实表通过合并函数关联
INSERT INTO fact_loader.queue_table_deps
(fact_table_id, queue_table_id, insert_merge_proid, update_merge_proid, delete_merge_proid)
VALUES (1, 1, 'customers_fact_merge'::regproc, 'customers_fact_merge'::regproc, 'customers_fact_merge'::regproc);
-- 定义如何从队列条目中获取键
INSERT INTO fact_loader.key_retrieval_sequences
(queue_table_dep_id, return_columns, is_fact_key)
VALUES (1, '{customer_id}', true);
运行工作进程
-- 处理待处理的变更
SELECT fact_loader.worker();
-- 定期调度此操作（例如通过 pg_cron 每几秒运行一次）
初始回填
-- 对每条现有记录运行合并函数
SELECT customers_fact_merge(customer_id) FROM customers;
添加批次 ID 字段
SELECT fact_loader.add_batch_id_fields();
主要功能
- 基于队列的增量事实表更新
- 支持插入、更新和删除事件
- 支持多级键检索（通过多个表的联接）
- 事实表依赖链（父事实更新后再更新子事实）
- 处理前检查复制延迟（与 pglogical 配合使用时）