pg_bulkload
向 PostgreSQL 中高速加载数据
仓库
ossc-db/pg_bulkload
https://github.com/ossc-db/pg_bulkload
源码
pg_bulkload-VERSION3_1_23.tar.gz
pg_bulkload-VERSION3_1_23.tar.gz
概览
| 扩展包名 | 版本 | 分类 | 许可证 | 语言 |
|---|---|---|---|---|
pg_bulkload | 3.1.23 | ETL | BSD-3-Clause | C |
| ID | 扩展名 | Bin | Lib | Load | Create | Trust | Reloc | 模式 |
|---|---|---|---|---|---|---|---|---|
| 9830 | pg_bulkload | 是 | 是 | 否 | 是 | 否 | 否 | - |
| 相关扩展 | file_fdw aws_s3 pg_parquet pg_lake pg_ducklake pg_fact_loader pg_csv omni_csv pg_duckdb duckdb_fdw |
|---|
pg18 fixed by vonng
版本
| 类型 | 仓库 | 版本 | PG 大版本 | 包名 | 依赖 |
|---|---|---|---|---|---|
| EXT | PIGSTY | 3.1.23 | 1817161514 | pg_bulkload | - |
| RPM | PGDG | 3.1.23 | 1817161514 | pg_bulkload_$v | - |
| DEB | PIGSTY | 3.1.23 | 1817161514 | postgresql-$v-pg-bulkload | - |
构建
您可以使用 pig build 命令构建 pg_bulkload 扩展的 RPM / DEB 包:
BASH
安装
您可以直接安装 pg_bulkload 扩展包的预置二进制包,首先确保 PGDG 和 PIGSTY 仓库已经添加并启用:
BASH
使用 pig 或者是 apt/yum/dnf 安装扩展:
安装
BASH
pig
BASH
dnf
BASH
apt
BASH
创建扩展:
SQL
用法
一个用于 PostgreSQL 的高速数据加载工具,通过绕过共享缓冲区实现海量数据的快速加载,并内置 ETL 功能用于输入验证和数据转换。
基本用法
使用控制文件加载数据:
BASH
输出:
控制文件示例
INI
加载模式
- DIRECT:绕过共享缓冲区,直接写入数据文件(最快)
- PARALLEL:使用多个进程进行加载
- CSV/BINARY/FIXED:支持多种输入格式
SQL 接口
SQL
主要功能
- 绕过 PostgreSQL 共享缓冲区以实现最大吞吐量
- 输入数据验证,支持可配置的错误阈值
- 重复键处理(保留新值、保留旧值或拒绝)
- 支持 CSV、定长和二进制输入格式
- 跳过行、过滤函数用于数据转换
- 支持并行加载
文档
完整文档:http://ossc-db.github.io/pg_bulkload/index.html