vchord

pig build pkg vchord         # 构建 RPM / DEB 包

pig repo add pgsql -u          # 添加仓库并更新缓存

shared_preload_libraries = 'vchord';

CREATE EXTENSION vchord CASCADE;  -- 依赖: vector

CREATE EXTENSION vchord CASCADE;

CREATE INDEX ON gist_train USING vchordrq (embedding vector_l2_ops) WITH (options = $$
residual_quantization = true
[build.internal]
lists = [4096]
spherical_centroids = false
build_threads = 8
$$);

SELECT * FROM items ORDER BY embedding <-> '[3,1,2]' LIMIT 5;

-- 查询特定距离范围内的向量
-- sphere(center, radius) 表示以 center 为圆心、radius 为半径的球体内的向量，即范围查询
-- <<->> 是 L2 距离，<<#>> 是内积，<<=>> 是余弦距离
SELECT vec FROM t WHERE vec <<->> sphere('[0.24, 0.24, 0.24]'::vector, 0.012)

-- 设置 probes 以控制扫描的列表数量。
-- 建议范围：总 `lists` 值的 3%–10%。
SET vchordrq.probes = 100;

-- 设置 epsilon 以控制重排序精度。
-- 值越小重排序越少速度越快，值越大召回率越高。
-- 建议范围：0.0–4.0。默认值为 1.9。
SET vchordrq.epsilon = 1.9;

-- 如果使用 SSD，将 `effective_io_concurrency` 设置为 200 以获得更快的磁盘 I/O。
SET effective_io_concurrency = 200;

-- 禁用 JIT（即时编译），因为它收益甚微（1–2%），
-- 且对单查询负载会增加额外开销。
SET jit = off;

-- 至少将总内存的 25% 分配给 `shared_buffers`。
-- 对于磁盘密集型负载，可以将其增加到总内存的 90%。使用网络存储时，建议禁用交换分区以避免 I/O 挂起。
-- 注意：此设置需要重启才能生效。
ALTER SYSTEM SET shared_buffers = '8GB';

-- vchordrq_prewarm(index_name::regclass) 将索引预热到共享缓冲区中
SELECT vchordrq_prewarm('gist_train_embedding_idx'::regclass);

-- 将此值设置为可用于并行操作的 CPU 核心数。
SET max_parallel_maintenance_workers = 8;
SET max_parallel_workers = 8;

-- 调整工作进程总数。
-- 注意：此设置需要重启才能生效。
ALTER SYSTEM SET max_worker_processes = 8;

SELECT phase, round(100.0 * blocks_done / nullif(blocks_total, 0), 1) AS "%" FROM pg_stat_progress_create_index;

-- 创建质心表
CREATE TABLE public.centroids (id integer NOT NULL UNIQUE, parent integer, vector vector(768));
-- 插入质心数据
INSERT INTO public.centroids (id, parent, vector) VALUES (1, NULL, '{0.1, 0.2, 0.3, ..., 0.768}');
INSERT INTO public.centroids (id, parent, vector) VALUES (2, NULL, '{0.4, 0.5, 0.6, ..., 0.768}');
INSERT INTO public.centroids (id, parent, vector) VALUES (3, NULL, '{0.7, 0.8, 0.9, ..., 0.768}');
-- ...

-- 使用外部质心表创建索引
CREATE INDEX ON gist_train USING vchordrq (embedding vector_l2_ops) WITH (options = $$
[build.external]
table = 'public.centroids'
$$);

curl --proto '=https' --tlsv1.2 -sSf https://apt.llvm.org/llvm.sh | bash -s -- 18
sudo update-alternatives --install /usr/bin/clang clang $(which clang-18) 255