-
AI大模型与向量库 PGVector
2023年05月10日 in PG 开发
Module:
Categories:
微信公众号原文 新 AI 应用在过去一年中出现了指数爆炸的增长态势，而这些应用面临的一个共同挑战是如何大规模地存储与查询以向量表示的 AI Embedding。本文聚焦被 AI 炒火了的向量数据库，介绍了AI嵌入与向量存储检索的基本原理，并用一个具体的知识库检索案例来串联介绍向量数据库插件 PGVECTOR 的功能、性能、获取与应用。 AI是怎么工作的 GPT 展现出来了强大的智能水平，它的成功有很多因素，但在工程上关键的一步是：神经网络与大语言模型将一个语言问题转化为数学问题，并使用工程手段 …
-
高级模糊查询的实现
2021年03月05日 in PG 开发
Module:
Categories:
日常开发中，经常见到有模糊查询的需求。今天就简单聊一聊如何用PostgreSQL实现一些高级一点的模糊查询。 当然这里说的模糊查询，不是LIKE表达式前模糊后模糊两侧模糊，这种老掉牙的东西。让我们直接用一个具体的例子开始吧。 问题 现在，假设我们做了个应用商店，想给用户提供搜索功能。用户随便输入点什么，找出所有与输入内容匹配的应用，排个序返回给用户。 严格来说，这种需求其实是需要一个搜索引擎，最好还是用专用软件，例如ElasticSearch来搞。但实际上只要不是特别复杂的逻辑，也可以很好的 …
-
事务隔离等级注意事项
2019年11月12日 in PG 开发
PostgreSQL实际上只有两种事务隔离等级：读已提交（Read Commited）与可序列化（Serializable） 基础 SQL标准定义了四种隔离级别，但PostgreSQL实际上只有两种事务隔离等级：读已提交（Read Commited）与可序列化（Serializable） SQL标准定义了四种隔离级别，但实际上这也是很粗鄙的一种划分。详情请参考并发异常那些事。 查看/设置事务隔离等级 通过执行：SELECT …
-
CDC 变更数据捕获机理
2019年06月12日 in PG 开发
在实际生产中，我们经常需要把数据库的状态同步到其他地方去，例如同步到数据仓库进行分析，同步到消息队列供下游消费，同步到缓存以加速查询。总的来说，搬运状态有两大类方法：ETL与CDC。 前驱知识 CDC与ETL 数据库在本质上是一个状态集合，任何对数据库的变更（增删改）本质上都是对状态的修改。 在实际生产中，我们经常需要把数据库的状态同步到其他地方去，例如同步到数据仓库进行分析，同步到消息队列供下游消费，同步到缓存以加速查询。总的来说，搬运状态有两大类方法：ETL与CDC。 …
-
PostgreSQL中的锁
2019年06月11日 in PG 开发
微信公众号原文 PostgreSQL的并发控制以 快照隔离（SI） 为主，以 两阶段锁定（2PL） 机制为辅。PostgreSQL对DML（SELECT, UPDATE, INSERT, DELETE等命令）使用SSI，对DDL（CREATE TABLE等命令）使用2PL。 PostgreSQL有好几类锁，其中最主要的是 表级锁 与 行级锁，此外还有页级锁，咨询锁等，表级锁 通常是各种命令执行时自动获取的，或者通过事务中的LOCK语句显式获取；而行级锁则是由SELECT FOR …
-
GIN搜索的O(n2)负载度
2019年04月12日 in PG 开发
Here is the detail of why that query have O(N^2) inside GIN implementation. Details Inspect the index example_keys_idx postgres=# select oid,* from pg_class where relname = 'example_keys_idx'; -[ RECORD 1 ]-------+----------------- oid | …
-
PostgreSQL的触发器使用注意事项
2018年07月07日 in PG 开发
概览 触发器行为概述 触发器的分类 触发器的功能 触发器的种类 触发器的触发 触发器的创建 触发器的修改 触发器的查询 触发器的性能 触发器概述 触发器行为概述：英文，中文 触发器分类 触发时机：BEFORE, AFTER, INSTEAD 触发事件：INSERT, UPDATE, DELETE,TRUNCATE 触发范围：语句级，行级 内部创建：用于约束的触发器，用户定义的触发器 触发模式：origin|local(O), replica(R),disable(D) 触发器操作 触发器的操作通 …
-
GeoIP 地理逆查询优化
2018年07月07日 in PG 开发
Module:
Categories:
IP归属地查询的高效实现 在应用开发中，一个‘很常见’的需求就是GeoIP转换。将请求的来源IP转换为相应的地理坐标，或者行政区划（国家-省-市-县-乡-镇）。这种功能有很多用途，譬如分析网站流量的地理来源，或者干一些坏事。使用PostgreSQL可以多快好省，优雅高效地实现这一需求。 0x01 思路方法 通常网上的IP地理数据库的形式都是：start_ip, stop_ip , longitude, latitude，再缀上一些国家代码，城市代码，邮编之类的属性字段。大概长这样： …