可替代额外服务的 Postgres 功能
了解如何用 JSONB、全文搜索、LISTEN/NOTIFY、SKIP LOCKED、非日志表和 pgvector 替代额外服务,以及何时应扩展架构。
在引入 Redis、队列中间件、搜索引擎或文档数据库之前,不妨先看看在你当前的规模下,Postgres 是否已有内置功能足以胜任。
常见的情况是:一个功能需要缓存,另一个需要后台任务,于是架构图上多了三个框,每个都要单独部署、单独备份,故障模式也各不相同。其中有些服务值得引入,但很多在现阶段还没有必要。
本文介绍六个可以替代独立服务的 Postgres 功能。每一节都给出一个简短的 SQL 示例,并直接说明在哪些场景下专用服务仍然更胜一筹。如果需要先复习 schema 设计、索引和连接池等内容,可以从这篇 现代 Web 应用的 Postgres 最佳实践 开始。
要点速览
- 在
jsonb列上建立 GIN 索引可以让@>包含查询变快;jsonb_path_ops操作符类提供面向包含查询的索引,支持的操作符比默认的jsonb_ops少。 LISTEN/NOTIFY不会存储消息:通知仅在发送事务提交时发出,如果此时没有会话在监听,通知就会丢失。FOR UPDATE SKIP LOCKED是行锁子句,而不是过滤条件:每个 worker 锁定自己选中的任务,并跳过已被其他事务持有的行,而不是等待它们释放。- Postgres 在崩溃后会清空
UNLOGGED表,也不会将其复制到备库,因此只应将其用于可重建的数据。 - 先用 Postgres 功能实现,在真实负载下进行测量,等到能明确说出遇到的具体瓶颈时,再引入专用服务。
何时直接使用 Postgres:概览
对于中小型应用,只要各项功能能覆盖实际的工作负载,“直接用 Postgres”这一原则就站得住脚。下表列出了每种服务对应的 Postgres 功能,以及何时该考虑迁移到专用服务的信号。
| 替代对象 | Postgres 功能 | 适用场景 | 何时引入专用服务 |
|---|---|---|---|
| 文档数据库 | jsonb + GIN | 灵活属性、包含查询 | 写入量极高、需要内置分片 |
| 搜索引擎 | tsvector + GIN | 带排序的关键词搜索 | 需要拼写容错、分面、相关性调优 |
| 发布/订阅中间件 | LISTEN/NOTIFY | 缓存失效、唤醒 worker | 需要持久化或可重放的消息 |
| 任务队列 | FOR UPDATE SKIP LOCKED | 后台任务、中等规模 | 需要扇出、重放、极高吞吐量 |
| 缓存 | UNLOGGED 表 | 可重建、会过期的数据 | 需要内存级延迟或丰富的数据结构 |
| 向量数据库 | pgvector | 嵌入向量与关系型数据行共存 | 向量负载超出单节点承载能力 |
用 JSONB 和 GIN 替代文档数据库
带 GIN 索引的 jsonb 列让 Postgres 能够存储无模式(schemaless)文档,并通过索引响应包含查询(“该文档是否包含这些键值对?”)。jsonb 索引文档 介绍了两种操作符类:默认的是 jsonb_ops;另一种 jsonb_path_ops 支持的操作符较少,但如果你的查询只用到包含操作,它会是很好的选择。
CREATE TABLE events (
id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
payload jsonb NOT NULL
);
-- jsonb_path_ops supports fewer operators than the default jsonb_ops
CREATE INDEX events_payload_idx ON events USING gin (payload jsonb_path_ops);
EXPLAIN
SELECT id FROM events
WHERE payload @> '{"type": "signup", "plan": "pro"}';
选用 jsonb_path_ops 之前,先确认你的查询用到了哪些操作符。当写入量非常高,或需要跨节点的内置分片时,应改用专用的文档数据库。
使用 tsvector 和 GIN 实现全文搜索
Postgres 全文搜索会将文本转换为规范化的词位(lexeme,即 tsvector),并与解析后的查询(tsquery)进行匹配。使用 STORED 生成的 tsvector 列,可以在每次插入和更新时让搜索文档与源列保持同步,无需维护触发器。表达式中必须指定文本搜索配置,例如 'english'。正如 文本搜索表文档 所述,用于索引的文本搜索表达式不能依赖 default_text_search_config。
ALTER TABLE articles ADD COLUMN search tsvector
GENERATED ALWAYS AS (
setweight(to_tsvector('english', coalesce(title, '')), 'A') ||
setweight(to_tsvector('english', coalesce(body, '')), 'B')
) STORED;
CREATE INDEX articles_search_idx ON articles USING gin (search);
SELECT id, title, ts_rank(search, q) AS rank
FROM articles, websearch_to_tsquery('english', $1) AS q
WHERE search @@ q
ORDER BY rank DESC
LIMIT 20;
这里必须使用 STORED,因为该生成的 tsvector 列需要建立索引。从 PostgreSQL 18 开始,生成列默认为虚拟列,即在读取时才计算。其余部分由 文本搜索控制函数 负责:websearch_to_tsquery 能接受用户在搜索框中输入的那类文本,setweight 将标题词位标记为 A、正文词位标记为 B,ts_rank 则依据这些权重为匹配结果打分。
Postgres 全文搜索匹配的是词干化后的单词,而不是拼写错误的词。pg_trgm 模块 通过 % 操作符和 gin_trgm_ops 索引提供基于字符三元组(trigram)的相似度匹配,可以弥补一部分差距。同义词可以借助 同义词词典和同义词库词典 实现,但需要在服务器上放置配置文件。如果你需要分面、可靠的拼写容错,或希望无需修改 SQL 就能调优相关性,请选择专用搜索引擎。
用 LISTEN/NOTIFY 替代发布/订阅中间件
LISTEN/NOTIFY 是数据库会话之间的轻量级信号通道,非常适合缓存失效和唤醒空闲 worker 等场景,但它不会存储消息。根据 NOTIFY 参考文档:
- 通知只有在发送事务提交时才会投递。
- 当时未在监听的会话永远不会收到该通知。
- 默认情况下,payload 必须小于 8000 字节。
-- Listener session (kept open)
LISTEN cache_invalidation;
-- Sender, inside any transaction
SELECT pg_notify('cache_invalidation', 'product:42');
使用 NOTIFY 时,应发送标识符而不是整行数据。这样既能让 payload 保持在大小上限以内,接收方也总会去读取最新数据。LISTEN 会话必须保持连接,因此不适合放在 Serverless 路由处理函数中,应改为在长期运行的 Node worker 中运行监听器。PgBouncer 的事务池模式不支持 LISTEN,因此监听器需要直连数据库,或通过会话模式的连接池连接。当消息必须在重启后保留、需要重放,或需要送达离线的消费者时,请选择真正的消息中间件。
基于 SKIP LOCKED 的任务队列
FOR UPDATE SKIP LOCKED 是行锁子句,而不是过滤条件。每个 worker 锁定自己选中的任务,并跳过已被其他事务锁定的行,而不是等待它们释放。锁定子句文档 指出,这种方式在设计上提供的是不一致的数据视图,恰好适用于类队列的表。关于 worker 和重试的相关概念,请参阅 任务队列详解。
CREATE TABLE jobs (
id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
kind text NOT NULL,
payload jsonb NOT NULL,
status text NOT NULL DEFAULT 'queued',
created_at timestamptz NOT NULL DEFAULT now(),
finished_at timestamptz
);
CREATE INDEX jobs_queued_idx ON jobs (id) WHERE status = 'queued';
BEGIN;
SELECT id, kind, payload
FROM jobs
WHERE status = 'queued'
ORDER BY id
LIMIT 1
FOR UPDATE SKIP LOCKED;
-- application runs the job using the returned id
UPDATE jobs SET status = 'done', finished_at = now() WHERE id = $1;
COMMIT;
如果 worker 在 COMMIT 之前崩溃,事务会回滚、锁被释放,该任务将重新变为可领取状态。随着已完成任务不断累积,部分索引(partial index)可以让领取查询保持轻量。需要注意的是,这个 SKIP LOCKED 版本会在整个任务执行期间保持事务处于打开状态。对于耗时较长的任务,可以先将 status 设为 'running' 并记录时间戳来领取该行,提交后再在第二个事务中完成任务。此时你还需要一个清理程序(sweeper)来重置那些长时间停滞的 running 行。当你需要向大量消费者扇出、消息重放或极高吞吐量时,请选择专用队列。
用 UNLOGGED 表存放类缓存数据
UNLOGGED 表会跳过预写日志(WAL),因此写入开销更低。CREATE TABLE 文档 列出了相应的代价:在崩溃或非正常关闭后,Postgres 会清空 unlogged 表,并且不会将其复制到备库。因此,UNLOGGED 表只适合存放可以从其他数据源重建的数据。
CREATE UNLOGGED TABLE cache_entries (
key text PRIMARY KEY,
value jsonb NOT NULL,
expires_at timestamptz NOT NULL
);
CREATE INDEX cache_entries_expires_idx ON cache_entries (expires_at);
-- Write
INSERT INTO cache_entries (key, value, expires_at)
VALUES ($1, $2, now() + interval '10 minutes')
ON CONFLICT (key) DO UPDATE
SET value = EXCLUDED.value, expires_at = EXCLUDED.expires_at;
-- Read
SELECT value FROM cache_entries WHERE key = $1 AND expires_at > now();
-- Cleanup, run on a schedule
DELETE FROM cache_entries WHERE expires_at < now();
ON CONFLICT upsert 可以用一条语句刷新已存在的键。读取时要检查 expires_at,因为清理是定期执行的,两次清理之间可能残留过期的行。请通过应用的调度器来触发清理任务。当你需要亚毫秒级延迟,或需要有序集合、计数器等原生数据结构时,Redis 是更好的选择。键值数据库的工作原理 一文解释了其中的原因。
用 pgvector 替代独立的向量数据库
pgvector 为 Postgres 增加了向量列类型和相似度搜索功能,使嵌入向量可以与其描述的数据行存放在一起。当向量负载超出单节点的承载能力时,请选择专用向量数据库。在 Postgres 中实现向量搜索 一文详细介绍了具体配置过程。
引入新服务的经验法则
将本文介绍的每个 Postgres 功能视为默认方案,而将专用服务视为需要用数据来证明其必要性的升级:
- 先在 Postgres 中实现该功能。
- 使用
EXPLAIN ANALYZE和pg_stat_statements在真实负载下进行测量。 - 当你能明确指出遇到的瓶颈时再引入服务:例如通知必须在重启后保留、搜索需要拼写容错、缓存延迟或写入量问题。
下一步,找出你原本打算引入的服务,在概览表中找到对应的行,先用 Postgres 实现一版。如果它无法满足需求,你的测量数据会准确告诉你新服务需要解决什么问题。
常见问题
在 Postgres 中存储文档数据,应该用 json 还是 jsonb?
只要需要查询,就使用 jsonb。json 类型存储输入内容的精确文本副本,保留空白字符、键的顺序和重复的键,并在每次访问时重新解析。jsonb 类型存储分解后的二进制形式,会去除空白字符、不保留键的顺序,对于重复的键只保留最后一个值。GIN 索引和 @> 包含操作符都适用于 jsonb。
Postgres 正常重启后,UNLOGGED 表会丢失数据吗?
不会。Postgres 只会在崩溃或非正常关闭后清空 unlogged 表。在正常关闭并重启后,表中的内容会保留。你可以使用 ALTER TABLE name SET LOGGED 或 SET UNLOGGED 转换现有表。切换为 LOGGED 会重写整张表,并将其全部内容写入 WAL,对于大表来说开销可能很大。
同一事务中发送的重复 NOTIFY 消息,Postgres 会重复投递吗?
不会。如果一个事务多次向同一通道发送 payload 相同的信号,监听者只会收到一条通知。payload 不同的通知总是会分别投递,来自不同事务的通知也永远不会被合并。除被丢弃的重复通知外,同一事务中的通知会按发送顺序到达,因此在触发器中针对同一个键重复发出缓存失效信号是安全的。
LISTEN/NOTIFY 能否取代 SKIP LOCKED 任务队列中的轮询?
部分可以。可以在 jobs 表上创建触发器,在每次插入后调用 pg_notify;由于通知只在提交时发出,worker 永远不会因为已回滚的插入而被唤醒。被唤醒的 worker 随后执行 SKIP LOCKED 领取查询。建议保留一个低频轮询作为兜底,因为在通知发出时处于断开状态的 worker 永远不会收到该通知。
Gain Debugging Superpowers
Unleash the power of session replay to reproduce bugs, track slowdowns and uncover frustrations in your app. Get complete visibility into your frontend with OpenReplay — the most advanced open-source session replay tool for developers.
Star on GitHub12k