Возможности Postgres, которые заменяют дополнительные сервисы
Узнайте, как JSONB, полнотекстовый поиск, LISTEN/NOTIFY, SKIP LOCKED, нежурналируемые таблицы и pgvector заменяют сервисы и когда пора масштабироваться.
Прежде чем добавлять Redis, брокер очередей, поисковый движок или документную базу данных, проверьте, не справится ли с задачей встроенная возможность Postgres при вашем масштабе.
Обычно всё происходит так: одной функции нужен кеш, другой — фоновые задачи, и на архитектурной схеме появляются три новых блока. У каждого свой деплой, свои бэкапы и свои сценарии отказа. Некоторые из этих блоков себя оправдывают. Многие — пока нет.
В статье рассмотрены шесть возможностей Postgres, которые могут заменить отдельный сервис. Для каждой приведён небольшой пример на SQL и прямо сказано, в чём выделенный сервис всё ещё выигрывает. Если сначала нужно освежить знания о проектировании схем, индексах и пулинге соединений, начните с этих рекомендаций по работе с Postgres в современных веб-приложениях.
Ключевые выводы
- GIN-индекс по столбцу
jsonbускоряет запросы на вхождение@>, а класс операторовjsonb_path_opsдаёт индекс, заточенный под вхождение и поддерживающий меньше операторов, чемjsonb_opsпо умолчанию. LISTEN/NOTIFYне хранит сообщения: уведомление отправляется только при фиксации транзакции-отправителя, и если в этот момент ни один сеанс его не слушает, оно теряется.FOR UPDATE SKIP LOCKED— это предложение блокировки строк, а не фильтр: каждый воркер блокирует выбранную задачу и пропускает строки, уже заблокированные другой транзакцией, вместо того чтобы их ждать.- После сбоя Postgres очищает
UNLOGGED-таблицу и не реплицирует её на резервные серверы, поэтому храните в ней только данные, которые можно восстановить. - Начинайте с возможности Postgres, измеряйте её под реальной нагрузкой и добавляйте выделенный сервис, когда сможете назвать конкретное ограничение, в которое упёрлись.
Когда достаточно Postgres: сводка
Принцип «просто используйте Postgres» работает для малых и средних приложений, если каждая возможность покрывает реальную нагрузку. В таблице для каждого сервиса указан его аналог в Postgres и признак того, что пора переходить на отдельное решение.
| Вместо | Возможность Postgres | Достаточно для | Добавляйте сервис, когда |
|---|---|---|---|
| Документная БД | jsonb + GIN | Гибкие атрибуты, запросы на вхождение | Очень высокий объём записи, встроенный шардинг |
| Поисковый движок | tsvector + GIN | Поиск по ключевым словам с ранжированием | Устойчивость к опечаткам, фасеты, настройка релевантности |
| Pub/sub-брокер | LISTEN/NOTIFY | Инвалидация кеша, пробуждение воркеров | Нужны надёжно сохраняемые или воспроизводимые сообщения |
| Очередь задач | FOR UPDATE SKIP LOCKED | Фоновые задачи, умеренный объём | Fan-out, повторное воспроизведение, очень высокая пропускная способность |
| Кеш | UNLOGGED-таблица | Восстановимые данные с истекающим сроком | Нужна задержка уровня in-memory или специальные структуры данных |
| Векторная БД | pgvector | Эмбеддинги рядом с реляционными строками | Векторная нагрузка перерастает один узел |
JSONB и GIN вместо документной базы данных
Столбец jsonb с GIN-индексом позволяет Postgres хранить документы без схемы и отвечать на запросы на вхождение («содержит ли документ эти пары ключ/значение?») с помощью индекса. В документации по индексации jsonb описаны два класса операторов. По умолчанию используется jsonb_ops. Альтернативный jsonb_path_ops поддерживает меньше операторов, но хорошо подходит, если в запросах используется только вхождение.
CREATE TABLE events (
id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
payload jsonb NOT NULL
);
-- jsonb_path_ops supports fewer operators than the default jsonb_ops
CREATE INDEX events_payload_idx ON events USING gin (payload jsonb_path_ops);
EXPLAIN
SELECT id FROM events
WHERE payload @> '{"type": "signup", "plan": "pro"}';
Прежде чем выбрать jsonb_path_ops, проверьте, какие операторы используют ваши запросы. Выделенное документное хранилище стоит выбрать, когда объём записи становится очень высоким или нужен встроенный шардинг по узлам.
Полнотекстовый поиск с tsvector и GIN
Полнотекстовый поиск в Postgres превращает текст в нормализованные лексемы (tsvector) и сопоставляет их с разобранным запросом (tsquery). Генерируемый столбец tsvector с модификатором STORED поддерживает поисковый документ в актуальном состоянии относительно исходных столбцов при каждой вставке и обновлении — без триггера, который нужно сопровождать. В выражении необходимо явно указать конфигурацию, например 'english'. Как поясняет документация по таблицам для текстового поиска, индексируемые выражения текстового поиска не могут зависеть от default_text_search_config.
ALTER TABLE articles ADD COLUMN search tsvector
GENERATED ALWAYS AS (
setweight(to_tsvector('english', coalesce(title, '')), 'A') ||
setweight(to_tsvector('english', coalesce(body, '')), 'B')
) STORED;
CREATE INDEX articles_search_idx ON articles USING gin (search);
SELECT id, title, ts_rank(search, q) AS rank
FROM articles, websearch_to_tsquery('english', $1) AS q
WHERE search @@ q
ORDER BY rank DESC
LIMIT 20;
STORED здесь обязателен, потому что генерируемый столбец tsvector индексируется. Начиная с PostgreSQL 18, генерируемые столбцы по умолчанию виртуальные, то есть вычисляются при чтении. Остальное берут на себя средства управления текстовым поиском: websearch_to_tsquery принимает текст в том виде, в каком пользователи вводят его в строку поиска, setweight помечает лексемы заголовка как A, а лексемы тела — как B, и ts_rank оценивает совпадения с учётом этих весов.
Полнотекстовый поиск Postgres сопоставляет слова по основам (стемминг), а не исправляет опечатки. Модуль pg_trgm добавляет поиск по сходству на основе символьных триграмм через оператор % и индекс gin_trgm_ops, что частично закрывает этот пробел. Синонимы можно реализовать с помощью словарей синонимов и тезаурусов, но для них нужны конфигурационные файлы на сервере. Выделенный поисковый движок стоит выбрать, когда нужны фасетный поиск, надёжная устойчивость к опечаткам или настройка релевантности без правки SQL.
LISTEN/NOTIFY вместо pub/sub-брокера
LISTEN/NOTIFY — это легковесный сигнальный канал между сеансами базы данных. Он хорошо подходит для инвалидации кеша и пробуждения простаивающих воркеров. Сообщения он не хранит. Согласно справке по NOTIFY:
- Уведомление доставляется только при фиксации транзакции-отправителя.
- Сеансы, которые в этот момент не слушают канал, никогда его не получат.
- По умолчанию полезная нагрузка должна быть короче 8000 байт.
-- Listener session (kept open)
LISTEN cache_invalidation;
-- Sender, inside any transaction
SELECT pg_notify('cache_invalidation', 'product:42');
Передавайте через NOTIFY идентификатор, а не всю строку целиком. Так полезная нагрузка не превысит ограничение по размеру, а получатель в любом случае прочитает актуальные данные. Сеанс LISTEN должен оставаться подключённым, поэтому ему не место в бессерверном обработчике маршрута. Вместо этого запускайте слушателя в долгоживущем воркере на Node. Режим пулинга транзакций PgBouncer не поддерживает LISTEN, поэтому подключайте слушателя напрямую или через пул в сеансовом режиме. Полноценный брокер стоит выбрать, когда сообщения должны переживать перезапуски, воспроизводиться повторно или доходить до потребителей, находящихся офлайн.
Очередь задач на SKIP LOCKED
FOR UPDATE SKIP LOCKED — это предложение блокировки строк, а не фильтр. Каждый воркер блокирует выбранную задачу и пропускает строки, уже заблокированные другой транзакцией, вместо того чтобы их ждать. В документации по предложениям блокировки отмечается, что такой подход намеренно даёт несогласованное представление данных, и это как раз подходит для таблиц, используемых как очередь. Базовые понятия о воркерах и повторных попытках описаны в статье об устройстве очередей задач.
CREATE TABLE jobs (
id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
kind text NOT NULL,
payload jsonb NOT NULL,
status text NOT NULL DEFAULT 'queued',
created_at timestamptz NOT NULL DEFAULT now(),
finished_at timestamptz
);
CREATE INDEX jobs_queued_idx ON jobs (id) WHERE status = 'queued';
BEGIN;
SELECT id, kind, payload
FROM jobs
WHERE status = 'queued'
ORDER BY id
LIMIT 1
FOR UPDATE SKIP LOCKED;
-- application runs the job using the returned id
UPDATE jobs SET status = 'done', finished_at = now() WHERE id = $1;
COMMIT;
Если воркер падает до COMMIT, транзакция откатывается, блокировка снимается, и задача снова становится доступной. Частичный индекс сохраняет запрос на захват задачи компактным по мере накопления завершённых задач. Подвох в том, что в этом варианте с SKIP LOCKED транзакция остаётся открытой на всё время выполнения задачи. Для длительных задач захватывайте строку, устанавливая status = 'running' с отметкой времени, фиксируйте транзакцию и завершайте работу во второй транзакции. В этом случае понадобится процесс-уборщик, сбрасывающий зависшие строки со статусом running. Выделенную очередь стоит выбрать, когда нужен fan-out на множество потребителей, повторное воспроизведение сообщений или очень высокая пропускная способность.
UNLOGGED-таблицы для данных в роли кеша
UNLOGGED-таблица не пишет в журнал предзаписи (WAL), поэтому запись в неё обходится дешевле. В документации по CREATE TABLE описана цена этого компромисса: после сбоя или некорректного завершения работы Postgres очищает нежурналируемую таблицу и не реплицирует её на резервные серверы. Поэтому UNLOGGED-таблица подходит только для данных, которые можно восстановить из другого источника.
CREATE UNLOGGED TABLE cache_entries (
key text PRIMARY KEY,
value jsonb NOT NULL,
expires_at timestamptz NOT NULL
);
CREATE INDEX cache_entries_expires_idx ON cache_entries (expires_at);
-- Write
INSERT INTO cache_entries (key, value, expires_at)
VALUES ($1, $2, now() + interval '10 minutes')
ON CONFLICT (key) DO UPDATE
SET value = EXCLUDED.value, expires_at = EXCLUDED.expires_at;
-- Read
SELECT value FROM cache_entries WHERE key = $1 AND expires_at > now();
-- Cleanup, run on a schedule
DELETE FROM cache_entries WHERE expires_at < now();
Upsert через ON CONFLICT обновляет существующий ключ одним выражением. При чтении проверяется expires_at, потому что очистка выполняется периодически и просроченные строки могут задерживаться между запусками. Запускайте очистку из планировщика вашего приложения. Redis — лучший выбор, когда нужна задержка меньше миллисекунды или нативные структуры данных, такие как сортированные множества и счётчики. Почему — объясняется в статье о том, как работают key-value базы данных.
pgvector вместо отдельной векторной базы данных
pgvector добавляет в Postgres векторный тип столбца и поиск по сходству, так что эмбеддинги могут храниться рядом со строками, которые они описывают. Выделенную векторную базу данных стоит выбрать, когда векторная нагрузка перерастает один узел. Настройка подробно разобрана в статье о реализации векторного поиска в Postgres.
Практическое правило для добавления сервисов
Считайте каждую из описанных возможностей Postgres вариантом по умолчанию, а выделенный сервис — апгрейдом, который нужно обосновать фактами:
- Сначала реализуйте функциональность в Postgres.
- Измерьте её под реальной нагрузкой с помощью
EXPLAIN ANALYZEиpg_stat_statements. - Добавляйте сервис, когда сможете назвать ограничение, в которое упёрлись: уведомления, которые должны переживать перезапуски, поиск с устойчивостью к опечаткам, задержка кеша или объём записи.
Следующий шаг: возьмите сервис, который вы собирались добавить, найдите его строку в сводной таблице и сначала реализуйте версию на Postgres. Если её окажется недостаточно, ваши измерения точно покажут, какую проблему должен решить новый сервис.
Часто задаваемые вопросы
Что использовать для документных данных в Postgres: json или jsonb?
Используйте jsonb для всего, по чему вы делаете запросы. Тип json хранит точную текстовую копию входных данных, сохраняя пробелы, порядок ключей и дублирующиеся ключи, и заново разбирает её при каждом обращении. Тип jsonb хранит разобранное двоичное представление, отбрасывает пробелы, не сохраняет порядок ключей и для дублирующегося ключа оставляет только последнее значение. GIN-индексы и оператор вхождения @> работают с jsonb.
Теряет ли UNLOGGED-таблица данные при обычном перезапуске Postgres?
Нет. Postgres очищает нежурналируемую таблицу только после сбоя или некорректного завершения работы. После корректной остановки и перезапуска её содержимое сохраняется. Существующую таблицу можно преобразовать командой ALTER TABLE name SET LOGGED или SET UNLOGGED. Переключение в LOGGED перезаписывает таблицу и записывает всё её содержимое в WAL, что может быть затратно для больших таблиц.
Доставляет ли Postgres дублирующиеся сообщения NOTIFY, отправленные в одной транзакции?
Нет. Если одна транзакция несколько раз отправляет сигнал в один и тот же канал с одинаковой полезной нагрузкой, слушатели получают только одно уведомление. Уведомления с разной полезной нагрузкой всегда доставляются по отдельности, а уведомления из разных транзакций никогда не объединяются. За исключением отброшенных дубликатов, уведомления из одной транзакции приходят в том порядке, в котором были отправлены, поэтому повторные сигналы инвалидации для одного и того же ключа можно безопасно отправлять из триггеров.
Может ли LISTEN/NOTIFY заменить опрос в очереди задач на SKIP LOCKED?
Частично. Триггер на таблице jobs может вызывать pg_notify после каждой вставки, а поскольку уведомления отправляются только при фиксации, воркеры никогда не просыпаются из-за откатившейся вставки. Пробуждённые воркеры затем выполняют запрос на захват задачи с SKIP LOCKED. Оставьте редкий периодический опрос в качестве запасного варианта, потому что воркер, отключённый в момент отправки уведомления, никогда его не получит.
Gain Debugging Superpowers
Unleash the power of session replay to reproduce bugs, track slowdowns and uncover frustrations in your app. Get complete visibility into your frontend with OpenReplay — the most advanced open-source session replay tool for developers.
Star on GitHub12k