12k
All articles

Recursos do Postgres que substituem serviços extras

Veja como JSONB, busca textual, LISTEN/NOTIFY, SKIP LOCKED, tabelas unlogged e pgvector substituem serviços extras — e quando ampliar a arquitetura.

OpenReplay Team
OpenReplay Team
Recursos do Postgres que substituem serviços extras

Antes de adicionar Redis, um broker de filas, um mecanismo de busca ou um banco de dados de documentos, verifique se algum recurso nativo do Postgres já resolve o problema de forma satisfatória na sua escala.

O padrão costuma ser este: um recurso precisa de cache, outro precisa de jobs em segundo plano, e o diagrama de arquitetura ganha três caixas novas, cada uma com seu próprio deploy, seus backups e seus modos de falha. Algumas dessas caixas valem a pena. Muitas ainda não.

Este artigo apresenta seis recursos do Postgres que podem substituir um serviço separado. Cada seção traz um pequeno exemplo em SQL e diz claramente em que ponto o serviço dedicado ainda se sai melhor. Se você precisa primeiro revisar modelagem de schema, indexação e pooling, comece por estas boas práticas de Postgres para aplicações web modernas.

Principais conclusões

  • Um índice GIN em uma coluna jsonb torna rápidas as consultas de contenção com @>, e a classe de operadores jsonb_path_ops gera um índice focado em contenção que suporta menos operadores do que o padrão jsonb_ops.
  • LISTEN/NOTIFY não armazena mensagens: uma notificação só é enviada quando a transação que a emitiu faz commit e, se nenhuma sessão estiver escutando naquele momento, ela se perde.
  • FOR UPDATE SKIP LOCKED é uma cláusula de bloqueio de linhas, não um filtro: cada worker bloqueia o job que seleciona e pula as linhas que outra transação já mantém bloqueadas, em vez de esperar por elas.
  • O Postgres trunca uma tabela UNLOGGED após um crash e não a replica para os standbys, então use-a apenas para dados que você consegue reconstruir.
  • Comece pelo recurso do Postgres, meça-o sob carga real e adicione um serviço dedicado quando conseguir apontar o limite específico que você atingiu.

Quando usar apenas o Postgres: um resumo

“Use apenas o Postgres” funciona bem para aplicações pequenas e médias quando cada recurso dá conta da carga de trabalho que você realmente tem. A tabela relaciona cada serviço ao seu equivalente no Postgres e ao sinal de que chegou a hora de migrar.

Em vez deRecurso do PostgresSuficiente paraAdicione o serviço quando
Banco de dados de documentosjsonb + GINAtributos flexíveis, consultas de contençãoVolume de escrita muito alto, sharding nativo
Mecanismo de buscatsvector + GINBusca por palavras-chave com ranqueamentoTolerância a erros de digitação, facetas, ajuste de relevância
Broker de pub/subLISTEN/NOTIFYInvalidação de cache, acordar workersVocê precisa de mensagens duráveis ou reprocessáveis
Fila de jobsFOR UPDATE SKIP LOCKEDJobs em segundo plano, volume moderadoFan-out, replay, throughput muito alto
CacheTabela UNLOGGEDDados reconstruíveis e com expiraçãoVocê precisa de latência em memória ou de estruturas de dados
Banco de dados vetorialpgvectorEmbeddings ao lado de linhas relacionaisCargas vetoriais que não cabem mais em um único nó

JSONB e GIN em vez de um banco de dados de documentos

Uma coluna jsonb com um índice GIN permite que o Postgres armazene documentos sem schema e responda a consultas de contenção (“este documento inclui estes pares chave/valor?”) usando o índice. A documentação de indexação de jsonb descreve duas classes de operadores. A padrão é jsonb_ops. A alternativa, jsonb_path_ops, suporta menos operadores, mas é uma boa opção quando suas consultas usam apenas contenção.

CREATE TABLE events (
  id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
  payload jsonb NOT NULL
);

-- jsonb_path_ops supports fewer operators than the default jsonb_ops
CREATE INDEX events_payload_idx ON events USING gin (payload jsonb_path_ops);

EXPLAIN
SELECT id FROM events
WHERE payload @> '{"type": "signup", "plan": "pro"}';

Antes de escolher jsonb_path_ops, verifique quais operadores suas consultas utilizam. Opte por um banco de documentos dedicado quando o volume de escrita ficar muito alto ou quando você precisar de sharding nativo entre nós.

Busca full-text com tsvector e GIN

A busca full-text do Postgres transforma texto em lexemas normalizados (um tsvector) e os compara com uma consulta analisada (um tsquery). Uma coluna tsvector gerada do tipo STORED mantém o documento de busca sincronizado com as colunas de origem a cada insert e update, sem nenhum trigger para manter. A expressão precisa indicar uma configuração, como 'english'. Conforme explica a documentação sobre tabelas de busca textual, expressões de busca textual indexadas não podem depender de default_text_search_config.

ALTER TABLE articles ADD COLUMN search tsvector
  GENERATED ALWAYS AS (
    setweight(to_tsvector('english', coalesce(title, '')), 'A') ||
    setweight(to_tsvector('english', coalesce(body, '')), 'B')
  ) STORED;

CREATE INDEX articles_search_idx ON articles USING gin (search);

SELECT id, title, ts_rank(search, q) AS rank
FROM articles, websearch_to_tsquery('english', $1) AS q
WHERE search @@ q
ORDER BY rank DESC
LIMIT 20;

STORED é obrigatório aqui porque a coluna tsvector gerada é indexada. Desde o PostgreSQL 18, colunas geradas são virtuais por padrão, ou seja, são calculadas no momento da leitura. Os controles de busca textual cuidam do resto: websearch_to_tsquery aceita o tipo de texto que os usuários digitam em uma caixa de busca, setweight rotula os lexemas do título como A e os do corpo como B, e ts_rank pontua as correspondências usando esses pesos.

A busca full-text do Postgres encontra palavras com stemming, não erros de digitação. O módulo pg_trgm adiciona correspondência por similaridade baseada em trigramas de caracteres por meio do operador % e de um índice gin_trgm_ops, o que cobre parte dessa lacuna. Sinônimos são possíveis com dicionários de sinônimos e de tesauro, mas eles exigem arquivos de configuração no servidor. Opte por um mecanismo de busca dedicado quando precisar de facetas, de boa tolerância a erros de digitação ou de ajuste de relevância sem editar SQL.

LISTEN/NOTIFY em vez de um broker de pub/sub

LISTEN/NOTIFY é um canal leve de sinalização entre sessões do banco de dados. Funciona bem para invalidação de cache e para acordar workers ociosos. Ele não armazena mensagens. Segundo a referência do NOTIFY:

  • Uma notificação só é entregue quando a transação que a enviou faz commit.
  • Sessões que não estão escutando naquele momento nunca a recebem.
  • Por padrão, o payload deve ter menos de 8000 bytes.
-- Listener session (kept open)
LISTEN cache_invalidation;

-- Sender, inside any transaction
SELECT pg_notify('cache_invalidation', 'product:42');

Com NOTIFY, envie um identificador em vez da linha inteira. Isso mantém o payload abaixo do limite de tamanho, e o receptor lê os dados atualizados de qualquer forma. Uma sessão com LISTEN precisa permanecer conectada, então ela não cabe em um route handler serverless. Execute o listener em um worker Node de longa duração. O modo de transaction pooling do PgBouncer não suporta LISTEN, então conecte o listener diretamente ou por meio de um pool em modo de sessão. Opte por um broker de verdade quando as mensagens precisarem sobreviver a reinicializações, ser reprocessadas ou chegar a consumidores que estão offline.

Uma fila de jobs com SKIP LOCKED

FOR UPDATE SKIP LOCKED é uma cláusula de bloqueio de linhas, não um filtro. Cada worker bloqueia o job que seleciona e pula as linhas que outra transação já bloqueou, em vez de esperar por elas. A documentação da cláusula de bloqueio observa que isso oferece, por design, uma visão inconsistente dos dados, o que é adequado para tabelas que funcionam como filas. Para os conceitos sobre workers e retentativas, veja filas de jobs explicadas.

CREATE TABLE jobs (
  id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
  kind text NOT NULL,
  payload jsonb NOT NULL,
  status text NOT NULL DEFAULT 'queued',
  created_at timestamptz NOT NULL DEFAULT now(),
  finished_at timestamptz
);
CREATE INDEX jobs_queued_idx ON jobs (id) WHERE status = 'queued';

BEGIN;
SELECT id, kind, payload
FROM jobs
WHERE status = 'queued'
ORDER BY id
LIMIT 1
FOR UPDATE SKIP LOCKED;
-- application runs the job using the returned id
UPDATE jobs SET status = 'done', finished_at = now() WHERE id = $1;
COMMIT;

Se o worker cair antes do COMMIT, a transação sofre rollback, o bloqueio é liberado e o job volta a ficar disponível. O índice parcial mantém a consulta de captura enxuta à medida que os jobs concluídos se acumulam. O porém é que essa versão com SKIP LOCKED mantém uma transação aberta durante toda a execução do job. Para jobs longos, capture a linha definindo status = 'running' com um timestamp, faça commit e conclua o trabalho em uma segunda transação. Nesse caso, você precisa de um processo de varredura (sweeper) que redefina as linhas running que ficaram travadas. Opte por uma fila dedicada quando precisar de fan-out para muitos consumidores, replay de mensagens ou throughput muito alto.

Tabelas UNLOGGED para dados do tipo cache

Uma tabela UNLOGGED não passa pelo write-ahead log, então as escritas nela custam menos. A documentação do CREATE TABLE descreve o trade-off: o Postgres trunca uma tabela unlogged após um crash ou um desligamento não limpo e não a replica para os standbys. Isso torna uma tabela UNLOGGED adequada apenas para dados que você consegue reconstruir a partir de outra fonte.

CREATE UNLOGGED TABLE cache_entries (
  key text PRIMARY KEY,
  value jsonb NOT NULL,
  expires_at timestamptz NOT NULL
);
CREATE INDEX cache_entries_expires_idx ON cache_entries (expires_at);

-- Write
INSERT INTO cache_entries (key, value, expires_at)
VALUES ($1, $2, now() + interval '10 minutes')
ON CONFLICT (key) DO UPDATE
  SET value = EXCLUDED.value, expires_at = EXCLUDED.expires_at;

-- Read
SELECT value FROM cache_entries WHERE key = $1 AND expires_at > now();

-- Cleanup, run on a schedule
DELETE FROM cache_entries WHERE expires_at < now();

O upsert com ON CONFLICT atualiza uma chave existente em uma única instrução. A leitura verifica expires_at porque a limpeza roda periodicamente, então linhas expiradas podem permanecer entre uma execução e outra. Dispare a limpeza a partir do agendador da sua aplicação. O Redis é a melhor escolha quando você precisa de latência abaixo de um milissegundo ou de estruturas de dados nativas, como sorted sets e contadores. Como funcionam os bancos de dados chave-valor explica o motivo.

pgvector em vez de um banco de dados vetorial separado

O pgvector adiciona ao Postgres um tipo de coluna vetorial e busca por similaridade, para que os embeddings fiquem ao lado das linhas que descrevem. Opte por um banco de dados vetorial dedicado quando suas cargas vetoriais não couberem mais em um único nó. Implementando busca vetorial no Postgres mostra a configuração passo a passo.

Uma regra prática para adicionar serviços

Trate cada recurso do Postgres apresentado aqui como o padrão, e um serviço dedicado como um upgrade que você justifica com evidências:

  1. Construa o recurso primeiro no Postgres.
  2. Meça-o sob carga real com EXPLAIN ANALYZE e pg_stat_statements.
  3. Adicione o serviço quando conseguir apontar o limite atingido: notificações que precisam sobreviver a reinicializações, busca que exige tolerância a erros de digitação, latência de cache ou volume de escrita.

Como próximo passo, pegue o serviço que você estava prestes a adicionar, encontre a linha correspondente na tabela de resumo e construa primeiro a versão em Postgres. Se ela não for suficiente, suas medições mostrarão exatamente o que o novo serviço precisa resolver.

Perguntas frequentes

Devo usar json ou jsonb para dados de documentos no Postgres?

Use jsonb para tudo o que você consulta. O tipo json armazena uma cópia textual exata da entrada, preservando espaços em branco, ordem das chaves e chaves duplicadas, e faz o parse novamente a cada acesso. O tipo jsonb armazena uma forma binária decomposta, descarta espaços em branco, não preserva a ordem das chaves e mantém apenas o último valor de uma chave duplicada. Índices GIN e o operador de contenção @> funcionam com jsonb.

Uma tabela UNLOGGED perde seus dados em uma reinicialização normal do Postgres?

Não. O Postgres trunca uma tabela unlogged apenas após um crash ou um desligamento não limpo. Após um desligamento limpo e uma reinicialização, seu conteúdo é mantido. Você pode converter uma tabela existente com ALTER TABLE nome SET LOGGED ou SET UNLOGGED. Mudar para LOGGED reescreve a tabela e grava todo o seu conteúdo no WAL, o que pode ser custoso em tabelas grandes.

O Postgres entrega mensagens NOTIFY duplicadas enviadas na mesma transação?

Não. Se uma transação sinaliza o mesmo canal mais de uma vez com um payload idêntico, os listeners recebem apenas uma notificação. Notificações com payloads distintos são sempre entregues separadamente, e notificações de transações diferentes nunca são agrupadas. Tirando as duplicatas descartadas, as notificações de uma mesma transação chegam na ordem em que foram enviadas, então é seguro emitir a partir de triggers sinais repetidos de invalidação para a mesma chave.

LISTEN/NOTIFY pode substituir o polling em uma fila de jobs com SKIP LOCKED?

Em parte. Um trigger na tabela de jobs pode chamar pg_notify após cada insert e, como as notificações só são enviadas no commit, os workers nunca acordam por causa de um insert que sofreu rollback. Os workers acordados então executam a consulta de captura com SKIP LOCKED. Mantenha um intervalo de polling lento como fallback, porque um worker que estiver desconectado quando a notificação for disparada nunca a receberá.

DevTools for the frontend

Gain Debugging Superpowers

Unleash the power of session replay to reproduce bugs, track slowdowns and uncover frustrations in your app. Get complete visibility into your frontend with OpenReplay — the most advanced open-source session replay tool for developers.

Star on GitHub12k

We use cookies to improve your experience. By using our site, you accept cookies.