12k
All articles

Postgres-Features, die zusätzliche Services ersetzen

Erfahren Sie, wie JSONB, Volltextsuche, LISTEN/NOTIFY, SKIP LOCKED, unlogged Tabellen und pgvector Dienste ersetzen und wann ein Wechsel sinnvoll ist.

OpenReplay Team
OpenReplay Team
Postgres-Features, die zusätzliche Services ersetzen

Bevor Sie Redis, einen Queue-Broker, eine Suchmaschine oder eine Dokumentendatenbank hinzufügen, sollten Sie prüfen, ob ein integriertes Postgres-Feature die Aufgabe in Ihrer Größenordnung bereits ausreichend gut abdeckt.

Das übliche Muster sieht so aus: Ein Feature braucht einen Cache, ein anderes Background-Jobs, und schon wächst das Architekturdiagramm um drei neue Kästen, jeder mit eigenem Deployment, eigenen Backups und eigenen Fehlerszenarien. Manche dieser Kästen lohnen sich. Viele noch nicht.

Dieser Artikel stellt sechs Postgres-Features vor, die einen separaten Service ersetzen können. Jeder Abschnitt enthält ein kurzes SQL-Beispiel und benennt klar, wo der dedizierte Service nach wie vor überlegen ist. Falls Sie zuerst Ihr Wissen zu Schema-Design, Indexierung und Connection-Pooling auffrischen möchten, beginnen Sie mit diesen Postgres Best Practices für moderne Web-Apps.

Die wichtigsten Erkenntnisse

  • Ein GIN-Index auf einer jsonb-Spalte macht @>-Containment-Abfragen schnell, und die Operatorklasse jsonb_path_ops liefert einen auf Containment spezialisierten Index, der weniger Operatoren unterstützt als das Standard-jsonb_ops.
  • LISTEN/NOTIFY speichert keine Nachrichten: Eine Benachrichtigung wird erst versendet, wenn die sendende Transaktion committet, und wenn in diesem Moment keine Session lauscht, ist sie verloren.
  • FOR UPDATE SKIP LOCKED ist eine Sperrklausel auf Zeilenebene, kein Filter: Jeder Worker sperrt den Job, den er auswählt, und überspringt Zeilen, die bereits von einer anderen Transaktion gehalten werden, statt auf sie zu warten.
  • Postgres leert eine UNLOGGED-Tabelle nach einem Absturz per Truncate und repliziert sie nicht auf Standby-Server. Verwenden Sie sie daher nur für Daten, die Sie neu aufbauen können.
  • Beginnen Sie mit dem Postgres-Feature, messen Sie es unter realer Last und fügen Sie erst dann einen dedizierten Service hinzu, wenn Sie die konkrete Grenze benennen können, an die Sie stoßen.

Wann einfach Postgres genügt: Eine Übersicht

„Nehmen Sie einfach Postgres“ trifft für kleine und mittlere Anwendungen zu, solange jedes Feature den Workload abdeckt, den Sie tatsächlich haben. Die Tabelle ordnet jedem Service sein Postgres-Pendant zu und nennt das Signal, dass es Zeit für den Umstieg ist.

StattPostgres-FeatureAusreichend fürService hinzufügen, wenn
Dokumentendatenbankjsonb + GINFlexible Attribute, Containment-AbfragenSehr hohes Schreibvolumen, integriertes Sharding
Suchmaschinetsvector + GINStichwortsuche mit RankingTippfehlertoleranz, Facetten, Relevanz-Tuning
Pub/Sub-BrokerLISTEN/NOTIFYCache-Invalidierung, Wecken von WorkernSie dauerhafte oder wiederabspielbare Nachrichten benötigen
Job-QueueFOR UPDATE SKIP LOCKEDBackground-Jobs, moderates VolumenFan-out, Replay, sehr hoher Durchsatz
CacheUNLOGGED-TabelleNeu aufbaubare, ablaufende DatenSie In-Memory-Latenz oder spezielle Datenstrukturen benötigen
VektordatenbankpgvectorEmbeddings neben relationalen ZeilenVektor-Workloads einem einzelnen Knoten entwachsen

JSONB und GIN statt einer Dokumentendatenbank

Mit einer jsonb-Spalte und einem GIN-Index kann Postgres schemalose Dokumente speichern und Containment-Abfragen („Enthält dieses Dokument diese Schlüssel-Wert-Paare?“) über den Index beantworten. Die Dokumentation zur jsonb-Indexierung beschreibt zwei Operatorklassen. Standard ist jsonb_ops. Die Alternative jsonb_path_ops unterstützt weniger Operatoren, eignet sich aber gut, wenn Ihre Abfragen ausschließlich Containment verwenden.

CREATE TABLE events (
  id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
  payload jsonb NOT NULL
);

-- jsonb_path_ops supports fewer operators than the default jsonb_ops
CREATE INDEX events_payload_idx ON events USING gin (payload jsonb_path_ops);

EXPLAIN
SELECT id FROM events
WHERE payload @> '{"type": "signup", "plan": "pro"}';

Prüfen Sie vor der Wahl von jsonb_path_ops, welche Operatoren Ihre Abfragen verwenden. Greifen Sie stattdessen zu einem dedizierten Document Store, wenn das Schreibvolumen sehr hoch wird oder Sie integriertes Sharding über mehrere Knoten benötigen.

Volltextsuche mit tsvector und GIN

Die Volltextsuche von Postgres wandelt Text in normalisierte Lexeme (einen tsvector) um und gleicht diese mit einer geparsten Abfrage (einer tsquery) ab. Eine als STORED generierte tsvector-Spalte hält das Suchdokument bei jedem Insert und Update mit den Quellspalten synchron, ohne dass ein Trigger gepflegt werden muss. Der Ausdruck muss eine Konfiguration wie 'english' explizit angeben. Wie die Dokumentation zu Textsuche in Tabellen erläutert, dürfen indexierte Textsuchausdrücke nicht von default_text_search_config abhängen.

ALTER TABLE articles ADD COLUMN search tsvector
  GENERATED ALWAYS AS (
    setweight(to_tsvector('english', coalesce(title, '')), 'A') ||
    setweight(to_tsvector('english', coalesce(body, '')), 'B')
  ) STORED;

CREATE INDEX articles_search_idx ON articles USING gin (search);

SELECT id, title, ts_rank(search, q) AS rank
FROM articles, websearch_to_tsquery('english', $1) AS q
WHERE search @@ q
ORDER BY rank DESC
LIMIT 20;

STORED ist hier erforderlich, weil die generierte tsvector-Spalte indexiert wird. Seit PostgreSQL 18 sind generierte Spalten standardmäßig virtuell, werden also erst beim Lesen berechnet. Den Rest übernehmen die Steuerungsfunktionen der Textsuche: websearch_to_tsquery akzeptiert die Art von Text, die Nutzer in ein Suchfeld eingeben, setweight kennzeichnet Lexeme aus dem Titel mit A und aus dem Fließtext mit B, und ts_rank bewertet Treffer anhand dieser Gewichtungen.

Die Volltextsuche von Postgres findet Wortstämme, keine Tippfehler. Das Modul pg_trgm ergänzt einen Ähnlichkeitsabgleich auf Basis von Zeichen-Trigrammen über den Operator % und einen gin_trgm_ops-Index, was einen Teil dieser Lücke schließt. Synonyme lassen sich mit Synonym- und Thesaurus-Wörterbüchern umsetzen, die jedoch Konfigurationsdateien auf dem Server erfordern. Entscheiden Sie sich für eine dedizierte Suchmaschine, wenn Sie Facettierung, robuste Tippfehlertoleranz oder Relevanz-Tuning ohne SQL-Anpassungen benötigen.

LISTEN/NOTIFY statt eines Pub/Sub-Brokers

LISTEN/NOTIFY ist ein leichtgewichtiger Signalkanal zwischen Datenbank-Sessions. Er eignet sich gut für Cache-Invalidierung und zum Wecken untätiger Worker. Nachrichten werden dabei nicht gespeichert. Laut der NOTIFY-Referenz gilt:

  • Eine Benachrichtigung wird erst zugestellt, wenn die sendende Transaktion committet.
  • Sessions, die in diesem Moment nicht lauschen, erhalten sie nie.
  • Standardmäßig muss der Payload kürzer als 8000 Byte sein.
-- Listener session (kept open)
LISTEN cache_invalidation;

-- Sender, inside any transaction
SELECT pg_notify('cache_invalidation', 'product:42');

Senden Sie mit NOTIFY einen Identifier statt der ganzen Zeile. So bleibt der Payload unter der Größenbeschränkung, und der Empfänger liest ohnehin aktuelle Daten. Eine LISTEN-Session muss dauerhaft verbunden bleiben und gehört daher nicht in einen Serverless-Route-Handler. Betreiben Sie den Listener stattdessen in einem langlebigen Node-Worker. Da der Transaction-Pooling-Modus von PgBouncer LISTEN nicht unterstützt, verbinden Sie den Listener direkt oder über einen Pool im Session-Modus. Setzen Sie auf einen echten Broker, wenn Nachrichten Neustarts überstehen, erneut abgespielt werden oder Consumer erreichen müssen, die gerade offline sind.

Eine Job-Queue mit SKIP LOCKED

FOR UPDATE SKIP LOCKED ist eine Sperrklausel auf Zeilenebene, kein Filter. Jeder Worker sperrt den Job, den er auswählt, und überspringt Zeilen, die bereits von einer anderen Transaktion gesperrt sind, statt auf sie zu warten. Die Dokumentation zur Locking-Klausel weist darauf hin, dass dies bewusst eine inkonsistente Sicht auf die Daten liefert, was gut zu Queue-artigen Tabellen passt. Die Konzepte rund um Worker und Retries finden Sie unter Job-Queues erklärt.

CREATE TABLE jobs (
  id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
  kind text NOT NULL,
  payload jsonb NOT NULL,
  status text NOT NULL DEFAULT 'queued',
  created_at timestamptz NOT NULL DEFAULT now(),
  finished_at timestamptz
);
CREATE INDEX jobs_queued_idx ON jobs (id) WHERE status = 'queued';

BEGIN;
SELECT id, kind, payload
FROM jobs
WHERE status = 'queued'
ORDER BY id
LIMIT 1
FOR UPDATE SKIP LOCKED;
-- application runs the job using the returned id
UPDATE jobs SET status = 'done', finished_at = now() WHERE id = $1;
COMMIT;

Stürzt der Worker vor dem COMMIT ab, wird die Transaktion zurückgerollt, die Sperre freigegeben und der Job ist wieder verfügbar. Der partielle Index hält die Claim-Abfrage klein, auch wenn sich abgeschlossene Jobs ansammeln. Der Haken: Diese SKIP LOCKED-Variante hält während der gesamten Jobdauer eine Transaktion offen. Bei lang laufenden Jobs beanspruchen Sie die Zeile, indem Sie status = 'running' samt Zeitstempel setzen, committen und den Job in einer zweiten Transaktion abschließen. Dann benötigen Sie einen Sweeper, der veraltete running-Zeilen zurücksetzt. Wählen Sie eine dedizierte Queue, wenn Sie Fan-out an viele Consumer, Message-Replay oder sehr hohen Durchsatz benötigen.

UNLOGGED-Tabellen für Cache-ähnliche Daten

Eine UNLOGGED-Tabelle umgeht das Write-Ahead-Log, wodurch Schreibvorgänge günstiger werden. Die CREATE-TABLE-Dokumentation nennt den Kompromiss: Postgres leert eine Unlogged-Tabelle nach einem Absturz oder einem nicht ordnungsgemäßen Herunterfahren per Truncate und repliziert sie nicht auf Standby-Server. Damit eignet sich eine UNLOGGED-Tabelle nur für Daten, die Sie aus einer anderen Quelle neu aufbauen können.

CREATE UNLOGGED TABLE cache_entries (
  key text PRIMARY KEY,
  value jsonb NOT NULL,
  expires_at timestamptz NOT NULL
);
CREATE INDEX cache_entries_expires_idx ON cache_entries (expires_at);

-- Write
INSERT INTO cache_entries (key, value, expires_at)
VALUES ($1, $2, now() + interval '10 minutes')
ON CONFLICT (key) DO UPDATE
  SET value = EXCLUDED.value, expires_at = EXCLUDED.expires_at;

-- Read
SELECT value FROM cache_entries WHERE key = $1 AND expires_at > now();

-- Cleanup, run on a schedule
DELETE FROM cache_entries WHERE expires_at < now();

Der ON CONFLICT-Upsert aktualisiert einen bestehenden Schlüssel in einer einzigen Anweisung. Der Lesezugriff prüft expires_at, weil das Aufräumen nur periodisch läuft und abgelaufene Zeilen zwischen zwei Durchläufen bestehen bleiben können. Lösen Sie das Aufräumen über den Scheduler Ihrer Anwendung aus. Redis ist die bessere Wahl, wenn Sie Latenzen im Sub-Millisekunden-Bereich oder native Datenstrukturen wie Sorted Sets und Counter benötigen. Warum das so ist, erklärt Wie Key-Value-Datenbanken funktionieren.

pgvector statt einer separaten Vektordatenbank

pgvector ergänzt Postgres um einen Vektor-Spaltentyp und Ähnlichkeitssuche, sodass Embeddings direkt neben den Zeilen liegen können, die sie beschreiben. Entscheiden Sie sich für eine dedizierte Vektordatenbank, wenn Ihre Vektor-Workloads einem einzelnen Knoten entwachsen. Vektorsuche in Postgres implementieren führt Schritt für Schritt durch das Setup.

Eine Faustregel für das Hinzufügen von Services

Betrachten Sie jedes hier vorgestellte Postgres-Feature als Standard und einen dedizierten Service als Upgrade, das Sie mit Belegen begründen:

  1. Bauen Sie das Feature zuerst in Postgres.
  2. Messen Sie es unter realer Last mit EXPLAIN ANALYZE und pg_stat_statements.
  3. Fügen Sie den Service hinzu, sobald Sie die erreichte Grenze benennen können: Benachrichtigungen, die Neustarts überstehen müssen, eine Suche, die Tippfehlertoleranz braucht, Cache-Latenz oder Schreibvolumen.

Als nächsten Schritt nehmen Sie den Service, den Sie gerade hinzufügen wollten, suchen seine Zeile in der Übersichtstabelle und bauen zuerst die Postgres-Variante. Reicht sie nicht aus, zeigen Ihre Messungen genau, welches Problem der neue Service lösen muss.

FAQs

Sollte ich für Dokumentdaten in Postgres json oder jsonb verwenden?

Verwenden Sie jsonb für alles, was Sie abfragen. Der Typ json speichert eine exakte Textkopie der Eingabe einschließlich Leerzeichen, Schlüsselreihenfolge und doppelter Schlüssel und parst sie bei jedem Zugriff erneut. Der Typ jsonb speichert eine zerlegte Binärform, entfernt Leerzeichen, behält die Schlüsselreihenfolge nicht bei und übernimmt bei doppelten Schlüsseln nur den letzten Wert. GIN-Indizes und der Containment-Operator @> funktionieren mit jsonb.

Verliert eine UNLOGGED-Tabelle bei einem regulären Postgres-Neustart ihre Daten?

Nein. Postgres leert eine Unlogged-Tabelle nur nach einem Absturz oder einem nicht ordnungsgemäßen Herunterfahren. Nach einem sauberen Herunterfahren und Neustart bleibt ihr Inhalt erhalten. Eine bestehende Tabelle lässt sich mit ALTER TABLE name SET LOGGED bzw. SET UNLOGGED umwandeln. Der Wechsel zu LOGGED schreibt die Tabelle neu und ihren vollständigen Inhalt ins WAL, was bei großen Tabellen teuer werden kann.

Stellt Postgres doppelte NOTIFY-Nachrichten zu, die in derselben Transaktion gesendet wurden?

Nein. Signalisiert eine Transaktion denselben Kanal mehrfach mit identischem Payload, erhalten Listener nur eine Benachrichtigung. Benachrichtigungen mit unterschiedlichen Payloads werden stets separat zugestellt, und Benachrichtigungen aus verschiedenen Transaktionen werden nie zusammengefasst. Abgesehen von verworfenen Duplikaten kommen Benachrichtigungen einer Transaktion in der Reihenfolge an, in der sie gesendet wurden. Wiederholte Invalidierungssignale für denselben Schlüssel können daher bedenkenlos aus Triggern ausgelöst werden.

Kann LISTEN/NOTIFY das Polling in einer SKIP-LOCKED-Job-Queue ersetzen?

Teilweise. Ein Trigger auf der jobs-Tabelle kann nach jedem Insert pg_notify aufrufen, und da Benachrichtigungen erst beim Commit versendet werden, wachen Worker nie für einen zurückgerollten Insert auf. Geweckte Worker führen anschließend die SKIP-LOCKED-Claim-Abfrage aus. Behalten Sie ein langsames Polling-Intervall als Fallback bei, denn ein Worker, der beim Auslösen der Benachrichtigung nicht verbunden ist, erhält sie nie.

DevTools for the frontend

Gain Debugging Superpowers

Unleash the power of session replay to reproduce bugs, track slowdowns and uncover frustrations in your app. Get complete visibility into your frontend with OpenReplay — the most advanced open-source session replay tool for developers.

Star on GitHub12k

We use cookies to improve your experience. By using our site, you accept cookies.