12k
All articles

追加サービスの代わりになるPostgresの機能

JSONB、全文検索、LISTEN/NOTIFY、SKIP LOCKED、非ログテーブル、pgvectorで追加サービスを代替する方法と、専用サービスへ移行する目安を解説します。

OpenReplay Team
OpenReplay Team
追加サービスの代わりになるPostgresの機能

Redis、キューブローカー、検索エンジン、ドキュメントデータベースを導入する前に、Postgresの組み込み機能で現在の規模に十分対応できないか確認しましょう。

よくあるのは次のような流れです。ある機能にはキャッシュが必要になり、別の機能にはバックグラウンドジョブが必要になり、気づけばアーキテクチャ図に新しいボックスが3つ増えています。しかも、それぞれにデプロイ、バックアップ、固有の障害モードがついてきます。導入する価値のあるボックスもありますが、多くはまだその段階にありません。

本記事では、独立したサービスの代わりになるPostgresの機能を6つ紹介します。各セクションでは簡単なSQLの例を示し、専用サービスのほうが依然として優れている点も率直に説明します。スキーマ設計、インデックス、コネクションプーリングを先におさらいしたい場合は、モダンなWebアプリのためのPostgresベストプラクティスから読み始めてください。

重要なポイント

  • jsonbカラムにGINインデックスを作成すると、@>による包含クエリが高速になります。jsonb_path_ops演算子クラスを使えば、デフォルトのjsonb_opsより対応する演算子は少ないものの、包含検索に特化したインデックスを作成できます。
  • LISTEN/NOTIFYはメッセージを保存しません。通知は送信側のトランザクションがコミットされた時点でのみ送られ、その瞬間にリッスンしているセッションがなければ失われます。
  • FOR UPDATE SKIP LOCKEDはフィルタではなく行ロック句です。各ワーカーは選択したジョブをロックし、別のトランザクションがすでに保持している行は待機せずにスキップします。
  • Postgresはクラッシュ後にUNLOGGEDテーブルをトランケートし、スタンバイにも複製しません。再構築できるデータにのみ使用してください。
  • まずPostgresの機能から始めて実際の負荷で計測し、直面した具体的な限界を特定できた時点で専用サービスを追加しましょう。

「Postgresだけで十分」なのはどんなときか:まとめ

小〜中規模のアプリで、各機能が実際のワークロードをカバーできているなら、「Postgresだけで十分」という考え方は通用します。以下の表は、各サービスに対応するPostgresの機能と、専用サービスへ移行すべきタイミングの目安をまとめたものです。

代替対象Postgresの機能十分に対応できる用途サービスを追加すべきとき
ドキュメントデータベースjsonb + GIN柔軟な属性、包含クエリ非常に高い書き込み量、組み込みシャーディング
検索エンジンtsvector + GINランキング付きキーワード検索タイポ許容、ファセット、関連度チューニング
Pub/SubブローカーLISTEN/NOTIFYキャッシュの無効化、ワーカーの起動永続化または再送可能なメッセージが必要
ジョブキューFOR UPDATE SKIP LOCKEDバックグラウンドジョブ、中程度の処理量ファンアウト、リプレイ、非常に高いスループット
キャッシュUNLOGGEDテーブル再構築可能で期限切れになるデータインメモリのレイテンシやデータ構造が必要
ベクトルデータベースpgvectorリレーショナルな行と並べて保存する埋め込みベクトルワークロードが単一ノードの限界を超える

ドキュメントデータベースの代わりにJSONBとGIN

jsonbカラムとGINインデックスを組み合わせると、Postgresでスキーマレスなドキュメントを保存し、包含クエリ(「このドキュメントは指定したキーと値のペアを含むか?」)にインデックス経由で応答できます。jsonbのインデックスに関するドキュメントでは、2つの演算子クラスが説明されています。デフォルトはjsonb_opsです。もう一方のjsonb_path_opsは対応する演算子が少ないものの、クエリで包含演算子しか使わない場合に適しています。

CREATE TABLE events (
  id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
  payload jsonb NOT NULL
);

-- jsonb_path_ops supports fewer operators than the default jsonb_ops
CREATE INDEX events_payload_idx ON events USING gin (payload jsonb_path_ops);

EXPLAIN
SELECT id FROM events
WHERE payload @> '{"type": "signup", "plan": "pro"}';

jsonb_path_opsを選ぶ前に、クエリでどの演算子を使っているか確認してください。書き込み量が非常に多くなった場合や、ノード間の組み込みシャーディングが必要な場合は、専用のドキュメントストアを使いましょう。

tsvectorとGINによる全文検索

Postgresの全文検索は、テキストを正規化された語彙素(tsvector)に変換し、パース済みのクエリ(tsquery)と照合します。STOREDの生成カラムとしてtsvectorを定義すると、INSERTやUPDATEのたびに検索用ドキュメントがソースカラムと同期され、トリガーを保守する必要がありません。式では'english'のような設定名を明示する必要があります。テキスト検索用テーブルのドキュメントで説明されているとおり、インデックス化するテキスト検索式はdefault_text_search_configに依存できないためです。

ALTER TABLE articles ADD COLUMN search tsvector
  GENERATED ALWAYS AS (
    setweight(to_tsvector('english', coalesce(title, '')), 'A') ||
    setweight(to_tsvector('english', coalesce(body, '')), 'B')
  ) STORED;

CREATE INDEX articles_search_idx ON articles USING gin (search);

SELECT id, title, ts_rank(search, q) AS rank
FROM articles, websearch_to_tsquery('english', $1) AS q
WHERE search @@ q
ORDER BY rank DESC
LIMIT 20;

ここでSTOREDが必須なのは、生成されたtsvectorカラムにインデックスを作成するためです。PostgreSQL 18以降、生成カラムのデフォルトは仮想(virtual)になっており、読み取り時に計算されます。残りはテキスト検索の制御機能が担います。websearch_to_tsqueryはユーザーが検索ボックスに入力するような形式のテキストを受け付け、setweightはタイトルの語彙素にA、本文の語彙素にBのラベルを付け、ts_rankはその重みを使って一致結果をスコアリングします。

Postgresの全文検索が照合するのはステミングされた単語であり、スペルミスには対応しません。pg_trgmモジュールを使うと、%演算子とgin_trgm_opsインデックスによって文字トライグラムに基づく類似度マッチングが可能になり、このギャップの一部を埋められます。同義語辞書やシソーラス辞書で同義語にも対応できますが、サーバー上に設定ファイルが必要です。ファセット、高精度なタイポ許容、SQLを編集せずに行える関連度チューニングが必要な場合は、専用の検索エンジンを選びましょう。

Pub/Subブローカーの代わりにLISTEN/NOTIFY

LISTEN/NOTIFYは、データベースセッション間の軽量なシグナルチャネルです。キャッシュの無効化やアイドル状態のワーカーの起動に適しています。ただし、メッセージは保存されません。NOTIFYのリファレンスによると、次のとおりです。

  • 通知は送信側のトランザクションがコミットされた時点でのみ配信されます。
  • その瞬間にリッスンしていないセッションは、通知を受け取れません。
  • デフォルトでは、ペイロードは8000バイト未満である必要があります。
-- Listener session (kept open)
LISTEN cache_invalidation;

-- Sender, inside any transaction
SELECT pg_notify('cache_invalidation', 'product:42');

NOTIFYでは、行全体ではなく識別子を送りましょう。そうすればペイロードをサイズ上限内に収められますし、受信側はいずれにせよ最新のデータを読み取ります。LISTENのセッションは接続を維持し続ける必要があるため、サーバーレスのルートハンドラーには向いていません。代わりに、長時間稼働するNodeワーカーでリスナーを動かしてください。PgBouncerのトランザクションプーリングモードはLISTENに対応していないため、リスナーは直接接続するか、セッションモードのプール経由で接続してください。メッセージを再起動後も保持したい場合、リプレイしたい場合、オフラインのコンシューマーにも届けたい場合は、本格的なブローカーを選びましょう。

SKIP LOCKEDによるジョブキュー

FOR UPDATE SKIP LOCKEDはフィルタではなく行ロック句です。各ワーカーは選択したジョブをロックし、別のトランザクションがすでにロックしている行は待機せずにスキップします。ロック句のドキュメントには、これは設計上データの一貫しないビューを返すものであり、キューのようなテーブルに適していると記載されています。ワーカーやリトライに関する概念については、ジョブキューの解説を参照してください。

CREATE TABLE jobs (
  id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
  kind text NOT NULL,
  payload jsonb NOT NULL,
  status text NOT NULL DEFAULT 'queued',
  created_at timestamptz NOT NULL DEFAULT now(),
  finished_at timestamptz
);
CREATE INDEX jobs_queued_idx ON jobs (id) WHERE status = 'queued';

BEGIN;
SELECT id, kind, payload
FROM jobs
WHERE status = 'queued'
ORDER BY id
LIMIT 1
FOR UPDATE SKIP LOCKED;
-- application runs the job using the returned id
UPDATE jobs SET status = 'done', finished_at = now() WHERE id = $1;
COMMIT;

ワーカーがCOMMITの前にクラッシュした場合、トランザクションはロールバックされ、ロックが解放されて、ジョブは再び取得可能になります。部分インデックスにより、完了済みのジョブが蓄積しても、ジョブ取得クエリの対象範囲は小さく保たれます。注意点として、このSKIP LOCKEDの実装ではジョブの実行中ずっとトランザクションを開いたままにします。長時間かかるジョブの場合は、タイムスタンプとともにstatus = 'running'を設定して行を確保し、コミットしてから、2つ目のトランザクションで処理を完了させてください。その場合、古くなったrunning行をリセットするスイーパーが必要になります。多数のコンシューマーへのファンアウト、メッセージのリプレイ、非常に高いスループットが必要な場合は、専用のキューを選びましょう。

キャッシュ的なデータにはUNLOGGEDテーブル

UNLOGGEDテーブルはWAL(ログ先行書き込み)を省略するため、書き込みのコストが低くなります。CREATE TABLEのドキュメントにはそのトレードオフが記載されています。Postgresはクラッシュや不正なシャットダウンの後にUNLOGGEDテーブルをトランケートし、スタンバイにも複製しません。そのため、UNLOGGEDテーブルは別のソースから再構築できるデータにのみ適しています。

CREATE UNLOGGED TABLE cache_entries (
  key text PRIMARY KEY,
  value jsonb NOT NULL,
  expires_at timestamptz NOT NULL
);
CREATE INDEX cache_entries_expires_idx ON cache_entries (expires_at);

-- Write
INSERT INTO cache_entries (key, value, expires_at)
VALUES ($1, $2, now() + interval '10 minutes')
ON CONFLICT (key) DO UPDATE
  SET value = EXCLUDED.value, expires_at = EXCLUDED.expires_at;

-- Read
SELECT value FROM cache_entries WHERE key = $1 AND expires_at > now();

-- Cleanup, run on a schedule
DELETE FROM cache_entries WHERE expires_at < now();

ON CONFLICTによるUPSERTを使えば、既存のキーを1つのステートメントで更新できます。クリーンアップは定期的に実行されるため、実行の合間に期限切れの行が残ることがあります。そのため、読み取り時にexpires_atをチェックしています。クリーンアップはアプリのスケジューラーから実行してください。サブミリ秒のレイテンシや、ソート済みセットやカウンターなどのネイティブなデータ構造が必要な場合は、Redisのほうが適しています。その理由はキーバリューデータベースの仕組みで解説しています。

独立したベクトルデータベースの代わりにpgvector

pgvectorはPostgresにベクトル型のカラムと類似度検索を追加する拡張機能で、埋め込みを、それが表す行と並べて保存できます。ベクトルワークロードが単一ノードの限界を超えた場合は、専用のベクトルデータベースを選びましょう。セットアップ手順はPostgresでベクトル検索を実装するで解説しています。

サービスを追加する際の目安

ここで紹介したPostgresの各機能をデフォルトとし、専用サービスは根拠をもって正当化できるアップグレードとして扱いましょう。

  1. まずPostgresで機能を構築します。
  2. EXPLAIN ANALYZEとpg_stat_statementsを使い、実際の負荷のもとで計測します。
  3. 直面した限界を特定できた時点でサービスを追加します。たとえば、再起動後も保持すべき通知、タイポ許容が必要な検索、キャッシュのレイテンシ、書き込み量などです。

次のステップとして、導入しようとしていたサービスをまとめの表で探し、まずPostgres版を構築してみてください。もし不十分だった場合は、計測結果から新しいサービスで何を解決すべきかが明確にわかるはずです。

よくある質問

Postgresでドキュメントデータを扱う場合、jsonとjsonbのどちらを使うべきですか?

クエリで扱うデータにはjsonbを使いましょう。json型は入力をテキストのまま正確にコピーして保存し、空白、キーの順序、重複キーを保持したうえで、アクセスのたびに再パースします。jsonb型は分解されたバイナリ形式で保存し、空白を除去し、キーの順序を保持せず、重複キーについては最後の値のみを残します。GINインデックスと@>包含演算子はjsonbで動作します。

UNLOGGEDテーブルは、Postgresを通常どおり再起動した場合にもデータが失われますか?

いいえ。PostgresがUNLOGGEDテーブルをトランケートするのは、クラッシュや不正なシャットダウンの後だけです。正常にシャットダウンして再起動した場合、内容は保持されます。既存のテーブルはALTER TABLE name SET LOGGEDまたはSET UNLOGGEDで変換できます。LOGGEDへの切り替えではテーブルが書き換えられ、その全内容がWALに書き込まれるため、大きなテーブルではコストが高くなる可能性があります。

同じトランザクション内で送信された重複するNOTIFYメッセージは、Postgresから重複して配信されますか?

いいえ。1つのトランザクションが同じチャネルに同一のペイロードで複数回シグナルを送った場合、リスナーが受け取る通知は1つだけです。ペイロードが異なる通知は常に個別に配信され、異なるトランザクションからの通知がまとめられることはありません。重複の除去を除けば、1つのトランザクションからの通知は送信された順序で届くため、同じキーに対するキャッシュ無効化シグナルをトリガーから繰り返し送っても安全です。

SKIP LOCKEDを使ったジョブキューで、LISTEN/NOTIFYをポーリングの代わりに使えますか?

部分的には可能です。jobsテーブルにトリガーを設定し、INSERTのたびにpg_notifyを呼び出せます。通知はコミット時にのみ送られるため、ロールバックされたINSERTによってワーカーが起動されることはありません。起動されたワーカーは、続いてSKIP LOCKEDのジョブ取得クエリを実行します。ただし、通知が発行された時点で切断されていたワーカーはその通知を受け取れないため、フォールバックとして間隔の長いポーリングを残しておきましょう。

DevTools for the frontend

Gain Debugging Superpowers

Unleash the power of session replay to reproduce bugs, track slowdowns and uncover frustrations in your app. Get complete visibility into your frontend with OpenReplay — the most advanced open-source session replay tool for developers.

Star on GitHub12k

We use cookies to improve your experience. By using our site, you accept cookies.