APIのタイムアウトをキャッシュで抑制した話｜重い集計処理を速くする設計

システムを運用していると、「最初は速かったのに、データが増えたら急に遅くなった」という問題に出会います。この記事では、重い集計処理が原因でAPIがタイムアウトしていた問題を、キャッシュで解消したときの考え方と設計を紹介します。

何が起きていたのか？

ある管理画面で、一覧を開くたびに集計APIを呼び出していました。データが少ないうちは問題ありませんでしたが、件数が増えるにつれて応答が遅くなり、ついにはAPI Gatewayのタイムアウトでエラーが返るようになりました。

API GatewayとLambdaを組み合わせる構成では、Lambda自体の実行時間に余裕があっても、API Gatewayの統合タイムアウト（REST APIの既定値は29秒）を超えるとエラーになります。

原因は何だったのか？

調べてみると、原因はシンプルでした。

• 画面を開くたびに、同じ集計を最初からやり直していた
• 集計の元データは1日に数回しか変わらない
• 複数のスタッフが同じ画面を開くため、同じ計算が何度も走っていた

つまり、ほとんどのリクエストで前回と同じ結果を、毎回時間をかけて作り直していたのです。

どう解決したのか？

タイムアウトを延ばすのではなく、計算を減らす

タイムアウトの時間を延ばす方法もありますが、データが増えればまた同じ問題が起きます。また、何十秒も待たされる画面は使われません。そこで、集計結果をキャッシュし、データが変わったときだけ作り直す設計に変えました。

キャッシュの設計で決めたこと

Lambdaは実行環境が使い回されるとは限らないため、メモリ上の変数ではなく、外部のストア（DynamoDBやElastiCacheなど）に置くのがポイントです。

実装の流れ

const CACHE_KEY = 'summary:v1';
const TTL_SECONDS = 60 * 60; // 保険としての有効期限（1時間）
 
export async function getSummary() {
  // 1. まずキャッシュを見る
  const cached = await cache.get(CACHE_KEY);
  if (cached) return cached;
 
  // 2. なければ集計して保存する
  const summary = await buildSummary(); // 重い集計
  await cache.set(CACHE_KEY, summary, { ttl: TTL_SECONDS });
  return summary;
}
 
// 元データが更新されたら、キャッシュを消す
export async function onDataUpdated() {
  await cache.delete(CACHE_KEY);
}

この形にすることで、元データが更新された直後の1回だけ集計が走り、それ以外のリクエストはキャッシュから即座に返るようになりました。

さらに改善できることは？

古いデータを返しながら裏で更新する

キャッシュが切れた直後のリクエストは、集計を待つ必要があります。これを避けるには、有効期限が切れても古い結果をいったん返し、裏で新しい結果を作る方法（stale-while-revalidate）が有効です。

集計を事前に作っておく

さらに進めると、データ更新のイベントをきっかけに集計を作り直しておく方法もあります。利用者がAPIを呼ぶときには、常に計算済みの結果が用意されている状態になります。

キャッシュのキーにバージョンを入れる

集計の内容や形式を変えたときに古いキャッシュが残らないよう、キーに v1 のようなバージョンを入れておくと安全です。

キャッシュを入れるときの注意点は？

• 常に正確な値が必要な処理には慎重に使う：在庫・残高・定員の残りなどは、古い値が表示されると問題になる
• 消し忘れを防ぐ：データを更新するすべての経路でキャッシュを消す。経路が多い場合は、有効期限を短めにして保険にする
• 同時アクセスに備える：キャッシュが消えた瞬間に大量のリクエストが来ると、全員が同時に集計を始める。ロックや事前作成で防ぐ

データベースやサーバーの選び方で運用費を抑える考え方は、コスパ最強の開発構成｜DB・サーバー・LLMまで運用費を抑える選び方でまとめています。

まとめ

• タイムアウトは「時間を延ばす」より「同じ計算を減らす」で解決する
• キャッシュは「何を・どこに・いつまで・いつ消すか」を先に決める
• 正確さが必要なデータには慎重に使い、同時アクセスにも備える

システムの遅さやタイムアウトでお困りの方は、既存システムの調査からご相談いただけます。