このページは英語のページを機械翻訳したものです。内容は英語のページが正です。 英語のページを読む
アラートとランブック
サーバー自身のメトリクスで何をアラートすべきか、それぞれのアラートの緊急度、そしてアラートが発生したときに確認することと行うことを説明します。サーバーを外から監視する方法(死活監視とステータスページ)はサーバーを外から監視するにあります。 停止しているサーバーからはメトリクスが届かないので、そちらも設定してください。
メトリクスを取得する
Section titled “メトリクスを取得する”metrics_exporter を設定すると、サーバーはメトリクスをエクスポートします(設定リファレンス)。
すべてのメトリクスとそのラベルは運用ガイドに一覧があります。以下のアラートは Prometheus 向けに書かれており、名前は Prometheus から見える名前です。ドットはアンダースコアになり、単位とカウンターの接尾辞が付きます
(my.queue.oldest_ready_age は my_queue_oldest_ready_age_seconds、my.delivery.attempts は my_delivery_attempts_total になります)。
| 環境 | 設定 | アラート |
|---|---|---|
| セルフホスト(Docker Compose、Kubernetes、VM) | metrics_exporter = prometheus |
Prometheus が metrics_listen の GET /metrics をスクレイプし、Alertmanager がアラートを振り分けます。以下のルールはそのまま使えます |
| OpenTelemetry Collector を使うすべての環境 | metrics_exporter = otlp |
Collector が好きなバックエンドに転送します。単位と種類の接尾辞を付ける Prometheus 互換のバックエンド(Prometheus 自身の OTLP レシーバーは既定でそうします)なら、同じ名前になります |
| Google Cloud(Cloud Run) | metrics_exporter = none |
稼働時間チェック、プラットフォームのメトリクス、ログベースの指標に対する Cloud Monitoring のアラートポリシー(Cloud Run を参照) |
| AWS(ECS) | metrics_exporter = emf |
CloudWatch Logs が取り出したメトリクスに対する CloudWatch アラーム(AWS ECS を参照) |
Prometheus と Alertmanager
Section titled “Prometheus と Alertmanager”ルールは deploy/monitoring/prometheus/alerts.yml にあります。このファイルを
prometheus.yml と同じ場所にコピーして読み込みます。
rule_files: - alerts.yml
scrape_configs: - job_name: my # the rules expect this job name static_configs: - targets: ["my:9464"]metrics_listenの既定値は127.0.0.1:9464で、同じホストの Prometheus からしか届きません。Docker Compose や Kubernetes ではMY_METRICS_LISTEN=0.0.0.0:9464を設定し、ポートはプライベートネットワークの中にとどめてください。このリスナーには認証がありません。- すべてのプロセスをスクレイプしてください(
role = webとrole = workerのプロセスはそれぞれ自分のリスナーを持ちます)。キュー、メディア、データベースのサイズ、 リモートのサーバー、利用料金の取り込み、スナップショットのゲージは、どのプロセスでもインスタンス全体の同じ値を持つため、ルールはその最大値を使います。 - どのルールにも
severityラベルがあります。pageは今すぐ人が必要なもの(利用者に影響が出ている、またはまもなく出る)、ticketは業務時間まで待てるものです。 Alertmanager でそれぞれを別の受信先に振り分けてください。各ルールのrunbook_urlは、下の対応するセクションを指しています。 - しきい値は小さなサーバー向けの出発点です。1 週間ほど値を観察し、しきい値と
forの期間をあなたのトラフィックに合わせて調整してください。MyRemoteMediaCacheOverLimit、MyMediaStorageLarge、MyDatabaseStorageLargeには、あなた自身の上限に合わせて設定すべきサイズが入っています。 - メンテナンスモードの間、サーバーはメトリクスを提供せず
503を返すため、MyTargetDownと HTTP のアラートが発生します。 始める前に、その時間帯のアラートを Alertmanager でサイレンスしてください(メンテナンス)。
ルールを変えたら、Prometheus に付属する promtool でファイルを検査し、その単体テスト(alerts.test.yml)を実行してください。
cd deploy/monitoring/prometheuspromtool check rules alerts.ymlpromtool test rules alerts.test.ymlGrafana ダッシュボード
Section titled “Grafana ダッシュボード”deploy/monitoring/grafana/my.json は、同じ Prometheus のメトリクスを表示する Grafana のダッシュボードです。
リクエスト率、ステータスコード、レイテンシ。ジョブの実行、ジョブの種類ごとのワーカーの時間、キュー。配送、受信箱のアクティビティ、
リモートのサーバー。各プロセスの CPU とメモリ。Grafana でインポートし(Dashboards → New → Import)、Prometheus のデータソースを選んでください。
Job 変数でスクレイプのジョブを選びます(既定は my)。
Google Cloud(Cloud Run)
Section titled “Google Cloud(Cloud Run)”metrics_exporter = none の場合は、Cloud Run と Cloud Logging にすでにあるものからアラートを作ります。
- HTTP のエラーとレイテンシ: レスポンスコードのクラスごとの Cloud Run のリクエスト数と、サービスのリクエストのレイテンシのメトリクス。
- エラー:
error reportの行は Error Reporting に送られ、そこでグループにまとめられ、新しいエラーや再発したエラーを通知できます(エラーの報告)。 - ジョブとリクエスト: サーバーは HTTP リクエストごと(
msg=http request)とジョブの実行ごと(msg=job)に 1 行のログを、 メトリクスと同じラベル付きで書き出します。これらからログベースの指標を作ります。たとえば失敗したジョブにはjsonPayload.msg="job" AND jsonPayload."my.outcome"="dead"のカウンター、 レイテンシにはjsonPayload."my.surface"="client_api"で絞り込んだjsonPayload.duration_secondsの分布を使います。 - キューの滞留とストレージ: 15 分ごとにジョブ
metrics.snapshotが、インスタンス全体の値(my.queue.oldest_ready_age、my.queue.dead、my.db.size、my.media.stored_bytesなど)を持つ行 (msg=metrics snapshot)を 1 行書き出します。そのフィールドからログベースの指標を作ります。 この行が途切れたら、ティックかキューが止まったということです。Cloud Tasks のキューの深さのメトリクスは、配送を待っているシグナルを数えます。 - データベース: Cloud SQL のディスク使用率と接続のメトリクス、またはデータベースの事業者の使用量アラート。
- 費用: アラートのしきい値を設定した Cloud Billing の予算(費用と予算)。
mycroblog-gcp の monitoring セクションは、これらを下の表の名前のポリシーとして作ります。その背後にあるモジュールの README は、違う方法で扱うアラートや表現できないアラートを一覧にしています。このセクションはまだ一度も適用されたことがありません。トラフィックがあるときだけ生じるメトリクスは、ゼロまでスケールするサービスでは途切れるため、その欠落に対するアラートは誤って発生します。アイドル状態で停止したサーバーに気づくのは、その稼働時間チェックです。
AWS ECS
Section titled “AWS ECS”metrics_exporter = emf の場合、CloudWatch Logs はサーバーのログの行を名前空間 metrics_emf_namespace のメトリクスに変換します。名前はドット区切りのもの
(my.job.duration、my.queue.oldest_ready_age)です。リクエストとジョブの所要時間のメトリクスはリクエストとジョブのログの行から作られ、
ディメンションは metrics_emf_dimensions に挙げたラベルになります。失敗したジョブでアラームを出すには my.outcome を、5xx でアラームを出すには
http.response.status_code を含めてください。インスタンス全体のゲージ(キュー、メディア、データベースのサイズ、リモートのサーバー、利用料金の取り込み、スナップショット)は、定期的なスナップショットのジョブが書き出します。Go ランタイムのメトリクス(go.*)は
EMF では書き出されないため、代わりに ECS サービスの CPU とメモリのメトリクスを使ってください。
- HTTP のエラー: Application Load Balancer の 5xx とリクエスト数のメトリクス。
- キューの滞留: スナップショットのジョブが書き出す
my.queue.oldest_ready_age。 - データベース: RDS や Aurora のストレージと接続のメトリクス、またはデータベースの事業者の使用量アラート。
- メール(
mail = ses): CloudWatch にある SES の評価のメトリクス(バウンス率と苦情率)。 - 費用: アラートを設定した AWS Budgets の予算(費用と予算)。
mycroblog-aws の monitoring セクションは、これらを下の表の名前のアラームとして作ります。その背後にあるモジュールの README にも同じ一覧があります。このセクションはまだ一度も適用されたことがありません。
アラートの一覧
Section titled “アラートの一覧”緊急度: page = 今すぐ対応する、ticket = 業務時間内に対応する。ルールの列の「–」は、それに対するメトリクスがまだないことを示します。説明のとおりに確認してください。
| 分野 | アラート | シグナル | しきい値 | 緊急度 | 考えられる原因 |
|---|---|---|---|---|---|
| キュー | MyQueueBacklog |
my_queue_oldest_ready_age_seconds |
5 分超が 10 分続く | ticket | 急増(人気の投稿、リレー)に対してワーカーが少ない、遅いジョブ、止まったワーカー |
| キュー | MyQueueStalled |
my_queue_oldest_ready_age_seconds |
30 分超が 5 分続く | page | ワーカーが動いていない(クラッシュした、デプロイされていない、role = web だけ)、ある種類のジョブを実行するワーカーがない、ワーカーがデータベースで詰まっている |
| キュー | MyDeadJobsIncreasing |
delta(my_queue_dead[1h]) |
1 時間に 10 件超が 15 分続く | ticket | ジョブのバグ、アダプターの設定の誤り(メール、ブロブ、利用料金)、拒否するリモートのサービス |
| キュー | MyMetricsSnapshotStale |
my_metrics_snapshot_age_seconds |
キューの部分が 5 分超、合計の部分が 1 時間超の状態が 15 分続く | ticket | KV ストアに届かない、スナップショットのデータベースのクエリが失敗するかタイムアウトする |
| 連合 | MyDeliveryFailuresHigh |
my_outcome が retry または failed の my_delivery_attempts_total |
試行の 50% 超が 30 分続く | ticket | 停止しているサーバーに多くのフォロワーがいる、大きなサーバーが停止している、外向きのネットワークの問題 |
| 連合 | MyDeliveryAllFailing |
同上 | 試行の 95% 超が 15 分続く | page | 外向きのネットワークや DNS が壊れている、外向きの通信が遮断されている、サーバーの鍵や host が誤っている |
| 連合 | MyRemoteServersPaused |
my_federation_instances{my_federation_instance_state="unavailable"} |
1 日前より 5 増える | ticket | 閉鎖したサーバーやこのサーバーをブロックしたサーバー、このサーバー側のネットワークの問題が何日も続いた |
| 連合 | MyInboxRejectionsHigh |
my_inbox_activities_total{my_outcome="rejected"} |
POST の 25% 超が 30 分続く | ticket | 署名の検証の失敗(時計のずれ、鍵の取得の失敗)、スパマーや停止したドメインの再試行、レート制限 |
| 連合 | MyInboxSignatureFailures |
my_inbox_activities_total{my_inbox_rejection="signature"} |
POST の 10% 超が 30 分続く | ticket | サーバーの時計がずれている、送信者の鍵の取得に失敗する、鍵を変えたサーバー |
| 連合 | MyInboxErrors |
my_inbox_activities_total{my_outcome="error"} |
POST の 5% 超が 15 分続く | ticket | データベースの障害、インボックスのバグ |
| エラー | MyErrorReportsIncreasing |
my_errors_reported_total |
15 分間に 10 件超かつ前日の平均の 3 倍が 15 分続く | ticket | リリースで入った新しいバグ、新しい形で失敗する依存先、壊れた設定 |
| HTTP | MyHTTPErrorsHigh |
http_server_request_duration_seconds_count の 5xx |
5% 超が 10 分続く | page | データベースや KV の停止、問題のあるリリース、メンテナンスモード |
| HTTP | MyHTTPErrorsElevated |
同上 | 1% 超が 30 分続く | ticket | 失敗する 1 つのルート、ときどき失敗するアダプター |
| HTTP | MyAPILatencyHigh |
クライアント API の p95(ストリーミングを除く) | 300 ms 超が 30 分続く | ticket | データベースの飽和や遠さ、遅いクエリ、CPU の不足、コールドスタート |
| リソース | MyTargetDown |
up{job="my"} |
0 が 5 分続く | page | プロセスの停止、クラッシュの繰り返し、メンテナンスモード、スクレイプの経路の故障 |
| リソース | MyNotReady |
my_readiness_failures_total |
5 分間に少しでも増える | page | データベースに届かない、またはスキーマが適用されていない |
| リソース | MyProcessRestarting |
resets(process_uptime_seconds[1h]) |
1 時間に 3 回の再起動 | ticket | メモリ不足による強制終了(OOM)、パニック、失敗する liveness プローブ |
| リソース | MyMemoryNearLimit |
go_memory_used_bytes / go_memory_limit_bytes |
90% 超が 15 分続く | ticket | 負荷に対して GOMEMLIMIT が低い、開いているストリームが多い、リーク |
| リソース | MyDBPoolSaturated |
db_client_connection_count{db_client_connection_state="used"} / db_client_connection_max |
90% 超が 15 分続く | ticket | トラフィックに対してプールが小さい、遅いクエリが接続を占有している |
| リソース | MyDBPoolWaiting |
db_client_connection_wait_time_seconds_total、db_client_connection_timeouts_total |
1 秒あたり 0.5 秒超の待ち、または 1 件でもタイムアウトが 10 分続く | ticket | 上と同じ。データベース自身の接続数の上限に達している |
| リソース | MyDatabaseStorageLarge |
my_db_size_bytes |
プランの上限から余裕を引いた値(例: 8 GiB)超が 1 時間続く | ticket | 投稿とキャッシュしたリモートのコンテンツの増加。プランを上げるか保存期間を短くする時期 |
| リソース | MyFileDescriptorsNearLimit |
process_unix_file_descriptor_count / my_process_file_descriptor_limit |
80% 超が 15 分続く | ticket | 開いているストリームと接続が多い、ulimit -n が低い |
| リソース | MyAdapterErrors |
my_adapter_operation_duration_seconds_count{my_outcome="error"} |
1 つのアダプターの操作の 5% 超が 15 分続く | ticket | Valkey、ブロブのディレクトリ、ストリームのバックエンドの障害 |
| リソース | MyRemoteMediaCacheOverLimit |
my_media_stored_bytes{my_media_origin="remote_cache"} |
remote_media_cache_max_bytes の 1.2 倍超が 3 時間続く |
ticket | 1 時間ごとの掃除が動いていない、または失敗する |
| リソース | MyMediaStorageLarge |
my_media_stored_bytes |
計画したサイズ(例: 50 GiB)超が 1 時間続く | ticket | アップロードの増加。プランや予算を上げる時期 |
| メール | MyEmailFailing |
my_outcome="dead" のメールのジョブの my_job_duration_seconds_count |
1 時間に 1 件でも | ticket | SMTP や SES の設定の誤り、アカウントの停止や送信枠の超過、恒久的に拒否されたアドレス |
| メール | MyEmailRetrying |
同上、my_outcome="retry" |
実行の 50% 超が 15 分続く | ticket | メールサーバーに届かない、ログインを拒否される、送信のレート制限 |
| TLS | MyTLSCertificateExpiring |
my_tls_certificate_expiry_seconds |
どれかのプロセスで 7 日未満が 15 分続く | page | 更新が何週間も失敗している、更新された証明書を読み込まないプロセス、何も更新しない証明書ファイル |
| TLS | MyTLSOrdersFailing |
my_tls_order_consecutive_failures |
3 以上が 5 分続く | ticket | DNS がもうサーバーを指していない、80 番と 443 番のポートが遮断されている、認証局のレート制限や障害 |
| 費用 | MyBillingImportFailing |
my_billing_import_failing |
1 が 6 時間続く | ticket | 権限の不足、課金のエクスポートが設定されていない、リクエストの上限に達した、事業者が利用できない |
| 費用 | 予算の超過 | – | – | – | トラフィック、ストレージ、または設定の誤りで計画より費用がかかっている(下記) |
確認する場所
Section titled “確認する場所”以下のツールは、このあとのランブックのほとんどの項目に出てきます。
- ジョブの画面(「管理」→「ジョブ」、
/admin/jobs、manage_jobsが必要): 状態(「待ち」「実行中」「リトライ待ち」「失敗」)ごと、種類ごとの件数と、 いちばん長く待っているジョブ。その 「ジョブ」 のページ(/admin/jobs/list)は 1 つの状態のジョブを一覧にし、各ジョブのページには最後のエラーと成功しなかった試行が表示されます。待っているジョブが一覧に出るのは、データベースに保持されるキュー (queue = dbとcloudtasks)だけです。失敗したジョブと試行は、どのキューでも一覧に出ます。 my jobコマンド(サーバーの設定がある、queue = dbとcloudtasksのホストで):my job listは失敗したジョブを新しい順に一覧にし、my job retry <id>...はそれらをキューに戻し、my job delete <id>...はそれらを削除します。 ジョブはもう一度実行しても安全です。- リモートのサーバーの画面(「モデレーション」→「連合先のサーバー」、
/moderation/instances、manage_domainsが必要): 配送が届かなかったサーバーと、 配送が停止しているサーバーを、その理由と日時とともに表示します。「配送を再開する」で、そのサーバーを再び利用できる状態にします。「サーバーを開く」は、一覧にあるかどうかにかかわらず、ドメインを指定して任意のサーバーのページを開きます。 - ログ: 標準エラーに出力される JSON の行。HTTP リクエストはそれぞれ
msgがhttp requestの行で終わり、ジョブの実行はそれぞれmsgがjobの行で終わります (成功はINFO、再試行はWARN、最終的に失敗したジョブはERRORで、error、job_id、my.job.typeが付きます)。 リクエストの中の行にはそのrequest_idが付き、クライアントからはX-Request-Idとして見えます。federation.deliverの実行の行には、配送の行き先と結果も書かれます。my.delivery.domain(リモートのサーバーのドメイン)、activity.type(たとえばCreate)、my.delivery.outcome(succeeded、retryable_failure、permanent_failure、skipped)、http.response.status_code(受信箱の応答。応答がなかったときや何も送らなかったときはありません)です。my.outcomeは、これまでどおりジョブの実行の結果です。 この行に、送信者、アクティビティ、受信箱の URL の名前は出ません。 Cloud Logging:jsonPayload.msg="job" AND jsonPayload."my.job.type"="federation.deliver" AND jsonPayload."my.delivery.domain"="remote.example"- Docker Compose:
docker compose logs my | jq -c 'select(.msg == "job" and ."my.outcome" == "dead")' - Cloud Logging:
jsonPayload.msg="job" AND jsonPayload."my.outcome"="dead" - CloudWatch Logs Insights:
filter msg = "job" and `my.outcome` = "dead"
- エラーの報告:
error reportの行と、エラーの画面(「管理」→「エラー」、/admin/errors、manage_errorsが必要)(エラーの報告)。 - トレース(
traces_exporter = otlpのとき): ログの行にはtrace_idが付きます。トレースのバックエンドで開くと、遅いリクエストがどこで時間を使ったかが分かります。 - メンテナンスモード(メンテナンス): すべてのリクエストにメンテナンスのページを返し、どのアダプターにも触れません。データベースや KV ストアを修復する間に使ってください。
MyQueueBacklog
Section titled “MyQueueBacklog”ジョブ(配送、通知、メール、タイムラインへの配信)が 5 分を超えてワーカーを待っています。
確認すること:
- ジョブの画面: どの種類が待っているか、多くが再試行中かどうか。1 つの種類の急増(フォロワーの多い投稿のあとの
federation.deliver、 リレーのアクティビティ)は自然に解消します。待ち時間が減っていくことを確かめてください。 - ワーカーのプロセス(
role = allまたはrole = worker)が動いていて、そのログにjobの行が出ていること。 - 同時に
MyDBPoolSaturatedやMyAPILatencyHighが出ていないか。出ていれば、ワーカーはデータベースを待っています。
対処:
- ワーカーのプロセス(
role = worker)を増やすか、今のプロセスに CPU を多く割り当てます。 - 1 つの種類のジョブが遅い場合は、
jobのログの行(duration_seconds)でそれを見つけ、その種類のエラーを探します。
MyQueueStalled
Section titled “MyQueueStalled”実行できる状態のいちばん古いジョブが 30 分を超えて待っています。何も処理されていないか、ほとんど処理されていません。
確認すること:
role = allまたはrole = workerで動いているプロセスが少なくとも 1 つあり、クラッシュを繰り返していないこと(MyProcessRestarting)。- ワーカーのログに、どのジョブでも繰り返されるエラー(データベース、KV、パニック)がないか。
MyNotReady: データベースに届かないワーカーはジョブを取れません。max by (my_job_type) (my_queue_oldest_ready_age_seconds): ある種類だけが待っていてほかは待っていない場合は、その種類を実行するワーカーがあることを確かめます(ジョブの種類ごとにワーカーを分ける)。
対処:
- ワーカーを起動または再起動します。止まったワーカーが持っていたジョブは、リースが切れるとキューに戻ります。もう一度実行しても安全です。
- データベースが原因なら、MyNotReady に従ってください。
MyDeadJobsIncreasing
Section titled “MyDeadJobsIncreasing”1 時間に 10 件を超えるジョブが最終的に失敗しています。再試行の回数を使い切ったか、ジョブが再実行を拒否しました。
確認すること:
- 「失敗」で絞り込んだジョブの画面: 種類と最後のエラー。ジョブの試行には、途中のすべてのエラーが表示されます。
my.outcome=deadのjobのログの行にある同じエラー。
対処:
- 設定の誤り(メール、ブロブ、利用料金の取り込み、Webhook の送信先): 直してから、ジョブの画面(「再実行」)か
my job retry <id>...でジョブをもう一度実行します。 - なくなったサーバーへの配送は、約 4 日間の再試行のあとで最終的に失敗します。これは想定どおりで、何もする必要はありません。
- 誰も再試行しない失敗したジョブは、
dead_job_retention(既定は 30 日)のあとで削除されます。再試行しないものはmy job deleteで削除してください。 - バグに見えるエラー: ジョブの種類とエラーを添えて報告してください(個人データは含まれません)。
MyMetricsSnapshotStale
Section titled “MyMetricsSnapshotStale”キューとストレージのゲージは、プロセスが KV ストアを通じて共有する 1 つのスナップショットから来ます。それが古くなっているため、キューとストレージのアラートは 古い値を見ており、鳴らないままになることがあります。
確認すること:
- ログに、メトリクスのスナップショットや KV ストアに関するエラーがないか。
kv.valkeyまたはkv.dbのMyAdapterErrorsと、データベースの状態。
対処:
- KV ストアやデータベースの接続を修復します。スナップショットは次の収集で計算し直されます。定期的なスナップショットのジョブも 15 分ごとに実行されます。
MyDeliveryFailuresHigh
Section titled “MyDeliveryFailuresHigh”ほかのサーバーへの配送の試行の半分を超えて失敗しています。ある程度の失敗は普通のことです。サーバーはなくなることがあり、サーバーはそれらへの再試行を約 4 日間続けます。
確認すること:
- リモートのサーバーの画面: 失敗が少数のサーバーに集中している(それらが停止している。何もすることはない)か、多くのサーバーに散らばっている(このサーバーを疑う)か。
error_typeごとのhttp_client_request_duration_seconds_count: タイムアウト、DNS のエラー、またはforbidden_destination(SSRF ガードが送信先を拒否した)。
対処:
- 少数のサーバーでの失敗: 何もしません。異なる 7 日間に失敗すると、そのサーバーへの配送は停止され、再開するために毎日そのサーバーが確認されます。
- どこでも失敗している: MyDeliveryAllFailing に従ってください。
MyDeliveryAllFailing
Section titled “MyDeliveryAllFailing”ほとんどすべての配送が失敗しています。これはほぼ必ず、このサーバーの側の問題です。
確認すること:
- サーバーのホストやコンテナーから、外向きの HTTPS が通ること(DNS、外向きのファイアウォール、NAT、プロキシ)。
federation.deliverのjobのログの行にあるエラー: TLS のエラー、タイムアウト、多くのサーバーからの401(このサーバーの署名を検証できない)。- ドメインや鍵を変えたあと: サーバーが一度連合したら
hostは変えてはならず、KEK は鍵を封印したときのものでなければなりません (KEK の管理)。
対処:
- 外向きのネットワークを修復します。失敗した試行はバックオフ(1 分、5 分、30 分、2 時間、…)を挟んで再試行されるため、配送は自然に追いつきます。
- 配送が再試行の回数を使い切った場合は、失敗した
federation.deliverのジョブをジョブの画面からもう一度実行します。 - 障害の間にリモートのサーバーが停止された場合は、次に成功した配送、署名付きのリクエスト、または毎日の確認で再開されます。リモートのサーバーの画面で 「配送を再開する」を押すこともできます。
MyRemoteServersPaused
Section titled “MyRemoteServersPaused”この 1 日で、5 つ以上のサーバーへの配送が停止されました。サーバーへの配送が停止されるのは、異なる 7 日間に配送が失敗したときなので、週に数件の停止は
普通のことです。サーバーは閉鎖されるものだからです。一度に多くのサーバーが停止された場合は、多くのサーバーが同時に何日も失敗したことを意味します。my_federation_instance_state が
available の my_federation_instances は、まだ配送しているもののどこかの日に失敗したサーバーを数えます。そこでの急増は停止に先立って起こります。
このメトリクスにはサーバーごとのラベルがありません(ラベルがリモートのドメインを持つことはありません)。確認すること:
- リモートのサーバーの画面: 「配送停止中」のタブに停止されたサーバーが、その日時と理由とともに一覧になります。それらに共通点(同じホスティング事業者、同じソフトウェア)があるか、 ばらばらか。
- 過去 1 週間の
MyDeliveryFailuresHighとMyDeliveryAllFailing: このサーバー側のネットワークの問題が何日も続くと、多くのサーバーが停止されます。
対処:
- なくなったサーバー: 何もしません。停止されたサーバーは毎日確認され、応答すれば自然に再開されます。
- このサーバー側の問題のあと: 修復してから、気にかけているサーバーについて「配送を再開する」を押すか、毎日の確認を待ちます。
- 運営者がこのサーバーをブロックしていると伝えてきたサーバー: こちら側でできることはありません。意図してあるサーバーとの連合をやめるには、ドメインへの処分を使います (「モデレーション」→「ドメインへの処分」)。
MyInboxRejectionsHigh
Section titled “MyInboxRejectionsHigh”ほかのサーバーがインボックスに POST するアクティビティの 4 分の 1 を超えて拒否されています。
確認すること:
my_inbox_rejectionごとのmy_inbox_activities_total{my_outcome="rejected"}:signature(MyInboxSignatureFailures に従う)、suspended(再試行を続ける停止されたドメイン)、federation_off(連合が無効になっている)、rate_limited(レート制限を超えたクライアントの IP またはサーバー)、invalid(有効なid、type、actor、objectのないアクティビティ)。- インボックスのルート(
my.surface=activitypub)のhttp requestのログの行には、http.response.status_code(401、403、429、400)ごとの同じ内訳とクライアントのアドレスがあり、リクエストがどこから来ているかを知りたいときに使えます。
対処:
- 停止されたドメインからの拒否や、連合を無効にしているときの拒否は、何もする必要はありません。意図どおりに拒否されています。
- 1 つのサーバーからのレート制限されたリクエスト: スパマーか急増です。続くようならそのドメインを停止します。
- 1 つのサーバーからの無効なアクティビティ: そのサーバーのソフトウェアが、このサーバーが読めないものを送っています。そのサーバーのソフトウェアとバージョンを添えて報告してください。
MyInboxSignatureFailures
Section titled “MyInboxSignatureFailures”ほかのサーバーがインボックスに POST するアクティビティの 10% を超えて、署名や完全性の証明がない、または検証できない、 あるいは送信者の鍵を取得できなかったために拒否されています。
確認すること:
- サーバーの時計: 署名は一定の時間の範囲の外では拒否されます。ホストやコンテナーランタイムの NTP を確認してください。
- 送信者の鍵の取得:
MyDeliveryAllFailingと、error_typeごとのhttp_client_request_duration_seconds_count{my_http_purpose="json"}(外向きのネットワーク、DNS、SSRF ガード)。 - 拒否が多くのサーバーから来ているか 1 つのサーバーから来ているか(ステータスが
401のhttp requestの行): 鍵を変えたサーバーや、このサーバーが受け付けない 方法で署名するサーバーは、そのサーバーにだけ影響します。
対処:
- 時計か外向きのネットワークを直します。ほかのサーバーは配送を再試行するので、1 日程度のうちに直れば何も失われません。
- 1 つのサーバーが失敗する: そのサーバーの運営者に、またはそのサーバーのソフトウェアとバージョンを添えてこのプロジェクトに報告してください。
MyInboxErrors
Section titled “MyInboxErrors”インボックスが 5% を超えるアクティビティに 500 を返しています。送信者は再試行しますが、アクティビティは遅れます。
確認すること: インボックスのルートの http request とエラーのログの行にあるエラーと、データベースの状態(MyNotReady、MyDBPoolWaiting)。
対処: データベースを直すか、エラーをバグとして報告します。送信者が再試行するので、再送する必要はありません。
MyErrorReportsIncreasing
Section titled “MyErrorReportsIncreasing”サーバーが、通常の 3 倍を超える割合でエラー(パニック、5xx の原因となったエラー、失敗したジョブ)を報告しています。
確認すること:
- 直近 1 時間の
error reportの行をmy.error.fingerprintでまとめたもの: 最も多いもの、そのmy.error.where、messageの見出しの行。 Cloud Run では、Google Cloud Error Reporting に同じグループが表示されます。 - 同じ時期に、リリース、設定の変更、または失敗する依存先(
MyNotReady、MyAdapterErrors)が始まっていないか。 - 同じ
request_idやjob_idのリクエストやジョブの行。
対処:
- 失敗する依存先や設定の誤り: 直します。失敗したジョブは、そのあとでジョブの画面からもう一度実行できます。
- 問題のあるリリース: 1 つ前のイメージに戻します。
- バグ: その行の見出しとスタックを添えて報告してください。どちらも個人データが取り除かれています。
MyHTTPErrorsHigh
Section titled “MyHTTPErrorsHigh”すべてのリクエストの 5% を超えて 5xx が返っています。利用者にはエラーが見えています。
確認すること:
- メンテナンスモードではないか(
503は想定どおり。次回はアラートをサイレンスしてください)。 MyNotReady(データベース)、MyAdapterErrors(KV、ブロブ、ストリーム)、最近のリリース。http.response.status_codeが 500 以上のhttp requestの行をhttp.routeごとに見たものと、同じrequest_idのエラーの行。
対処:
- 失敗している依存先を修復します。データベースの作業が必要なら、利用者にエラーではなく分かりやすいページが見えるよう、メンテナンスモードに切り替えます。
- 問題のあるリリース: 1 つ前のイメージに戻します。
- 長引くようなら利用者に知らせます(障害を利用者に知らせる)。
MyHTTPErrorsElevated
Section titled “MyHTTPErrorsElevated”30 分にわたって、リクエストの 1% を超えて 5xx が返っています。たいていは 1 つのルートか 1 つのアダプターです。
確認すること: 5xx の http request の行を http.route ごとに見たものと、それらのリクエストのエラーの行。対処: 依存先を直すか、エラーをバグとして報告します。
MyAPILatencyHigh
Section titled “MyAPILatencyHigh”クライアント API の 95 パーセンタイルが 300 ms を超えています(ウォームな状態で 20 件の投稿のホームタイムラインのページの目標値)。ストリーミングのエンドポイントは除いています。
確認すること:
http_routeごとのhttp_server_request_duration_seconds: 1 つのルートだけが遅いのか、すべてが遅いのか。- データベース:
MyDBPoolWaiting、データベースの CPU とスロークエリログ、サーバーとデータベースの間のネットワークの距離。 - プロセス: CPU のスロットリング、
MyMemoryNearLimit(メモリが逼迫した状態での GC)、go_schedule_duration_seconds(CPU を待っているゴルーチン)。 - 有効にしていれば、遅いリクエストのトレース。
対処:
- データベースやサーバーのリソースを増やすか、両者を近くに置きます。
- ゼロまでスケールしたあとのコールドスタートは、静かなサーバーでパーセンタイルを押し上げます。これは想定どおりです。
MyTargetDown
Section titled “MyTargetDown”Prometheus がプロセスをスクレイプできません。
確認すること:
- プロセスが動いていること:
docker compose ps、kubectl get pods、またはプラットフォームのコンソール。最後のログの行から、停止した理由が分かります。 - メンテナンスモードではないか(メトリクスは提供されません。想定どおりです)。
metrics_exporter = prometheusになっていて、metrics_listenに Prometheus から届くこと。
対処:
- プロセスを再び起動します。起動しない場合は、ログに理由があります。設定の誤り(
my config checkで分かります)、データベースに届かない、スキーマが適用されていない、などです。
MyNotReady
Section titled “MyNotReady”レディネスチェックが失敗しています。データベースに届かないか、そのテーブルがこのバージョンと合っていません。ロードバランサーはそのプロセスへのトラフィックの送信をやめ、
外部向けのヘルスエンドポイントは unavailable を返します。
確認すること:
- レディネスチェックのログの行: 接続のエラー(ネットワーク、認証情報、データベースの停止や接続数の枯渇)、または足りないテーブル。
- データベースの事業者のステータスページとコンソール: 動いているか、ストレージが足りないか、メンテナンス中か。
- アップグレードのあと: 新しいバージョンを起動する前にスキーマを適用したか(データベースの初期化)。
対処:
- データベースが停止している、または届かない: 復旧するか、フェイルオーバーします。作業の間は、メンテナンスモードで利用者に分かりやすいページを見せられます。
- データベースのストレージが足りない: プランを上げるか、空きを作ります(MyDatabaseStorageLarge)。
- スキーマが適用されていない: 同じバージョンの
my schema applyを実行すると、プロセスは自然にレディになります。 - データの消失や破損: バックアップから復元します。バックアップの鍵を封印した KEK は残しておいてください(KEK の管理)。
MyProcessRestarting
Section titled “MyProcessRestarting”1 時間にプロセスが 3 回再起動しました。
確認すること:
- プラットフォームが示す再起動の理由:
OOMKilled(メモリ)、失敗した liveness プローブ、または終了コード。 - 各再起動の直前のログの行に、パニックや致命的な設定の誤りがないか。
対処:
- メモリ不足:
GOMEMLIMITをコンテナーのメモリ上限の約 90% に設定するか、コンテナーにメモリを多く割り当てます(MyMemoryNearLimit)。 - パニック: その前後のログの行を添えて報告してください。
- データベースが別の
hostやaccount_domainのものだとログに出ている: 記録されている値を設定に書くか、database_urlを正しいデータベースに向けます。これらの値は変えられません(あとから変えられない設定)。
MyMemoryNearLimit
Section titled “MyMemoryNearLimit”Go ランタイムが GOMEMLIMIT の 90% を超えて使っています。上限に近づくとガベージコレクターがずっと頻繁に動くようになり、CPU とレイテンシを消費します。
上限を超えると、プラットフォームがプロセスを強制終了することがあります。このアラートには GOMEMLIMIT が必要です。設定していない場合は、代わりにコンテナーのメモリのメトリクスを監視してください。
確認すること: http_server_active_requests と開いているストリーム(my_stream_connections)、そして負荷が横ばいなのにメモリが増え続けていないか(リーク)。
対処: コンテナーのメモリを増やし、それに合わせて GOMEMLIMIT も上げるか、プロセスを増やします。負荷に連動しない一定の増加は報告してください。
MyDBPoolSaturated
Section titled “MyDBPoolSaturated”あるプロセスのデータベース接続の 90% を超えて使われています。まもなく、リクエストが接続を待つようになります(MyDBPoolWaiting)。
確認すること: トラフィックが増えたのか、クエリが遅くなったのか(データベースのスロークエリログ、my_adapter_operation_duration_seconds)。
対処:
database_urlでプールのサイズを上げます(PostgreSQL ではpool_max_conns)。すべてのプロセスの合計がデータベースの接続数の上限を下回るようにしてください。- 多くのプロセスがデータベースを共有している場合は、その前にコネクションプーラーを置きます。
MyDBPoolWaiting
Section titled “MyDBPoolWaiting”処理が空いたデータベース接続を待っているか、database_acquire_timeout のあとで待つのをやめています(タイムアウトは PostgreSQL だけ)。リクエストは 503 を返し、ジョブはあとでもう一度実行されます。MyDBPoolSaturated に従ってください。
データベース自体が接続数の上限に達していないことも確認してください。
MyDatabaseStorageLarge
Section titled “MyDatabaseStorageLarge”データベースが計画より大きくなっています。my_db_size_bytes は、PostgreSQL のデータベースのサイズ(pg_database_size。事業者のストレージの
上限が数えるもの)、または SQLite のファイルのサイズ(ログ先行書き込みのファイルを除く)です。これは障害ではなく増加です。ルールのしきい値は、データベースのプランのストレージの
上限、または SQLite のファイルを置くボリュームの上限から余裕を引いた値にしてください。そのボリュームには、ログ先行書き込みのファイルとバックアップのための空きも必要です。
対処:
- プランやボリュームを大きくします。
- リモートの投稿は、インスタンスの設定
remote_status_retention_daysのあとで削除されます。これを下げると増加が緩やかになります。 - 削除された行の領域はどちらのデータベースでも再利用されますが、サイズが小さくなることはまれです。PostgreSQL はテーブルの領域を保持し、SQLite は空きページを
VACUUMまで(サーバーを止めた状態でsqlite3で実行します)ファイルの中に残します。
MyFileDescriptorsNearLimit
Section titled “MyFileDescriptorsNearLimit”プロセスが、ファイルディスクリプターの上限の 80% を超えて開いています。上限を超えると、新しい接続が失敗します。
対処: 上限(ulimit -n、コンテナーランタイムの nofile)を上げるか、プロセスを増やします。何が占有しているかは my_stream_connections と
http_client_open_connections で確認してください。
MyAdapterErrors
Section titled “MyAdapterErrors”1 つのアダプターの操作の 5% を超えて失敗しています: kv.valkey(Valkey)、kv.db(KV のテーブル)、blob.fs(メディアのディレクトリ)、
queue.db(キューのテーブル)、または stream.<backend>(プロセス間の通知)。
確認すること: そのアダプターのエラーの行と、その背後のサービス。Valkey が動いていて届くこと、メディアのボリュームがマウントされ、書き込めて、いっぱいでないこと。
対処: そのサービスを直します。失敗したジョブの操作は再試行されます。失敗したストリームの通知は、ライブの更新を遅らせるだけです。
MyRemoteMediaCacheOverLimit
Section titled “MyRemoteMediaCacheOverLimit”リモートのメディアのコピーが remote_media_cache_max_bytes を超えたままです。通常は 1 時間ごとの掃除が、期限切れのコピーと最近最も使われていないコピーを削除します。
ルールのしきい値は、あなたの remote_media_cache_max_bytes の値にしてください。
確認すること: ジョブの画面とログに掃除のジョブの失敗がないかと、ブロブストレージの MyAdapterErrors。
対処: 失敗の原因を直すか、キャッシュのサイズやインスタンスのリモートのメディアのポリシーを下げます。
MyMediaStorageLarge
Section titled “MyMediaStorageLarge”メディアのファイルが計画より大きくなっています。これは障害ではなく増加です。ルールのしきい値は、ストレージのプランや予算が許す値にしてください。
対処: プランや予算を上げるか、アップロードの上限(media_max_image_bytes、media_max_av_bytes)を下げます。
MyEmailFailing
Section titled “MyEmailFailing”直近 1 時間に、メールのジョブが最終的に失敗しました。確認、パスワードの再設定、パスワードに関するお知らせ、通知、または閉鎖のメールです。 確認や再設定のメールを待っている利用者は、手続きを終えられません。
確認すること: メールのジョブの種類(末尾が _email)で絞り込んだジョブの画面と、最後のエラー。メールの送信に
エラーとその意味の一覧があります。
対処:
- SMTP のホスト、ポート、認証情報の誤り、または SES のアカウントや権限の問題: 直してから、失敗したジョブをもう一度実行します。 リンクの有効期間より古い確認や再設定のメールは、再試行しても送信されずに完了するため、それらの利用者には新しいメールを申し込むよう伝えてください。
- 恒久的に拒否されたアドレスは送信停止になります。何もする必要はありません。
MyEmailRetrying
Section titled “MyEmailRetrying”ほとんどのメールの送信が失敗して再試行を待っています。メールサーバーに届かないか、ログインを拒否されるか、送信の頻度を制限されています。再試行は、 トランザクションメールでは約 15 分、通知では約 4 時間続き、そのあとで最終的に失敗します。そうなる前に MyEmailFailing に従ってください。
サーバーは費用についてアラートを出しません。請求を最初に知る事業者の側で、アラート付きの予算を設定してください。
- AWS: AWS Budgets のコスト予算を作り、たとえば月額の 80% と 100% でアラートを出し、このサーバーのコスト配分タグで絞り込みます。
- Google Cloud: プロジェクトの Cloud Billing の予算を作り、50%、90%、100% にアラートのしきい値を設定します。同じ予算の通知を、 費用の取り込みに使うこともできます(クラウドの利用料金を取り込む)。
取り込んだ請求と月初からの見積もりは、「管理」→「費用」→「利用料金の取り込み」に表示されます。失敗した取り込みはそこに記録され、翌日の取り込みで再試行されます。
MyBillingImportFailing は、その月の数値が古くなる前に知らせます。
MyBillingImportFailing
Section titled “MyBillingImportFailing”ある課金ソースの利用料金の最新の取り込みが失敗し、そのあと 6 時間、成功した取り込みがありません。取り込みは 1 日に 1 回実行されます。スロットリングと 利用できない状態は数時間のうちに再試行され、そのほかの失敗は翌日の取り込みを待つため、それまで費用の画面には古い数値が表示されます。
確認すること:
- 「管理」→「費用」→「利用料金の取り込み」: そのソースの最後の取り込みとそのエラー。
error_typeごとのmy_billing_imports_total{my_outcome="failed"}、またはmsgがbilling import failedのWARNのログの行とそのsourceとerror_kind。クラウドの利用料金を取り込むに、種類とそれぞれの直し方の一覧があります。
対処:
- 原因(権限、課金のエクスポート、リクエストの上限)を直してから、翌日を待たずに「管理」→「費用と収入」→「利用料金の取り込み」で「今すぐ取り込む」を押します。
Prometheus がない場合(metrics_exporter = none の Cloud Run)は、代わりに billing import failed の行に対するログベースのアラートを作ってください。
MyTLSCertificateExpiring
Section titled “MyTLSCertificateExpiring”あるプロセスが、7 日以内に期限が切れる証明書を提供しています。tls = acme では、サーバーは証明書の有効期間の約 3 分の 1 が残ったところで、
期限の何週間も前に更新します。そのため、これは更新が長く失敗し続けているか、そのプロセスが更新された証明書を読み込まなかったことを意味します。
tls = files では、ファイルを更新するものが何もなかったということです。
確認すること:
instanceラベル: 同じホストに対して他のプロセスがより新しい証明書を提供しているなら、古いものを持ち続けているのはこのプロセスだけです。my tls status: そのホストの現在の証明書、更新される時期、直近の注文とそのエラー。- 理由が書かれた
the TLS certificate could not be obtainedのログの行。
対処:
- 失敗している注文の原因を直し(MyTLSOrdersFailing を参照)、次の注文を待たずに
my tls renew -host <host>ですぐに注文します。 - データベースにより新しい証明書があるのに古い証明書を持ち続けているプロセスは、5 分以内にそれを読み込みます。読み込まないときは再起動してください。
tls = filesでは、ファイルを書き出すツール(certbot)で更新してください。サーバーは 1 分以内にそれを読み込みます。
MyTLSOrdersFailing
Section titled “MyTLSOrdersFailing”あるホストの証明書の直近 3 回以上の注文が、1 つも証明書を取得できませんでした。3 回目の失敗のあとは、認証局の制限の範囲に収まるよう、サーバーは注文の間に 100 分、そのあとは 1 日待ちます。 その間も現在の証明書は使われ続けます。
確認すること:
my tls status: 失敗と、注文ごとのエラー。rejectedIdentifier、dns、connection、unauthorizedのエラーは、認証局がその名前でサーバーに到達できなかったことを意味します。rateLimitedは、その制限に達したことを意味します。- その
hostがサーバーに解決されること、そしてポート 443 と 80 がインターネットから到達できること。
対処:
- 原因を直してから
my tls renew -host <host>を実行します。待たずにすぐに注文します。
障害を利用者に知らせる
Section titled “障害を利用者に知らせる”- アラートを確認済みにして、ほかの当番の人に誰かが対応していることを知らせます。
- 利用者に影響が出たらすぐにステータスページに投稿します(
status_page_url。サーバーを外から監視するを参照)。 何が壊れているか、いつからか、次にいつ投稿するかを書きます。ステータスページはこのサーバーが落ちていても届き、Web クライアントからリンクされています。 - 利用者がまだサーバーに届く場合(停止ではなく劣化している場合)は、お知らせを投稿します。「管理」→「お知らせ」で本文を書いて公開します。
お知らせは全員のホームタイムラインの上に表示されます。サーバーを止める必要がある場合は、代わりに
maintenance_messageを付けてメンテナンスモードを使います。 - 何も変わっていなくても、約束した時刻に両方を更新します。
- 終了: ステータスページで障害を解決済みにし、お知らせを取り下げ(または短い続報を公開し)、記憶が新しいうちに何が起こり、 何を変えたかを書き留めます。
LLM とコーディングエージェント向け:llms.txt,llms-full.txt, llms-small.txt