このページは英語のページを機械翻訳したものです。内容は英語のページが正です。 英語のページを読む
投稿の全文検索
投稿の全文検索が何を保持するか、有効にする方法と変更する方法、インデックスを作り直す方法、そしてログとバックアップに求められることを説明します。
エンジンを選ぶ
Section titled “エンジンを選ぶ”投稿の全文検索には、自分で運用するか借りる検索エンジンが必要です。search でエンジンを選びます。
none(既定値): 全文検索を使いません。サーバーはどこにも接続せず、検索のジョブをキューに入れず、クライアントには投稿を検索する手段が表示されません。このようなサーバーでは、my searchの各コマンドはそのことを伝えて何もしません。elasticsearch、opensearch、meilisearch: そのエンジンを使います。設定は 検索エンジン の該当する節にあります。plugin: Groonga や Sudachi で作ったインデックスなど、ほかのエンジンにインデックスを保持する自作のプログラムをplugin_search_addressで使います(プラグインで投稿を検索する)。
アカウントとハッシュタグの検索はデータベースで動き、この設定には左右されません。
サーバーが管理するのは、サーバーが書き込み、絞り込み、並べ替え、ページ送りに使うフィールドだけです。エンジンがテキストをどう解析するか、結果をどう順位付けるか、インデックスがどれだけの大きさになるかは、エンジンの設定ファイルで自由に調整できます。検索エンジン では、組み込みの設定で各エンジンが日本語の何を見つけられるかと、それを変える方法を説明しています。
インデックスが保持するもの
Section titled “インデックスが保持するもの”正となるデータは常にデータベースにあり、インデックスは捨てて作り直せるコピーです。エンジンが返すのは投稿の ID だけです。サーバーは各投稿をデータベースから読み直し、通常の公開範囲のルールを適用します。そのため、インデックスが遅れていると投稿が見つからないことはあっても、見られてはいけない投稿が表示されることはありません。
次のすべてを満たす投稿がインデックスに入ります。
- 削除されていない。
- 公開範囲が
publicかlocalで、search_visibilitiesにその公開範囲が含まれている。unlisted、private、directの投稿は、設定にかかわらずインデックスに入りません。 - 投稿者が
indexableを有効にしている。この設定は 検索エンジンと AI クローラー で説明しています。 - 投稿者とそのドメインに、発見から隠す制限がかかっていない。
インデックスには、各投稿の現在の版の本文、注意書き、代替テキストが、投稿者と言語とともに入ります。投票、プロフィール、古い版は入りません。
indexable_default の既定値は false です。そのため、検索を有効にしたばかりのサーバーでは、利用者が自分で indexable を選ぶまでほとんど何も見つかりません。
- エンジンを起動し、
searchとそのバックエンドの設定を行います。 - ワーカーを別に動かしている場合は、その構成 を決めます。
- ログ を設定します。
- エンジンをほかの事業者が運用している場合は、プライバシーに関する文書 にそれを加えます。
- サーバーを再起動します。それ以降、新しい投稿はインデックスに入ります。
my search rebuildを実行して、既存の投稿を加えます。
作り直しの間も検索は動きますが、終わるまで結果は不完全です。
インデックスを作り直す
Section titled “インデックスを作り直す”my search rebuild # empty the index, then add every post that qualifiesmy search rebuild --keep # add them without emptying the indexmy search rebuild --rate 50 # at most 50 posts a secondmy search status # the progress and the failuresmy search clear # empty the index and end any rebuildコマンドは作り直しが始まった時点で戻り、残りはワーカーが search.rebuild ジョブとして行います(ジョブのリファレンス)。そのため、ワーカーは動かしたままにしてください。1 つのジョブが 100 件の投稿を扱います。
- 速度。 既定値は毎秒 20 件で、上限は 1000 件です。この件数には、条件を満たさないものも含め、確認したすべての
publicとlocalの投稿が数えられます。既定値では、100 万件の投稿に約 14 時間かかります。ほかのジョブとデータベースに余裕を残すための値なので、サーバーに余力があるときだけ上げてください。 - どちらを実行するか。 既定のモードは、インデックスにあってはいけないものをすべて取り除きます。届かなかった削除や、バックアップからのデータベースの復元で残った文書です。終わるまで、検索で見つかるものは減ります。
--keepは、公開範囲を加えた あとなど、取り除くものがなく、検索を完全なまま保ちたいときに使います。--keepは、もうデータベースにない投稿の文書を取り除きません。 - 中断したときは。 同じコマンドをもう一度実行します。最後に扱った投稿から続け、インデックスを再び空にはしません。速度を変えるには
--rateを加えます。ワーカーが再起動したときも、作り直しは自動で続きます。 - もう一方のモード。 作り直しが終わっていない間は、もう一方のモードのコマンドは拒否されます。書かれたとおりの動作にならないからです。どちらかのモードでやり直すには、
my search clearを実行してから目的のコマンドを実行します。 - 2 回実行しても 同じインデックスになります。作り直しの間に作成、編集、削除された投稿も正しい状態になります。それぞれのジョブは動き続け、どのジョブもその時点の投稿を読むからです。
my search status は、バックエンド、search_visibilities、そして最新の作り直しについて、その段階(clearing、filling、finished)、扱った投稿と失敗した投稿、速度、最後のエラーを表示します。
うまくいかないときは次のとおりです。
- エンジンが停止している。 3 件続けて失敗すると、ジョブはその場で止まり、エラーを記録して再試行します。再試行を使い切った作り直しは失敗したジョブとして残り(
my job list)、状態のupdatedが動かなくなります。エンジンが戻ったら、同じコマンドを実行して続けます。 - エンジンが投稿を拒否する。 その投稿は失敗として記録され、作り直しは先へ進みます。状態には、そのような投稿が 20 件まで表示されます。原因を直してから
my search rebuild --keepを実行すると、すべての投稿をもう一度試します。
search_visibilities を変える
Section titled “search_visibilities を変える”公開範囲を外すと、その投稿はインデックスから自動で取り除かれます。公開範囲を加えた場合は、my search rebuild --keep を実行するまで新しい投稿しか見つかりません。
local を加える前に利用者に知らせてください。 そうすると、indexable は、すでにそれを有効にしている全員の local の投稿を対象にするようになり、作り直しで、その人たちの以前の local の投稿も、改めて尋ねることなく加わります。プロフィールの設定には、あなたのサーバーで indexable が何を対象にするかが書かれていますが、ずっと前に選んだ人は、知らされなければそれに気づきません。
エンジンを止める、または変える
Section titled “エンジンを止める、または変える”サーバーを search = none にするか別のエンジンに移すと、古いインデックスへの接続がなくなります。そのインデックスはもう整理されないので、その後に削除された投稿は、テキストも含めて残り続けます。
- 次の手順のあとにインデックスへ何も書き込まれないように、サーバーとワーカーを止めます。
my search clearを実行します。searchを変え、サーバーを起動します。- 新しいエンジンを使う場合は、
my search rebuildを実行します。
すでに切り替えてしまった場合や、サーバーを止められない場合は、エンジン側で古いインデックスを削除してください。設定を変えたあとは、my search clear はそのインデックスに届きません。none に移したあとは、変更の前にキューに入ったジョブは何もしません。
none から戻すとき。 --keep を付けずに my search rebuild を実行してください。エンジンがない間に削除されたものの記録はサーバーに残らず、インデックスを空にすることでしかそれらの投稿を取り除けません。切り替えたときに作り直しが終わっていなかった場合は、先に my search clear を実行してください。続きから再開する作り直しはインデックスを空にしないからです。
検索でほかのジョブを遅らせない
Section titled “検索でほかのジョブを遅らせない”既定では、ワーカーは一度に 1 つのジョブを実行します。そのため、エンジンへの呼び出しごとに 10 秒の制限があっても、遅いエンジンはそのワーカーの時間を federation.inbox と分け合うことになります。忙しいサーバーでは、これらを分けてください。
- 1 つのワーカープロセスを
worker_job_types = search.*で、ほかをworker_job_types_except = search.*で動かします(ジョブの種類でワーカーを分ける)。 queue = cloudtasksでは、キューのルート でsearch.*の種類を専用のキューに送ります。
小さなサーバーでは一緒にしたままでもかまいません。その場合、検索のジョブは連合と時間を分け合います。
検索語は URL に現れる
Section titled “検索語は URL に現れる”GET /api/v1/statuses/search は、利用者が検索した語を URL の ?q= に載せます。サーバー自身の http request のログ行が保持するのはパスとルートで、クエリ文字列は含まれません。トレースとエラーレポートにも含まれません。ただし、サーバーの前段にあるものは記録することがあり、検索はその人について多くを語りえます。構成の各層を確認し、そのログに検索語を残さないか、そのログを個人データとして扱い、それに見合ったアクセス権と保存期間にしてください。
| 層 | 検索語を記録するか | すること |
|---|---|---|
| Cloud Run | する。リクエストログは自動で作られ、httpRequest.requestUrl に検索語が含まれます。 |
下のように除外します。 |
| Google Cloud のロードバランサー | バックエンドサービスのログを有効にしたときだけ。新しく作ったものでは既定で無効で、同じフィールドを使います。 | 無効のままにするか、下のように除外します。 |
| AWS Application Load Balancer | アクセスログを有効にしたときだけ。既定では無効です。リクエスト行には、クライアントが送ったとおりの URL が入ります。行の一部を落とす手段はありません。 | 無効のままにするか、短いライフサイクルルールと限られたアクセス権を設定します。 |
| CloudFront | 標準ログを有効にしたときだけ。フィールド cs-uri-query に入ります。 |
標準ログ v2 では、フィールドを選ぶときにそのフィールドを外します。 |
| ECS | 独自のリクエストログはありません。ログにはサーバーが書いたものが入ります。 | 何もしません。 |
| Cloudflare | Logpush を使うときだけ。フィールド ClientRequestURI に入ります。 |
代わりに ClientRequestPath を選びます。 |
| Caddy | log ディレクティブがあるときだけ。compose.caddy.yaml にはありません。 |
加える場合は、下のようにパラメーターを取り除きます。 |
| そのほかのリバースプロキシ | たいていは記録します。既定の形式はリクエスト行全体を記録します。 | このルートではクエリを除いたパスを記録するか、アクセスログを無効にします。 |
Google Cloud では、次のようにすると、両方のログがプロジェクトの _Default バケットに入らなくなります。自分で作ったシンクにも同じ除外を加えてください。
gcloud logging sinks update _Default \ --add-exclusion='name=my-search-queries,filter=httpRequest.requestUrl:"/api/v1/statuses/search"'Caddy では次のようにします。
social.example { log { format filter { request>uri query { delete q } } } reverse_proxy my:8080}バックアップ
Section titled “バックアップ”インデックスは投稿のテキストを保持するので、データベースと同じ配慮が必要です。誰がアクセスできるか、どこに保管するか、どれだけの期間保管するかです。
注意すべきなのはエンジンのスナップショットです。インデックスから削除された投稿は、データベースのバックアップと同じように、それ以前に取ったすべてのスナップショットに残ります。そのため、スナップショットには データベースのバックアップ と同じ保存期間を設定してください。
復旧にスナップショットは必要ありません。my search rebuild がデータベースからインデックスを作り直します。バックアップからデータベースを復元したあとは、バックアップより新しい投稿がインデックスから消えるように、--keep を付けずに実行してください。
プライバシーに関する文書
Section titled “プライバシーに関する文書”エンジンをほかの会社のサービスで動かす場合、その会社は search_visibilities の対象になる投稿のテキストを受け取ります。local を含めていれば、その投稿もです。プライバシーポリシー と 処理活動の記録 に、その会社を提供先として記載してください。自分で運用するエンジンは、新たな提供先にはなりません。
検索語を保持するログ を残す場合は、それについて決めたことも記載してください。
サービスを終了する
Section titled “サービスを終了する”サーバーは終了するときに自分でデータを削除しません。そのため、データベースとメディアと一緒に、インデックスとエンジンのスナップショットも破棄してください(サービスを終了する)。
LLM とコーディングエージェント向け:llms.txt,llms-full.txt, llms-small.txt