Cette page est une traduction automatique de la page en anglais, qui fait foi. Lire la page en anglais
Recherche en texte intégral des publications
Ce que contient la recherche en texte intégral des publications, comment l’activer et la modifier, comment reconstruire son index, et ce qu’elle demande à vos journaux et à vos sauvegardes.
Choisir un moteur
Section intitulée « Choisir un moteur »La recherche en texte intégral des publications exige un moteur de recherche que vous exécutez ou que vous louez. search le choisit :
none, la valeur par défaut : pas de recherche en texte intégral. Le serveur ne se connecte à rien, ne met aucune tâche de recherche en file, et le client n’offre aucun moyen de rechercher des publications. Sur un tel serveur, chaque commandemy searchle dit et ne fait rien.elasticsearch,opensearchoumeilisearch: ce moteur, avec les paramètres de sa section dans Moteurs de recherche.plugin: un programme de votre cru qui tient l’index dans tout autre moteur, comme Groonga ou un index construit avec Sudachi, àplugin_search_address(Rechercher des publications avec un plugin).
La recherche de comptes et de hashtags fonctionne à partir de la base de données et ne dépend pas de ce paramètre.
Le serveur ne possède que les champs qu’il écrit, filtre, trie et pagine. La façon dont le moteur analyse le texte, classe les résultats et la taille de son index vous appartiennent, via un fichier de paramètres du moteur ; Moteurs de recherche décrit ce que chaque moteur trouve en japonais avec les paramètres intégrés et comment les modifier.
Ce que contient l’index
Section intitulée « Ce que contient l’index »La base de données reste la source de vérité, et l’index est une copie que vous pouvez jeter et reconstruire. Un moteur ne renvoie que des ID de publications : le serveur relit chaque publication dans la base de données et applique les règles de visibilité habituelles ; un index en retard peut donc laisser une publication introuvable, mais ne peut pas en montrer une qui ne devrait pas être vue.
Une publication est dans l’index quand toutes ces conditions sont réunies :
- Elle n’est pas supprimée.
- Sa visibilité est
publicoulocal, etsearch_visibilitiesl’inclut. Les publicationsunlisted,privateetdirectne sont jamais indexées, quel que soit le paramètre. - Son auteur a activé
indexable, le paramètre décrit dans Moteurs de recherche et robots d’IA. - Son auteur, et le domaine de son auteur, n’ont aucune restriction qui les masque de la découverte.
L’index contient le corps, l’avertissement de contenu et les textes alternatifs de la version actuelle de chaque publication, avec son auteur et sa langue. Il ne contient ni les sondages, ni les profils, ni les versions plus anciennes.
indexable_default vaut false par défaut : un serveur qui vient d’activer la recherche trouve donc peu de choses tant que les personnes n’ont pas choisi indexable elles-mêmes.
L’activer
Section intitulée « L’activer »- Exécutez le moteur, et définissez
searchet les paramètres de son backend. - Si vous exécutez les workers séparément, décidez de leur répartition.
- Configurez vos journaux.
- Si le moteur est exploité par quelqu’un d’autre, ajoutez-le à vos documents de confidentialité.
- Redémarrez le serveur : dès lors, les nouvelles publications entrent dans l’index.
- Exécutez
my search rebuildpour ajouter les publications existantes.
La recherche fonctionne pendant la reconstruction, et ses résultats sont incomplets jusqu’à sa fin.
Reconstruire l’index
Section intitulée « Reconstruire l’index »my search rebuild # empty the index, then add every post that qualifiesmy search rebuild --keep # add them without emptying the indexmy search rebuild --rate 50 # at most 50 posts a secondmy search status # the progress and the failuresmy search clear # empty the index and end any rebuildLa commande rend la main dès que la reconstruction est en cours, et le worker fait le reste sous forme de tâches search.rebuild (référence des tâches) : gardez donc un worker en marche. Chaque tâche couvre 100 publications.
- Débit. La valeur par défaut est de 20 publications par seconde, au plus 1 000, et elle compte chaque publication
publicetlocalexaminée, y compris celles qui ne sont pas éligibles. Au débit par défaut, un million de publications prennent environ 14 heures. Il laisse de la place aux autres tâches et à la base de données : ne l’augmentez que si votre serveur a de la marge. - Laquelle exécuter. La commande par défaut retire tout ce qui ne devrait pas se trouver dans l’index : les documents laissés par une suppression qui n’est jamais arrivée, ou par la restauration de la base de données depuis une sauvegarde. La recherche trouve moins de choses jusqu’à sa fin. Utilisez
--keepaprès l’ajout d’une visibilité, quand rien n’est à retirer et que la recherche doit rester complète.--keepne retire jamais le document d’une publication qui n’est plus dans la base de données. - Interrompue ? Exécutez de nouveau la même commande. Elle reprend à la dernière publication traitée et ne vide pas de nouveau l’index. Ajoutez
--ratepour changer le débit. Une reconstruction reprend aussi d’elle-même quand un worker redémarre. - L’autre mode. Tant qu’une reconstruction n’est pas terminée, la commande de l’autre mode est refusée, car elle ne ferait pas ce qu’elle annonce. Pour repartir de zéro dans l’un ou l’autre mode, exécutez
my search clearpuis la commande voulue. - L’exécuter deux fois donne le même index. Les publications créées, modifiées ou supprimées pendant une reconstruction finissent correctes, car leurs propres tâches continuent de s’exécuter et chaque tâche lit la publication telle qu’elle est à cet instant.
my search status affiche le backend, search_visibilities et, pour la dernière reconstruction, sa phase (clearing, filling ou finished), les publications traitées et en échec, le débit et la dernière erreur.
Quand quelque chose se passe mal :
- Le moteur est en panne. Si trois publications de suite échouent, la tâche s’arrête là où elle en est, enregistre l’erreur et réessaie. Une reconstruction qui a épuisé ses tentatives laisse une tâche en échec (
my job list), etupdateddans l’état cesse de bouger. Une fois le moteur rétabli, exécutez la même commande pour continuer. - Le moteur refuse une publication. La publication est enregistrée comme en échec et la reconstruction continue. L’état en liste jusqu’à 20. Corrigez la cause, puis exécutez
my search rebuild --keeppour réessayer toutes les publications.
Modifier search_visibilities
Section intitulée « Modifier search_visibilities »Retirer une visibilité supprime d’elle-même ses publications de l’index. En ajouter une ne trouve que les nouvelles publications, jusqu’à ce que vous exécutiez my search rebuild --keep.
Prévenez vos utilisateurs avant d’ajouter local. indexable couvre alors les publications local de toutes les personnes qui l’ont déjà activé, et la reconstruction ajoute leurs publications local antérieures, sans le leur redemander. Les paramètres du profil disent ce que indexable couvre sur votre serveur, mais les personnes qui l’ont choisi il y a longtemps ne le verront pas si vous ne leur dites pas.
Désactiver ou changer le moteur
Section intitulée « Désactiver ou changer le moteur »Quand le serveur passe à search = none ou à un autre moteur, il perd sa connexion à l’ancien index. Cet index n’est plus nettoyé : les publications supprimées ensuite y restent, texte compris.
- Arrêtez le serveur et ses workers, afin que rien n’écrive dans l’index après l’étape suivante.
- Exécutez
my search clear. - Changez
search, puis démarrez le serveur. - Avec un nouveau moteur, exécutez
my search rebuild.
Si vous avez déjà basculé, ou si vous ne pouvez pas arrêter le serveur, supprimez l’ancien index dans le moteur lui-même. my search clear ne peut plus l’atteindre une fois le paramètre changé. Les tâches mis en file avant le changement ne font rien après un passage à none.
Revenir de none. Exécutez my search rebuild sans --keep : le serveur ne garde aucune trace de ce qui a été supprimé pendant qu’il n’avait pas de moteur, et seul le vidage de l’index retire ces publications. Si une reconstruction n’était pas terminée quand vous êtes parti, exécutez d’abord my search clear, car une reprise ne vide pas l’index.
Éviter que la recherche retarde les autres tâches
Section intitulée « Éviter que la recherche retarde les autres tâches »Par défaut, un worker exécute une tâche à la fois : un moteur lent partage donc le temps de ce worker avec federation.inbox, même si chaque appel du moteur a une limite de 10 secondes. Un serveur chargé devrait les séparer :
- Exécutez un processus worker avec
worker_job_types = search.*et les autres avecworker_job_types_except = search.*(Répartir les workers par type de tâche). - Avec
queue = cloudtasks, envoyez les typessearch.*vers leur propre file avec une route de file.
Un petit serveur peut les laisser ensemble, et les tâches de recherche partagent alors le temps avec la fédération.
La requête apparaît dans les URL
Section intitulée « La requête apparaît dans les URL »GET /api/v1/statuses/search transporte dans son URL ce que les gens recherchent, sous la forme ?q=. La ligne de journal http request du serveur contient le chemin et la route, pas la query string, et les traces et les rapports d’erreurs l’omettent aussi. Tout ce qui se trouve devant le serveur peut toutefois l’enregistrer, et une recherche peut en dire long sur une personne. Vérifiez chaque couche de votre installation, et soit gardez la requête hors de son journal, soit traitez ce journal comme des données personnelles, avec un accès et une rétention à l’avenant.
| Couche | Enregistre-t-elle la requête ? | Que faire |
|---|---|---|
| Cloud Run | Oui. Ses journaux de requêtes sont créés automatiquement, et httpRequest.requestUrl inclut la query. |
Les exclure, comme ci-dessous. |
| Équilibreur de charge Google Cloud | Seulement si vous activez la journalisation du service de backend. Elle est désactivée par défaut sur les nouveaux, et utilise le même champ. | La laisser désactivée, ou les exclure, comme ci-dessous. |
| AWS Application Load Balancer | Seulement si vous activez les journaux d’accès, désactivés par défaut. La ligne de requête contient l’URL telle que le client l’a envoyée. Il n’a aucun moyen de supprimer une partie d’une ligne. | Les laisser désactivés, ou leur donner une règle de cycle de vie courte et un accès limité. |
| CloudFront | Seulement si vous activez la journalisation standard, dans le champ cs-uri-query. |
Avec la journalisation standard v2, omettez ce champ en sélectionnant les champs. |
| ECS | Aucun journal de requêtes propre : ses journaux contiennent ce que le serveur écrit. | Rien. |
| Cloudflare | Seulement si vous utilisez Logpush, dans le champ ClientRequestURI. |
Sélectionnez plutôt ClientRequestPath. |
| Caddy | Seulement avec une directive log, que compose.caddy.yaml n’a pas. |
Si vous en ajoutez une, retirez le paramètre, comme ci-dessous. |
| Autres reverse proxies | Généralement oui : leurs formats par défaut journalisent toute la ligne de requête. | Journaliser le chemin sans la query pour cette route, ou désactiver leur journal d’accès. |
Sur Google Cloud, cela garde les deux journaux hors du bucket _Default du projet. Ajoutez la même exclusion à tout sink de votre cru :
gcloud logging sinks update _Default \ --add-exclusion='name=my-search-queries,filter=httpRequest.requestUrl:"/api/v1/statuses/search"'Dans Caddy :
social.example { log { format filter { request>uri query { delete q } } } reverse_proxy my:8080}Sauvegardes
Section intitulée « Sauvegardes »L’index contient le texte des publications : il demande donc les mêmes précautions que la base de données — qui peut y accéder, où il est conservé et combien de temps.
Un instantané du moteur est la partie à surveiller. Une publication supprimée de l’index reste dans tous les instantanés pris auparavant, comme dans les sauvegardes de la base de données ; donnez donc aux instantanés la même rétention qu’à vos sauvegardes de la base de données.
Vous n’avez pas besoin d’instantanés pour restaurer : my search rebuild refait l’index à partir de la base de données. Après avoir restauré la base de données depuis une sauvegarde, exécutez-le sans --keep, afin que les publications plus récentes que la sauvegarde quittent l’index.
Vos documents de confidentialité
Section intitulée « Vos documents de confidentialité »Si le moteur tourne sur le service d’une autre entreprise, celle-ci reçoit le texte des publications couvertes par search_visibilities, y compris les publications local si vous les incluez. Nommez-la comme destinataire dans la politique de confidentialité et dans le registre des activités de traitement. Un moteur que vous exécutez vous-même n’est pas un nouveau destinataire.
Indiquez aussi ce que vous avez décidé au sujet des journaux qui contiennent la requête, si vous les conservez.
Fermer le service
Section intitulée « Fermer le service »Le serveur ne supprime pas lui-même les données quand il ferme : jetez donc l’index et les instantanés du moteur avec la base de données et les médias (Fermer le service).
Pour les LLM et les agents de programmation :llms.txt,llms-full.txt, llms-small.txt