La page ID sémantiques

Chaque enrichissement qui résout un ID sémantique réutilise soit un concept que votre organisation connaît déjà, soit en crée un nouveau. La page ID sémantiques est l’endroit où ce vocabulaire croissant devient visible : parcourez-le, mesurez la proximité réelle entre deux entrées, ajoutez des termes à la main, répondez aux questions que le juge d’identité vous laisse, retirez ce dont vous ne voulez plus et migrez l’ensemble vers un autre modèle d’embedding.

Ouvrir la page

Elle se trouve à /semantic-ids dans la barre latérale, et n’est utile qu’une fois que votre organisation dispose d’un modèle d’embedding et d’au moins un schéma comportant un ID sémantique — les concepts sont créés par les enrichissements, pas par la page.

Qui peut faire quoi

  • •Éditeur — parcourir, comparer, exporter, vérifier un texte, ajouter un concept, supprimer des concepts.
  • •Propriétaire / admin — en plus, créer des concepts par import (en ouvrant avec eux un nouveau type de concept, si le fichier l’exige), vider des types de concept entiers et migrer le modèle d’embedding.

Lire la table des concepts

Chaque ligne est un concept : son texte canonique (le texte d’identité qui l’a créé en premier), son type de concept (l’espace dans lequel il vit — par défaut le nom du type d’entité), le nombre d’enregistrements qui l’utilisent et sa date de création. Filtrez par texte, par un nombre quelconque de types de concept, par les schémas qui y écrivent, ou par un usage minimum pour repérer les entrées qui méritent votre attention. Choisir des schémas est un raccourci vers leurs types de concept — et comme un type est partagé, cela affiche aussi les concepts qu’un autre schéma a créés dans ce même type. Exporter la vue télécharge exactement ce que les filtres affichent.

  1. 1Nombre d’alias sur la ligne canonique
  2. 2Une graphie absorbée par le juge d’identité
La puce +1 est le nombre d’alias : un concept, plusieurs graphies, un seul total d’usage. Une forme absorbée par le juge porte la mention auto — le juge n’est payé qu’une seule fois par forme de surface, pour toujours.
Sélectionner une ligne transforme la colonne Similarité en mesure par rapport à celle-ci et ouvre ce concept à droite.

La similarité ne se mesure qu’à l’intérieur d’un même espace. Les vecteurs ne sont comparables qu’au sein du même type de concept et du même modèle d’embedding. Les lignes hors de l’espace du concept sélectionné affichent —, ce qui signifie « non comparable » — jamais « 0 % ».

Ajouter des termes : la boucle de curation

Il arrive que vous connaissiez le vocabulaire avant l’arrivée des données — une liste de plats, de statuts, de familles de produits. La barre Curation est conçue pour saisir cette liste : limitez-la une fois à un type de concept — cette portée est inscrite dans l’adresse de la page, donc /semantic-ids/<concept type> est un lien direct vers ce sous-ensemble — puis répétez saisir une valeur → Vérifier → Ajouter. Entrée vérifie, une seconde Entrée ajoute, et le champ se vide en gardant le focus : un vocabulaire de cinquante termes se saisit en quelques minutes sans toucher la souris.

Rien ne résout ce texte au-dessus du seuil, donc Ajouter le concept est activé. La table classe désormais chaque concept selon sa similarité avec votre saisie.

Vérifier est une simulation de la véritable échelle de résolution — la même que celle d’un enrichissement — son verdict n’est donc pas une estimation. Et comme vous avez déjà payé ce verdict, il sert aussi de garde-fou contre les doublons : lorsqu’un concept existant couvre votre texte au seuil ou au-dessus, Ajouter le concept reste désactivé.

Une correspondance exacte ne coûte rien — aucun appel au modèle. Une correspondance proche indique plutôt le concept en place et son score.

Ce refus est délibéré : un jumeau au-dessus du seuil ne pourrait jamais remporter une résolution et répartirait de façon imprévisible les futures correspondances entre les deux entrées. Le curseur Seuil à côté du champ fixe cette limite pour vos vérifications — augmentez-le pour être plus strict, baissez-le pour fusionner plus agressivement.

Le vocabulaire n’a pas non plus besoin de partir d’un enrichissement : Nouveau type de concept… (dans la barre d’outils de la page, à partir du rôle éditeur) nomme un type et choisit le modèle d’embedding dans lequel ses concepts vivront — par défaut celui de votre organisation. La barre de curation lui est immédiatement associée, et le type rejoint le vocabulaire avec le premier concept que vous ajoutez ; un type existant conserve son modèle, car déplacer un vocabulaire entre modèles est précisément le rôle de la migration.

Le modèle d’embedding est la seule question qui ne peut pas être posée plus tard : un type conserve le modèle avec lequel il a été ouvert, et le changer est une migration.

La file de revue

Rien n’arrive dans Revue simplement parce que cela semble similaire. Chaque paire ici est une décision du juge d’identité qu’il vous a laissée : il n’a pas pu trancher (Incertain), il a trouvé deux de vos concepts équivalents à un même texte entrant (Doublon probable), ou il en a séparé deux dont la mesure est presque identique (Maintenus séparés) — ce dernier cas vous est proposé pour confirmer qu’il n’a pas manqué le candidat évident. Chaque ligne porte la phrase du juge expliquant ce qui a motivé sa décision.

Deux verdicts très différents côte à côte : deux noms pour un même plat de turbot, et deux desserts au chocolat réellement différents. Le juge trouve les questions ; vous y répondez.

Comparer → renvoie à la table avec ce concept sélectionné, pour voir ce qui se trouve à proximité avant de décider. Fusionner… intègre l’un dans l’autre — les graphies du perdant deviennent des alias du gagnant, si bien que la paire converge partout et reste convergente. Ignorer clôt la question lorsque les deux sont réellement deux choses distinctes. Les nombres d’usages vous indiquent lequel des deux les données préfèrent réellement.

L’impact est calculé avant votre confirmation : les enregistrements réaffectés et les modifications de base de données que la fusion met en file d’attente en aval.

Inspecter un concept

Le panneau de droite affiche l’ID du concept (copiable — c’est sur lui que votre base de données fait ses jointures), son texte normalisé, le modèle d’embedding qui le sous-tend et les enregistrements qui ont été résolus vers lui. Le concept sélectionné fait partie de l’adresse de la page : l’URL de votre barre d’adresse est donc un lien direct vers lui — à partager avec un collègue ou à conserver dans un ticket. Deux vues le situent parmi ses voisins.

Orbite — la distance au centre est la similarité, donc l’anneau pointillé est le seuil lui-même : tout ce qui se trouve à l’intérieur serait résolu vers ce concept.
Carte des concepts (3D) — une projection facultative de tout l’espace. La couleur est la mesure ; la position ne fait que suggérer la forme des groupes, c’est pourquoi aucune sphère de seuil n’est tracée.

Pourquoi la position n’est pas la vérité

Réduire 1536 dimensions à 3 ne peut pas préserver les distances, et la projection exagère la compacité des groupes. Les deux vues colorent chaque point selon la même échelle de similarité : fiez-vous donc à la couleur, pas à l’écart. La première carte d’une session met quelques secondes à se calculer ; les suivantes sont instantanées.

Enregistrements liés

Chaque enregistrement lié affiche le score auquel il a été résolu ici. Un — signifie que l’ID est arrivé dans l’entrée et a été transmis tel quel, sans aucune comparaison — le chemin gratuit et sans ambiguïté décrit dans le guide des ID sémantiques.

Importer et exporter un vocabulaire

Importer et résoudre fait passer une colonne CSV entière par la même échelle et annote chaque ligne avec ce qui lui arriverait — aucune limite de taille de fichier ; les gros fichiers sont résolus par lots de 1000 avec une progression en direct. Le fichier est analysé dans votre navigateur — seules les valeurs elles-mêmes sont envoyées.

Une exécution en correspondance seule n’écrit rien : c’est donc un aperçu fidèle de ce que votre prochain enrichissement ferait avec les mêmes valeurs.
RésultatCe que cela signifie
exactLe même texte, normalisé, existe déjà — gratuit, aucun appel au modèle.
matchedUne formulation différente a été résolue vers un concept existant au-dessus du seuil.
would_mintRien n’était assez proche ; un enrichissement créerait ici un nouveau concept.
mintedLe même cas, avec la création activée — le concept existe désormais (propriétaire uniquement).

Le type de concept se saisit, il ne se choisit pas. Un fichier est une façon tout à fait normale de démarrer un vocabulaire : le champ suggère donc les espaces que vous avez déjà tout en acceptant un nom qui n’existe pas encore — et affichenouveau lorsque c’est le cas. Un nouveau nom pose la seule question qui ne peut pas être posée plus tard : dans quel modèle d’embedding ses concepts vivront. Répondez-y ici et l’espace est créé avec la première valeur produite par l’import ; ensuite, déplacer un vocabulaire d’un modèle à un autre est une migration.

Deux garde-fous empêchent une faute de frappe de créer un second vocabulaire : saisir le nom d’un espace existant le sélectionne, quelle que soit la casse, et un nom à une ou deux lettres d’un nom existant est signalé avec une correction en un clic. Face à un espace réellement nouveau, il n’y a rien à comparer : une exécution en correspondance seule répond donc « chaque valeur serait créée » sans vectoriser une seule ligne — et sans rien facturer.

Les lignes résolues se téléchargent dans leur propre CSV : un import peut donc aussi servir uniquement d’audit — lesquels de nos 900 noms de fournisseurs sont déjà connus, et lesquels ouvriraient une nouvelle identité ? Les exports fonctionnent dans l’autre sens et nomment le fichier d’après les filtres utilisés, si bien qu’un dossier d’exports reste explicite.

Supprimer des concepts

La suppression est sûre d’une manière que la plupart des suppressions de données ne le sont pas : le vocabulaire se reconstruit de lui-même, car le prochain enrichissement recrée simplement ce dont il a besoin. Ce qui ne revient pas, c’est la convergence avec les ID que vous avez déjà stockés, et la boîte de dialogue l’indique avec des chiffres réels avant votre confirmation.

Chaque type indique l’espace d’embedding dans lequel il vit — deux types sur des modèles différents ne se comparent jamais, c’est pourquoi le décompte est ventilé ainsi.
Les enregistrements conservent l’ID qu’ils détiennent déjà ; les nouveaux enrichissements de la même chose en produiront un différent. Les bases de données en aval y verront une nouvelle ligne.

Après un tel changement, conserver les anciens concepts est le choix risqué, pas le choix prudent : des identités composées à partir des nouvelles clés peuvent encore tomber dans le seuil des anciens vecteurs et être discrètement absorbées par eux, vous laissant des ID qui ne signifient ni l’un ni l’autre.

Changer de modèle d’embedding

Les vecteurs de deux modèles différents ne sont pas comparables : changer de modèle implique donc de recalculer l’embedding de chaque concept. Dès que des concepts existent, cette migration est la seule façon autorisée de le faire — et c’est la raison pour laquelle le paramètre de modèle d’embedding de l’organisation refuse de changer seul.

Un espace d’embedding à la fois. Les ID de concept ne changent jamais : enregistrements, entités, exports et synchronisations de base de données restent valides tout au long de l’opération.

Simulation d’abord

L’aperçu indique ce que coûtera le ré-embedding, et quelles paires de concepts risquent d’entrer en collision — se retrouver à l’intérieur du seuil l’une de l’autre dans le nouvel espace et commencer à être résolues ensemble. Il mesure les candidats réalistes plutôt que toutes les paires, et le précise.

Aucune pause, aucune fenêtre à surveiller

Les enrichissements continuent d’être résolus dans l’ancien espace pendant que les nouveaux vecteurs sont construits à côté ; les concepts créés entre-temps sont repris lors d’un passage ultérieur. La bascule se fait en une seule étape à la fin, qui change aussi le modèle d’embedding par défaut de votre organisation. L’interrompre est sans danger — la relancer reprend là où elle s’était arrêtée.

Ce que coûte la page

Les vérifications, ajouts et imports sont facturés comme toute autre utilisation d’embedding, et les correspondances exactes ne coûtent rien car elles n’atteignent jamais un modèle. La navigation, la comparaison, l’orbite, la carte 3D, l’export et la suppression sont gratuits. Les dépenses interactives d’une journée sont regroupées en une seule ligne dans votre historique de crédits, pour que le registre reste lisible au lieu de se remplir de fractions de centime.