Utiliser Sentence Transformers sur Hugging Face

sentence-transformers est une bibliothèque qui fournit des méthodes simples pour calculer des embeddings (représentations vectorielles denses) pour des phrases, des paragraphes et des images. Les textes sont intégrés dans un espace vectoriel de sorte que les textes similaires soient proches, ce qui permet des applications telles que la recherche sémantique, le regroupement (clustering) et la récupération (retrieval).

Explorer sentence-transformers dans le Hub

You can find over 500 hundred sentence-transformer models by filtering at the left of the models page. Most of these models support different tasks, such as doing feature-extraction to generate the embedding, and sentence-similarity as a way to determine how similar is a given sentence to other. You can also find an overview of the official pre-trained models in the official docs.

Tous les modèles du Hub sont livrés avec des fonctionnalités :

1. Une carte de modèle générée automatiquement, avec une description, des extraits de code d'exemple, un aperçu de l'architecture et plus encore.
2. Balises de métadonnées qui facilitent la découvrabilité et contiennent des informations telles que la licence.
3. Un widget interactif que vous pouvez utiliser pour tester le modèle directement dans le navigateur.
4. Un widget Inference Providers permettant d’effectuer des requêtes d’inférence.

Utilisation de modèles existants

Les modèles pré-entraînés sur le Hub peuvent être chargés avec une seule ligne de code

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('model_name')

Voici un exemple qui encode des phrases puis calcule la distance entre elles pour effectuer une recherche sémantique.

from sentence_transformers import SentenceTransformer, util
model = SentenceTransformer('multi-qa-MiniLM-L6-cos-v1')

query_embedding = model.encode('How big is London')
passage_embedding = model.encode(['London has 9,787,426 inhabitants at the 2011 census',
                                  'London is known for its financial district'])

print("Similarity:", util.dot_score(query_embedding, passage_embedding))

Si vous souhaitez voir comment charger un modèle spécifique, vous pouvez cliquer sur Use in sentence-transformers et un extrait de code fonctionnel vous sera fourni pour le charger !

Partager vos modèles

Vous pouvez partager vos Sentence Transformers en utilisant la méthode save_to_hub d'un modèle entraîné.

from sentence_transformers import SentenceTransformer

# Load or train a model
model.save_to_hub("my_new_model")

Cette commande crée un dépôt avec une carte de modèle générée automatiquement, un widget d’inférence, des extraits de code d’exemple et plus encore ! Voici un exemple.

Ressources supplémentaires

• Bibliothèque library Sentence Transformers.
• Documentation de Sentence Transformers docs.
• Intégration avec l'annonce du Hub.