Использование SetFit с Hugging Face

SetFit — это эффективный фреймворк для дообучения в режиме few-shot без использования промптов для Sentence Transformers. Он обеспечивает высокую точность при малом количестве размеченных данных: например, всего 8 размеченных примеров на класс в датасете Customer Reviews sentiment позволяют SetFit конкурировать с дообучением RoBERTa Large на полном обучающем наборе из 3k примеров 🤯!

По сравнению с другими методами обучения с малым числом примеров, SetFit обладает рядом уникальных особенностей:

• 🗣 Без промптов и вербализаторов: Современные методы дообучения в режиме few-shot требуют вручную созданных промптов или вербализаторов для приведения примеров к формату, пригодному для базовой языковой модели. SetFit полностью отказывается от промптов, генерируя насыщенные эмбеддинги непосредственно из текстовых примеров.
• 🏎 Быстрая подготовка: SetFit не требует крупных моделей, таких как T0 или GPT-3, для достижения высокой точности. В результате обучение и выполнение инференса обычно проходят на порядок (или даже быстрее).
• 🌎 Поддержка нескольких языков: SetFit можно использовать с любым Sentence Transformer на Hub, что позволяет классифицировать текст на нескольких языках, просто дообучив мультиязычную контрольную точку.

Исследование SetFit на Hub

Модели SetFit можно найти, применив фильтр слева на странице моделей.

Все модели на Hub обладают следующими полезными возможностями:

1. Автоматически сгенерированная карточка модели с кратким описанием.
2. Интерактивный виджет, с помощью которого можно взаимодействовать с моделью непосредственно в браузере.
3. Виджет Inference Providers, позволяющий отправлять запросы на инференс.

Установка

Для начала вы можете воспользоваться руководством по установке SetFit. Также можно установить пакет одной командой через pip:

pip install -U setfit

Использование существующих моделей

Все модели setfit можно легко загрузить с Hub.

from setfit import SetFitModel

model = SetFitModel.from_pretrained("tomaarsen/setfit-paraphrase-mpnet-base-v2-sst2-8-shot")

После загрузки вы можете использовать SetFitModel.predict для выполнения инференса.

model.predict("Amelia Earhart flew her single engine Lockheed Vega 5B across the Atlantic to Paris.")

['positive', 'negative']

Если вы хотите загрузить конкретную модель SetFit, нажмите Use in SetFit — и вы получите готовый фрагмент кода!

Дополнительные ресурсы

• Все модели SetFit, доступные на Hub
• Репозиторий SetFit
• Документация SetFit docs
• Статья SetFit