Hub

استخدام BERTopic في Hugging Face

BERTopic هو إطار عمل لنمذجة المواضيع يستفيد من 🤗 transformers و c-TF-IDF لإنشاء عناقيد كثيفة تتيح مواضيع يسهل تفسيرها مع الحفاظ على الكلمات المهمة في أوصاف المواضيع.

يدعم BERTopic جميع أنواع تقنيات نمذجة المواضيع:

موجَّه	مُشرف	شبه الإشراف
دليل الاستخدام	توزيعات متعددة المواضيع	هرمي
مبني على الفئات	ديناميكي	أونلاين/تدريجي
متعدد الوسائط	متعدد الجوانب	توليد النص/نماذج اللغة الكبيرة
صفرية التوجيه (جديد!)	دمج النماذج (جديد!)	كلمات البذور (جديد!)

استكشاف BERTopic على Hub

يمكنك العثور على نماذج BERTopic من خلال التصفية على يسار صفحة النماذج.

تحتوي نماذج BERTopic المستضافة على Hub على بطاقة نموذج تتضمن معلومات مفيدة حول النماذج. بفضل تكامل BERTopic مع Hugging Face Hub، يمكنك تحميل نماذج BERTopic بعدد قليل من أسطر الكود. كما يمكنك نشر هذه النماذج باستخدام نقاط الاستدلال.

التثبيت

للبدء، يمكنك اتباع دليل تثبيت BERTopic. يمكنك أيضًا استخدام أمر التثبيت التالي من سطر واحد عبر pip:

pip install bertopic

استخدام النماذج الموجودة

يمكن تحميل جميع نماذج BERTopic بسهولة من Hub:

from bertopic import BERTopic
topic_model = BERTopic.load("MaartenGr/BERTopic_Wikipedia")

بمجرد التحميل، يمكنك استخدام ميزات BERTopic للتنبؤ بالمواضيع للعينات الجديدة:

topic, prob = topic_model.transform("This is an incredible movie!")
topic_model.topic_labels_[topic]

مما يمنحنا الموضوع التالي:

64_rating_rated_cinematography_film

مشاركة النماذج

عند إنشاء نموذج BERTopic، يمكنك مشاركته بسهولة مع الآخرين عبر Hugging Face Hub. للقيام بذلك، يمكننا الاستفادة من دالة push_to_hf_hub التي تتيح لنا رفع النموذج مباشرةً إلى Hugging Face Hub:

from bertopic import BERTopic

# Train model
topic_model = BERTopic().fit(my_docs)

# Push to HuggingFace Hub
topic_model.push_to_hf_hub(
    repo_id="MaartenGr/BERTopic_ArXiv",
    save_ctfidf=True
)

لاحظ أن النموذج المحفوظ لا يتضمن خوارزميات تقليل الأبعاد والتجميع. وقد تم حذفها لأنها ضرورية فقط لتدريب النموذج وإيجاد المواضيع ذات الصلة. يتم الاستدلال من خلال تشابه جيب التمام البسيط بين تمثيلات المواضيع والوثائق. وهذا لا يسرّع النموذج فحسب، بل يتيح لنا الحصول على نموذج BERTopic صغير الحجم يمكننا العمل به.

موارد إضافية

Update on GitHub