Hub documentation
Sử dụng BERTopic trên Hugging Face
Sử dụng BERTopic trên Hugging Face
BERTopic là một framework mô hình hóa chủ đề, tận dụng 🤗 transformers và c-TF-IDF để tạo ra các cụm dữ liệu chặt chẽ, cho phép tạo ra các chủ đề dễ diễn giải trong khi vẫn giữ lại các từ quan trọng trong mô tả chủ đề.
BERTopic hỗ trợ mọi loại kỹ thuật mô hình hóa chủ đề:
Khám phá BERTopic trên Hub
Bạn có thể tìm các mô hình BERTopic bằng cách lọc ở phía bên trái của trang mô hình.
Các mô hình BERTopic được lưu trữ trên Hub có kèm theo model card chứa thông tin hữu ích về các mô hình. Nhờ tích hợp Hugging Face Hub của BERTopic, bạn có thể tải các mô hình BERTopic chỉ với vài dòng mã. Bạn cũng có thể triển khai các mô hình này bằng Inference Endpoints.
Cài đặt
Để bắt đầu, bạn có thể làm theo hướng dẫn cài đặt BERTopic. Bạn cũng có thể sử dụng lệnh cài đặt một dòng sau đây thông qua pip:
pip install bertopic
Sử dụng các Mô hình có sẵn
Tất cả các mô hình BERTopic đều có thể dễ dàng được tải từ Hub:
from bertopic import BERTopic
topic_model = BERTopic.load("MaartenGr/BERTopic_Wikipedia")Sau khi được nạp, bạn có thể sử dụng các tính năng của BERTopic để dự đoán chủ đề cho các bản ghi mới:
topic, prob = topic_model.transform("This is an incredible movie!")
topic_model.topic_labels_[topic]Điều này cho chúng ta chủ đề sau:
64_rating_rated_cinematography_film
Chia sẻ Mô hình
Khi bạn đã tạo một mô hình BERTopic, bạn có thể dễ dàng chia sẻ nó với người khác thông qua Hugging Face Hub. Để làm điều này, chúng ta có thể sử dụng hàm push_to_hf_hub cho phép đẩy trực tiếp mô hình lên Hugging Face Hub:
from bertopic import BERTopic
# Train model
topic_model = BERTopic().fit(my_docs)
# Push to HuggingFace Hub
topic_model.push_to_hf_hub(
repo_id="MaartenGr/BERTopic_ArXiv",
save_ctfidf=True
)Lưu ý rằng mô hình đã lưu không bao gồm các thuật toán giảm chiều và phân cụm. Chúng bị loại bỏ vì chỉ cần thiết để huấn luyện mô hình và tìm các chủ đề liên quan. Suy luận được thực hiện thông qua độ tương đồng cosine đơn giản giữa các embedding của chủ đề và tài liệu. Điều này không chỉ giúp tăng tốc mô hình mà còn cho phép chúng ta có một mô hình BERTopic nhỏ gọn để làm việc.