Использование GGUF с GPT4All

GPT4All — это приложение с открытым исходным кодом для работы с LLM, разработанное командой Nomic. В версии 2.7.2 представлена новая экспериментальная функция Model Discovery.

Model Discovery предоставляет встроенный способ поиска и загрузки моделей GGUF из Hub. Чтобы начать, откройте GPT4All и нажмите Download Models. Здесь вы можете использовать строку поиска, чтобы найти нужную модель.

После того как вы выбрали и скачали модель, перейдите в Settings и укажите подходящий шаблон промпта в формате GPT4All (с плейсхолдерами %1 и %2).

Затем на главной странице можно выбрать модель из списка установленных и начать диалог.

Update on GitHub