Hugging Face
| Основана | 2016, Нью-Йорк |
|---|---|
| Основатели | Клеман Деланг, Жюльен Шомон, Тома Вольф |
| Продукты | Hub (модели, датасеты, Spaces), библиотеки, Inference Endpoints |
| Ключевые библиотеки | transformers, datasets, tokenizers, huggingface_hub, peft, accelerate, diffusers |
| Формат весов | safetensors |
| Сайт | huggingface.co |
Hugging Face — компания и одноимённая платформа, ставшая центральным хранилищем открытых моделей машинного обучения. На Hub размещены миллионы моделей, сотни тысяч датасетов и интерактивных демо (Spaces) — от классических BERT до открытых больших языковых моделей Llama, Qwen, Mistral и DeepSeek. Вторая половина экосистемы — библиотеки на Python, прежде всего Transformers, позволяющие загрузить и запустить почти любую модель в несколько строк.[1]
История
Компания основана в 2016 году в Нью-Йорке французскими предпринимателями и начинала с чат-бота для подростков (отсюда название — эмодзи 🤗 «обнимающее лицо»). В 2018 году команда выложила PyTorch-реализацию модели BERT, которая быстро превратилась в библиотеку pytorch-transformers, а затем transformers — единый интерфейс к десяткам архитектур трансформеров.[3] Вокруг библиотеки вырос Hub, и компания сменила профиль на платформу для открытого ИИ. Hugging Face также участвует в открытых исследованиях: модель BLOOM (проект BigScience), семейство SmolLM, наборы данных FineWeb.
Hub
Hub устроен как «GitHub для моделей»: каждая модель, датасет или Space — это Git-репозиторий с большими файлами в LFS-подобном хранилище.[1]
- Карточка модели (model card) — README с описанием, назначением, ограничениями, лицензией и метаданными для поиска.[4]
- Версии — коммиты и ветки; загрузку можно закрепить за конкретной ревизией.
- Доступ — открытые, закрытые и «gated» модели, требующие принять лицензию.
- Spaces — демо-приложения на Gradio, Streamlit или в Docker.
- Таблицы лидеров, сравнение моделей, наборы (collections), обсуждения и pull request прямо в репозитории.
Для безопасности Hub продвигает формат safetensors: в отличие от pickle-файлов PyTorch, он хранит только тензоры и не может выполнить произвольный код при загрузке.[5] Файлы также сканируются на вредоносное содержимое.
pip install -U huggingface_hub
hf auth login # токен для закрытых моделей
hf download Qwen/Qwen3-8B --local-dir ./qwen3 # скачать репозиторий
Скачанное кэшируется в ~/.cache/huggingface; переменная HF_HOME меняет расположение, HF_HUB_OFFLINE=1 включает автономный режим.[6]
Библиотеки
| Библиотека | Назначение |
|---|---|
transformers |
модели и пайплайны для текста, изображений, звука; обучение через Trainer |
datasets |
загрузка и обработка датасетов с отображением в память (Apache Arrow) |
tokenizers |
быстрые токенизаторы на Rust (см. Токен и токенизация) |
huggingface_hub |
работа с Hub из кода и CLI |
peft |
эффективное дообучение: LoRA и другие адаптеры (см. Fine-tuning и LoRA) |
accelerate |
запуск на многих GPU и в смешанной точности без переписывания кода |
diffusers |
диффузионные модели для генерации изображений и видео |
sentence-transformers |
модели эмбеддингов для поиска |
trl |
дообучение по предпочтениям (DPO, RLHF) |
from transformers import pipeline
clf = pipeline("sentiment-analysis", model="blanchefort/rubert-base-cased-sentiment")
print(clf("Документация наконец-то понятная!"))
chat = pipeline("text-generation", model="Qwen/Qwen3-0.6B", device_map="auto")
print(chat([{"role": "user", "content": "Что такое GIL?"}], max_new_tokens=200))
Transformers работает поверх PyTorch; для продакшен-инференса языковых моделей чаще используют специализированные серверы — vLLM, TGI, SGLang, которые загружают модели прямо с Hub. Квантованные версии моделей в формате GGUF для локального запуска тоже публикуются на Hub.
Коммерческие услуги
Inference Endpoints (выделенные серверы для модели), Inference Providers (единый API к моделям у разных провайдеров), платные аккаунты PRO и Enterprise с приватными хранилищами и SSO.
Доступность из России
Сайт и загрузка моделей работают с перебоями; распространённые обходы — зеркала (переменная HF_ENDPOINT), предварительное скачивание через сервер за рубежом и локальное хранение моделей.