Instructions to use pbedrin/llm-course-hw3-tinyllama-qlora with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use pbedrin/llm-course-hw3-tinyllama-qlora with Transformers:
# pip install -U transformers accelerate # Load model directly from transformers import AutoModel model = AutoModel.from_pretrained("pbedrin/llm-course-hw3-tinyllama-qlora", device_map="auto") - Notebooks
- Google Colab
- Kaggle
|
Download README.md from pbedrin/llm-course-hw3-tinyllama-qlora: direct link, hf CLI and curl.
- Browser
- Download file 1.82 kB
-
https://huggingface.co/pbedrin/llm-course-hw3-tinyllama-qlora/resolve/main/README.md
- Command line
-
hf download hf://pbedrin/llm-course-hw3-tinyllama-qlora/README.md
-
curl -L -o README.md https://huggingface.co/pbedrin/llm-course-hw3-tinyllama-qlora/resolve/main/README.md
1.82 kB
metadata
library_name: transformers
tags: []
VK LLM Course. Задание #3. Дообучение QLoRA
Модель — дообученная TinyLlama/TinyLlama-1.1B-Chat-v1.0 на датасете cardiffnlp/tweet_eval. Дообучаем модель с помощью PEFT определять тональность твитов. Модель адаптируется к специфичному стилю текстов твитов по датасету.
Обоснование выбранных параметров
По документации BitsAndBytes / статье о QloRA:
- bnb_4bit_quant_type = "nf4"
- bnb_4bit_compute_dtype=torch.bfloat16
По статье о QloRA / документации PEFT LoRA применяем ко всем линейным слоям (target_modules="all-linear").
Остальные гиперпараметры LoraConfig так же согласно статье о QloRA, приложения A1 и B2. Learning rate 1e-5 выбран экспериментально после нескольких попыток обучения.
Дообучение производилось в Kaggle на GPU P100.

