--- library_name: transformers tags: [] --- # VK LLM Course. Задание #3. Дообучение QLoRA Модель — дообученная [TinyLlama/TinyLlama-1.1B-Chat-v1.0](https://huggingface.co/TinyLlama/TinyLlama-1.1B-Chat-v1.0) на датасете [cardiffnlp/tweet_eval](https://huggingface.co/datasets/cardiffnlp/tweet_eval). Дообучаем модель с помощью PEFT определять тональность твитов. Модель адаптируется к специфичному стилю текстов твитов по датасету. **Обоснование выбранных параметров** По [документации BitsAndBytes](https://huggingface.co/docs/transformers/main/quantization/bitsandbytes#qlora) / статье о QloRA: * bnb_4bit_quant_type = "nf4" * bnb_4bit_compute_dtype=torch.bfloat16 По статье о QloRA / [документации PEFT](https://huggingface.co/docs/peft/main/en/developer_guides/lora) LoRA применяем ко всем линейным слоям (target_modules="all-linear"). Остальные гиперпараметры LoraConfig так же согласно статье о QloRA, приложения A1 и B2. Learning rate 1e-5 выбран экспериментально после нескольких попыток обучения. Дообучение производилось в Kaggle на GPU P100. ## Метрики качества До дообучения: Macro F1 = 0.17 ![image/png](https://cdn-uploads.huggingface.co/production/uploads/65621c21ec7e239899bb7e2f/pVFCfIk5mKuFkrWb8NaaW.png) После дообучения DoRA: Macro F1 = 0.53 ![image/png](https://cdn-uploads.huggingface.co/production/uploads/65621c21ec7e239899bb7e2f/gui78UgHtdjBp1nbRjart.png)