pbedrin's picture
Update README.md
b4af93d verified
|
Raw History Blame Contribute Delete
1.82 kB
metadata
library_name: transformers
tags: []

VK LLM Course. Задание #3. Дообучение QLoRA

Модель — дообученная TinyLlama/TinyLlama-1.1B-Chat-v1.0 на датасете cardiffnlp/tweet_eval. Дообучаем модель с помощью PEFT определять тональность твитов. Модель адаптируется к специфичному стилю текстов твитов по датасету.

Обоснование выбранных параметров

По документации BitsAndBytes / статье о QloRA:

  • bnb_4bit_quant_type = "nf4"
  • bnb_4bit_compute_dtype=torch.bfloat16

По статье о QloRA / документации PEFT LoRA применяем ко всем линейным слоям (target_modules="all-linear").

Остальные гиперпараметры LoraConfig так же согласно статье о QloRA, приложения A1 и B2. Learning rate 1e-5 выбран экспериментально после нескольких попыток обучения.

Дообучение производилось в Kaggle на GPU P100.

Метрики качества

До дообучения: Macro F1 = 0.17 image/png

После дообучения DoRA: Macro F1 = 0.53 image/png