dikiyplayerpig/dpp-gpt-V2.1-Pro-260m

🧠 dpp-gpt v2.1 Pro (260M)

(🇺🇸 English / 🇷🇺 Русский)

This is a major upgrade in the dpp-gpt family. Version 2.1 Pro is a 259M parameter language model trained entirely from scratch. It features significant improvements in logic, multi-lingual translation, and utilizes the [THINK] token for Chain-of-Thought (CoT) reasoning.

⚙️ Model Details

• Parameters: 259M
• Layers / Hidden Size / Heads: 20 / 1024 / 16
• Context Length: 4096 tokens
• Vocabulary Size: 16,384
• Format: GGUF / PyTorch (.pth)
• License: Apache 2.0

📊 Training Data

• Pre-training: 11.8 Billion tokens (~45.5 tokens/parameter) with a batch size of 512k.
• Fine-Tuning (SFT): >16.5M high-quality tokens generated primarily by Gemma 4 (26b/12b/4b), Qwen 3.5 (35b/4b), and complex code from DeepSeek v4 Flash.

🚀 Capabilities & Advantages

• Languages & Translation: Excellent comprehension of Russian, English, and French. Capable of translating simple phrases between these languages seamlessly.
• Text Processing: Strong text manipulation skills. It can spell words letter-by-letter, assemble words from spelled-out letters, count total letters in a word, and count specific letters.
• Math & Logic: Solves arithmetic operations (a + b up to hundreds of thousands, a + b + c, a + b + c + d for addition/subtraction), simple linear equations, and basic math word problems using step-by-step reasoning.
• Creative Writing & Chat: Consistently generates structured essays, writes poems, and maintains natural dialogue.
• Coding: Generates basic functional Python code (significantly improved over v2.0).

💡 Prompting & System Prompt

The model uses a strict ChatML format. (Note: The 4-bit quantized version of this model understands and follows System Prompts noticeably better than other versions).

Standard Mode (No thinking):

<|im_start|>user
[NOTHINK] {prompt}<|im_end|>
<|im_start|>assistant

Reasoning Mode ([THINK] token): To force the model to "think" and use logic before answering, modify the prompt template. If you are using LM Studio, simply type . or [THINK] right before your prompt (without a space).

<|im_start|>user
[THINK] {prompt}<|im_end|>
<|im_start|>assistant

---

🇷🇺 Описание на русском

Это масштабное обновление линейки dpp-gpt. Версия 2.1 Pro — это модель на 259М параметров, обученная полностью с нуля. Версия отличается значительным улучшением логики, качественным мультиязычным переводом и использует токен [THINK] для пошаговых рассуждений.

⚙️ Детали модели

• Параметры: 259M
• Слои / Размерность / Головы: 20 / 1024 / 16
• Контекст: 4096 токенов
• Словарь: 16,384 токена
• Формат весов: GGUF / PyTorch (.pth)
• Лицензия: Apache 2.0

📊 Данные для обучения

• Pre-training: 11.8 млрд токенов (~45.5 токенов/параметр, батч 512k).
• Fine-Tuning (SFT): >16.5 млн высококачественных токенов, сгенерированных в основном Gemma 4 (26b/12b/4b), немного Qwen 3.5 (35b/4b) и сложным кодом от DeepSeek v4 Flash.

🚀 Особенности и навыки

• Языки и Перевод: Отличное понимание русского, английского и французского языков. Уверенный перевод простых предложений между этими языками.
• Работа с текстом: Отличная работа со структурой слов. Разбор слов побуквенно, сборка слов из побуквенного написания, подсчет всех букв в слове, подсчет конкретной буквы в слове.
• Математика и Логика: Решение примеров вида a + b (до сотен тысяч), a + b + c, a + b + c + d (только сложение и вычитание). Решение простых линейных уравнений и простых текстовых задач с использованием логики (Chain-of-Thought).
• Творчество и диалог: Написание структурированных сочинений, стихов, поддержание адекватного диалога.
• Код: Написание базового функционального кода на Python (существенный шаг вперед по сравнению с 2.0).

💡 Шаблоны промпта и Системный промпт

Модель использует формат ChatML. (Примечание: 4-битная версия модели (Q4) справляется с пониманием системного промпта заметно лучше остальных квантований).

Стандартный шаблон (Без размышления):

<|im_start|>user
[NOTHINK] {запрос}<|im_end|>
<|im_start|>assistant

Режим размышления (Токен [THINK]): Для включения пошагового обдумывания нужно использовать соответствующий тег. При запуске через LM Studio достаточно просто написать . или [THINK] прямо перед началом вашего запроса (без пробела).

<|im_start|>user
[THINK] {запрос}<|im_end|>
<|im_start|>assistant

Hotfix

The GGUF files in this repository were re-uploaded as a hotfix.

An LM Studio update changed the way special tokens are handled, which made the previously published GGUF files generate broken output. The conversion has been fixed and the quantizations here were rebuilt from the corrected model. The weights are unchanged — only the token metadata inside the GGUF files.

If you downloaded a GGUF from this repository before this commit, please download it again.