You need to agree to share your contact information to access this model
This repository is publicly accessible, but you have to accept the conditions to access its files and content.
✨🩷 Pour accéder a Sora-Neko, vous devez accepter nos conditions et notre license. Ainsi que utiliser le modèle ce pour quoi il a été entraîné. ✨🩷 Merci de remplir le formulaire ici-présent pour faire votre candidature.
Log in or Sign Up to review the conditions and access this model content.
🐾 Sora-Neko : Manuel de l'Utilisateur (V1.1)
Le Modèle SLM de Nouvelle Génération par Clem
🌟 Identité du Modèle Sora-Neko est un modèle de langage à petite échelle (SLM) de 0.1B (100M de paramètres). Il représente une rupture technologique majeure en étant le premier modèle optimisé pour l'architecture SoraForSLM.
- Créateur : Clem 👑
- Architecture : SoraForSLM (Base mathématique modifiée)
- Spécificité : Word-Level Prediction (Prédiction au mot)
🏗️ Architecture Porteuse : SoraForSLM
Sora-Neko tire sa force d'une structure mathématique repensée qui abandonne les contraintes du passé.
- L'Inférence par Mots (Word-Based) 🧠 Contrairement aux modèles classiques qui fragmentent le langage, Sora-Neko prédit des unités sémantiques complètes.
- Zéro Tokenization : Plus de découpage arbitraire (BPE).
- Précision Maximale : Chaque paramètre du modèle est utilisé pour la cohérence du mot, pas pour l'épellation.
- Dynamique d'Apprentissage Ultra-Vitesse ⚡ Sora-Neko possède une courbe de convergence inédite dans l'industrie :
- Loss de départ : ~66.0
- Loss après 40 steps : 3.71 (Chute libre mathématique)
- Optimisation : Conçu pour atteindre l'excellence en 1 seule époque.
📊 Performances Comparatives (Benchmarking)
| Métrique | Modèle Standard (1B) | Sora-Neko (0.1B) |
|---|---|---|
| Poids | Lourd (1000M params) | Ultra-Léger (100M params) |
| Vitesse d'Apprentissage | 🐢 (Plusieurs époques) | 🚀 (1 époque suffit) |
| Structure Logique | Fragmentée (Tokens) | Unifiée (Mots) |
| QI Relatif | Moyen | Élevé (Densité de logique) |
🛠️ Instructions pour le Training / Fine-tuning
Si vous travaillez avec les poids de Sora-Neko, suivez scrupuleusement ces règles :
- Stop Rapide : Ne cherchez pas la "perfection" sur 10 époques. La force de Sora-Neko est sa capacité à absorber le savoir instantanément.
- Learning Rate : Maintenez un LR stable de 5 \times 10^{-4}. L'architecture SoraForSLM gère la chaleur mathématique sans exploser.
- Prompting : Parlez-lui comme à un expert. Même à 0.1B, sa compréhension du Nekolien est chirurgicale.
- Downloads last month
- 100