Update app.py

app.py

@@ -7,27 +7,27 @@ from llama_cpp import Llama
 
 app = FastAPI(
     title="Dimercia AI",
-    version="0.1.3",
-    description="API OpenAI compatible souveraine - Version Multi-Thread"
+    version="0.1.4",
+    description="API OpenAI compatible souveraine - Anti-Timeout pour Cline"
 )
 
 # --- Initialisation globale ---
 MODEL_PATH = "/app/models/qwen2.5-coder-1.5b-instruct-q4_k_m.gguf"
 
-print("Chargement de Dimercia AI v0.1.3 en mémoire RAM...")
+print("Chargement de Dimercia AI v0.1.4 en mémoire RAM...")
 llm = Llama(
     model_path=MODEL_PATH,
-    n_ctx=16384,     # 16k : le juste milieu parfait pour l'agilité sur CPU gratuit
-    n_threads=4,     # Exploite au mieux les ressources de calcul
+    n_ctx=16384,     # 16k conserve un parfait équilibre sur CPU
+    n_threads=4,     # Exploite à fond le calcul parallèle
     verbose=False
 )
-print("Dimercia AI v0.1.3 est prêt.")
+print("Dimercia AI v0.1.4 est prêt.")
 
 @app.get("/")
 def home():
     return {
         "name": "Dimercia AI",
-        "version": "0.1.3",
+        "version": "0.1.4",
         "status": "running"
     }
 
@@ -36,11 +36,7 @@ def models():
     return {
         "object": "list",
         "data": [
-            {
-                "id": "dimercia-coder",
-                "object": "model",
-                "owned_by": "dimercia"
-            }
+            {"id": "dimercia-coder", "object": "model", "owned_by": "dimercia"}
         ]
     }
 
@@ -51,7 +47,7 @@ async def chat(request: Request):
     except Exception:
         return JSONResponse(status_code=400, content={"detail": "JSON invalide"})
 
-    # --- Nettoyage adaptatif du Payload (Anti-422 Cline/Cursor) ---
+    # --- Nettoyage adaptatif du Payload ---
     raw_messages = body.get("messages", [])
     cleaned_messages = []
     
@@ -71,22 +67,35 @@ async def chat(request: Request):
     max_tokens = body.get("max_tokens", 512)
     stream = body.get("stream", False)
 
-    # Paramètres de calcul convertis proprement
     temp_val = float(temperature) if temperature is not None else 0.2
     tokens_val = int(max_tokens) if max_tokens is not None else 512
 
-    # --- Gestion du mode STREAMING (Non-bloquant) ---
+    # --- Gestion du mode STREAMING (Avec système anti-timeout) ---
     if stream:
-        # On instancie l'itérateur synchrone dans un thread séparé
-        iterator = await asyncio.to_thread(
-            llm.create_chat_completion,
-            messages=cleaned_messages,
-            temperature=temp_val,
-            max_tokens=tokens_val,
-            stream=True
-        )
-
         async def chunk_generator():
+            # Étape 1 : Lancer la création de l'itérateur dans un thread séparé (non-bloquant)
+            task = asyncio.create_task(asyncio.to_thread(
+                llm.create_chat_completion,
+                messages=cleaned_messages,
+                temperature=temp_val,
+                max_tokens=tokens_val,
+                stream=True
+            ))
+
+            # Étape 2 : Tant que llama.cpp calcule le prefill, on envoie des pings invisibles à Cline
+            while not task.done():
+                # Envoi d'un chunk de commentaire SSE pour garder la connexion ouverte
+                yield ": heartbeat\n\n"
+                await asyncio.sleep(1.0) # Attendre 1 seconde avant le prochain ping
+
+            try:
+                iterator = task.result()
+            except Exception as e:
+                yield f"data: {json.dumps({'error': str(e)})}\n\n"
+                yield "data: [DONE]\n\n"
+                return
+
+            # Étape 3 : Consommer les tokens normalement dès qu'ils sont prêts
             def get_next_chunk(it):
                 try:
                     return next(it)
@@ -96,7 +105,6 @@ async def chat(request: Request):
                     return ex
 
             while True:
-                # On consomme l'itérateur token par token sans jamais bloquer l'Event Loop
                 chunk = await asyncio.to_thread(get_next_chunk, iterator)
                 if chunk is None:
                     break
@@ -107,14 +115,14 @@ async def chat(request: Request):
                 if "model" in chunk:
                     chunk["model"] = "dimercia-coder"
                 yield f"data: {json.dumps(chunk)}\n\n"
+                
             yield "data: [DONE]\n\n"
 
         return StreamingResponse(chunk_generator(), media_type="text/event-stream")
 
-    # --- Gestion du mode STANDARD (Non-bloquant) ---
+    # --- Gestion du mode STANDARD ---
     else:
         try:
-            # Déportation du calcul lourd dans le pool de threads d'FastAPI
             response = await asyncio.to_thread(
                 llm.create_chat_completion,
                 messages=cleaned_messages,