app.py

import gradio as gr
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
import warnings
warnings.filterwarnings("ignore")

# Model ve tokenizer'ı global olarak tanımla
model = None
tokenizer = None

def load_model():
    """Modeli yükle"""
    global model, tokenizer
    
    model_name = "Intelligent-Internet/II-Medical-8B"
    
    try:
        # Tokenizer'ı yükle
        tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
        
        # GPU kullanılabilir mi kontrol et
        device = "cuda" if torch.cuda.is_available() else "cpu"
        
        if device == "cuda":
            # 4-bit quantization kullanarak modeli yükle (GPU bellek kullanımını azaltmak için)
            quantization_config = BitsAndBytesConfig(
                load_in_4bit=True,
                bnb_4bit_compute_dtype=torch.float16,
                bnb_4bit_use_double_quant=True,
                bnb_4bit_quant_type="nf4"
            )
            
            model = AutoModelForCausalLM.from_pretrained(
                model_name,
                quantization_config=quantization_config,
                device_map="auto",
                trust_remote_code=True,
                torch_dtype=torch.float16
            )
        else:
            # CPU için daha hafif yükleme
            model = AutoModelForCausalLM.from_pretrained(
                model_name,
                trust_remote_code=True,
                torch_dtype=torch.float32,
                device_map="cpu"
            )
        
        return f"✅ Model başarıyla yüklendi! ({device} üzerinde çalışıyor)"
    
    except Exception as e:
        return f"❌ Model yükleme hatası: {str(e)}"

def generate_response(message, history, max_tokens=512, temperature=0.7, top_p=0.9):
    """Tıbbi sohbet için yanıt üret"""
    global model, tokenizer
    
    if model is None or tokenizer is None:
        return "❌ Model henüz yüklenmedi. Lütfen bekleyin..."
    
    try:
        # Sohbet geçmişini formatla
        conversation = ""
        for human, assistant in history:
            conversation += f"Hasta: {human}\nDoktor: {assistant}\n"
        
        # Mevcut mesajı ekle
        conversation += f"Hasta: {message}\nDoktor:"
        
        # System prompt ekle
        system_prompt = """Sen deneyimli bir tıp doktorusun. Hastalara yardımcı olmak, tıbbi sorularını yanıtlamak ve genel sağlık tavsiyeleri vermek için buradaSın. Her zaman:
1. Empati göster ve sabırlı ol
2. Karmaşık tıbbi terimleri basit dille açıkla
3. Acil durumlar için hemen doktora başvurmasını öner
4. Kesin tanı koymak yerine genel bilgiler ver
5. Her zaman profesyonel bir doktor muayenesinin önemini vurgula

Lütfen yardımcı ve bilgilendirici bir yanıt ver."""
        
        full_prompt = f"{system_prompt}\n\n{conversation}"
        
        # Tokenize et
        inputs = tokenizer.encode(full_prompt, return_tensors="pt")
        
        # Cihaza gönder
        device = next(model.parameters()).device
        inputs = inputs.to(device)
        
        # Yanıt üret
        with torch.no_grad():
            outputs = model.generate(
                inputs,
                max_new_tokens=max_tokens,
                temperature=temperature,
                top_p=top_p,
                do_sample=True,
                pad_token_id=tokenizer.eos_token_id,
                repetition_penalty=1.1
            )
        
        # Yanıtı decode et
        response = tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokens=True)
        
        # Yanıtı temizle
        response = response.strip()
        if response.startswith("Doktor:"):
            response = response[7:].strip()
        
        return response
    
    except Exception as e:
        return f"❌ Yanıt üretme hatası: {str(e)}"

def clear_chat():
    """Sohbeti temizle"""
    return [], ""

# Model yükleme durumu
model_status = load_model()

# Gradio arayüzü oluştur
with gr.Blocks(title="🏥 Tıbbi Asistan - II-Medical-8B", theme=gr.themes.Soft()) as demo:
    gr.Markdown("""
    # 🏥 Tıbbi Asistan - II-Medical-8B
    
    Bu AI asistan, **II-Medical-8B** modeli kullanılarak geliştirilmiştir. Tıbbi sorularınızı sorabilir ve genel sağlık tavsiyeleri alabilirsiniz.
    
    ⚠️ **Önemli Uyarı:** Bu asistan gerçek bir doktor değildir. Verilen bilgiler sadece genel amaçlıdır ve profesyonel tıbbi muayenenin yerini tutmaz.
    """)
    
    # Model durumu gösterge
    status_display = gr.Markdown(f"**Model Durumu:** {model_status}")
    
    with gr.Row():
        with gr.Column(scale=3):
            chatbot = gr.Chatbot(
                label="🩺 Tıbbi Sohbet",
                height=500,
                show_copy_button=True
            )
            
            with gr.Row():
                msg = gr.Textbox(
                    placeholder="Tıbbi sorunuzu buraya yazın... (örn: 'Baş ağrım var, ne yapmalıyım?')",
                    label="Mesajınız",
                    scale=4
                )
                send_btn = gr.Button("📨 Gönder", variant="primary", scale=1)
            
            with gr.Row():
                clear_btn = gr.Button("🗑️ Sohbeti Temizle", variant="secondary")
                retry_btn = gr.Button("🔄 Tekrar Dene", variant="secondary")
        
        with gr.Column(scale=1):
            gr.Markdown("### ⚙️ Ayarlar")
            
            max_tokens = gr.Slider(
                minimum=100,
                maximum=1000,
                value=512,
                step=50,
                label="Maksimum Token Sayısı"
            )
            
            temperature = gr.Slider(
                minimum=0.1,
                maximum=1.5,
                value=0.7,
                step=0.1,
                label="Temperature (Yaratıcılık)"
            )
            
            top_p = gr.Slider(
                minimum=0.1,
                maximum=1.0,
                value=0.9,
                step=0.05,
                label="Top-p (Odaklanma)"
            )
            
            gr.Markdown("""
            ### 📋 Örnek Sorular
            - "Baş ağrım var, ne yapmalıyım?"
            - "Grip belirtileri nelerdir?"
            - "Sağlıklı beslenme için öneriler"
            - "Egzersiz yaparken dikkat edilecekler"
            - "Stres yönetimi teknikleri"
            """)
    
    # Event handlers
    def respond(message, history, max_tokens, temperature, top_p):
        if not message.strip():
            return history, ""
        
        bot_message = generate_response(message, history, max_tokens, temperature, top_p)
        history.append((message, bot_message))
        return history, ""
    
    # Mesaj gönderme
    msg.submit(respond, [msg, chatbot, max_tokens, temperature, top_p], [chatbot, msg])
    send_btn.click(respond, [msg, chatbot, max_tokens, temperature, top_p], [chatbot, msg])
    
    # Sohbeti temizle
    clear_btn.click(clear_chat, [], [chatbot, msg])
    
    # Tekrar dene
    def retry_last():
        return chatbot.value[:-1] if chatbot.value else [], ""
    
    retry_btn.click(retry_last, [], [chatbot, msg])
    
    gr.Markdown("""
    ---
    **⚠️ Feragatname:** Bu AI asistan eğitim ve bilgi amaçlıdır. Acil durumlarda 112'yi arayın. 
    Herhangi bir sağlık sorunu için mutlaka nitelikli bir sağlık profesyoneline başvurun.
    
    **Model:** [II-Medical-8B](https://huggingface.co/Intelligent-Internet/II-Medical-8B) | **Geliştirici:** [Intelligent-Internet](https://huggingface.co/Intelligent-Internet)
    """)

if __name__ == "__main__":
    demo.launch()