uaritm/bge-m3-cardio-ua

BGE-M3 Cardio UA (Best Checkpoint) Спеціалізована модель для кардіології

---

language: - uk - en license: mit library_name: sentence-transformers pipeline_tag: sentence-similarity tags: - medical - cardiology - ukrainian - bge-m3 - triplet-loss

BGE-M3 Cardio UA (Fine-Tuned for Cardiology)

Ця модель є спеціалізованою версією BAAI/bge-m3, донавчання якої було сфокусоване на розумінні кардіологічної семантики українською мовою. Модель здатна розрізняти складні діагнози, протоколи лікування та симптоми, що робить її ідеальною для медичних пошукових систем або RAG-систем.

🚀 Основні покращення

• Медична спеціалізація: Навчена розрізняти схожі стани (наприклад, стабільна стенокардія vs інфаркт міокарда).
• Dense Layer Adaptation: Додано додатковий повнозв'язний шар (Dense), який виступає "медичним перекладачем", адаптуючи загальні ембеддінги BGE-M3 під вузьку термінологію.
• Triplet Training: Використання Triplet Loss дозволило "відштовхнути" неправильні клінічні рекомендації від правильних у векторному просторі.

📊 Параметри навчання

Модель була навчена з використанням наступних налаштувань:

• Базова модель: BAAI/bge-m3
• Архітектура: Transformer + CLS Pooling + Dense Layer (1024)
• Функція втрат (Loss): TripletLoss з margin = 0.4
• Метрика відстані: Cosine Similarity
• Кількість епох: 5
• Learning Rate: 2e-5 (агресивний старт для Dense-шару)
• Batch Size: 260 (ефективний)

🛠 Як використовувати

Для коректної роботи обов'язково використовуйте прапорець fix_mistral_regex=True через особливості токенізатора BGE-M3.

from sentence_transformers import SentenceTransformer

# Завантаження моделі
model = SentenceTransformer(
    "uaritm/bge-m3-cardio-ua", 
    model_kwargs={"fix_mistral_regex": True}
)

# Ваші тексти
queries = ["Скарги на стискаючий біль за грудиною, ЕКГ: елевація ST."]
documents = [
    "Протокол лікування гострого інфаркту міокарда: негайне стентування.",
    "Лікування гастриту та печії: дієта та антациди."
]

# Генерація ембеддінгів
query_emb = model.encode(queries)
doc_embs = model.encode(documents)

# Пошук схожості
from sentence_transformers import util
hits = util.semantic_search(query_emb, doc_embs, top_k=1)
print(hits)

### 4. Limitations

- Optimized for cardiology and cardiac surgery  
- Reduced accuracy outside these domains  
- No vision capabilities (text-only MedGemma IT)  
- May generate incomplete or generalized recommendations  

---

### 5. Citing & Authors
If you use this model in your research, please cite:

@misc{Ostashko2025MedGemmaCardiology,
  title  = {MedGemma-4B-Cardiology: A Domain-Finetuned Clinical LLM for Cardiology},
  author = {Uaritm},
  year   = {2025},
  url    = {ai.esemi.org}
}

Project homepage: https://ai.esemi.org

LicenseThe use of this model is subject to the terms of the original Gemma License. Please review and adhere to the associated licensing terms for the base model.