Model Card for gemma-4-4b-khmer-sum
Model Details
Model Description
This model is a fine-tuned version of google/gemma-4-E4B-it specifically designed to generate high-accuracy, professional summaries in the Khmer language. It was trained using QLoRA (4-bit quantization) to efficiently process and summarize long articles and meeting transcripts.
- Developed by: lonewolf168
- Model type: Causal Language Model (Fine-tuned for Summarization)
- Language(s) (NLP): Khmer (km)
- License: gemma
- Finetuned from model: google/gemma-4-E4B-it
Model Sources
Uses
Direct Use
This model is intended to be used for summarizing long Khmer text, such as news articles, general documents, and meeting transcripts. It is formatted to produce concise, factual language without adding hallucinatory information.
How to Get Started with the Model
Use the code below to get started with the model.
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "lonewolf168/gemma-4-4b-khmer-sum"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")
text = "YOUR_KHMER_TEXT_HERE"
# Note the escaped curly braces for the text variable
prompt = f"<start_of_turn>user
Please provide a concise and professional summary of the following Khmer text.
{text}<end_of_turn>
<start_of_turn>model
"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=1024, temperature=0.2, do_sample=True)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Example Input
Text:
ចរាចរណ៍នៅច្រកអកមូហ្សមានសកម្មភាពមិនទាន់បានមួយថ្ងៃផង អ៊ីរ៉ង់បានប្រកាសបិទច្រកសមុទ្ទអកមូហ្សវិញ នៅព្រឹកថ្ងៃសៅរ៍ទី១៨មេសា ដោយពន្យល់ថា អ៊ីរ៉ង់ខំមានចេតនាល្អព្រមឱ្យនាវាស៊ីវិលធ្វើចរាចរណ៍ឆ្លងកាត់ច្រកអកមូហ្សឡើងវិញ តែអាមេរិកបែរជារំលោភពាក្យសន្យា។ អាមេរិកបន្តបិទខ្ទប់កំពង់ផែអ៊ីរ៉ង់ដដែល។
ស្ថានភាពច្រកសមុទ្ទអកមូហ្សត្រូវវិលទៅរកសភាពដើម ពោលគឺ អ៊ីរ៉ង់សម្រេចបិទច្រកយុទ្ធសាស្ត្រនេះវិញ និងចាប់ផ្តើមគ្រប់គ្រង រាល់សកម្មភាព ចេញចូល របស់គ្រប់នាវា យ៉ាងតឹងតែងបំផុត។ ដោយហេតុតែអាមេរិកនៅតែបន្តបិទខ្ទប់តំបន់ច្រកសមុទ្ទអកមូហ្ស ទើបអ៊ីរ៉ង់ប្តូរចិត្ត ត្រលប់ទៅបិទច្រកសមុទ្ទអកមូហ្សវិញ។ នេះបើតាមសេចក្តីប្រកាសរបស់ប្រមុខការទូតអ៊ីរ៉ង់ ដោយប្រកាសថាគ្មានការចរចាអាមេរិកអ៊ីរ៉ង់ ជុំទីពីរ នៅប៉ាគីស្ថានទេ។
សូមបញ្ជាក់ថា នៅរសៀលថ្ងៃសុក្រទី ១៧មេសាម្សិលមិញ បន្ទាប់ពីប្រធានាធិបតីអាមេរិកប្រកាសបទឈប់បាញ់រយៈពេល១០ថ្ងៃ រវាងអ៊ីស្រាអែល និងលីបង់ភ្លាម រដ្ឋមន្រ្តីការបរទេសអ៊ីរ៉ង់លោកអាបាស អារ៉ាឈី បានប្រកាសបើកច្រកអកមូហ្សភ្លែត។ តែក៏មានព័ត៌មានចម្រូងចម្រាសគ្នាច្រើន មិនគួរឱ្យទុកចិត្តដែរ។ ជាសរុប មាននាវាដឹកប្រេង និងឧស្ម័ន ប្រមាណតែ៨គ្រឿងប៉ុណ្ណោះ បានឆ្លងកាត់ច្រកអកមូហ្សរួច ក្នុងរយៈពេលនៃការបើកច្រកបានជិត២០ម៉ោង៕
Example Output
Summary:
ការឆ្លងកាត់របស់នាវាសព្វប្រភេទតាមកាលៈទេសៈរបស់ខ្លួន។ នេះបើតាមការប្រកាសរបស់ក្រសួងការបរទេសអ៊ីរ៉ង់។ ក្រសួងការបរទេសអ៊ីរ៉ង់បានបញ្ជាក់ថា អាមេរិកបានបន្តធ្វើសកម្មភាពមិនគោរពកិច្ចព្រមព្រៀងដែលបានធ្វើឡើងកាលពីខែកុម្ភៈកន្លងទៅ។ ក្រសួងការបរទេសអ៊ីរ៉ង់បានបញ្ជាក់ថា អាមេរិកបានបន្តធ្វើសកម្មភាព«ប្រឆាំងនឹងកិច្ចព្រមព្រៀងដែលបានធ្វើឡើងកាលពីខែកុម្ភៈ»។ អាមេរិកបានបន្តបិទខ្ទប់កំពង់ផែអ៊ីរ៉ង់ដដែល។ អាមេរិកបានបន្តបិទខ្ទប់កំពង់ផែអ៊ីរ៉ង់ដដែល។ អាមេរិកបានបន្តបិទខ្ទប់កំពង់ផែអ៊ីរ៉ង់ដដែល។ អាមេរិកបានបន្តបិទខ្ទប់កំពង់ផែអ៊ីរ៉ង់ដដែល។ អាមេរិកបានបន្តបិទខ្ទប់កំពង់ផែអ៊ីរ៉ង់ដដែល។ អាមេរិកបានបន្តបិទខ្ទប់កំពង់ផែអ៊ីរ៉ង់ដដែល។ អាមេរិកបានបន្តបិទខ្ទប់កំពង់ផែអ៊ីរ៉ង់ដដែល។ អាមេរិកបានបន្តបិទខ្ទប់កំពង់ផែអ៊ីរ៉ង់ដដែល។ អាមេរិកបានបន្តបិទខ្ទប់កំពង់ផែអ៊ីរ៉ង់ដដែល
Training Details
Training Data
The model was fine-tuned on the Khmer (khm) subset of the bltlab/lr-sum dataset, which contains high-quality text-summary pairs.
Training Hyperparameters
- Training regime: QLoRA (4-bit, nf4, bfloat16)
- LoRA Rank (r): 16
- LoRA Alpha: 32
- Target Modules: all-linear
- Learning Rate: 2e-4
- Optimizer: paged_adamw_8bit
- Batch Size: 4 (with gradient accumulation steps = 4, effective batch size = 16)
- Max Steps: 500
- Warmup Steps: 50
Environmental Impact
- Hardware Type: Google Colab GPU (e.g., L4, A100)
- Downloads last month
- 6