Suita generatywna (ollama, Q4)

Observations

• protokół: generacja + exact match / sędzia LLM / chrF; pełne lub duże n; seed 42; oba modele ten sam backend ↗
• LLMzSzŁ (n=18821, litera): Qwen3.5-9B 58.2 ↗
• PES (n=70010): Qwen3.5-9B 52.7 ↗
• Belebele PL (n=900): Qwen3.5-9B 89.4 ↗
• PoQuAD (judged, n=1500): Qwen3.5-9B 82.8 ↗
• FLORES PL↔EN (chrF): Qwen3.5-9B 55.0 ↗
• Belebele EN (n=900): Qwen3.5-9B 94.9 ↗
• ARC (n=1172): Qwen3.5-9B 94.1 ↗
• MMLU (n=2000): Qwen3.5-9B 77.1 ↗
• GSM8K (n=600): Qwen3.5-9B 90.5 ↗
• Tryb generatywny: nie porównywać z sekcją likelihood (inna metryka tego samego zbioru). ↗

Related

uses-benchmark: LLMzSzŁ, FLORES-200 (PL), MMLU (EN), Belebele (PL), ARC-Challenge (EN), GSM8K (EN), PES (medyczny), PoQuAD

Referenced by

• MMLU (mentions)
• generacja (mentions)
• GSM8K (mentions)
• PoQuAD (mentions)
• PES (mentions)
• ARC (mentions)
• belebele (mentions)
• LLMzSzL (mentions)
• chrF (mentions)
• FLORES (mentions)
• LLM (mentions)

Local graph

Provenance