slayer-v2-klej

Observations

• data: 2026-06-09 ↗
• status: contaminated ↗
• baza: Qwen3.5-27B ↗
• metoda: DoRA r=16 · KLEJ-targeted SFT ↗
• harness: nasza (greedy, enable_thinking=False, n=200) — NIE 5-shot leaderboard ↗
• psc: 97.5 ↗
• ppc: 81.0 ↗
• dyk: 86.0 ↗
• belebele: 92.0 ↗
• 8tags: 81.0 ↗
• polemo2_in: 89.5 ↗
• macro: 87.83 ↗
• base_macro: 81.83 ↗
• Trenowany na train splitach KLEJ → KONTAMINACJA. Dowód: belebele +0.0 (0 przykładów w miksie) vs psc +26.5 — artefakt train-splitów, nie zdolność. NIE jest claimem leaderboardowym. Train≠test (dedup), więc to nie oszustwo, ale nieporównywalne z wynikami 5-shot leaderboardu. ↗
• Krzywa = live snapshot z podu H100 (raw per-step + EMA). Model na HF = checkpoint best. ↗
• n_examples: 2482 ↗
• miks: klej_train_split 1100 · style 1004 · replay 228 · klej_synth 150 ↗
• train_cfg: DoRA r 16 · LR 5e-5 · alpha 32 · batch 4×8 · early_stop patience 2 · epochs 2 · max_len 1024 · quant bf16 ↗
• early-stop: step 150 — best eval-loss 0.6978 (180/210 gorsze → stop, restore 150) ↗
• eval-loss końcowy: 0.737 ↗
• HF: kacperwikiel/slayer-v2-qwen3.5-27b-klej ↗
• HF: kacperwikiel/slayer-data-v2-klej-mix ↗
• dataset: Miks 2482 przykładów: 1004 styl (teacher rewrite) + 1100 KLEJ train-split (KONTAMINACJA) + 150 synth KLEJ + 228 replay (anti-forgetting). Pełne pliki + skład co do przykładu na HF (prywatny). ↗

Related

uses-benchmark: Belebele (PL)

Referenced by

• anti-forgetting (mentions)
• KONTAMINACJA (mentions)
• DYK (mentions)
• EVAL (mentions)
• DoRA (mentions)
• belebele (mentions)
• SFT (mentions)
• PPC (mentions)
• KLEJ (mentions)
• KLEJ (defined-by)
• PSC (mentions)

Local graph

Provenance