experiment current eksperymenty

slayer-v3 — trening + pierwszy wynik LLMzSzŁ

Observations

data: 2026-06-13 ↗
status: clean ↗
baza: Qwen3.5-27B ↗
metoda: SFT bf16 DoRA r16/α32 (82.5M = 0.31%) ↗
harness: bench_llmzszl_likelihood.py (n=400, seed 42, identyczna próbka) ↗
v3 — LLMzSzŁ acc: 66.8 ↗
baza Qwen3.5-27B (ten box): 63.5 ↗
slayer v1: 65.0 ↗
Pierwszy czysty wynik v3 (SFT stylu na Qwen3.5-27B, decon gate CZYSTY). Wewnetrzna bramka LLMzSzL likelihood (n=400): v3 +3.3 nad baza (CI sie naklada, odporne). Vibe-check (6 promptow): v3 pisze naturalniejsza polszczyzna bez markdown/korpo-tonu na tekstach codziennych, traci gestosc/forme na kreatywnych (wiersz, gwara). Wiedza bez regresji. To wewnetrzny gate, nie oficjalne twierdzenie 5-shot. CPT (EntiGraph) odlozone — Munin (Danish FM) potwierdzil, ze SFT-first na Qwen-base wystarcza. ↗
eval-loss spadał monotonicznie do 0.441 (brak overfittingu, early-stop nie odpalił); ~36 s/krok na H100 80GB, 2h23m ↗
n_examples: 2233 ↗
miks: destylacja zdolności 1453 · EN retencja 484 · human PL (Aya/OASST) 175 · styl 121 ↗
train_cfg: DoRA r16/α32 · LR 5e-5 cosine · MAX_LEN 2048 · batch_eff 16 · early-stop 12% holdout / patience 2 · epoki 2 · kroki 246 ↗
eval-loss końcowy: 0.4413 ↗

uses-benchmark: LLMzSzŁ