Prophet

concept draft glosariusz

held-out

Observations

najnowsze egzaminy CKE/PES · wykrywanie benchmaxxingu ↗
Prywatny held-out — świeże arkusze (anty-benchmaxxing) Cel: wykrywać benchmaxxing. Jeśli publiczny bench rośnie, a held-out płaski/spada → flaga. ↗

mentions: Slayer v3 — Scenariusz: destylacja + wiedza z podręczników (CZYSTO), Knowledge probe — długi ogon wiedzy o Polsce, Slayer — Data Lineage (v1 / v2 / v3), Własny polski BPE koduje polski 1.58× gęściej niż Llama-3, Slayer — open Polish LLM lab, Prywatny held-out, SOTA 2026 Baseline Matrix, knowledge_probe_v1 — długi ogon wiedzy o Polsce (smoke), Slayer v3 — Clean Data Plan, Plan: Slayer style-tuning v2 — anti-forgetting protocol — 2026-06-09, Prywatny held-out — świeże arkusze (anty-benchmaxxing), Polish Morpheme Boundary Benchmark Protocol, Slayer v3 — Plan (CPT-first: wiedza → umiejętności → preferencje)
defined-by: Prywatny held-out, Prywatny held-out — świeże arkusze (anty-benchmaxxing)

Local graph

held-out

→ mentions Slayer v3 — Scenariusz: destylacja + wiedza z podręczników (CZYSTO)
→ mentions Knowledge probe — długi ogon wiedzy o Polsce
→ mentions Slayer — Data Lineage (v1 / v2 / v3)
→ mentions Własny polski BPE koduje polski 1.58× gęściej niż Llama-3
→ mentions Slayer — open Polish LLM lab
→ mentions Prywatny held-out
→ mentions SOTA 2026 Baseline Matrix
→ mentions knowledge_probe_v1 — długi ogon wiedzy o Polsce (smoke)
→ mentions Slayer v3 — Clean Data Plan
→ mentions Plan: Slayer style-tuning v2 — anti-forgetting protocol — 2026-06-09
→ mentions Prywatny held-out — świeże arkusze (anty-benchmaxxing)
→ mentions Polish Morpheme Boundary Benchmark Protocol
→ mentions Slayer v3 — Plan (CPT-first: wiedza → umiejętności → preferencje)
→ defined-by Prywatny held-out
→ defined-by Prywatny held-out — świeże arkusze (anty-benchmaxxing)

Provenance