Evalueringer
Evalueringsplatformen omsætter daglig brug til sammenlignelige signaler om modelkvalitet: hurtig feedback på enkelte svar, blinde dueller med Elo-rangliste og genanvendelige evalueringssæt, hvis kørsler er reproducerbare vedvarende jobs. Alt kører under din identitet og dine udbyderoplysninger. Følsomme dele – snapshots, kommentarer, prompter i sæt og kørselsresultater – krypteres i hvile.
Feedback på beskeder
Et svarbedømmelse gemmer mere end en tommelfinger. Et kompakt panel tilbyder emnetags (nøjagtighed, stil, ufuldstændigt, skadeligt, formatering) og en valgfri kommentar. Libre tager et snapshot af den bedømte udveksling – din prompt og svaret – så datapunktet overlever senere redigering eller sletning af chatten. Der findes én feedbackrække per bruger og besked; en ny bedømmelse erstatter den, og fjernelse af tommelfingeren sletter den. Dit datasæt findes under Evaluations → Feedback; administratorer kan læse hele installationens datasæt til kuratering. Private sessioner opretter aldrig feedbackrækker.
Arena og rangliste
En arenakamp sender én prompt til to valgte modeller og viser svarene i tilfældig rækkefølge. Modellernes identitet skjules, indtil stemmen er afgivet – første, anden, uafgjort eller begge dårlige – og hver bruger stemmer én gang per kamp. Ranglisten afspiller alle stemmer i indsættelsesrækkefølge gennem en deterministisk Elo-beregning (K=32, grundværdi 1000), så en genberegning altid giver samme stilling. ”Begge dårlige” tæller deltagelsen uden at ændre ratingen.
Evalueringssæt og kørsler
Et evalueringssæt er en navngivet liste med op til 50 prompter. En kørsel mod en model udføres som et vedvarende job: hver prompt kører én ad gangen med dine oplysninger, fremskridtet vises, fejl registreres per element i stedet for at afbryde hele kørslen, og annullering markerer kørslen som annulleret. En fuldført kørsel gemmer den præcise model, alle output og latenstid per element krypteret og kan eksporteres som JSON til sammenligning eller regressionssporing på tværs af model-, prompt- eller udbyderændringer.