Kiértékelések

A kiértékelési platform a mindennapi használatot összehasonlítható minőségi jelzésekké alakítja: gyors visszajelzés a válaszokról, vak párharcok Elo-rangsorral és újrahasznosítható kiértékelési készletek megismételhető tartós feladatokként. Minden a saját identitásával és szolgáltatói hitelesítő adataival fut. A pillanatképek, megjegyzések, készletpromptok és kimenetek nyugalmi állapotban titkosítottak.

Üzenet-visszajelzés

Egy válasz értékelése egy egyszerű szavazatnál többet rögzít. Egy kompakt panel címkéket kínál (pontosság, stílus, hiányos, káros, formázás) és opcionális megjegyzést. A Libre pillanatképet őriz a cseréről — a promptról és a válaszról —, így az adatpont túléli a beszélgetés későbbi szerkesztését vagy törlését. Felhasználónként és üzenetenként egy sor létezik; az új értékelés lecseréli, a szavazat törlése pedig eltávolítja. Saját adatai az Evaluations → Feedback alatt találhatók; a rendszergazdák a teljes példány adatait olvashatják. A privát munkamenetek nem hoznak létre bejegyzést.

Aréna és rangsor

Egy párharc ugyanazt a promptot két modellnek küldi el, majd véletlenszerű sorrendben jeleníti meg a válaszokat. Az identitások a szavazásig rejtve maradnak — első, második, döntetlen vagy mindkettő rossz —, és minden felhasználó egyszer szavazhat. A rangsor a szavazatokat beviteli sorrendben, determinisztikus Elo-val játssza vissza (K=32, alap 1000), így az újraszámítás ugyanazt az eredményt adja. A „mindkettő rossz” részvételnek számít, de nem változtatja a pontszámot.

Kiértékelési készletek és futások

Egy készlet legfeljebb 50 promptból álló elnevezett lista. Egy modellen való futtatása tartós feladat: minden prompt sorban fut a saját hitelesítő adataival, a folyamat látható, a hibák elemenként rögzülnek anélkül, hogy az egész futást leállítanák, a megszakítás pedig megszakítottnak jelöli. Egy befejezett futás titkosítva megőrzi a pontos modellt, minden kimenetet és az elemenkénti késleltetést, és JSON-ként exportálható összehasonlításhoz vagy regressziókövetéshez a modell, prompt vagy szolgáltató változásai között.