評価

評価プラットフォームは、日々の利用を比較可能なモデル品質のシグナルへ変換します。個々の返信への素早いフィードバック、Elo リーダーボード付きの匿名対戦アリーナ、再現可能な永続ジョブとして実行する再利用可能な評価セットを利用できます。すべての処理は自分自身の ID とプロバイダー認証情報で行われ、スナップショット、コメント、セットのプロンプト、実行出力といった機密部分は保存時に暗号化されます。

メッセージへのフィードバック

アシスタントの返信を評価すると、単なる高評価・低評価以上の情報が記録されます。コンパクトなパネルでは、トピックタグ（正確性、スタイル、不完全、有害、書式）と任意のコメントを指定できます。Libre は評価対象のやり取り、つまりユーザーのプロンプトと返信をスナップショットとして保存するため、後でチャットを編集または削除してもデータポイントは残ります。フィードバック行はユーザーとメッセージの組み合わせごとに 1 行です。再評価すると置き換わり、評価を解除すると削除されます。自分のデータセットは評価 → フィードバックにあります。管理者はキュレーションのため、インスタンス全体のデータセットを読み取れます。プライベートセッションからフィードバック行が作られることはありません。

アリーナとリーダーボード

アリーナ対戦では、選択した 2 つのモデルへ同じプロンプトを送り、両方の返信をランダムな順序で表示します。投票するまでモデルの正体は伏せられ、1 番、2 番、引き分け、両方とも不適切、のいずれかに投票します。各ユーザーが投票できるのは対戦ごとに 1 回です。リーダーボードは、すべての投票を挿入順に決定論的な Elo レーティング（K=32、初期値 1000）へ適用します。そのため、再計算しても常に同じ順位になります。「両方とも不適切」は参加として数えられますが、レーティングは変動しません。

評価セットと実行

評価セットは、最大 50 個のプロンプトからなる名前付きリストです。セットをモデルに対して実行すると、永続ジョブとして処理されます。各プロンプトは自分の認証情報を使って 1 つずつ実行され、実行中は進行状況を確認できます。項目の失敗は実行全体を中断せず、項目ごとに記録されます。キャンセルした場合は実行がキャンセル済みとして記録されます。完了した実行には、正確なモデル、すべての出力、項目ごとのレイテンシーが暗号化して保存されます。また、モデル、プロンプト、プロバイダーの変更前後を並べて比較したり、回帰を追跡したりできるよう JSON としてエクスポートできます。