Downloads

Every published decision is in a gzipped JSONL log. A line is one answer: the request body, the raw response, gold, latency, model version, hardware, and config. Rescoring offline does not require calling the model again.

gzip -dc downloads/tfidf__banking77.jsonl.gz | head

• decider / ag_news decisions (.jsonl.gz) · summary · n=200
• majority / ag_news decisions (.jsonl.gz) · summary · n=800
• random / ag_news decisions (.jsonl.gz) · summary · n=800
• tfidf / ag_news decisions (.jsonl.gz) · summary · n=800
• majority / agent_gate decisions (.jsonl.gz) · summary · n=6
• random / agent_gate decisions (.jsonl.gz) · summary · n=6
• tfidf / agent_gate decisions (.jsonl.gz) · summary · n=6
• decider / agent_tool_routing decisions (.jsonl.gz) · summary · n=200
• majority / banking77 decisions (.jsonl.gz) · summary · n=3080
• random / banking77 decisions (.jsonl.gz) · summary · n=3080
• tfidf / banking77 decisions (.jsonl.gz) · summary · n=3080
• decider / helpsteer2 decisions (.jsonl.gz) · summary · n=200
• majority / helpsteer2 decisions (.jsonl.gz) · summary · n=300
• random / helpsteer2 decisions (.jsonl.gz) · summary · n=300
• tfidf / helpsteer2 decisions (.jsonl.gz) · summary · n=300
• majority / passage_relevance decisions (.jsonl.gz) · summary · n=4
• random / passage_relevance decisions (.jsonl.gz) · summary · n=4
• tfidf / passage_relevance decisions (.jsonl.gz) · summary · n=4
• decider / prompt_injection decisions (.jsonl.gz) · summary · n=116
• majority / prompt_injection decisions (.jsonl.gz) · summary · n=116
• random / prompt_injection decisions (.jsonl.gz) · summary · n=116
• tfidf / prompt_injection decisions (.jsonl.gz) · summary · n=116
• decider / shell_risk_safe decisions (.jsonl.gz) · summary · n=200
• decider / sms_spam decisions (.jsonl.gz) · summary · n=200
• majority / sms_spam decisions (.jsonl.gz) · summary · n=836
• random / sms_spam decisions (.jsonl.gz) · summary · n=836
• tfidf / sms_spam decisions (.jsonl.gz) · summary · n=836
• majority / support_routing decisions (.jsonl.gz) · summary · n=18
• random / support_routing decisions (.jsonl.gz) · summary · n=18
• tfidf / support_routing decisions (.jsonl.gz) · summary · n=18
• majority / tool_selection decisions (.jsonl.gz) · summary · n=16
• random / tool_selection decisions (.jsonl.gz) · summary · n=16
• tfidf / tool_selection decisions (.jsonl.gz) · summary · n=16
• majority / wiki_toxic decisions (.jsonl.gz) · summary · n=500
• random / wiki_toxic decisions (.jsonl.gz) · summary · n=500
• tfidf / wiki_toxic decisions (.jsonl.gz) · summary · n=500