답변이 믿을 만한지를 생성 토큰 0개로 읽습니다. 말로 물어보는 방식과 달리 추가 토큰도, 두 번째 모델도 필요하지 않습니다.
ZTC가 답이 믿을 만한지를 토큰 없이 판정한다면, RSI(모델 기반 재귀적 자가개선)는 모델 자체를 키웁니다. 모델의 가중치가 자기 풀이로만 학습해 스스로 개선됩니다. 사람이 쓴 풀이나 추론 과정은 쓰지 않고, 정답 여부는 자동으로 확인합니다.
구글 RRSI가 AI의 업무 틀(하네스)을 고친다면, Darwin-RSI는 AI의 두뇌 자체를 자기 풀이로만 키웁니다. 둘은 합칠 수 있는 짝입니다.
| 외부 심판 모델 | ZTC | |
|---|---|---|
| 판단 시점 | 답이 나온 뒤 | 시작하기 전 |
| 추가 모델 | 필요 (두 개를 운영) | 없음 (하나) |
| 추가 생성 토큰 | 질문+답변을 다시 읽음 | 0 |
| 답이 길어지면 | 길수록 나빠짐 | 길이와 무관 |
벤더마다 자기 벤치마크를 내고 자기가 1등을 합니다. 그래서 같은 2,018문항·같은 라벨로 17종을 나란히 재고, 점수·라벨·채점 코드를 공개했습니다.
| 시스템 | 제공 형태 | AUC |
|---|---|---|
| JEV | TypeSafe AI · API 전용 | 0.7350 |
| ZTC-Judge-27B | 비드래프트 · 가중치 공개 | 0.7289 |
| Darwin-397B-ZTC | 비드래프트 · 가중치 공개 | 0.7272 |
| ZTC-Judge-9B | 비드래프트 · 가중치 공개 | 0.6506 |
| ZTC-Judge-4B | 비드래프트 · 가중치 공개 | 0.6360 |
| 길이·서식 기준선 | 참고행 | 0.6223 |
| Bespoke Nimble 9B | Bespoke Labs | 0.6222 |
| open-jev 4B | pngwn | 0.6101 |
| decider-2b | Mapika | 0.6028 |
| Patronus Lynx 8B | Patronus AI | 0.5179 |
| Laya-Typed-Decisions 421M | Convai | 0.5144 |
| 모델 자신이 말한 확신 | 참고행 | 0.5000 |
| Laya-Multilingual 322M | Convai | 0.4796 |
※ LLM 에게 그냥 물어본 경우(토큰을 생성하므로 이 축 바깥, 순위 없음), GPT-5.2 0.7148 · Qwen3-Next-80B 0.6366 · GPT-4o-mini 0.5878 · Gemini 2.5 Flash-Lite 0.5822.
※ 축이 다른 도구 7종Vectara HHEM-2.1 0.4852(주어진 문서로부터 답이 도출되는지를 보는 도구이며, 이 시험지에는 문서가 없습니다) 외에 게임 행동 분포·다섯 개 고정 결정·개체명 추출·영업 전환 예측·베이스 무변경 디코딩 기법 등 6종은 사유와 링크를 붙여 점수 없이 등재했습니다.
※ 공개됐지만 배포된 파일로 실행되지 않은 4종은 사유와 링크를 붙여 점수 없이 등재했습니다.
1~3위는 통계적으로 구분되지 않습니다. 선두 JEV(0.7350)와 ZTC-Judge-27B(0.7289)·Darwin-397B-ZTC(0.7272)의 차이는 0.0061·0.0078 이고, 짝지은 부트스트랩 3,000회의 95% 구간은 −0.034~+0.020 입니다. 구간이 0을 포함하면 순위를 매기지 않는다는 규칙을 표 맨 아래뿐 아니라 맨 위에도 적용합니다.
기준선은 0.5가 아니라 0.6223 입니다. 답변의 길이·서식만 보는 모델의 점수이며, 17종 중 9종이 그 아래입니다. (예전에 적힌 0.7036 은 기준선만 다른 자: 전문시험 400문항 무작위 폴드: 로 잰 값이었습니다. 같은 특징을 리더보드 규칙으로 다시 재어 바로잡았고, 특징은 하나도 바꾸지 않았습니다.) 그 선 밑의 검증기는 정답 여부가 아니라 답변의 겉모양을 읽고 있습니다.
종합 점수는 다섯 분야의 평균입니다. 분야끼리는 서로 다른 말을 합니다.
| 분야 | n | JEV | 397B-ZTC | Judge-27B |
|---|---|---|---|---|
| 전문시험(법·수학·생물) | 400 | 0.7981 | 0.8643 | 0.8462 |
| 생물·의학 | 917 | 0.7185 | 0.7306 | 0.7168 |
| 상식·다단계추론 | 278 | 0.6006 | 0.5920 | 0.6123 |
| 재난·안전 지침 | 225 | 0.7620 | 0.7223 | 0.6938 |
| 과학추론 | 198 | 0.8421 | 0.6298 | 0.7520 |
※ 과학추론은 JEV 가 0.8421 로 1위입니다. 공동 선두인 ZTC-Judge-27B(0.7520)보다 0.09, Darwin-397B-ZTC(0.6298)보다 0.21 앞섭니다. 작업이 과학추론이라면 종합 순위가 아니라 이 행을 보셔야 합니다.
※ 모델이 크다고 낫지 않습니다. 같은 계열 안에서 397B 가 과학추론에서 27B 보다 0.12 낮습니다.
※ 상식·다단계추론은 전 시스템이 0.60 근처입니다. 아무도 못 푼 분야가 있다는 사실이 순위보다 유용합니다.
2,018문항 · 오답 508 · 5개 분야 · 4개 모델이 쓴 답변. 한 시스템에서 실패한 문항은 모든 시스템에서 제외해, 누구도 더 쉬운 부분집합으로 채점되지 않습니다.
AUC틀린 답이 아래로 얼마나 잘 가라앉는지. 문턱값이 필요 없고 0.5가 찍기입니다. 분야별로 먼저 계산한 뒤 규모가중 평균합니다. 전체를 한 번에 묶으면 수치가 부풀려집니다.
짝지은 부트스트랩 3,000회 재표집. 95% 구간이 0을 포함하면 순위를 매기지 않습니다.
점수·라벨·채점 코드는 전부 공개합니다. 문항 원문은 재배포하지 않습니다: 재배포·변형을 금지하거나 접근 승인제인 코퍼스, 그리고 재게시 약관이 불분명한 상용 모델 출력이 섞여 있기 때문입니다. 채점 코드를 공개했으므로 같은 절차를 각자의 비공개 시험지에 그대로 돌릴 수 있습니다.
세 판이 완전히 같은 블록 순서와 같은 제안·같은 잡음을 받습니다(짝지어 비교). 관문은 “그냥 둘까, 다시 뽑을까”만 판정합니다. 같은 60초를 주면 관문 1회가 2.1초인 쪽은 15~22수, 0.0615초인 ZTC는 40~50수를 둡니다. 브라우저 언어에 따라 한국어·English·中文 으로 표시됩니다.
🔴 배선된 상수는 모두 같은 2,018문항 실측입니다. 다만 Laya 의 AUC·관문 속도는 우리가 재본 적이 없어 JEV 와 같다고 두었고(갈리는 축은 보정 하나), 보정오차를 문턱 어긋남으로 환산한 방향은 가정입니다. 이 화면은 실측 상수로 돌리는 모의이지 테트리스를 실제로 판정한 기록이 아닙니다.