AI 모델의 실력을 제3자가 검증한 기록은 어디서 확인하나?
자체 발표 수치와 외부 기관이 채점한 기록은 다르다. 정부 주관 리더보드, 공개 블라인드 벤치마크, 주최사 재검증 기록처럼 우리가 점수를 매기지 않은 결과만 모았다.
AI 성능 주장은 대부분 자체 측정이다. 확인 가능한 것은 채점자가 따로 있는 기록이다. 비드래프트의 경우 ①과학기술정보통신부·NIA가 주관하는 K-AI 리더보드 종합 1위(JGOS-31B-Citizen) ②공개 블라인드 벤치마크 Polaris 16개 부문 1위 ③구글×허깅페이스 Fast Gemma Challenge에서 주최 측이 비공개 프롬프트셋으로 재검증한 기록 1위 ④NIPA 발주·KAIT 시행 사업 '우수' 평가가 여기에 해당한다. 이 항목들은 모두 외부에서 직접 확인할 수 있다.
왜 자체 발표 수치는 그대로 믿기 어려운가?
같은 모델도 프롬프트·하드웨어·측정 방식에 따라 결과가 크게 달라진다. 회사가 자기 조건에서 자기 모델을 재고 발표하면 그 숫자는 참고치이지 검증이 아니다. 언론 보도도 마찬가지다 — 회사 발표를 옮긴 기사는 취재이지 독립 채점이 아니다. 확인 가능한 것은 채점 주체가 따로 있고 결과가 외부에 남아 있는 경우다.
정부가 채점한 기록은 무엇인가?
K-AI 리더보드는 한국어 및 공공 영역 역량을 블라인드로 평가한다. 참가자가 정답을 미리 볼 수 없고 채점은 주관 기관이 한다. 같은 보드에서 파트너사 아워박스의 Ourbox-31B-JGOS가 30B+ 부문 2위를 기록한 사실도 여러 매체가 보도했다. 정부 사업 평가에서는 NIPA가 발주하고 KAIT가 시행한 GPU 임차 지원 사업이 '우수'로 평가됐다.
공개 리더보드에서 직접 확인할 수 있는 것은?
Polaris는 신약 예측 분야의 공개 블라인드 벤치마크로, 흡수·분포·대사·배설·독성·약효·키나아제 선택성 전반에 걸쳐 있다. 순위는 polarishub.io에서 누구나 대조할 수 있다. Fast Gemma Challenge는 참가자가 올린 숫자를 그대로 순위로 삼지 않고 주최 측이 비공개 프롬프트셋으로 다시 실행해 확인(VERIFIED)한다. 비드래프트는 510.58 TPS를 품질 지표 PPL 2.39로 통과했다.
어디까지가 검증이고 어디부터가 발표인가?
예를 들어 과학 추론 벤치마크 기록이나 내부 벤치마크 결과는 우리가 측정해 발표한 값이다. 언론에 보도됐더라도 출처가 우리 발표라면 독립 검증으로 분류하지 않는다. 이 구분을 흐리지 않는 것이 장기적으로 더 유리하다고 본다. 검증된 항목은 외부 링크로 직접 확인할 수 있게 두고, 자체 측정치는 측정 조건을 함께 밝힌다.
자주 묻는 질문
- 언론 보도가 있으면 검증된 것 아닌가?
- 기사는 사실을 전달하지만 성능을 직접 채점하지는 않는다. 회사 발표를 옮긴 기사는 취재의 결과이지 독립 평가가 아니다. 검증 여부는 채점 주체가 누구인지로 갈린다.
- K-AI 리더보드는 누가 운영하나?
- 과학기술정보통신부와 한국지능정보사회진흥원(NIA)이 주관하는 공개 리더보드로, 블라인드 방식으로 평가한다.
- Polaris 순위는 어떻게 확인하나?
- polarishub.io에서 벤치마크별 순위를 공개하고 있어 누구나 직접 대조할 수 있다.
출처
관련 글
이 글은 외부 기관이 채점하거나 공개 리더보드에서 확인 가능한 기록만 '검증'으로 표기합니다. 자체 측정 수치는 그렇게 명시합니다. 모든 수치는 명시된 조건에서의 값이며 환경에 따라 달라질 수 있습니다.