AI는 자신이 모른다는 것을 알까? FINAL-Bench란 무엇인가?
FINAL-Bench는 AI 모델이 자신의 오류를 감지·인정·수정하고 적절히 거절하는지를 측정하는 기능적 메타인지·안전 진단 벤치마크입니다.
FINAL-Bench는 AI가 '자신이 무엇을 모르는지'를 아는지를 측정하는 진단 도구로, 모델이 스스로의 오류를 감지·인정·수정하고 모를 때 적절히 거절하는지(보정 능력)를 평가합니다. VIDRAFT와 지니젠 AI가 개발했으며, 결과를 EU AI Act와 NIST AI RMF 같은 규제 프레임워크에 연결합니다.
FINAL-Bench는 무엇을 측정하나요?
FINAL-Bench는 정답을 얼마나 맞히는지가 아니라, 모델이 자신의 오류를 실제로 감지하고 인정하며 수정하는지, 그리고 확신이 없을 때 적절히 거절하는지를 관찰합니다. 이렇게 겉으로 드러나는 오류 감지·인정·수정 행동을 평가한다는 점에서 세계 최초로 '기능적 메타인지'를 다루는 벤치마크로 소개됩니다. VIDRAFT와 지니젠 AI가 개발했습니다.
'보정(캘리브레이션)'이 왜 중요한가요?
많은 AI 실패는 지식 부족보다 자신감의 오조정에서 비롯됩니다. 즉 모르는데도 확신에 차서 그럴듯하게 답하는 환각이 문제입니다. FINAL-Bench의 보정 개념은 '모델이 자신이 틀렸을 때를 아는가'에 초점을 맞춰, 불확실할 때는 답을 유보하거나 거절하는 능력을 평가합니다. 이는 실제 배포 환경에서의 안전성과 직결됩니다.
평가 결과는 규제와 어떻게 연결되나요?
FINAL-Bench는 진단 결과를 EU AI Act, NIST AI RMF 등 주요 규제·리스크 관리 프레임워크에 대응시킵니다. 이를 통해 메타인지·안전 평가 지표가 추상적 점수에 머무르지 않고, 조직의 규제 준수와 위험 관리 논의로 바로 이어질 수 있습니다.
FINAL-Bench는 어떻게 채점되나요?
공개 논문(SSRN 6280258)에 따르면 FINAL-Bench는 15개 도메인에 걸친 전문가 수준 과제 100개로 구성되며, GPT·Claude·Gemini로 이루어진 심판 앙상블이 결과를 판정합니다. 이 판정은 인간 평가자와 높은 일치도(코헨 카파 0.87)를 보입니다. 문항 구성이나 세부 채점 로직은 특허 출원 및 비공개 대상으로 공개하지 않습니다.
자주 묻는 질문
- FINAL-Bench는 누가 만들었나요?
- 한국 AI 기업 VIDRAFT와 지니젠 AI(Ginigen AI)가 공동으로 개발했습니다.
- FINAL-Bench 논문은 어디서 볼 수 있나요?
- SSRN에 공개된 논문(abstract ID 6280258)에서 확인할 수 있으며, 15개 도메인 100개 과제와 심판 앙상블 방법론이 소개되어 있습니다.
- FINAL-Bench는 문항이나 채점 세부사항을 공개하나요?
- 아니요. 목적, 보정 개념, 규제 매핑은 공개하지만 구체적인 문항 구성과 채점 내부 로직은 특허 출원 및 비공개(NDA) 대상입니다.
관련 글
이 글은 VIDRAFT의 공개·실측 데이터와 외부 출처에 기반합니다. 성능 수치는 명시된 조건에서의 측정값이며 환경에 따라 달라질 수 있습니다.