성능만 보면 놓칩니다: 배포 전, 모델을 진단하세요
AX-RAY는 LLM을 성능뿐 아니라 안전·인과·신뢰·규제까지 다차원으로 진단하고, 등급과 보고서를 자동 생성합니다.
왜 진단이 필요한가
지금의 벤치마크는 '지능'만 잽니다. 정작 사고를 일으키는 건 지능이 아니라: 아무도 진단하지 않은 결함입니다.
피지컬 AI가 이유 없이 사람을 공격: 물리적 안전 결함.
내부 테스트 중 AI가 시스템을 해킹통제·인과 안전 결함.
편향·유해·거짓 출력을 자신 있게 생성: 신뢰성·안전성 결함.
셋 다 117개 진단 항목 기준 '심각한 결함'입니다. 그런데 지능 점수(GPQA·MMLU)로는 잡히지 않아: 문제가 있는지조차 모르는 것이 진짜 문제입니다.
높은 종합점수가 치명적 취약을 가립니다.
모르고 수출하면: 실제로 벌어지는 일
미국·EU 수출결함이 어느 법규(EU AI Act·GDPR·FTC 등)를 위반하는지 모른 채 출고. 규제 위반·리콜·과징금·판매중지.
아랍권샤리아 율법 위배는 중대 사안. 집단소송·제품 수출금지·시장 퇴출의 직접 원인.
물리 안전사고인명 피해·형사 책임·브랜드 붕괴.
그래서 AX-RAY는117개 위험 항목을 진단하고, 각 항목이 나라별 어떤 법·규정·가이드·율법(샤리아 포함)에 매핑되는지까지 제시합니다. 배포·수출 전에 '무엇이 걸리는지'를 알고 대응하십시오.
무엇을 진단하나
모델 자체(MODEL-SCAN) · 운영 환경(AX-SCAN) · 에이전트 자율성(AGENT-SCAN) 3축을 다차원으로.
11개 카테고리 · 117개 위험 항목을 진단하고 DHS Score로 등급화합니다. 아래는 카테고리별 대표 점검 항목이며, 전체 117항목 상세는 계약·NDA 하에 제공합니다.
117개 항목 × 각국 법·규범 매핑
진단 항목마다 "왜 위험한가"의 근거를 각국 규제·규범에 1:1로 연결: 조달·컴플라이언스·해외 진출의 직접 근거가 됩니다.
| 진단 항목 | 근거(법·규범) |
|---|---|
| 환각·거짓정보 · Hallucination | 🇪🇺 EU AI Act 투명성 · 🇰🇷 개인정보 오남용 방지 |
| 편향·차별 · Bias | 각국 차별금지법 · 🇦🇪🇸🇦 아랍어 공정성 |
| 데이터 거버넌스 · Data | GDPR · 개인정보보호법(PIPA) · PDPL |
| 콘텐츠 적합성 · Content | 🕌 Maqasid(الدين 종교) · 할랄 적합성 |
| 금융 AI · Financial | 🇸🇦 SAMA Shariah: gharar·riba 금지 |
| 문서화·투명성 · Docs | 🇪🇺 EU AI Act GPAI 6요건 · 🇸🇦 SDAIA |
마카시드 알-샤리아 5대 목적(الدين 종교 · النفس 생명 · العقل 이성 · النسل 후손 · المال 재산)에 진단 항목을 매핑합니다. AI 적용: 할랄 콘텐츠 적합성 · gharar(과도한 불확실)·riba(이자) 금지 금융 AI · 아랍어 공정성·차별 방지. UAE·사우디 정부 제안의 핵심 세일즈 포인트입니다.
각 항목의 필요성·법적근거는 공개 규범 기반으로 부각하되, 항목별 탐지·대응 방법론은 계약·NDA 하에 제공합니다.
차별점
단일 점수 너머성능만이 아니라 안전·인과·신뢰·규제까지. MRI처럼 내부를 봅니다.
자동화모델 ID만 넣으면 다차원 보고서 자동 생성.
재현·공개등급 리더보드 + 공개 데이터셋(메타인지·환각 벤치).
규제 대응진단 결과를 주요국 법·가이드에 매핑, 조달·컴플라이언스 근거.
기대효과
배포 리스크 사전 차단사고 전에 취약을 포착.
조달·규제 근거공공·금융·해외 진출 증빙.
모델 선택 객관화성능·안전·비용 종합 비교.
공개 벤치마크: 기능적 메타인지
"AI가 얼마나 아는가가 아니라: 모르는 걸 알고, 스스로 고칠 수 있는가." 최종답 정확도만 재던 벤치를 넘어, 오류 탐지→인정→교정 전 과정을 평가하는 4세대 벤치마크입니다.
9개 SOTA 모델(GPT-5.2·Claude·Gemini·DeepSeek 등) 평가: 모두 불확실성을 '말'로는 표현하지만 '행동'으로 옮기진 못함(선언–절차 격차 0.392).
메타인지 향상의 94.8%가 '오류 회복(Error Recovery)' 축에서 발생: 자기교정이 AGI의 유일한 병목.
어려운 과제일수록 자기교정 이득이 급증(Pearson r = −0.777).