단일 어텐션 시대의 종말.
5/7/11종 Hybrid 시대 개막.

여러 어텐션을 그냥 섞으면, 성능이 좋아도 그 이유를 배치 탓인지 구성 탓인지 가릴 수 없습니다. 각 타입이 모든 행·열에 정확히 한 번씩 오도록 고정해, 같은 조건이면 같은 배치가 재현되게 했습니다.

쉽게: 시식 코너를 층마다 골고루 배치해 두는 것. 그래야 "3층이 잘 팔린 건 3층이라서"가 아니라 메뉴 덕분임을 말할 수 있습니다.

서로 다른 어텐션의 출력을 단순히 더하면 강한 쪽이 지배합니다. 학습 가능한 게이트 하나로 융합하되, 그 게이트가 한쪽으로 붕괴하지 않도록 게이트 자체를 규제합니다.

쉽게: 오디오 믹서의 페이더 하나로 섞되, 한 채널만 100%로 올라가지 못하게 잠가 둔 것.

미래 토큰이 과거 계산에 새어들면 학습 중 성적은 좋고 실사용에서 무너집니다. 종래에는 개발자가 층을 하나씩 뜯어봐야 했습니다. 누설 지점을 자동으로 찾아 문제 모듈을 안전한 모듈로 자동 치환합니다.

쉽게: 시험을 보면서 뒷장 답을 훔쳐보는 것을 자동으로 적발하고, 그 자리를 정직한 방식으로 바꿔 끼우는 장치.

한 번 고쳐도 다음 커밋에서 다시 샙니다. 모델이나 코드가 바뀌면 자동 감지해 재검증하고, 통과하지 못하면 병합을 막습니다.

쉽게: 안전을 사람의 기억이 아니라 파이프라인이 지키게 만든 것.

어텐션 타입마다 그래디언트 분포가 다른데 하나의 기준으로 자르면 학습이 흔들립니다. 타입별로 분포를 따로 재고, 폭주가 일어나기 전 단계에서 이상 징후를 잡아냅니다.

쉽게: 체급이 다른 선수에게 같은 무게를 지우지 않는 것.

MoE는 호출이 특정 전문가에게 몰려 나머지가 죽는 문제가 고질적입니다. 균형을 손실 항으로 달래는 대신, 소수 기반 대칭 배치로 구조에서 확보합니다.

쉽게: 당번을 잔소리로 돌리는 대신, 애초에 공평하게 돌아가는 표를 짜두는 것.

입력마다 필요한 추론의 종류가 다른데, 보통은 고정된 전문가를 씁니다. 어떤 추론이 필요한지 모델이 스스로 판단해 전문가를 고르고, 필요하면 새로운 추론 유형과 전문가를 만들어 냅니다.

쉽게: 문제를 받으면 "이건 계산" "이건 상식"을 먼저 가른 뒤에 담당자를 부르는 것.

구조나 규모가 다른 모델로 옮기면 대개 0에서 다시 학습합니다. 순환군으로 대응 층을 정하고, 같은 어텐션 타입·기능군끼리만 가중치를 옮깁니다.

쉽게: 이사할 때 주방 물건은 주방으로, 책은 서재로. 상자를 통째로 뒤엎지 않습니다.

Aether-34B-4Attn

4종 어텐션 · 34B급

Aether-70B-4Attn

4종 어텐션 · 70B급

Aether-34B-A10B

MoE · 34B 전체 / 활성 10B급

Aether-460B-A30B

MoE · 460B 전체 / 활성 30B급

신호로서의 자기의심

“내가 틀렸을 수 있다”를 인식하고 다시 검토하는 모델. 목표는 정직함과 자기교정을 가정이 아니라 측정 가능하게 만드는 것.

환각을 줄이다

내부 한국어 환각 테스트에서 5-way 앙상블이 자기 오류를 잡아내는 비율을 33%에서 67%로 높였습니다, 제품이 아닌 연구 결과입니다.

메타인지를 측정하다

모델이 “모르는 것을 모른다”고 아는지 채점하는 벤치마크 FINAL Bench를 만들었습니다, 측정할 수 없으면 개선할 수 없기에.

FINAL Bench

세계 최초 메타인지 벤치마크. 100과제 × 15도메인 × 8유형(TICOS) × 3난이도.

함정 문항 평가

그럴듯하지만 틀린 답변을 유도하는 400개 문항. 자기 오류 인식 능력 측정.

메타인지 어댑터

원본 모델 구조·가중치 변경 없이 내부 신호를 분석해 자기오류를 사전 감지합니다.