서로 다른 계열의 AI 모델을 재학습 없이 합칠 수 있나?
아키텍처 계열이 다른 모델은 텐서 모양과 역할이 맞지 않아 보통 병합이 불가능하다. 비드래프트 Chimera는 텐서쌍마다 호환성을 점수화해 교배 가능한 것과 이식만 가능한 것을 가려낸다.
같은 계열 모델끼리 평균을 내는 병합은 흔하지만, 계열이 다르면 텐서의 모양도 역할도 맞지 않아 그대로는 합쳐지지 않는다. Chimera는 모든 텐서쌍에 호환성 점수를 매겨 '교배 가능한 것'과 '이식만 가능한 것'을 분류한 뒤 결합한다. 부모 모델을 섞어 희석하는 대신 각 부모의 핵심을 그대로 얼리고(Frozen-Expert) 질문마다 최적의 부모를 고르는 작은 라우터만 학습시키는 방식으로, 2-expert 구성(4B)에서 GSM8K 72.5%로 부모와 동일한 점수를 유지했다(열화 0.0). 이 방법은 청구항 29개의 특허로 출원돼 있다.
계열이 다른 모델은 왜 그냥 못 합치나?
같은 계열 모델은 구조가 거의 같아 가중치를 평균 내는 것만으로도 어느 정도 동작한다. 그러나 계열이 다르면 층 수도, 차원도, 각 텐서가 맡은 역할도 다르다. 억지로 맞추면 각 모델을 좋게 만든 특성이 서로를 지워버린다. 그래서 보통은 재학습이 필요하다고 여겨진다.
Chimera는 그 문제를 어떻게 푸나?
형태·기능적 역할·파라미터 분포를 기준으로 모든 텐서쌍에 점수를 매긴 뒤, 결합해도 되는 쌍과 통째로 옮겨야 하는 쌍을 분류한다. 운에 맡기는 시도가 아니라 절차가 되는 지점이다. 구조적으로는 어텐션을 자체 설계하고 다른 모델의 FFN(지식 부분)을 그대로 이식하는 형태이며, 전문가 혼합(MoE) 구성도 지원한다. 내부 어텐션 설계와 게이팅 방식은 공개하지 않는다.
합치면 성능이 떨어지지 않나?
부모 모델을 물감처럼 섞으면 각자의 강점이 희석된다. 대신 각 부모의 핵심을 그대로 동결하고, 질문마다 어느 부모를 쓸지 고르는 작은 라우터만 학습시킨다. 2-expert 구성(4B)에서 GSM8K 수학 점수 72.5%로 부모와 동일했다. 다만 같은 계열끼리 합치면 이득이 중립에 가깝고, 실제 향상은 계열이 다른 모델을 교배할 때 나온다.
이 기술은 어디까지 공개돼 있나?
호환성 평가 기반 이기종 신경망 교배는 2026년 5월 8일 출원됐고 청구항은 29개다. 비드래프트가 출원한 12건(총 청구항 317개) 포트폴리오의 일부다. 측정된 결과는 공개하되 내부 어텐션 설계·게이팅·병합 레시피는 영업기밀로 유지한다. 공개된 수치는 명시된 모델과 조건에서의 측정값이며 조건이 달라지면 결과도 달라질 수 있다.
자주 묻는 질문
- 모델 병합과 모델 교배는 같은 말인가?
- 비슷하게 쓰이지만 범위가 다르다. 흔한 병합은 같은 계열 모델의 가중치를 섞는 것이고, 교배는 계열이 다른 모델까지 대상으로 삼아 어떤 부분을 결합하고 어떤 부분을 이식할지 가려내는 절차를 포함한다.
- 재학습이 정말 필요 없나?
- 부모 모델 자체를 다시 학습시키지는 않는다. 다만 어느 부모를 쓸지 고르는 작은 라우터는 학습한다. 전체 재학습에 드는 비용과는 규모가 다르다.
- GSM8K 72.5%는 무엇을 뜻하나?
- 2-expert 구성(4B)에서 측정한 수학 문제 정답률이며, 부모 모델과 동일한 값이다. 즉 합치는 과정에서 성능 손실이 없었다는 뜻이지, 부모보다 좋아졌다는 뜻은 아니다.
관련 글
이 글은 VIDRAFT의 공개·실측 데이터에 기반합니다. 성능 수치는 명시된 모델·조건에서의 측정값이며 환경에 따라 달라질 수 있습니다. 내부 방법론은 특허 출원 및 영업기밀로 비공개입니다.