긴 문맥을 더 싸게 서빙합니다: 파인튜닝이 아니라 구조 치환
학습된 모델의 어텐션 상태 경로를 바꿔 KV 캐시 사용량을 줄입니다. 공개 인터페이스는 그대로 두고, 같은 GPU로 더 많은 세션을 받습니다.
무엇이 병목인가
트랜스포머 어텐션 블록은 현재 은닉 상태를 질의·키·값 스트림으로 투영합니다. 긴 문맥을 생성하는 동안 키와 값 상태는 KV 캐시에 남아, 뒤에 오는 토큰이 앞 문맥을 다시 참조할 수 있게 합니다. 표준적이고 유용한 구조이지만 여기서 곧바로 메모리 병목이 생깁니다: 문맥이 길수록, 동시 세션이 많을수록 서빙 시스템이 살려둬야 할 캐시가 늘어납니다. 아머링은 공개 모델 인터페이스를 그대로 둔 채 해당 어텐션 블록 안의 장문맥 상태 경로만 바꿉니다.
대표 실측: Armoring-Qwen3.8-27B
동일 H100 서버 레인에서 원본과 짝지어 측정했습니다.
장문맥 경제성: Armoring-Qwen3.6-27B
시리즈 내 균형형 카드입니다. 손익분기 이후 캐시 경제성이 뚜렷해집니다.
시리즈의 다른 두 카드
Armoring-Qwen3.6-35B-A3B
시리즈에서 회복 폭이 가장 큰 사례입니다. 변환 직후 품질비 1.3435×에서 최종 1.0214×로 돌아왔고, 초기 손상의 93.8%(32.21%p)를 회복했습니다. 형식 프로브 15/15 보존.
Armoring-Qwen3.5-2B
소형 검증 프로토타입입니다. 적용 가능한 어텐션 블록 전체를 무장했고, 문장 PPL 9.016(기준 약 8.97, 비율 약 1.005×), EOS 프로브 5/5, 형식 15/15, 8k KV 96.0 → 73.4 MiB(−23.5%)를 기록했습니다. 방법이 소형 모델에도 적용된다는 확인용 카드입니다.
무엇이 바뀌는가
어디에 쓰는가
긴 문맥 서빙을 위해 설계된 기술입니다. 손익분기는 약 13~16k 문맥이며, 문맥이 길수록 이득이 커집니다, 16k에서 1.20×, 32k에서 1.35×. 문서 분석, 장문 RAG, 긴 대화처럼 문맥이 큰 워크로드에서 같은 하드웨어로 더 많은 세션을 받습니다. 이는 수용량 중심의 결과이며, 사용자 1인당 디코드 속도를 높이는 기술은 아닙니다. 짧은 문맥 위주 서비스에는 다른 최적화가 더 적합합니다.
공개 범위
모델 카드 4종을 Apache-2.0으로 공개합니다. 카드는 측정 결과와 적용 조건을 담고 있으며, 가중치·구현물·변환 절차·학습 명령·내부 매핑·인프라 경로는 포함하지 않습니다. 수치는 명시된 문맥 길이와 측정 설정에서의 값이며, 페이지드 캐시 서빙 엔진 동작은 배포 전 별도 확인이 필요합니다. 좁은 국소 측정에서 나온 품질비는 1%p 단위로 변형 간 우열을 가리는 데 쓰지 않습니다.