VKORE · NPU TRAINING & INFERENCE
추론 전용 NPU에서 학습까지: 추론 가속 + LoRA + 사전학습
NPU는 추론만 하도록 설계됩니다. 학습에 필요한 역전파, 옵티마이저, 대형 학습 그래프를 처음부터 고려하지 않기 때문입니다. 비드래프트는 상용 추론 전용 NPU에서 추론 가속에 그치지 않고 LoRA 미세조정과 0부터의 사전학습까지 실행했습니다. 아래 수치는 모두 자체 실측이며 측정 조건을 함께 밝힙니다.
실측 요약
| 구분 | 대상·조건 | 실측 | 비고 |
|---|---|---|---|
| 추론 | Gemma-4-26B · 8칩 · 배치 | ~417 tok/s | 최대 처리량 |
| 추론 | Gemma-4-26B · 단일 스트림 | 53.9 tok/s | 적용 전 14.1에서 3.8배 |
| 추론 | 35B MoE (A3B) · 배치 8 | 197 tok/s | 미지원 구조를 자체 모델 클래스로 구동 |
| LoRA | SmolLM2-135M·1.7B · Qwen3-0.6B·1.7B | 4개 성공 | autograd 대조 오차 1.4×10⁻⁴ |
| LoRA | LLM 블록(어텐션 + SwiGLU) | cos 0.9999 | 표준 학습 대비 |
| 학습 처리량 | 카드 1장 = 4칩 | ~172,000 tok/s | 전력 약 278W |
| 사전학습 | 137M / 365M · 단일칩 | 4,880 / 1,015 tok/s | 0부터 학습 |
| 사전학습 | 0.3B급 | 칩당 2,550 tok/s | 32칩 병렬 약 1.4만 tok/s |
| 사전학습 | 46M · 137M · 365M | corr 0.99 | GPU 학습과 손실 궤적 상관 |
공개 모델: VKORE-46M-NPU (추론 전용 NPU에서 0부터 사전학습)
측정 조건: 추론은 8칩 텐서 병렬, 생성 128토큰 디코딩. 학습 처리량은 LoRA 블록 기준. 모든 수치는 자체 실측이며 외부 인증이 아닙니다.