빠르게, 어디서나, 그리고 가장 많이, 34.7B 하나로 전 하드웨어
세 형제 엔진. VKAE는 빠르게(단일 GPU ≈9×), VKUE는 어디서나(무료 CPU까지), VKIE는 가장 많이(1×B200에서 18,057 tok/s). 모든 수치 실측.
🔻 비드래프트 하이브리드 V4Q8 양자화: Nemotron-120B 실측
품질 민감부는 8비트로 남기고 무거운 부분만 4비트로: H100 한 장에서 상용 4비트 대비 정상상태 5회 측정. 대상: NVIDIA Nemotron-3-Super-120B-A12B · vLLM. (모델 크기 −4GB · 품질 무저하)
한눈에 보는 결과
H100 단일 GPU · 8K 컨텍스트 기준.
| 항목 | 상용 4비트 | V4Q8 | 차이 |
|---|---|---|---|
| 동시 접속 | 25.9명 | 67.4명 | 2.6배 |
| 토큰 처리량 | 1,410/s | 2,700/s | 1.9배 |
| 응답 속도(단일) | 116/s | 143/s | 1.24배 |
| 128K 장문맥 | 63만 | 112만 | 1.8배 |
| 모델 크기 | 76 GB | 72 GB | −4 GB |
카드 한 장당 효율
초당 토큰 ÷ 카드 수. V4Q8 1장이 FP16 4장 합보다 장당 7.6배, FP8 2장보다 2.3배: 4장→1장이면 GPU 투자 약 75% 절감.
| 구성 | GPU | 응답 | 장당 | V4Q8 대비 |
|---|---|---|---|---|
| FP16 원본 | 4장 | 75/s | 18.8 | 7.6배 |
| FP8 | 2장 | 125/s | 62.5 | 2.3배 |
| 상용 4비트 | 1장 | 116/s | 116 | 1.24배 |
| V4Q8 | 1장 | 143/s | 143 | 기준 |
긴 문서일수록 격차가 커진다
KV 캐시 수용 토큰. 한 장으로 128K를 112만 토큰까지 (상용은 63만).
| 문맥 | 상용 4비트 | V4Q8 | 차이 |
|---|---|---|---|
| 8K | 211,821 | 322,998 | 1.5배 |
| 32K | 451,190 | 781,390 | 1.7배 |
| 128K | 634,105 | 1,115,883 | 1.8배 |
무엇을 한 건가 · 품질을 내주지 않았다
흔한 4비트는 모델 전체를 눌러 품질이 떨어집니다. V4Q8은 품질 민감부는 8비트로 남기고 무거운 부분만 4비트로: 8비트가 품질을, 4비트가 속도를 냅니다. 어디를 8/4비트로 둘지가 핵심 기술이며 특허로 보호합니다. 서빙 단계에서 VKAE(대화·추론)·VKIE(분류·요약 대량처리)를 얹는 2단 구조입니다. 품질 민감부를 8비트로 남긴 덕에 실제 응답은 원본과 구분하기 어려울 만큼 저하가 없고, 차세대 B200 도입 시 네이티브 FP4를 더해 한 단계 더 끌어올릴 수 있습니다.
측정: NVIDIA Nemotron-3-Super-120B-A12B · H100 단일 · vLLM · 정상상태 5회(±0.1). FP16·FP8 다장 수치는 공개 사양·대역폭 근거 산출. 세부 기법은 특허 출원 대상으로 성과 수치만 게재.
추론 가속이 필수재인 이유
AI 인프라의 진짜 승부처는 모델을 만드는 순간이 아니라, 그 모델을 계속, 싸게 돌리는 순간입니다.
가상의 GPU 증설
GPU는 귀하고 비싸고 전기를 먹습니다. 같은 카드에서 처리량을 두 배로 올리면 인프라를 두 배 지은 것과 같습니다, 새 칩도, 새 전력도 없이.
AI 서비스의 손익
학습은 한 번이면 끝나지만 추론은 사용자가 쓰는 내내 발생합니다. VKAE는 서비스의 흑자 여부를 가르는 토큰당 단가를 직접 낮춥니다.
없으면 적자
클라우드·AI 스타트업·기업·국가 단위 AI(소버린 AI)에게 추론 가속은 선택이 아닙니다, 없으면 대규모 AI 운영이 적자입니다.
🔬 주장이 아닌 재현
속도 자랑은 흔합니다. VKAE는 모델 가중치와 최적화된 서빙 환경을 하나의 도커 컨테이너로 공개하고 OpenAI 호환이라, 누구나 자신의 GPU에서 직접 재현하고 기존 서비스에 바로 연결할 수 있습니다.
VKUE: GPU가 없어도, 어디서나
프론티어급 AI를 최소 하드웨어로 서빙하는 편재(遍在) 엔진. VKAE가 ‘빠르게’라면, VKUE는 ‘어디서나’.
최소 하드웨어로 프론티어급
GPQA 86~88%대 모델을 소비자 24GB GPU 1장으로, 또는 GPU 없이 CPU로. (수치는 방법·조건이 달라 직접 비교에 주의)
| Model | GPQA Diamond (method) | VKUE min. HW |
|---|---|---|
| Darwin-398B-JGOS | 90.9 (greedy) | 1 GPU + RAM |
| Darwin-36B-Opus ⭐ | 88.4 (maj@8) | 1× 24GB consumer GPU / CPU |
| Ourbox-35B-JGOS ⭐ | 86.4 (maj@8) · 70.7 (greedy) | 1× 24GB consumer GPU / CPU |
| GLM-5.2 (744B) | frontier-class | 1× H100 · speed under verification |
Darwin-36B-Opus
GPQA 88.4. 소비자 24GB GPU 1장 또는 CPU로 구동.
Ourbox-35B-JGOS
GPQA 86.4(maj@8). 소비자 하드웨어 편재 구동.
Ourbox-35B-JGOS-GGUF
노트북·GPU 없는 CPU에서 돌아가는 바로 그 가중치: 양자화 GGUF 빌드.
사이버보안 AI 파운데이션: 네이버클라우드 컨소시엄 최종 선정
과기정통부 사업에 비드래프트 참여, AI 안전성 진단 AX-RAY 제공. B200 256장·10개월.
VKUE: the full story
VKUE 전체 해설: 한 파일이 B200부터 GPU 없는 CPU까지 도는 원리.
Ourbox-35B on a free CPU Space
허깅페이스가 제공하는 무료 CPU 스페이스에서 실제로 구동되는 35B 모델 테스트 공간, GPU 전혀 없이, 초당 약 5.5~6토큰. 직접 체험해 보세요.
※ VIDRAFT-optimized serving. 처리량(tok/s)은 측정 후 게재합니다. GLM-5.2는 용량 검증됨, 속도 검증중. GPQA는 방법(greedy/maj@8)이 달라 직접 비교에 주의. 엔진 내부는 독점, 결과만 공개.
VKIE · 비키: 통합 추론 엔진
VKAE는 빠르게 · VKUE는 어디서나 · VKIE는 가장 많이. 34.7B 모델 하나로 데이터센터 GPU부터 무료 CPU까지: 모든 수치 실측, 공개 라이브 데모에서 재현 가능.
세 개의 축, 하나의 엔진
스포츠카는 가장 빠르고, 경차는 가장 싸고, 기차는 가장 많이 실어나른다. VKIE는 VKAE의 속도와 VKUE의 절감을 동시에 취해 서빙 능력을 극대화한다.
≈ 9×
GPU 가속 · 스포츠카. 단일 스트림 1×B200에서 24 → 220 tok/s. 최고 단일 속도.
무료 CPU
GPU 절감 · 경차. 34.7B를 GPU 0으로 ~6–7 tok/s 구동. 최저 비용·최대 접근성.
18,057 tok/s
가속+절감 · 기차. 1×B200 동접(256) 서빙 능력(집계). 최대 처리량·원가효율.
어떤 엔진을 언제 쓰나
세 엔진은 독립적으로도, 결합해서도 씁니다. 배포 환경에 따라 최적 조합이 달라집니다.
| 🏎️ VKAE | 🚗 VKUE | 🚄 VKIE | |
|---|---|---|---|
| 최적화 차원 | 지연 (속도) | 비용 · 편재 | 처리량 (규모) |
| 핵심 효과 | 최속 단일 생성 | 저사양 구동 | 최대 동시접속 |
| 대표 시나리오 | 실시간 대화 · 코딩 | 엣지 · 온프레미스 | 대규모 API · SaaS |
| 대표 실측 | 510.58 tok/s | 35B @ A10G·CPU | 18,057 tok/s |
실측 성능: 적용 전 → 적용 후
기준 모델 Ourbox-35B (총 34.7B / 활성 ~3B 희소 MoE). 모델 변경 없음, 품질 손상 없음.
| Engine | Before | After | Gain | Setup |
|---|---|---|---|---|
| 🏎️ VKAE | 24 | 220 | ≈ 9× | 1×B200 · single stream |
| 🚗 VKUE | 5.4 | 20.0 | ≈ 3.7× | 8GB laptop (RTX 5060) · dense→sparse |
| 🚄 VKIE | 24 | 18,057 | ≈ 750× | 1×B200 · 256 concurrent (aggregate) |
순간 노이즈 스파이크를 배제한 재현 가능한 유효 최고 속도 기준 기록입니다. 외부가 주관한 공개 경쟁에서 검증된 객관 지표입니다.
한 모델, 전 하드웨어 스펙트럼
Ourbox-35B: 같은 가중치, 하드웨어만 바뀐다. 데이터센터 GPU에서 무료 CPU까지 하나의 파일로.
| Hardware | tok/s | Axis |
|---|---|---|
| 1× B200 (datacenter) | 18,057 | VKIE · aggregate (256) |
| 1× A10G (cloud GPU) | 126 | VKUE · single stream |
| 8GB laptop (RTX 5060) | 20.0 | VKUE · 3.7× vs dense 32B |
| CPU-Upgrade (8 vCPU, no GPU) | ~17 | VKUE |
| 🆓 Free CPU Space (2 vCPU, no GPU) | ~6–7 | VKUE · zero cost |
| 1× A100 · 96 동접 | ~460 | VKIE · 단일 대비 3.6× (집계) |
※ 품질은 전 티어 동일: GPQA Diamond 86.4% (Ourbox-35B, maj@8) ~ 90.9% (Darwin-398B). 빠르고 싸다 ≠ 멍청하다. 멀티모달 확장: Janus-Pro-1B 이미지 생성 저비용 T4에서 1장 ~28초.
왜 중요한가: 값싼 하드웨어에 프론티어 AI
주권형 AI
데이터를 클라우드에 못 올리는 공공·국방·의료·금융. 폐쇄망 온프렘 CPU에서 프론티어급 추론.
비용 붕괴
수억 원대 GPU 클러스터 → 카드 한 장, 나아가 무료 CPU. 진입 비용 두 자릿수 배 절감.
접근성
개인·스타트업·중소·공공 누구나. 온디바이스·엣지 수요 급증에 그대로 대응.
양자화 모델(GGUF)·전 벤치 수치·baseline 실행법 공개. 누구나 라이브 데모에서 적용 전 수치를 재현할 수 있다.
최적화 서빙의 엔진 내부는 비공개. 결과 속도·하드웨어만 공개: 결과는 열려 있고, 레시피는 닫혀 있다.