주머니 속 35B: GPU도 클라우드도 없이
35B 모델을 GPU 없는 PC와 폰에서 표준 llama.cpp 그대로(포크 없이) 돌리는 오픈소스 온디바이스 모델 패밀리입니다. Bonsai와 같은 기계에서 재보고, 이기는 항목과 지는 항목을 함께 공개했습니다.
🖥️ POCKET Box: 전용 하드웨어
POCKET 모델 전용 H/W 일체형 디바이스 · NO GPU · CPU-ONLY · ✅ 개발 성공
GPU 없이 CPU만으로 35B급 POCKET 구동
모델·런타임 사전 탑재: 전원만 켜면 즉시 동작
데이터 외부 전송 0 · 완전 로컬 주권
데스크탑 소형 폼팩터 · 상시 구동
POCKET vs Bonsai: 마케팅이 아니라 측정
한국 스타트업의 온디바이스 모델을, 세계에서 가장 많이 받은 모델과 같은 기계·같은 표준 llama.cpp에서 정면 비교했습니다. 이기는 항목도, 지는 한 항목도 그대로 보여드립니다.
무료 CPU에서 지금 바로 재현
3.4× CPUHugging Face 무료 CPU Space에서 POCKET과 Bonsai가 같은 8-vCPU 박스에서 나란히 답하고, 각자 tok/s가 실시간 표시됩니다. POCKET ~20.5 tok/s vs Bonsai ~6.1: 약 3.4배 빠름(CPU 기준). 아무 질문이나 넣고 직접 확인하세요.
⚔️ 라이브 A/B 데모 열기 →총 35B · 토큰당 활성 ~3B · 희소 MoE
27B 밀집 · 토큰마다 전체 가중치를 읽음
가장 많이 받은 온디바이스 모델 (200만+)
POCKET이 얼마나 더 빠르게 생성하는가
| METRIC | Bonsai | RESULT | |
|---|---|---|---|
| 데스크톱 / 서버 (Linux) | |||
| ★ HF CPU Space: 8 vCPU (재현 가능) | ~20.5 | ~6.1 | 3.4× 빠름 |
| CPU 생성 (Xeon, 16스레드) | 27.0 | 10.1 | 2.69× 빠름 |
| GPU 생성 (H100) | 197 | 89 | 2.22× 빠름 |
| 프리필 (서버 GPU · H100) | 753 | 1816 | Bonsai 우위 |
| 품질 (HellaSwag, 400문항) | 61.0% | 60.0% | = 동급 |
| 노트북: MacBook M3 Pro, 18 GB | |||
| 애플 Metal 생성 | 25.4 | 12.8 | 1.99× 빠름 |
| 노트북 CPU 생성 (8스레드) | 13.8 | 4.4 | 3.13× 빠름 |
| 애플 Metal 프롬프트 처리 | 240.7 | 73.4 | 3.28× 빠름 |
왜 더 큰 모델이 더 빠른가
같은 기계, 손대지 않은 같은 llama.cpp: 누구나 재현할 수 있습니다. POCKET은 포크가 필요 없지만, 동급 Bonsai 빌드는 표준 llama.cpp에서 로드조차 되지 않습니다.
Apache-2.0열린 가중치, 우리만의 레시피
POCKET은 열린 모델을 그냥 작게 다시 저장한 것이 아닙니다. 가중치는 Apache-2.0으로 누구나 자유롭게 쓰지만, 그 가중치를 만들어내는 압축·최적화 공정은 비드래프트의 독자 기술이며 공개하지 않습니다. 열린 것은 결과물이고, 우리 것은 그것을 만드는 방법입니다.
결과물은 공개
가중치·설정·실행법 모두 Apache-2.0입니다. 받아서 쓰고, 고치고, 재배포할 수 있습니다. 조건 없음.
공정은 우리 것
35B 모델을 극단적으로 작은 크기에서도 온전하게 유지하는 레시피는 비드래프트의 독자 기술입니다. 자체 개발했고, 공개하지 않습니다.
증거는 측정값
8.2GB에서도 품질이 유지되고, 한국어용·영어용 전용 빌드를 따로 냅니다. 단순히 한 방식으로 양자화하면 무너지는 바로 그 지점입니다.
패밀리: 기기에 맞춰 고르세요
단일 모델이 아니라 기기·언어별로 나뉜 온디바이스 빌드입니다.
POCKET-35B-GGUF
PC·서버, GPU 없는 CPU. IQ1_M(8.2GB)~Q4_K_M(21GB).
POCKET-KR-GGUF
한국어 빌드. 안드로이드·로컬 실행용. 5.1GB부터.
POCKET-KR-MLX
애플 실리콘 네이티브(MLX). iPhone·Mac용.
POCKET-EN-GGUF
영어 빌드. PC·iPhone 믹스.
POCKET-35B-CPU
라이브 데모: GPU 없이 브라우저에서 답변.
POCKET-26B-GGUF
26B (Gemma 기반) 빌드. GPU 없는 CPU용 GGUF.
Ollama · pocket-26b
한 줄 설치: ollama run vidraft/pocket-26b
ModelScope (中)
중국 ModelScope에도 등재: POCKET·Darwin GGUF 배포
POCKET-26B-CPU
라이브 26B 데모: GPU 없이 브라우저에서.
POCKET-Image: 어떤 언어의 글자든, 어떤 이미지에도 완벽하게
POCKET 제품군은 대화형만이 아닙니다. POCKET-Image는 비드래프트의 온디바이스 ‘이미지 속 글자’ 시스템으로, 여러분이 묘사한 어떤 장면에도 어떤 언어의 글자든 완벽하게 써넣습니다, 일반 CPU에서.
글로벌 모델이 깨뜨리는 글자, 여기선 정확하게
Apache-2.0글로벌 이미지 모델은 비(非)라틴 문자를 뭉갭니다: ‘안녕하세요’가 ‘안ㅐ기’로 나오죠. POCKET-Image는 모든 글자를 정확히 렌더링합니다: 한국어 · 中文 · 日本語 · العربية(RTL) · ไทย · 라틴 등. GPU도 NPU도 클라우드도 없이, 4.5GB부터 완전 로컬로. 오픈 Z-Image 기반 + 비드래프트 POCKET-Core 엔진.
🎨 POCKET-Image Studio에서 생성하기 →왜 더 큰 모델이 더 빠른가
POCKET은 희소 전문가 혼합(MoE) 모델입니다. 전문가는 많지만 토큰마다 그중 일부만 활성화됩니다. 온디바이스 디코딩은 매 단계 읽는 양, 즉 메모리 대역폭에 묶여 있으므로, 가중치의 일부만 읽는 구조가 GPU 없는 환경에서 더 큰 모델을 더 빠르게 만듭니다. 그리고 동급 Bonsai 빌드가 전용 포크를 필요로 하는 것과 달리, POCKET은 표준 llama.cpp에서 그대로 돌아 LM Studio·Ollama 등 표준 생태계가 공개 첫날부터 동작합니다.
범위 명시: 서버 GPU(H100) 프리필은 Bonsai가 앞서며, 노트북·폰에서는 프리필도 POCKET이 이깁니다. HellaSwag 기준 품질은 동급이고 어느 쪽도 품질 우위를 주장하지 않습니다. iPhone 실측치는 아직 자체 확보 전입니다(커뮤니티 리포트 환영). 체감 성능은 RAM·저장장치·양자화·발열에 따라 달라집니다.
Apache-2.0 · 비드래프트의 오픈소스 온디바이스 모델 패밀리
지니 (GINI): 통신도 요금도 없이, 폰에 사는 말하는 AI 아바타
POCKET을 두뇌로 삼아, AI가 클라우드가 아니라 당신의 폰 안에서 직접 동작합니다. 통신이 끊겨도 대화하고, 대화 내용은 기기 밖으로 나가지 않으며, 사용료도 0원입니다.
퍼스널 AI, 태블릿에 담다
비드래프트 계열사 PAI 컴퓨팅이 준비하는 태블릿 기반 온디바이스 AI. 클라우드도 서버도 없이 기기 안에서 대화·요약·번역이 돌고, 개인정보는 기기 밖으로 나가지 않습니다. GPU 없이, 인터넷 없이, 손안의 개인 AI입니다.
왜 온디바이스인가
🔒 프라이버시
대화·문서가 서버로 전송되지 않습니다. 의료·법률·업무 기밀처럼 밖으로 못 내보내는 데이터에 그대로 씁니다.
✈️ 오프라인
비행기·현장·보안망 등 인터넷이 없는 곳에서도 100% 동작합니다.
💸 무월정액
클라우드 토큰 과금이 없습니다. 한 번 담으면 계속 무료로 씁니다.
제품 방향 (개발 중)
안드로이드 태블릿 · RAM 16GB · 비드래프트 온디바이스 런타임 탑재. 표준 클라우드 API와 동일한 방식(OpenAI 호환)이 태블릿 안에서 그대로 열려, 기존 앱·도구가 그대로 붙습니다. 실제 안드로이드에서 우리 런타임과 모델로 구동을 확인했습니다.
| 태블릿 RAM | 탑재 모델(온디바이스) | 특징 |
|---|---|---|
| 8 GB | 4B급 경량 모델 | 최대 32K 문맥, 가벼운 대화·요약 |
| 16 GB (확정) | 26B급 경량화 모델 | 태블릿에 담기는 최상위 성능 |
| 16 GB (대안) | 9B-Lite | 최대 256K 초장문맥 |
온디바이스 최적화: 같은 태블릿으로 더 길게, 더 오래
비드래프트의 양자화(V4Q8)와 온디바이스 최적화 기술로, 메모리가 고정된 태블릿에서 더 긴 문맥을 더 적은 메모리로 처리합니다. 문맥이 길어질수록 이득이 커져(32K 기준 메모리 실사용 약 12% 절감), 같은 기기로 더 긴 문서·더 오래가는 대화가 가능합니다. 핵심 기법은 특허로 보호합니다.
기기별 POCKET 라인업
기기에 맞는 온디바이스 모델이 이미 발행돼 있습니다.
| 기기 | 온디바이스 모델 | 실행 |
|---|---|---|
| 아이패드·아이폰·맥 | POCKET-KR-MLX | Apple 네이티브(MLX) |
| 아이폰(영어) | POCKET-EN-GGUF | PocketPal 앱 |
| 안드로이드 태블릿 | POCKET-KR-GGUF | 온디바이스 앱 |
지원 목표 기기
표준 기기는 16GB 램의 레노버(Lenovo) 안드로이드 태블릿입니다. 그 외 16GB급 안드로이드 태블릿에서도 구동을 목표로 합니다.
| 기기 | RAM | 구분 |
|---|---|---|
| 레노버(Lenovo) 태블릿 | 16 GB | 표준 탑재 기기 |
| 그 외 16GB급 안드로이드 태블릿 | 16 GB | 호환 목표 |
※ PAI 컴퓨팅 태블릿 제품은 현재 개발 중이며, 최종 사양·지원 기기·출시 일정은 확정되는 대로 안내합니다. 성능 수치는 자체 실측 기준.