1-Bit Bonsai: 최초의 상업적으로 실용 가능한 1-Bit LLM 출시

Who Should Read

스마트폰, 로봇, IoT 등 엣지 디바이스에 LLM을 올려야 하는 개발자, 또는 서버 비용과 에너지 소비를 줄이고 싶은 AI 인프라 엔지니어.

Core Mechanics

• PrismML이 1-bit 가중치(각 128비트 그룹마다 16-bit 스케일 팩터를 공유하는 방식, 실제로는 약 1.125-bit)를 사용한 Bonsai 모델 시리즈 세 가지를 출시했다. 8B, 4B, 1.7B 파라미터 규모로 제공된다.
• Bonsai 8B는 메모리 1.15GB만 필요하다. 일반 16-bit FP 8B 모델이 보통 16GB 내외를 쓰는 것과 비교하면 14배 작고, 속도는 8배 빠르며 에너지는 5배 덜 쓴다고 주장한다. IFEval, GSM8K, HumanEval+, BFCL, MuSR, MMLU-Redux 등 여러 벤치마크에서 기존 8B 모델과 유사한 성능을 보였다.
• Bonsai 4B는 0.57GB, Bonsai 1.7B는 0.24GB로 더 작다. 1.7B 모델은 iPhone 17 Pro Max에서 130 tokens/s를 달성한다고 밝혔고, 4B는 M4 Pro에서 132 tokens/s를 기록했다.
• 모델은 Caltech의 연구를 바탕으로 개발됐으며, 'intelligence density(지능 밀도)'라는 새로운 지표를 도입했다. 이는 모델의 오류율의 음의 로그값을 모델 크기로 나눈 값으로, 단순 파라미터 수가 아닌 '비트당 지능'을 측정하려는 시도다.
• 모델 파일은 llama.cpp 호환 GGUF 포맷으로 배포된다. RTX 3090 기준으로 8B 모델이 4GiB VRAM만 사용하면서 700토큰 입력 시 약 190 tokens/s, 6400토큰 입력 시 약 135 tokens/s로 동작한다는 실측 수치가 커뮤니티에서 공유됐다.
• 커뮤니티에서는 이 모델이 Qwen3을 기반으로 커스텀 양자화 커널을 적용한 것 아니냐는 의혹을 제기했다. 실제로 화이트페이퍼가 다른 양자화 모델(INT4 등)과의 비교 없이 full-precision 모델과만 비교한 점을 문제로 지적하는 댓글이 있었다.
• 로보틱스나 실시간 에이전트용으로 설계됐다고 밝혔다. iPhone 앱(Locally AI)을 통해 온디바이스 실행이 가능하며, Cursor 같은 코드 에디터와 연동한 tool use도 동작하는 것이 확인됐다.

Evidence

• 한 사용자가 Bonsai 8B를 Cursor에 연결해 tool use를 테스트했는데, 몬테카를로 파이 시뮬레이션 로직은 맞게 짰지만 UI 생성에서 실패하고 불필요한 기호가 남아 수동 수정이 필요했다는 경험을 공유했다. 전반적으로 '이 크기치고는 인상적이지만 완벽하진 않다'는 평이었다.
• SQL 디버깅 에이전트 벤치마크를 직접 돌려본 사용자가 25문제 중 8개 정답(17 오류)을 얻었다고 보고했다. Qwen3.5-4B(7/25)보다 약간 낫고 Nanbeige4.1-3B(9/25)보다는 약간 부족하지만, 테스트 전체 시간은 200초로 Qwen3.5(976초)나 Nanbeige(2000초+)보다 훨씬 빨랐다. Granite 7B 4bit는 199초로 속도는 비슷하지만 정확도(4/25)가 훨씬 낮았다.
• 이 모델이 '1-bit 목표로 처음부터 학습(trained from scratch)'된 건지, 아니면 기존 float 모델을 사후 양자화(post-training quantization)한 건지가 핵심이라는 의견이 있었다. 전자라면 Microsoft BitNet처럼 진정한 의미의 1-bit 모델이고, 후자라면 그냥 공격적인 양자화일 뿐이라는 지적이다. 화이트페이퍼가 같은 메모리 풋프린트의 다른 양자화 모델(예: 양자화된 Qwen3)과 비교하지 않은 점이 의심스럽다는 댓글도 있었다.
• CPU 전용 구형 2018 랩탑에서 기본 llama.cpp 포크로 돌리면 0.6 tokens/s밖에 안 나왔지만, AVX2(CPU의 병렬 연산 명령어셋) 최적화가 구현되지 않아서임을 확인하고 직접 추가했더니 12 tokens/s까지 올라갔다는 경험이 공유됐다. 공식 CPU 커널에 AVX2 지원이 빠진 것은 아직 최적화가 덜 됐다는 신호다.
• Harry Potter 지식 테스트를 해봤더니 'Sirius Black이 James Potter의 아버지'이고 'James Potter는 Harry의 삼촌이자 Luna Lovegood의 형제'라는 완전히 틀린 답을 자신 있게 내놨다는 사례가 공유됐다. 사실 확인이 필요한 작업에서 환각(hallucination)이 발생한다는 경고다.

How to Apply

• 스마트폰 앱에 온디바이스 AI 기능을 붙이고 싶다면, Locally AI 앱(iOS)에서 Bonsai 1.7B(0.24GB)를 설정에서 다운로드해 테스트할 수 있다. 구형 iPhone SE2에서도 읽는 속도의 절반 정도로 동작한다는 실사용 보고가 있으므로, 일단 체험해보고 정확도가 허용 범위인지 확인하라.
• llama.cpp 기반 로컬 서버를 운영 중이라면 GGUF 포맷의 Bonsai-8B.gguf를 다운로드해 기존 서버에 그대로 올릴 수 있다. RTX 3090에서 4GiB VRAM만 쓰면서 --parallel 5, --cont-batching 옵션으로 5개 동시 요청을 처리할 수 있어 GPU 비용 절감 효과를 바로 측정해볼 수 있다.
• RAG 파이프라인이나 에이전트에서 전처리(오타 교정, 입력 정제) 단계에 소형 모델을 쓰고 싶다면, Bonsai 1.7B나 4B를 경량 필터로 활용하는 구조를 검토할 수 있다. 한 사용자가 NYT 기사 문단을 교정하는 테스트에서 좋은 결과를 얻었다고 보고했다.
• 이 모델을 메인 추론 모델로 채택하기 전에, 본인 서비스의 태스크(특히 멀티스텝 추론, 사실 확인이 필요한 작업)에 대한 자체 벤치마크를 반드시 돌려보라. 공식 벤치마크는 full-precision 모델과만 비교했고, 같은 메모리 크기의 INT4 양자화 모델과의 비교가 없어 실제 우위를 확인해야 한다.

Code Example

# llama.cpp 서버로 Bonsai 8B 실행하는 예시 (커뮤니티 공유)
./build/bin/llama-server \
   -m ../Bonsai-8B.gguf \
   -ngl 999 \
   --flash-attn on \
   --host 0.0.0.0 \
   --port 80 \
   --ctx-size 65500 \
   --batch-size 512 \
   --ubatch-size 512 \
   --parallel 5 \
   --cont-batching \
   --threads 8 \
   --threads-batch 8 \
   --cache-type-k q4_0 \
   --cache-type-v q4_0 \
   --log-colors on

# 결과: RTX 3090 기준 VRAM 4GiB 사용
# 700토큰 입력 → ~190 tokens/s
# 6400토큰 입력 → ~135 tokens/s

Terminology

관련 논문

• Swift로 LLM 학습시키기 Part 1: 행렬 곱셈을 Gflop/s에서 Tflop/s로 끌어올리기

  Apple Silicon에서 Swift로 직접 행렬 곱셈 커널을 구현하며 CPU, SIMD, AMX, GPU(Metal)를 단계별로 최적화해 Gflop/s에서 Tflop/s 수준까지 성능을 높이는 과정을 상세히 설명한 글이다. 프레임워크 없이 LLM 학습의 핵심 연산을 밑바닥부터 구현하고 싶은 개발자에게 Apple Silicon의 성능 한계를 체감할 수 있는 드문 자료다.

• fsync 없이 로컬 스토리지 엔진을 crash-consistent하게 만든 방법

  FractalBits가 fsync 없이 SSD 전용 KV 스토리지 엔진을 구현해 동일 조건 대비 약 65% 높은 쓰기 성능을 달성한 설계 방법을 공유했다. fsync의 메타데이터 오버헤드를 피하기 위해 사전 할당, O_DIRECT, SSD 원자 쓰기 단위 정렬 저널을 조합한 구조가 핵심이다.

• Google Chrome, 사용자 동의 없이 4GB AI 모델(Gemini Nano)을 몰래 설치

  Google Chrome이 사용자 동의 없이 Gemini Nano 4GB 모델 파일을 자동 다운로드하고, 삭제해도 재다운로드되는 문제가 발견됐다. GDPR 위반 가능성과 수십억 대 기기에 적용될 때의 환경 비용 문제가 제기되고 있다.

• OpenAI가 대규모 저지연 Voice AI를 제공하는 방법

  OpenAI가 9억 명 이상의 사용자에게 실시간 음성 AI를 제공하기 위해 WebRTC 스택을 어떻게 재설계했는지 설명하는 글로, relay + transceiver 분리 아키텍처의 설계 결정과 trade-off를 상세히 다룬다.

• Truncated Decoding Tree의 결정론적 탐색을 통한 효율적인 Test-Time Inference

  Self-consistency의 중복 샘플링 낭비를 없애는 결정론적 트리 탐색 디코딩 기법 DLE로 수학/코드 추론 성능과 속도를 동시에 개선

• GoModel – Go로 작성된 오픈소스 AI Gateway

  OpenAI, Anthropic, Gemini 등 여러 AI 프로바이더를 하나의 OpenAI 호환 API로 묶어주는 Go 기반 오픈소스 AI 게이트웨이로, LiteLLM의 컴파일 언어 대안이다.

Related Resources

• PrismML 공식 사이트 (Bonsai 모델 다운로드)
• Bonsai 화이트페이퍼 (GitHub)
• SQL 디버깅 벤치마크 결과 (커뮤니티 공유)
• Locally AI (iOS 앱)
• 커뮤니티 사용 테스트 결과 트위터