ChatGPT는 어떻게 7억 명을 서빙하는데 나는 GPT-4 하나도 못 돌리나?

Who Should Read

LLM을 자체 서버에 올리거나 로컬에서 돌려보려다 막힌 개발자. 온프레미스 vs 클라우드 API 선택을 고민 중인 ML 엔지니어나 스타트업 개발자.

Core Mechanics

• GPT-4는 추정 1.7조 파라미터 규모로, FP16 기준 단순 저장에만 3.4TB VRAM 필요 — 개인 GPU로는 물리적으로 불가
• OpenAI는 A100/H100 수천 장을 텐서 병렬(Tensor Parallelism) + 파이프라인 병렬로 모델을 쪼개 분산 실행
• 배치 처리(Batching)가 핵심 — 수천 명의 요청을 묶어서 한 번에 처리하면 GPU 활용률이 90%+ 유지
• KV Cache(이전 토큰 계산 결과 재활용)로 반복 연산을 제거해 처리량을 수배 이상 향상
• 규모의 경제 — GPU 수천 장을 풀가동하면 장당 비용이 개인 임대보다 수십 배 저렴해짐
• 로컬 대안으로는 Llama-3.1-8B, Mistral-7B 같은 소형 모델을 llama.cpp로 CPU에서도 구동 가능

Evidence

• GPT-4 MoE 구조 기준 활성 파라미터 ~280B, 전체 ~1.7T 추정 — 단일 H100(80GB) 1장으론 로드 불가
• vLLM 기준 A100 8장 클러스터에서 Llama-2-70B 처리량 약 2,000 tokens/sec (단일 요청 대비 10배 이상)
• OpenAI 인프라 비용 추정치 약 $700K/일 (2023년 기준) — 규모가 있어야 단가가 맞음

How to Apply

• GPT-4급 성능이 필요하면 API를 써라 — 자체 호스팅은 비용·운영 모두 비효율적
• 오픈소스 모델(Llama-3.1-8B, Mistral-7B)이면 llama.cpp + Ollama로 로컬 or 소형 GPU 서버에서 직접 서빙 가능
• 프로덕션 규모로 오픈소스 모델 서빙 시 vLLM + continuous batching 조합으로 처리량을 최대화하라

Code Example

# Ollama로 로컬에서 Llama-3.1-8B 바로 실행
# 설치: https://ollama.com

# 모델 다운 및 실행
ollama run llama3.1:8b

# API로 호출
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "Hello, how are you?",
  "stream": false
}'

# --- vLLM으로 프로덕션 서빙 (GPU 서버) ---
pip install vllm

python -m vllm.entrypoints.openai.api_server \
  --model meta-llama/Llama-3.1-8B-Instruct \
  --tensor-parallel-size 2  # GPU 2장 병렬

Terminology

Related Resources

• https://ollama.com
• https://github.com/ggerganov/llama.cpp
• https://github.com/vllm-project/vllm
• https://news.ycombinator.com/item?id=ask-hn-chatgpt-700m