고해상도 Neural Cellular Automata: 세포에서 픽셀로

Who Should Read

생성 모델이나 절차적 텍스처 합성에 관심 있는 그래픽스/ML 엔지니어, 또는 자기조직화 시스템과 인터랙티브 데모 구현에 관심 있는 연구 개발자.

Core Mechanics

• Neural Cellular Automata(NCA)는 동일한 셀들이 학습된 로컬 업데이트 규칙을 반복 적용해 복잡한 패턴으로 자기조직화하는 생물학에서 영감받은 동적 시스템인데, 기존에는 해상도가 낮은 출력에만 머물러 있었다.
• 기존 NCA가 고해상도에 취약한 이유는 세 가지다. 그리드 크기에 따라 학습 시간과 메모리가 제곱으로 늘어나고, 정보가 로컬하게만 전파되어 장거리 통신이 어려우며, 고해상도 실시간 추론에 연산 부담이 크다.
• 이 논문은 NCA가 coarse(거친) 격자 위에서 동작하게 하고, 셀 상태와 로컬 좌표를 입력받아 색상이나 노멀 같은 속성을 출력하는 경량 MLP인 LPPN(Local Pattern Producing Network)을 디코더로 붙였다. 덕분에 동일한 모델로 임의 해상도 출력이 가능하다.
• LPPN과 NCA 업데이트가 모두 로컬하게 동작하기 때문에 추론이 고도로 병렬화된다. 즉, 고해상도로 확장해도 실시간 성능을 유지할 수 있다.
• 고해상도 출력을 효율적으로 학습하기 위해 형태 생성(씨앗에서 성장하는 morphogenesis)과 텍스처 합성에 각각 맞춤형 task-specific loss를 도입했고, 추가 메모리와 연산 오버헤드는 최소화했다.
• 2D 그리드, 3D 그리드, 메쉬(3D 모델 표면) 도메인 모두에서 실험했고, MeshNCA라는 이름으로 3D 메쉬 표면에 실시간 텍스처를 자기조직화 방식으로 입히는 것도 시연했다.
• 데모 사이트에서 브러시로 직접 캔버스를 교란시키면 NCA가 손상된 패턴을 스스로 재생하는 것을 확인할 수 있으며, coarse NCA 셀 상태와 LPPN이 생성하는 최종 출력을 실시간으로 비교해볼 수 있다.
• 이 연구는 SIGGRAPH 2026에 채택됐으며, EPFL과 Google Research의 공동 연구로 arXiv에 논문이 공개되어 있고 GitHub 코드도 제공된다.

Evidence

• 브러시로 안정화된 이미지를 지나치게 덧칠하면 NCA가 이미지를 완전히 망가뜨린다는 사용자 보고가 있었다. 가로로 5번 스와이프하면 고양이 이미지가 사라진다며 영상을 공유했는데, 이는 NCA의 로컬 업데이트 특성상 교란이 너무 크면 재생이 따라가지 못하는 한계로 보인다.
• NCA가 결국 텍스처 샘플링을 로컬 룰로 흉내 내는 것 아니냐는 의문이 제기됐다. 이미지에서 학습한 규칙으로 픽셀을 생성한다면 텍스처 메모리 참조와 다를 게 없지 않냐는 것인데, 차이는 좌표를 직접 조회하는 것이 아니라 오직 로컬 정보만으로 패턴을 재현한다는 점이라는 설명이 이어졌다.
• NCA의 strictly local 업데이트가 고해상도에 병목이 된다는 논문의 주장에 대해, GPU의 CAM(Content-Addressable Memory) 스타일의 이웃 전용 트래픽으로 오히려 속도 이점을 얻을 수 있지 않냐는 반론이 제기됐다. 이에 대한 구체적인 답변은 이어지지 않았지만, 흥미로운 최적화 방향으로 주목받았다.
• 이 연구의 컨셉을 인프라에 적용하고 싶다는 아이디어가 나왔다. 클러스터 일부가 장애를 일으켜도 시스템이 스스로 재생하는 '바이오 영감 Kubernetes(별칭: Bionettes)' 같은 것이 가능하지 않겠냐는 상상이었다.
• 2020년 Distill.pub에 공개된 원조 논문 'Growing Neural Cellular Automata(https://distill.pub/2020/growing-ca/)'가 기초를 이해하기에 더 좋은 자료라는 추천이 있었고, 해당 글이 잘 쓰여졌다는 평가가 따랐다.

How to Apply

• 절차적 텍스처 생성 파이프라인을 구축 중이라면, 이 논문의 MeshNCA 방식을 참고해 3D 메쉬 표면에 자기조직화 텍스처를 실시간으로 입히는 렌더링 시스템을 설계할 수 있다. coarse NCA + LPPN 구조로 임의 해상도 출력을 지원하면서도 실시간 성능을 유지할 수 있다.
• 재생 가능한 패턴 생성 시스템이 필요하다면, NCA의 regeneration 특성을 활용해 일부가 손상돼도 스스로 복구하는 동적 비주얼 에셋이나 인터랙티브 시각화를 구현해볼 수 있다. 데모 사이트의 브러시 교란 후 복구 거동을 참고하면 된다.
• 논문의 LPPN 개념(경량 MLP로 coarse 격자 상태를 고해상도로 업샘플링)은 다른 도메인에도 적용할 수 있다. 예를 들어 저해상도 시뮬레이션 결과를 고해상도로 업샘플링하는 neural upscaler를 만들 때 이 구조를 참고할 수 있다.
• 데모를 직접 실행해보려면 cells2pixels.github.io의 인터랙티브 데모에서 브러시 모드, 타겟 이미지 변경, LPPN 스케일 조정 등을 바로 체험할 수 있다. Google Colab 링크도 제공되므로 코드 레벨 실험도 가능하다.

Terminology

관련 논문

• 로컬에서 SOTA LLM 실행하기 완전 가이드 (하드웨어부터 설정까지)

  2천 달러짜리 RTX 3090 한 장부터 4만 달러짜리 RTX PRO 6000 4장 셋업까지, 로컬에서 최신 LLM을 직접 돌리는 방법을 하드웨어 선택·구성·실행 설정까지 통째로 정리한 실전 가이드다.

• Manticore Search에서 ONNX 경로를 재설계해 임베딩 속도를 14배 높인 방법

  Manticore Search가 기존 SentenceTransformers/Candle 백엔드를 ONNX Runtime으로 교체해 텍스트 임베딩 생성 속도를 평균 14배 향상시켰다. 별도 모델 서비스 없이 DB 내부에서 직접 임베딩을 처리하는 구조에서 INSERT 속도가 곧 임베딩 속도이기 때문에 이 개선은 실질적인 ingest 처리량 향상으로 직결된다.

• Asymmetric Quantization: 97% 스토리지 절감으로 Late Interaction 검색 품질 유지하기

  멀티벡터 검색 모델의 문서 벡터를 1비트 이진값으로 압축하고 쿼리 벡터만 int8로 유지하는 비대칭 양자화 기법으로, 스토리지를 97% 줄이면서 검색 품질 손실을 0.61점(NDCG@10 기준)에 그치게 만든 실제 프로덕션 적용 사례다.

• Bash4LLM+ – 의존성 없는 경량 Bash LLM API 래퍼

  Python이나 Node.js 없이 순수 Bash만으로 Groq 등 OpenAI 호환 LLM API를 호출할 수 있는 단일 스크립트 도구로, Termux(Android)를 포함한 모든 Unix 환경에서 동작한다.

• Wayfinder Router: 로컬과 hosted LLM 간 deterministic 쿼리 라우팅 도구

  프롬프트의 복잡도를 모델 호출 없이 오프라인으로 점수화해서 간단한 쿼리는 로컬 모델로, 어려운 쿼리는 유료 모델로 자동 라우팅하는 CLI 도구다. LLM 비용을 줄이면서도 응답 품질을 유지하고 싶은 개발자에게 유용하다.

• Apple Neural Engine: 아키텍처, 프로그래밍, 성능 (리버스 엔지니어링 가이드)

  Apple 기기에 내장된 AI 전용 칩인 ANE(Apple Neural Engine)를 리버스 엔지니어링으로 분석한 302페이지짜리 기술 문서로, Core ML 아래 숨겨진 내부 구조와 직접 접근 경로를 처음으로 공개한다.

Related Resources

• 원문 프로젝트 페이지 (cells2pixels)
• Growing Neural Cellular Automata (Distill.pub, 2020)
• 브러시 교란 영상 (imgur)