· 약 17분 읽기

집에서 클라우드급 AI 속도? DGX Spark 핸드북 한국어 요약 — 1대부터 4대 클러스터, 추천 모델, 전기요금까지

#dgx-spark#local-ai#llm#quantization#nvfp4#moe

원문: EXO Labs, “DGX Spark Handbook” (저자 @0xSero, 리뷰 @alexocheema·@alexzfunk, 감사 @MiaAI_lab) 이 문서는 원문의 전문 번역이 아닌 요약·재구성본입니다. 세부 내용과 링크는 원문을 참고하세요. 참고: 원문 저자 0xSero GitHub · 1~4대 구성 가이드 dgx-spark-fleet

1. DGX Spark란?

  • 로컬에서 AI를 돌리기 위해 만든 작고 조용하며 비교적 저렴한 머신. 128GB 메모리를 탑재.
  • 약점은 메모리 대역폭(273GB/s). RTX 5090(1,792GB/s, VRAM 32GB)의 약 1/6.5 수준.
  • 출시 당시엔 추측 디코딩 같은 추론 최적화 기법이 덜 보급됐고 소형 모델 성능도 부족했지만, 지금은 모델이 작아지면서도 똑똑해졌고 추론 엔지니어링이 발전해 1인 사용 기준 체감 속도가 클라우드 서비스와 비슷한 수준이 됨.
  • 여기서 “속도”는 한 사람이 체감하는 초당 토큰 수. 클라우드 하드웨어 자체는 훨씬 빠르지만 여러 사용자가 나눠 쓰고 비용 효율 위주로 튜닝되기 때문에 사용자 1인당 속도는 낮아짐.

2. Spark는 연결해서 쓰도록 설계됨

  • 모델을 올려 서빙 중일 때 소비전력은 대략 95W 수준 → 발열·소음이 적음.
  • 미국 가정용 표준 회로 하나에 2~4대를 무리 없이 연결 가능. (전력 효율 자체는 데이터센터 B300이 메모리 속도당 약 2배 좋음. 핵심은 “일반 콘센트로 돌아간다”는 점.)
  • 각 Spark에는 ConnectX-7 NIC와 QSFP 포트 2개(200Gb/s = 25GB/s)가 있음.

텐서 병렬(Tensor Parallelism) 시 대역폭 합산 (NVIDIA 측정)

대수합산 읽기 대역폭메모리
1대273 GB/s128 GB
2대546 GB/s256 GB
3대819 GB/s384 GB
4대1,092 GB/s512 GB
  • 생성(디코드) 속도: 2대에서 2배, 4대에서 3.7배 향상. 링크 지연이 낮고 GPU 코드 내부에서 직접 데이터를 주고받을 수 있기 때문.
  • 실제 AI 작업에 쓸 수 있는 메모리는 대당 약 120GB.

3. Dense vs MoE

  • MoE(전문가 혼합) 모델은 토큰당 일부 파라미터만 활성화. 예: Qwen3.6-35B는 활성 3B로, Qwen3.8-27B(Dense) 대비 약 9배 적음.
  • 대역폭이 낮은 Spark에 MoE가 특히 잘 맞음.
  • MoE는 데이터센터에서도 더 나은 구조지만, 로컬에서의 변화는 “충분히 똑똑하면서 빠른” 임계점을 MoE 모델이 넘었다는 것.

4. 추측 디코딩(Speculative Decoding)

  • MTP, DSpark, DFlash 등을 지원하는 모델이 유리. 작은 드래프트 모델이 여러 토큰을 미리 추측하고 큰 모델이 한 번에 검증.
  • 메모리 1~2GB만 추가로 쓰면서 처리량을 크게 높임.
  • MoE와 추측 디코딩의 조합이 로컬 AI를 실용 수준으로 끌어올린 핵심 요인.

5. 다중 동시 요청

  • Spark 1대로 8개 이상의 요청을 대화 속도로 동시 처리 가능.
    • 예: Qwen3.6-35B로 8세션 동시, 각 약 40 tok/s.
    • 참고: ChatGPT Pro의 GPT-6-Astra 평균 약 37 tok/s.
  • 이유: 메모리 속도 대비 연산량이 큼. 16비트 기준 약 100 TFLOPS / 273GB/s → 바이트당 약 370 연산. M3 Ultra는 약 32 연산으로, Spark가 약 11배(4비트 하드웨어 제외).

실사용 사례: Qwen3.6-35B가 영상 3개를 이어붙이고 4배속 처리 + X 프레임레이트 제한 준수까지 약 3분 만에 처리. 해당 영상은 하루 만에 8만 회 이상 조회.

6. 비용

  • 출시가 $3,999 → $4,699로 인상 (2026년 전반적 하드웨어 가격 상승).
  • 실제 시세는 더 높음: NVIDIA 스토어 품절, 최저 약 $5,000, 중고 약 $6,000. 9월 21일에는 NVIDIA 마켓플레이스에서 $7,999까지 확인됨.

구매 팁

  • GB10 칩 기반이면 ASUS, Dell, MSI 등 어느 제조사 제품이든 동일 소프트웨어·레시피 사용 가능.
  • SSD는 1TB면 금방 참. 4TB 권장.
  • 두 번째 Spark를 살 때 연결 케이블도 함께 구매.
  • 일부 OEM 제품은 공기 흐름이 더 좋음.

7. 전력·소음·전기요금

  • GPU 4장(3090×4) 구성은 1,600~2,000W를 쓰면서 메모리는 1/5 수준. 저자의 RTX Pro 6000 타워는 방을 35°C까지 달궈 사무실에서 옮겼다고 함.
  • 미국 가정 회로는 상시 약 1,440W까지가 안전 기준.
구성소비전력월 전기요금(24시간, $0.18/kWh 가정)
Spark 1대약 90~200W약 $12
Spark 4대 + 스위치약 500W + 스위치 약 240W약 $66~100
GPU 4장 리그최대 1,600W약 $300
  • 4대 분산 추론 시 모든 Spark가 모든 토큰에 관여하고 네트워크도 계속 쓰므로 대당 평균 약 125W로 증가. 실제 사용(유휴 시간 포함)은 위 수치보다 저렴.
  • 미국 가정 전기요금은 올해 약 5% 올라 kWh당 약 18센트. 저자의 8월 전기요금은 GPU 리그, Spark 2대, 에어컨 4대로 월 $1,000까지 증가.
  • 소음: GPU 리그는 제트엔진 수준이지만 Spark 4대는 최대 부하에서도 조용함.

실용 팁

  • LLM 외에 월드 모델, 이미지 생성 등 다양한 모델에 활용 가능.
  • 옆으로 세워서 메시 주변에 공간을 두면 더 시원하게 동작.
  • Discord/Reddit/X 커뮤니티에서 디버깅 도움 받기.
  • 전체 장비에 Tailscale 구성.

8. 저자가 실제로 쓰는 모델

  • 토큰은 대략 단어의 3/4. 30 tok/s 이상이면 일반 대화처럼 읽힘.
  • 추측 디코딩 특성상 코드·JSON은 추측이 쉬워 빠르고, 일반 산문은 느림. 같은 모델도 작업에 따라 2배 차이 가능. 긴 프롬프트도 속도를 떨어뜨림.
  • 여러 작업에 걸친 정식 측정은 NVIDIA의 SPEED-Bench(11개 카테고리, 입력 1K~32K)가 적합하지만 아직 Spark에서는 미실행.
구성모델
1대Qwen3.6-35B, Qwen3.8-Flash-Next, Qwen3.8-27B
2대GLM-5.3-Flash
4대DeepSeek-V4.1-Flash
(참고)GLM-5.3 (저자의 3비트 빌드)

9. 큰 모델을 올리는 방법: 양자화

  • 가중치를 더 적은 비트로 저장(예: 16비트 → 4비트, 크기 1/4). 손실 압축이라 품질이 일부 떨어지며, 압축할수록 품질 저하가 커짐.
  • Spark에서 중요한 두 포맷:
    • NVFP4: NVIDIA 4비트 포맷, Spark 칩이 직접 처리. Qwen3.6-35B가 72GB → 24GB.
    • EXL3: 비트 수를 세밀하게 선택 가능. GLM-5.3-Flash 4비트 176GB(2대), 2비트 85GB(1대, 약간 품질 저하).
  • 팁: 작은 모델은 4비트, 큰 모델은 3비트가 적정선.

압축 모델 품질 판단 지표

  • Top-1 일치율: 원본과 같은 다음 토큰을 고르는 비율 (높을수록 좋음). 저자의 1대용 GLM-5.3-Flash는 약 80%.
  • KL divergence: 원본 분포와의 차이 (낮을수록 좋음). 저자의 비가지치기 GLM-5.3 3비트는 0.089, 가지치기한 197GB 버전은 0.511.

10. 1대에서 4대까지 단계별 가이드

대부분 레시피는 MiaAI Lab 제공(저장소 클론 후 스크립트 하나로 실행), 일부는 저자 제작.

사전 준비 (모든 Spark에서 1회)

  1. DGX Dashboard에서 업데이트 후 재부팅.
  2. NVIDIA Sync 또는 SSH로 노트북에서 접속. 외부 접속은 NVIDIA의 Tailscale 플레이북 참고.
  3. Hugging Face 계정·토큰 생성 → .env 파일에 저장 (저장소에 커밋 금지).
  4. 디스크 여유 확인: 1대 레시피는 약 25~130GB, 4대 DeepSeek 레시피는 헤드 노드에 약 476GB 필요.
  5. DGX OS에 Docker 기본 포함 → 대부분 레시피가 Docker로 실행.

Step 1: Spark 1대

  • 먼저 LM Studio + NVIDIA 가이드로 Qwen3.6-35B 실행 (약 1시간). 장비 정상 동작 확인용.
  • 이후 vLLM/SGLang 기반 레시피로 이동 (더 빠르고 다중 에이전트 지원).
모델제공속도메모리
Qwen3.6-35B (NVFP4)MiaAI Lab1인 95 tok/s, 8인 합계 317약 50GB
Qwen3.8-27B (NVFP4)MiaAI Lab코드 약 51 tok/s(DSpark), 채팅 약 23약 24GB
Qwen3.8-Flash-Next (NVFP4)MiaAI Lab1인 48.7, 8인 합계 162.9약 130GB
GLM-5.3-Flash (2비트 EXL3)저자 / Mia 1대 버전10~25 tok/s, 262K 컨텍스트, 비전약 85GB

가장 쉬운 첫 레시피:

git clone https://github.com/MiaAI-Lab/Unsloth-Qwen3.6-35b-NVFP4-DGX-Spark.git
cd Unsloth-Qwen3.6-35b-NVFP4-DGX-Spark
./start.sh

실행되면 OpenAI 호환 엔드포인트가 생기므로 Pi, opencode, Open WebUI 등을 연결.

팁: 모델이 안 뜨면 거의 항상 메모리 문제. 다른 모델을 먼저 종료. 1대에는 큰 모델 하나씩.

Step 2: Spark 2대 (저자 최다 추천 구성)

케이블 (QSFP 짧은 케이블 1개, 모두 200Gb/s):

  • NVIDIA 정품 0.4m, $99.99 (자주 품절)
  • NVIDIA 문서 명시 제품: Amphenol NJAAKK-N911 / Luxshare LMTQF022-SD-R (0.5m, 약 $159~187)
  • 저가 200G 옵션: NVIDIA MCP1650-V00AE30, 약 $84
  • USB-C나 10GbE 포트는 너무 느리므로 사용 금지.

연결 설정: NVIDIA의 “두 Spark 연결” 플레이북으로 포트 주소 설정 및 속도 확인 → 헤드에서 워커로 비밀번호 없는 SSH 설정. (Claude나 GPT에게 설정을 맡기면 더 쉽다고 함.)

모델제공성능
Qwen3.8-Flash-Next (NVFP4)MiaAI Lab1인 52.1 tok/s (MTP), 최대 1M 컨텍스트
GLM-5.3-Flash (4비트 EXL3)MiaAI Lab1인 62.9, 4인 합계 146.5, 850K 컨텍스트
DeepSeek-V4.1-Flash (2.9비트 EXL3)MiaAI Lab코드 38.8~43.0 tok/s, 600K 컨텍스트
GLM-5.3 (3비트 EXL3, 197GB 가지치기)저자적재 가능, 속도 미측정

일반적인 2대 레시피 흐름:

cp .env.example .env     # HEAD_IP, WORKER_IP 설정
./download.sh
./start.sh

주의: 다중 Spark 연결은 소프트웨어가 가장 덜 다듬어진 부분. 검증된 레시피를 따르고 첫 시도엔 오후 반나절 정도 여유를 둘 것.

Step 3: Spark 3대

  • 스위치 불필요. 포트가 2개씩이므로 A-B, B-C, C-A 삼각형으로 케이블 3개 연결 (NVIDIA 공식 지원 스위치리스 링).
  • 약 384GB로 2대로는 불가능한 모델 가능:
    • DeepSeek-V4.1-Flash 원본 정밀도: 1인 51.0 tok/s, 256K 컨텍스트. SSH·Docker·네트워크를 점검하는 doctor 명령 포함.
    • GLM-5.3-Flash: 2대 EXL3 레시피에 start-tp3.sh 제공.
    • GLM-5.3 비가지치기 293GB 빌드.
./start.sh doctor    # ssh, docker, 링크, 디스크 점검
./start.sh share     # 모델 폴더를 다른 Spark와 공유
./start.sh serve     # 워커 먼저, 그 다음 헤드 실행

팁: 일부 모델은 2 또는 4로만 균등 분할됨. 3대째 구매 전 레시피에 “3x” 지원 여부 확인.

Step 4: Spark 4대 (약 512GB)

옵션 A — 스위치 (저자 사용 방식): 각 Spark를 200GbE 스위치에 한 줄씩 연결해 모두 1홉 거리. NVIDIA 플레이북 있음.

  • MikroTik CRS812-8DS-2DQ-2DDQ-RM (400G 포트를 200G 두 개로 분할)
  • MikroTik CRS804-4DDQ-hRM (소형 옵션)
  • Exxact의 4대 클러스터 구매 목록(스위치·케이블·전원) 참고.
  • 저자는 “Spark 4대 + MikroTik 스위치”만큼 좋은 가성비는 없다고 평가.

옵션 B — 스위치 없는 링: 각 Spark를 양옆과 연결, 이웃이 아닌 노드는 중간 노드를 경유. 스위치 비용은 아끼지만 설정이 더 어려움.

  • SparkRing: 스위치리스 2대/4대 링용 풀 소프트웨어 스택 (알파 버전이므로 버전 고정 권장).
  • GLM-5.3-Flash 4대 링 레시피: 100G 케이블 4개 + 패치된 NCCL, 평소 약 45 tok/s, 워밍업 시 최대 약 100.
모델제공성능
DeepSeek-V4.1-Flash (원본)MiaAI Lab, start-tp4.sh1인 45.4, 16인 합계 134.2, 1M 컨텍스트
GLM-5.3-Flash (NVFP4)스위치리스 링평소 약 45, 워밍업 약 100

저자의 4대 최고 기록: GLM-5.3-Flash + DFlash2 118 tok/s, DeepSeek-V4.1-Flash 짧은 프롬프트 83.8~95.3 tok/s.

모든 단계에서 유용한 도구

  • sparkDash: 모든 Spark의 GPU·메모리·네트워크·실시간 tok/s를 한 화면에서 보는 웹 대시보드.
  • NVIDIA Spark 플레이북: LM Studio, Ollama, vLLM, 다중 연결 등 공식 가이드.
  • local-ai-registry: 저자의 레시피와 모든 속도 테스트 기록.
  • b12x: 여러 레시피의 기반이 되는 고속 커널 (레시피가 자동 설치).

11. 결론 및 권장 경로

Spark는 본질적으로 “메모리 박스”. 큰 모델을 담고, 가정용 전력으로 조용히 돌리며, 대수를 늘릴수록 좋아짐.

  1. 1대를 사서 첫날 LM Studio로 Qwen3.6-35B 실행.
  2. 속도나 다중 에이전트가 필요해지면 레시피로 전환.
  3. GLM-5.3-Flash나 DeepSeek-V4.1-Flash를 원하면 2대째와 케이블 구매. 대부분은 여기서 멈추면 충분.
  4. 가장 큰 모델이나 여러 모델 동시 실행이 필요할 때만 3~4대.

저자는 다시 사도 구매할 것이며, 처음부터 한다면 첫날 2대를 사겠다고 함.

심화 1: 다중 Spark 확장 원리

  • 생성(디코드)은 거의 선형 확장: 토큰마다 활성 가중치를 읽어야 하는데, 분산 시 각 Spark가 자기 몫을 동시에 읽음. NVIDIA 측정 토큰당 시간: 269ms → 133ms(2대) → 72ms(4대).
  • 각 레이어 후 부분 결과를 교환해야 하므로 레이어·토큰마다 작은 고정 비용 발생 (대수를 늘려도 줄지 않음).
  • 링크 25GB/s는 로컬 메모리 속도의 1/10이지만 교환량이 작아 문제 없음.
  • RDMA 사용: CPU 복사 없이 메모리 간 직접 전송. QSFP 포트 하나가 100Gb/s 두 개로 보여서 둘 다 써야 200Gb/s가 나옴 — NCCL이 처리.
  • 프리필(읽기)은 확장성이 낮음: 32K 프롬프트 처리 시 2대 1.6배, 4대 2.1배. 단계당 노드 간 데이터 이동이 훨씬 많기 때문.
  • 링 구성은 홉이 늘어남: 3대 삼각형은 모두 직결, 4대 링은 일부 경유. 스위치는 모두 1홉. SparkRing은 자체 통신 코드(SIRCL)로 링 성능 개선.
  • MoE 모델은 텐서 병렬 + 전문가 병렬(Expert Parallel)을 함께 쓰는 경우가 많음.

속도를 높이는 다른 두 방법

  • 동시 사용자: 한 번 읽은 가중치로 모두에게 응답하므로 합계 처리량이 단일 사용자 속도보다 훨씬 빠르게 증가.
  • 추측 디코딩: GLM-5.3-Flash가 같은 레시피에서 산문 27 tok/s → 구조화 출력 65 tok/s.

클라우드 vs 로컬: 클라우드 사업자는 비용/토큰과 사용자당 속도 사이에서 대체로 비용 쪽을 택함 (SemiAnalysis의 InferenceX가 이 트레이드오프를 시각화). 로컬은 장비 전체를 한 사람에게 쓸 수 있어 하드웨어가 느려도 체감은 비슷.

sm_121: Spark 소프트웨어 생태계가 따로 노는 이유

  • Spark GPU의 compute capability는 12.1(sm_121). RTX 5090·RTX PRO 6000은 sm_120(가까운 사촌), B200·B300은 sm_100·sm_103(다른 계열).
  • 최고 성능 코드는 계열별로 작성되므로 출시 초기엔 많은 코드가 안 돌거나 느렸음.
  • 해결책은 Spark 전용 코드:
    • b12x (Local Inference Lab): sm_120/121용 커널 라이브러리. NVFP4·MXFP4 4비트 행렬 연산, DeepSeek 계열 어텐션, MoE 레이어, 고속 로더. pip install b12x, vLLM에서 flashinfer_b12x 같은 플래그로 활성화.
    • SparkInfer: b12x의 옛 이름 (gittensor의 sparkinfer와는 별개 — 그쪽은 sm_120 전용 RTX 런타임).
    • ExLlamaV3: EXL3 실행 엔진. MiaAI Lab이 Arm(GB10) 포팅 + 드래프트 모델 지원 포크 유지.
    • lil: 머신 구성을 읽어 1대/다중 구성에 맞는 vLLM 명령을 생성하는 런처.

심화 2: 연구용 머신으로서의 Spark

  • 프리필(읽기): 프롬프트 전체를 한 번에 처리 → 연산량이 한계. GB10은 4비트 기준 최대 1 PFLOPS로 강함.
  • 디코드(쓰기): 토큰마다 모델을 다시 읽음 → 메모리 속도가 한계. Spark의 약점.
  • 결과적으로 읽기가 쓰기보다 1341배 빠름. 예: DeepSeek-V4.1-Flash 4대에서 32K 프롬프트 3,360 tok/s, 131K에서 3,273 tok/s, 생성은 7095 tok/s.

모델 경량화 연구는 대부분 “읽기” 작업

  • 양자화: 샘플 텍스트를 통과시켜 레이어별·비트별 손실 측정.
  • 가지치기(REAP): MoE에서 전문가 사용량을 기록해 덜 쓰이는 전문가 제거. 저자의 197GB GLM-5.3은 256개 중 168개 유지.
  • 품질 검증: 원본과 압축본에 같은 텍스트를 넣고 비교(Top-1 일치율, KL).
  • 장문 컨텍스트 테스트: 262K 토큰에서 사실 하나 찾기 = 긴 읽기 한 번.

저자는 가지치기·EXL3·벤치마크를 Spark로 옮기고 RTX 6000은 추론 전용으로 사용 중 (Spark가 느려도 12시간 대신 2~3일이면 충분하다는 입장). 10만 다운로드를 넘긴 1대용 DeepSeek 모델도 REAP 가지치기 + EXL3 압축본.

연구 목적에 맞는 이유

  • 300B급 모델을 클러스터 대여 없이 1~2대로 측정 가능.
  • 가정용 전력으로 며칠씩 무인 실행 가능, 요금 부담 적음.
  • 고속 GPU는 서빙에 쓰고 Spark는 느리고 꼼꼼한 작업 담당.
  • 개인 데이터(에이전트 세션, 본인 글)로 캘리브레이션 가능 — 데이터가 로컬에 머묾.
  • 연구 에이전트 호스트로 적합: 에이전트 4개를 동시에 각 약 120 tok/s로 운용.
  • 학습도 잘 확장됨: NVIDIA 테스트에서 파인튜닝이 2대 2배, 4대 4배 (스텝당 1회 동기화). 저자는 직접 측정하지 않음.

심화 3: GB10, GB300, 그리고 확장 메모리로서의 Spark

  • “GB” = Grace Blackwell. Arm CPU와 Blackwell GPU가 한 패키지에서 NVLink-C2C로 메모리를 공유하는 구조.
  • GB10(Spark): 이 설계의 최소형 버전, MediaTek과 함께 만든 20코어 Arm CPU.
  • GB300: 데이터센터 버전(Grace + Blackwell Ultra B300). GB300 NVL72 랙에 들어가며, DGX Station에도 GB300 하나가 탑재됨.
  • GB10은 GB300을 잘라낸 것이 아니라 같은 설계를 소형화한 것 → 같은 소프트웨어가 양쪽에서 동작.

최종 결론

저자에게 DGX Spark는 집 안에 자리를 잡았고, 지원·활용도·성능이 날마다 좋아지고 있는 장비.

출처 (원문 참고 자료 분류)

  • 저자 X 포스트, local-ai-registry 속도 테스트
  • 레시피: MiaAI Lab GitHub, 저자 Hugging Face 모델
  • 하드웨어·가격: NVIDIA DGX Spark 페이지 및 문서, VideoCardz, pi3g 가격 추적기
  • 연결: NVIDIA 클러스터링 문서, 스케일링 블로그, 스위치 플레이북, 케이블 가이드, 2대 벤치마크 가이드
  • 전력: ServeTheHome 리뷰, Tom’s Hardware, EIA(Utility Dive), 미국 전기 규정
  • 포맷·소프트웨어: NVFP4, ExLlamaV3, b12x, REAP, compute capability
  • 클라우드 속도: SemiAnalysis InferenceX
  • GB300: GB300 NVL72·DGX Station 사양, EXO의 Spark + Mac Studio 글
  • 시작하기: NVIDIA Spark 플레이북 / 큰 그림: State of Local AI: 2026