Deepseek R1 671B 집에서 작동시키기 위한 컴퓨터 스펙 정리
최근 AI 업계에서 뜨거운 화두가 되고 있는 Deepseek R1 671B 모델은 6,710억 개(와… ㅋㅋ)의 파라미터를 갖춘 초대형 언어모델로 평가받고 있습니다.
“집에서도” 이 모델을 구동해보고 싶은 사용자들을 위해 필요한 최소/권장 스펙을 아래와 같이 정리해 보았습니다.
아래 영상과 글을 참고했습니다. 쿠팡에서 구매할 수 있는 부품들로 찾아봤습니다.
일반 PC 데스크탑이 아니라 서버 컴퓨터급으로 조립해야합니다.
https://digitalspaceport.com/how-to-run-deepseek-r1-671b-fully-locally-on-2000-epyc-rig/
1. Deepseek R1 671B 모델
- 모델 규모: 671B 파라미터
- 특징: 최신 강화학습 기법을 적용하여 뛰어난 추론 능력을 보유하며, 오픈소스 MIT 라이센스로 배포되어 누구나 사용 가능
- 운영 방식: 로컬 실행 시 인터넷 연결 없이도 작동하여 데이터 프라이버시를 확보할 수 있음
에서 돌리기 위해서는 아래와 같은 요소들을 고려해야 합니다.
최소 사양 요약
| 부품 | 가격 (원) | 구매 링크 |
|---|---|---|
| GPU Rack Frame | 155,700원 | 바로가기 |
| MZ32-AR0 Motherboard | 969,500원 | 바로가기 |
| CPU Water Cooler (420mm Water Cooler Corsair h170i elite capellix xt) |
221,000원 | 바로가기 |
| CPU 옵션 1 (64 core AMD EPYC 7702) |
1,199,000원 | 바로가기 |
| 512GB 2400 ECC RAM | 520,000원 | 안 나옴 |
| 1TB NVMe – Samsung 980 Pro | 520,000원 | 안 나옴 |
| PSU (850W PSU – CPU Inference 전용; GPU 사용 시 1500W 또는 1600W 권장) |
97,500원 | 안 나옴 |
| 총합 | 3,682,700원 | 안 나옴 |
2. CPU 요구 사항
초대형 모델을 구동할 때는 병렬 연산과 데이터 전송 처리 능력이 중요한데, 집에서 사용 가능한 워크스테이션급 CPU로는 다음과 같은 선택지가 있습니다.
- 권장 CPU: AMD EPYC 또는 AMD Threadripper 시리즈 (최대 64코어 이상), 인텔 Xeon W 시리즈
실제 DigitalSpaceport 글에서는 2000 EPYC와 같은 서버급 하드웨어를 사용했지만, 집에서 구동할 경우 고성능 멀티코어 CPU가 병목 현상을 줄이는 데 도움이 됩니다.
3. GPU 요구 사항
Deepseek R1 671B 모델의 가장 큰 난관은 GPU 메모리(VRAM) 요구 사항입니다.
- FP16 정밀도 사용 시: 약 1,543GB VRAM 필요
- 4비트 양자화(Quantization) 사용 시: 약 386GB VRAM 필요
집에서 일반 소비자용 GPU 한 대의 VRAM은 보통 8GB~24GB에 불과하므로, 아래와 같은 구성이 필요할 수 있습니다.
집에서 데스크탑 견적짤 때 수준의 VRAM이면 DeepSeek r1은 안 돌아갑니다. 흠
- 다중 GPU 구성: 최신 소비자용 GPU (예: NVIDIA RTX 4090, 24GB 이상) 여러 대를 병렬로 사용하거나 데이터센터급 GPU를 활용한 분산 처리 환경 구축
- 양자화 기법 적용: 4비트 양자화 등 모델 최적화 기술을 활용하여 VRAM 요구량을 줄이는 것이 필수적
4. 메모리(RAM) 및 스토리지 요구 사항
- RAM: 모델의 중간 연산 과정과 배치 처리 시 높은 메모리 오버헤드가 발생하므로 최소 64GB 이상, 권장 128GB 이상
- 스토리지: 모델 파일 크기가 수십에서 수백 기가바이트에 이를 수 있으므로 NVMe SSD와 같은 고속 저장장치를 사용하며 최소 1TB 이상 확보
5. 전원 및 냉각 시스템
고성능 CPU와 다중 GPU를 동시에 운영할 경우, 전력 소비와 발열 관리도 중요한 요소입니다.
- 전원 공급 장치(PSU): 안정적인 전력 공급을 위해 1000W 이상, 멀티 GPU 구성을 감안하면 여유 용량을 고려한 PSU 선택
- 냉각 시스템: 공랭 또는 수랭 시스템을 통한 효과적인 열 관리, 케이스 내부 공기 흐름 최적화 및 추가 팬 설치 고려
6. 집에서 운용 가능한 구성 예시
만약 가정에서 Deepseek R1 671B의 경량화 또는 양자화 버전을 구동한다면, 다음과 같은 구성이 하나의 예시가 될 수 있습니다.
- CPU: AMD Threadripper PRO (64코어)
- GPU: NVIDIA RTX 4090 × 4 (각 24GB, 분산 처리 환경 구축)
- RAM: 128GB DDR4/DDR5 메모리
- 스토리지: NVMe SSD 2TB × 2 (RAID 구성 가능)
- PSU 및 냉각: 1600W PSU와 수랭 시스템 적용
이와 같은 구성은 완벽한 671B 모델을 풀 스펙으로 돌리기보다는, 양자화 및 분산 처리 기법을 적용해 “실행 가능”한 수준으로 모델을 경량화한 경우에 해당됩니다.
7. 결론
Deepseek R1 671B와 같은 초대형 언어 모델은 원래 대규모 데이터센터나 서버급 시스템에서 구동하기 위해 설계되었지만, 기술 발전과 최적화 기법 덕분에 집에서도 일부 기능을 체험할 수 있는 환경을 마련할 수 있습니다. 집에서 운용할 경우, 고성능 멀티코어 CPU, 다중 GPU 구성(또는 데이터센터급 GPU의 대체 옵션), 충분한 메모리와 스토리지, 그리고 안정적인 전원 및 냉각 시스템이 필수적입니다.
현재의 기술 발전 상황에서는 완벽한 671B 모델을 집에서 그대로 운용하는 것은 현실적으로 어렵지만, 양자화 등 최적화 기법을 통해 “실행 가능”한 경량화 버전은 충분히 기대해볼 만합니다. 앞으로 AI 최적화와 하드웨어 발전에 따라 집에서도 대규모 모델을 손쉽게 돌릴 수 있는 날이 머지않아 올 것으로 보입니다.
