본문으로 건너뛰기

샤오미 MiMo-V2-Flash 로컬 실행 방법: 완벽 설치 가이드

BlogsXiaomiMiMo-V2-FlashLocal AIAI ModelsSGLang약 3 분

샤오미 MiMo-V2-Flash 로컬 실행 방법: 완벽 설치 가이드

샤오미의 MiMo-V2-Flash는 효율적인 AI 모델 설계에 큰 혁신을 가져왔으며, 전체 파라미터 수는 3090억 개에 달하지만 추론 시에는 150억 개만 활성화됩니다. 이러한 Mixture-of-Experts 아키텍처는 뛰어난 성능을 제공하면서도 로컬 배포를 위한 합리적인 하드웨어 요구사항을 만족합니다. 이 포괄적인 가이드에서는 여러 가지 방법을 통해 MiMo-V2-Flash를 로컬 컴퓨터에서 실행하는 과정을 단계별로 안내합니다.

왜 MiMo-V2-Flash를 로컬에서 실행해야 할까?

MiMo-V2-Flash를 로컬에서 실행함으로써 얻을 수 있는 장점들은 다음과 같습니다:

  • 데이터 프라이버시: 민감한 데이터가 컴퓨터를 벗어나지 않음
  • 비용 효율성: 토큰당 API 비용이나 구독료 없음
  • 낮은 지연 시간: 하드웨어를 직접 이용하여 더 빠른 추론 속도
  • 커스터마이징: 모델 파라미터 및 미세 조정에 대한 완전한 제어
  • 오프라인 사용 가능: 설치 후 인터넷 연결 불필요
  • 성능 최적화: 로컬 GPU를 최대한 활용하여 빠른 처리

하드웨어 요구사항

최소 시스템 요구사항

구성요소요구사항권장사항
GPUNVIDIA RTX 3080 (12GB VRAM)RTX 4090 (24GB VRAM) 또는 A6000
RAM32GB64GB 이상
저장공간100GB 여유 공간200GB 이상 NVMe SSD
CPUIntel i7-10700K / AMD Ryzen 7 3700XIntel i9-12900K / AMD Ryzen 9 5900X
CUDA11.8 이상12.4 이상

모델 크기 고려사항

  • 전체 모델 크기: 약 180GB (양자화된 포맷)
  • 최대 GPU 메모리 사용량: 15-20GB VRAM (활성 파라미터 기준)
  • 컨텍스트 길이: 256K 토큰 (상당한 RAM 필요)

소프트웨어 사전 준비사항

설치 전에 다음을 확인하세요:

  1. Python 3.10 이상 설치
  2. CUDA Toolkit 11.8 이상 또는 12.4 이상
  3. 최신 NVIDIA 드라이버
  4. Git (저장소 클론용)

CUDA 설치 확인

nvidia-smi
nvcc --version

방법 1: SGLang 사용 설치 (권장)

SGLang은 MiMo-V2-Flash에 최적화된 성능을 제공하는 권장 프레임워크입니다.

1단계: SGLang 설치

# 가상환경 생성
python -m venv mimo-env
source mimo-env/bin/activate  # Windows는 mimo-env\Scripts\activate

# CUDA 지원 PyTorch 설치
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

# SGLang 설치
pip install sglang

2단계: 모델 다운로드

# Hugging Face 로그인
huggingface-cli login

# MiMo-V2-Flash 다운로드
huggingface-cli download XiaomiMiMo/MiMo-V2-Flash --local-dir ./models/MiMo-V2-Flash

3단계: SGLang 서버 실행

python -m sglang.launch_server \
    --model-path ./models/MiMo-V2-Flash \
    --host 0.0.0.0 \
    --port 30000 \
    --trust-remote-code \
    --dtype float16 \
    --max-model-len 262144 \
    --gpu-memory-utilization 0.9

4단계: 설치 테스트

import requests
import json

url = "http://localhost:30000/v1/chat/completions"
headers = {"Content-Type": "application/json"}
data = {
    "model": "MiMo-V2-Flash",
    "messages": [
        {"role": "user", "content": "Write a Python function to calculate fibonacci numbers"}
    ],
    "temperature": 0.7,
    "max_tokens": 500
}

response = requests.post(url, headers=headers, data=json.dumps(data))
print(response.json())

방법 2: Hugging Face Transformers 사용 설치

1단계: 의존성 설치

pip install transformers==4.51.0
pip install accelerate
pip install bitsandbytes
pip install torch --index-url https://download.pytorch.org/whl/cu124

2단계: 기본 실행 스크립트 작성

run_mimo.py 생성:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# 모델 ID
model_id = "XiaomiMiMo/MiMo-V2-Flash"

# 토크나이저 및 모델 로드
print("토크나이저 로드 중...")
tokenizer = AutoTokenizer.from_pretrained(
    model_id,
    trust_remote_code=True
)

print("모델 로드 중...")
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto",
    trust_remote_code=True,
    load_in_8bit=True,  # 8비트 양자화 활성화
    max_memory={0: "15GB"}  # GPU 메모리 제한
)

# 텍스트 생성
prompt = "Explain the concept of machine learning"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

print("응답 생성 중...")
outputs = model.generate(
    **inputs,
    max_new_tokens=200,
    temperature=0.7,
    do_sample=True
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(f"\n{response}")

3단계: 스크립트 실행

python run_mimo.py

방법 3: Ollama 사용 (실험적)

1단계: Ollama 설치

# macOS/Linux
curl -fsSL https://ollama.com/install.sh | sh

# Windows: ollama.com에서 다운로드

2단계: 커스텀 Modelfile 생성

MiMo-V2-Flash용 Modelfile 생성:

FROM ./models/MiMo-V2-Flash

# 파라미터 설정
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER top_k 50
PARAMETER num_ctx 262144

3단계: 빌드 및 실행

# 모델 생성
ollama create mimo-v2-flash -f Modelfile

# 모델 실행
ollama run mimo-v2-flash

방법 4: Docker 배포

1단계: Dockerfile 생성

Dockerfile 작성:

FROM nvidia/cuda:12.4-devel-ubuntu20.04

# Python 및 의존성 설치
RUN apt-get update && apt-get install -y \
    python3.10 \
    python3-pip \
    git \
    && rm -rf /var/lib/apt/lists/*

WORKDIR /app

RUN pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124
RUN pip3 install sglang transformers accelerate

# 모델 및 애플리케이션 복사
COPY models/MiMo-V2-Flash /app/models/MiMo-V2-Flash
COPY app.py /app/

# 포트 노출
EXPOSE 30000

# 서버 실행
CMD ["python3", "-m", "sglang.launch_server", "--model-path", "/app/models/MiMo-V2-Flash", "--host", "0.0.0.0", "--port", "30000"]

2단계: 빌드 및 실행

# 이미지 빌드
docker build -t mimo-v2-flash .

# 컨테이너 실행
docker run --gpus all -p 30000:30000 -v $(pwd)/models:/app/models mimo-v2-flash

고급 설정

Flash Attention 활성화

성능 개선을 위해 Flash Attention 설치:

pip install flash-attn --no-build-isolation

모델 설정에 추가:

from sglang import set_default_backend, RuntimeBackend

set_default_backend(RuntimeBackend.CUDA)

메모리 최적화

메모리 부족 오류 발생 시:

# 양자화 사용
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    load_in_4bit=True,  # 4비트 양자화 활용
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_use_double_quant=True,
)

멀티 GPU 구성

복수 GPU 시스템용:

# 모델을 여러 GPU에 분산
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    max_memory={0: "10GB", 1: "10GB", 2: "10GB", 3: "10GB"}
)

성능 최적화

1. GPU 메모리 활용도 조절

python -m sglang.launch_server \
    --gpu-memory-utilization 0.95  # GPU 메모리 95% 사용

2. 컨텍스트 길이 최적화

# 속도 향상을 위해 컨텍스트 길이 축소 가능
--max-model-len 32768  # 256K 대신 32K 사용

3. 텐서 병렬 처리 활성화

# 다중 GPU를 활용한 추론
--tensor-parallel-size 4

일반적인 문제 및 해결책

문제 1: 메모리 부족 (OOM)

해결책:

# 그래디언트 체크포인트 활성화
model.gradient_checkpointing_enable()

# 또는 배치 사이즈 감소
batch_size = 1  # 큰 값 대신 작은 값 사용

문제 2: CUDA 메모리 부족

해결책:

  • --gpu-memory-utilization을 0.8로 낮춤
  • 양자화(8비트 또는 4비트) 활용
  • 다른 GPU 무거운 애플리케이션 종료

문제 3: 모델 로딩 오류

해결책:

# 캐시 삭제 후 재다운로드
huggingface-cli download XiaomiMiMo/MiMo-V2-Flash --local-dir ./models/MiMo-V2-Flash --resume-download

문제 4: 느린 추론 속도

해결책:

  1. Flash Attention 설치: pip install flash-attn
  2. 다중 GPU 텐서 병렬 처리 사용
  3. 컨텍스트 길이 축소
  4. GPU 메모리 활용도 증가

문제 5: Import 오류

해결책:

# 의존성 재설치
pip uninstall torch torchvision torchaudio
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

pip uninstall sglang
pip install sglang

설치 검증

종합 테스트 스크립트

test_mimo.py 생성:

import requests
import json

def test_mimo():
    url = "http://localhost:30000/v1/chat/completions"
    headers = {"Content-Type": "application/json"}

    # 테스트 1: 기본 텍스트 생성
    data1 = {
        "model": "MiMo-V2-Flash",
        "messages": [{"role": "user", "content": "Write a hello world program in Python"}],
        "max_tokens": 100
    }

    # 테스트 2: 코드 생성
    data2 = {
        "model": "MiMo-V2-Flash",
        "messages": [{"role": "user", "content": "Create a REST API with FastAPI"}],
        "max_tokens": 200
    }

    # 테스트 3: 수학적 추론
    data3 = {
        "model": "MiMo-V2-Flash",
        "messages": [{"role": "user", "content": "Solve: What is the derivative of x^2 + 3x + 5?"}],
        "max_tokens": 100
    }

    for i, data in enumerate([data1, data2, data3], 1):
        response = requests.post(url, headers=headers, data=json.dumps(data))
        if response.status_code == 200:
            print(f"Test {i} 성공!")
            print(response.json()["choices"][0]["message"]["content"])
        else:
            print(f"Test {i} 실패: {response.status_code}")

if __name__ == "__main__":
    test_mimo()

테스트 실행:

python test_mimo.py

권장 사항

  1. GPU 사용 모니터링: nvidia-smi로 GPU 메모리 및 온도 점검
  2. 배치 사이즈 조정: 처음에는 1부터 시작해 점차 늘리기
  3. 가상환경 활용: venv 또는 conda로 의존성 격리
  4. 드라이버 및 CUDA 정기 업데이트
  5. 모델 백업: 다운로드한 모델 파일 보관

성능 벤치마킹

간단한 벤치마크 실행

import time
import torch

def benchmark_model(model, tokenizer, prompt):
    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

    start_time = time.time()
    outputs = model.generate(**inputs, max_new_tokens=200)
    end_time = time.time()

    tokens_generated = len(outputs[0])
    tokens_per_second = tokens_generated / (end_time - start_time)

    return tokens_per_second

# 벤치마크용 프롬프트
prompt = "Write a detailed explanation of quantum computing"
tps = benchmark_model(model, tokenizer, prompt)
print(f"초당 토큰 처리량: {tps:.2f}")

결론

샤오미의 MiMo-V2-Flash를 로컬에서 실행하는 것은 최첨단 AI 기능을 프라이버시와 제어권을 유지하며 활용할 수 있는 강력한 방법입니다. 최대 성능을 원한다면 SGLang을, 더 쉬운 사용을 원하면 Hugging Face Transformers를 선택하세요. 본 가이드는 시작하는 데 필요한 모든 정보를 제공하며, 특정 필요와 하드웨어 환경에 맞춰 프레임워크를 실험해보길 권장합니다.

주요 요점:

  • 최적 성능을 위해 SGLang 권장
  • 충분한 GPU 메모리 확보 (15GB 이상 VRAM)
  • 메모리 부족 시 양자화 활용
  • 성능과 속도 균형을 위한 컨텍스트 길이 실험
  • 과열 방지를 위한 GPU 사용량 모니터링

로컬 하드웨어 한계를 넘어 확장하거나 제약이 있을 경우 클라우드 GPU 제공자를 고려하세요. 권장하는 SGLang 방식을 시작으로 다른 프레임워크도 필요에 맞게 사용해 보세요.

추가 자료:

저렴한 VPS 호스팅으로 절약하세요