태태코딩 - Vllm \ mlx_lm 에 대하여

 

 

현재 회사에서 모델을 갈아끼우는 작업을 하면서 VLLM에 대해서 접하게 되었다.

 

VLLM

 

 

VLLM은 모델을 올려서 OPENAI의 모듈을 사용할 수 있는 방법이다.

 

보통 이런 것을 모델 서빙 이라고한다.

 

Window, linux환경에서는 docker를 통해 vllm 이미지를 다운받아서 사용해야한다.

docker run -d \
  --name vllm-server-multi \
  --runtime nvidia \
  --gpus '"device=0,1"' \
  -p 8000:8000 \
  --ipc=host \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -e HF_TOKEN="hf_xxxxxxxxxxxxxxxxxxxxx" \
  vllm/vllm-openai:latest \
  --model Qwen/Qwen2.5-32B-Instruct \
  --tensor-parallel-size 2 \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.9

MAC mlx_lm

맥에서는 VLLM작업을 할 필요가없다. mac은 gpu를 mlx_lm에서 자동으로 관리해 주기 때문이다.

위와같은 복잡한 작업 없이.

 

모델이 있는 위치에서 mlx_lm을 import한다면 자동으로 올라가게된다.

mlx_lm.server --model gemma-2-9b-it

 

Lora튜닝

 

어렵지 않게 mlx_lm 명령어에 Train과 저장 path를 지정하면 자연스럽게 튜닝이가능하고,

 

mlx_lm.lora \
    --model gemma-2-9b-it \
    --train \
    --data ./ \
    --iters 200 \
    --adapter-path ./kfr_adapter

 

어뎁터를 적용해서 실행을하면 쉽게 진행할 수 있다.

mlx_lm.server --model gemma-2-9b-it --adapter-path ./kfr_adapter