DeepSeek R1 蒸馏模型 GPU 主机部署教程

# 镜像打开后 等待脚本自动下载、配置模型即可

#7B模型
docker run --gpus all -it registry-aigc.qiniu.io/miku-aigc/deepseek7b_ollama_lite:0.1.0

#8B模型
docker run --gpus all -it registry-aigc.qiniu.io/miku-aigc/deepseek8b_ollama_lite:0.1.0

#14B模型
docker run --gpus all -it registry-aigc.qiniu.io/miku-aigc/deepseek14b_ollama_lite:0.1.0

#32B模型
docker run --gpus all -it registry-aigc.qiniu.io/miku-aigc/deepseek32b_ollama_lite:0.1.0

#70B模型
docker run --gpus all -it registry-aigc.qiniu.io/miku-aigc/deepseek70b_ollama_lite:0.1.0

#STEP 1 安装ollama
curl -fsSL https://ollama.com/install.sh | sh

#STEP 2 运行模型
ollama run deepseek-r1:8b
# 执行命令后自动下载模型(4GB左右)
# 查看ollama日志：
journalctl -u ollama --no-pager
# 或访问本地API
curl -X POST http://127.0.0.1:11434/api/generate -d '{"model":"deepseek-r1:8b", "prompt": "hello"}'

#STEP 1 安装vLLM
pip install vllm


#STEP 2 模型下载
# hfd下载方式：https://hf-mirror.com/
bash hfd.sh deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --local-dir deepseekr1-distill-32B --exclude "*git*" "README.md" "figures" "LICENSE"


#STEP 3 运行vllm服务
cd MODEL/PATH/TO/DEEPSEEK/ 
vllm serve deepseekr1-distill-32B --tensor-parallel-size 4 --max-model-len 32768 --enforce-eager --api-key deepseek-d-32B 


#STEP 4 使用姿势
# http 请求方式
curl http://10.34.52.205:8000/v1/chat/completions \  # http://10.34.52.205:8000： 部署服务的ip地址与端口
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer deepseek-d-32B" \  # 根据--api-key参数值修改
    -d '{
        "model": "deepseekr1-distill-32B",  # 根据serve 后的 参数值修改
        "messages": [
            {"role": "system", "content": "You are a helpful assistant."},  # ai扮演的角色
            {"role": "user", "content": "Who won the world series in 2020?"}  # 提问的问题
        ]
    }'

# python调用方式
from openai import OpenAI
 
# Modify OpenAI's API key and API base to use vLLM's API server.
openai_api_key = "deepseek-d-32B" # 根据--api-key参数值修改
openai_api_base = "http://10.34.52.205:8000/v1"   # 部署服务的ip地址与端口
client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)
chat_response = client.chat.completions.create(
    model="deepseekr1-distill-32B", # 根据--api-key参数值修改
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Tell me a joke."},
    ]
)
print("Chat response:", chat_response)

# 镜像打开后 等待脚本自动下载、配置模型即可
docker run --gpus all -it registry-aigc.qiniu.io/miku-aigc/deepseek_ollama_lite:0.2.0

# 1.通过脚本hfd.sh从国内huggingface镜像模下载型
wget https://algorithm.qnaigc.com/DeepSeek/hfd.sh
    bash hfd.sh unsloth/DeepSeek-R1-GGUF --include "DeepSeek-R1-UD-IQ1_M" --tool aria2c -x 8
 
 
# 2.安装llama.cpp用于模型合并
    下载zip压缩包：https://github.com/ggerganov/llama.cpp/archive/refs/heads/master.zip
    解压并命名为llama.cpp：mv llama.cpp-master llama.cpp
    执行如下指令：
    apt-get update
    apt-get install build-essential cmake curl libcurl4-openssl-dev -y
    cmake llama.cpp -B llama.cpp/build -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
    cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split
    cp llama.cpp/build/bin/llama-* llama.cpp
    合并模型：./llama.cpp/llama-gguf-split --merge ${PATH-TO-MODEL}/DeepSeek-R1-UD-IQ1_M-00001-of-00004.gguf DeepSeek-R1-UD-IQ1_M.gguf
     
# 3.安装ollama用于模型运行
    curl -fsSL https://ollama.com/install.sh | sh
    （可能上面因为网络原因会失败，多尝试几次）
 
 
# 4.编辑模型描述文件
    创建文件：vim DeepSeekQ1_Modelfile
    描述文件需要填写模型存放的路径，内容如下；
    FROM ${PATH-TO-MODEL}/DeepSeek-R1-UD-IQ1_M.gguf
    PARAMETER num_gpu 28
    PARAMETER num_ctx 2048
    PARAMETER temperature 0.6
    TEMPLATE "<｜User｜>{{ .Prompt }}<｜Assistant｜>"
 
 
# 5.创建 ollama 模型
    ollama会创建一个新模型，且大小与原始模型一样，如果/usr/路径下空间不足，
    可以手动指定存储路径：vim /etc/systemd/system/ollama.service
    Environment="OLLAMA_MODELS=/disk5/ollama/model"
    配置完成后需要重启：
    sudo systemctl daemon-reload
    sudo systemctl restart ollama
    /usr/local/bin/ollama create DeepSeek-R1-UD-IQ1_M -f ${PATH-TO-MODEL}/DeepSeekQ1_Modelfile
 
 
# 6.运行模型
    ollama run DeepSeek-R1-UD-IQ1_M --verbose
    查看ollama日志：journalctl -u ollama --no-pager
 
 
# 7.本地API
    curl -X POST http://127.0.0.1:11434/api/generate -d '{"model":"DeepSeek-R1-UD-IQ1_M", "prompt": "helllo"}'