JPwise-docs

Appearance

AI 工具与模型安装指南 ​

1 整体说明 ​

1.1 注意事项： ​

  • window server 服务器不能正常使用 docker,不能安装 dify 和 Xinference
  • Xinference 要求 cuda 版本不能低于 12.4
  • 配置要求
    模型名称开发级生产级
    deepseek-r1:1.5B普通 CPU 即可-
    deepseek-r1:14B4070ti-x1，显存 16G4070ti-x2，显存 16G
    deepseek-r1:32B不建议部署A100-x2/H100-x2，显存 40Gx2
    deepseek-r1:70B不建议部署A100-x2/H100-X2 显存 80Gx2

2.1 简介 ​

Docker 是一个开源的应用容器引擎，允许开发者将应用及其依赖打包成轻量级的容器。

2.2 下载路径 ​

\\\\10.10.1.30\\ftp\\AI\\soft\\Docker Desktop Installer.exe

2 Docker 安装指南 ​

2.1 简介 ​

Docker 是一个开源的应用容器引擎，允许开发者将应用及其依赖打包成轻量级的容器。

2.2 下载路径 ​

\\\\10.10.1.30\\ftp\\AI\\soft\\Docker Desktop Installer.exe

2.3 设置 docker 加速地址 ​

bash
  "registry-mirrors": [
    "https://docker.1panelproxy.com",
    "https://docker.mirrors.ustc.edu.cn",
    "https://docker.1panel.live",
    "https://docker.nju.edu.cn",
    "https://docker.m.daocloud.io",
    "https://dockerproxy.com",
    "https://hub-mirror.c.163.com",
    "https://docker.mirrors.ustc.edu.cn",
    "https://registry.docker-cn.com",
    "https://registry.cn-hangzhou.aliyuncs.com",
    "https://dockerhub.icu",
    "https://hub.rat.dev",
    "https://docker.wanpeng.top",
    "https://doublezonline.cloud",
    "https://docker.1ms.run",
    "https://docker.xuanyuan.me",
    "https://cr.laoyou.ip-ddns.com",
    "https://docker-0.unsee.tech",
    "https://dockerpull.cn",
    "https://hub.fast360.xyz"
  ]

3 Ollama 安装与使用 ​

3.1 简介 ​

Ollama 是一个开源的大型语言模型（LLM）平台，让用户能够轻松地在本地运行、管理和与大型语言模型交互。

3.2 下载路径 ​

\\\\10.10.1.30\\ftp\\AI\\soft\\OllamaSetup.exe

3.3 常用命令 ​

3.4 在线安装 ​

无需额外配置，直接通过命令行运行即可ollama run deepseek-r1:1.5b。

模型名称下载命令
deepseek-r1:1.5Bollama run deepseek-r1:1.5b
deepseek-r1:14Bollama run deepseek-r1:14b
deepseek-r1:32Bollama run deepseek-r1:32b
deepseek-r1:70Bollama run deepseek-r1:70b

3.5 离线安装 ​

  1. 下载路径：\\\\10.10.1.30\\ftp\\AI\\models
  2. 将对应模型文件复制到服务器。
    • 可选指定量化参数：-q Q4_K_M
  3. 安装部署
文件名称运行命令
DeepSeek-R1-Distill-Qwen-1.5Bollama create deepseek-r1:1.5b
DeepSeek-R1-Distill-Qwen-14B.zipollama create deepseek-r1:14b
DeepSeek-R1-Distill-Qwen-32B.zipollama create deepseek-r1:32b
DeepSeek-R1-Distill-Qwen-70B.zipollama create deepseek-r1:70b

3.6 增加鉴权 ​

  1. 集成鉴权：
    https://sh.goodwaysoft.com:8257/ollama增加鉴权.zip

4 Xinference 安装与使用 ​

4.1 简介 ​

XInference 是一个性能强大且功能全面的分布式推理框架，支持大语言模型（LLM）、语音识别模型、多模态模型等多种模型的推理。

4.2 在线安装 ​

bash
docker run  -d  --name xinference --gpus all  -v d:/xinference/models:/root/models  -v d:/xinference/.xinference:/root/.xinference -v d:/xinference/.cache/huggingface:/root/.cache/huggingface -e XINFERENCE_HOME=/root/models  -p 9997:9997  xprobe/xinference:latest  xinference-local -H 0.0.0.0

4.3 校验 ​

通过以下地址访问：http://localhost:9777

5 Dify 安装与使用 ​

5.1 下载路径 ​

\\\\10.10.1.30\\ftp\\AI\\soft\\dify

5.2 在线安装 ​

  1. 将 dify 的 zip 文件复制到服务器的文件夹中。
  2. 解压 dify.zip。
  3. 进入 cd dify/docker 目录。
  4. 启动命令：docker compose up -d
  5. 关闭命令：docker compose up down
  6. 使用以下地址访问：http://localhost