王锐
王锐
发布于 2025-02-10 / 43 阅读
0
0

如何本地部署安装DeepSeek大模型

部署步骤如下:

  1. 安装ollama,本地部署DeepSeek大模型

  2. 安装open-web-ui,能够通过网页与DeekSeek进行会话

安装ollama并部署DeepSeek大模型

  • 进入ollama官网并下载对应版本的ollama并安装,

  • 配置ollama的监听端口,设置为局域网内主机可以访问ollama接口

  • 退出并重新打开ollama使得配置生效

本人使用windows11系统,因此进入Windows环境变量中配置OLLAMA_HOST

SET OLLAMA_HOST=http://10.43.0.102:11434

执行以下命令检验本地安装是否正确

C:\Users\hopo>ollama pull deepseek-r1:32b
pulling manifest
pulling 6150cb382311... 100% ▕████████████████████████████████████████████████████████▏  19 GB
pulling 369ca498f347... 100% ▕████████████████████████████████████████████████████████▏  387 B
pulling 6e4c38e1172f... 100% ▕████████████████████████████████████████████████████████▏ 1.1 KB
pulling f4d24e9138dd... 100% ▕████████████████████████████████████████████████████████▏  148 B
pulling c7f3ea903b50... 100% ▕████████████████████████████████████████████████████████▏  488 B
verifying sha256 digest
writing manifest
success
C:\Users\hopo>ollama run deepseek-r1:32b
>>> 你叫什么名字,能帮我干什么
<think>
您好!我是由中国的深度求索(DeepSeek)公司开发的智能助手DeepSeek-R1。如您有任何任何问题,我会尽我所能为您提供帮助。     
</think>

您好!我是由中国的深度求索(DeepSeek)公司开发的智能助手DeepSeek-R1。如您有任何任何问题,我会尽我所能为您提供帮助。

>>> Send a message (/? for help)

安装并配置open-web-ui,以支持网页版与deepseek进行交互

使用docker-compose的方式安装open-web-ui,docker-compose.yaml的配置如下:

services:
  open-webui:
    build:
      context: .
      args:
        OLLAMA_BASE_URL: '/10.43.0.102'
      dockerfile: Dockerfile
    image: ghcr.io/open-webui/open-webui:${WEBUI_DOCKER_TAG-main}
    container_name: open-webui
    volumes:
      - ./volume/open-webui:/app/backend/data
    ports:
      - ${OPEN_WEBUI_PORT-17722}:8080
    environment:
      - 'HTTP_PROXY=http://10.43.0.11:8080'
      - 'HTTPS_PROXY=http://10.43.0.11:8080'
      - 'NO_PROXY=localhost,127.0.0.1,.hopo.dev,10.43.0.102'
      - 'OLLAMA_BASE_URL=http://10.43.0.102:11434'
      - 'WEBUI_SECRET_KEY='
      - 'ENABLE_OPENAI_API=False'
    extra_hosts:
      - host.docker.internal:host-gateway
    restart: unless-stopped

以上配置需适当配置,其中10.43.0.102是部署ollama的机器,http://10.43.0.11:8080端口为代理端口,open-web-ui 可能需要访问chatgpt的服务器,配置完成后,执行以下命令启动

docker-compose up -d

然后页面输入10.43.0.11:17722即可访问open-web-ui

已经部署好的open-web-ui以及deepseek大模型网站可访问(模型为deepseek-r1:32b):open-web-ui

默认账号:123456@qq.com

默认密码:123456

!!! 第一次打开网站需要下载缓存文件,预期会等待一段时间


评论