一分钱不花!手把手教你部署Google最强开源AI大模型Gemma教程

开源 0

一分钱不花!本地部署Google最强开源AI大模型Gemma教程
半个多月前,谷歌搞了一波突然袭击,毫无预兆地发布了新一代AI模型Gemma,并宣称这是全球性能最强大的轻量级开源系列模型。

经过实测,虽然Gemma的使用体验不如ChatGPT-4等成熟的闭源大模型,但是本地运行模式还是有其存在的意义的,对于私密性要求较强的用户,也可以在断网的情况下本地加载运行,不用担心相关信息泄露等等。
在这里插入图片描述

介绍

Ollama:是一款能够在本地快速搭建大型模型的工具,使用户能够轻松进行模型部署和使用。

  • 官网:https://ollama.com/
  • GitHub:https://github.com/ollama/ollama

Gemma:是由谷歌开源的一种大型模型。

open-webui:是一个优秀的大型模型 Web 用户界面,简化了模型部署和管理。

  • GitHub:https://github.com/open-webui/open-webui

开始搭建(完整视频)

  • 哔哩哔哩:https://www.bilibili.com/video/BV13m411k7yx/

第一步:前期准备

选择系统版本(短期实验可以使用腾讯云的竞价实例)

由于大型模型需要 GPU 进行运算,建议选择支持 GPU 显卡的服务器系统版本。本文选择的是 Ubuntu 22.04
在这里插入图片描述

端口问题:

注意要放开相应端口,本次实验以放开全部端口示例在这里插入图片描述
首次登录需要安装相应驱动,稍等即可
在这里插入图片描述

安装完成!

第二步:部署 Ollama

  1. 使用以下命令安装 Ollama:

    curl -fsSL https://ollama.com/install.sh | sh

速度可能因为网络慢一些,等待即可
在这里插入图片描述

  1. 安装完成后,编辑 Ollama 的服务配置文件:

    sudo vi /etc/systemd/system/ollama.service

在这里插入图片描述

在 `ExecStart=/usr/local/bin/ollama serve` 上面插入:`Environment="OLLAMA_HOST=0.0.0.0:11434"`

在这里插入图片描述

  1. 开放 API 端口(默认端口为 11434),并重启服务器。
    在这里插入图片描述

  2. 访问 ip:11434 查看 Ollama 是否成功部署。

在这里插入图片描述

第三步:部署 Gemma

运行以下命令(这里以7b为例): ollama run gemma:7b

等待部署完成后即可开始使用 Gemma,这里是交互式使用,接下来继续安装openweb-ui

在这里插入图片描述在这里插入图片描述

第四步:部署 open-webui

可以选择新建一个终端,运行的gemma不要停

在这里插入图片描述

  1. 部署 Docker(根据不同系统安装 Docker)。

    sudo apt install docker.io

    在这里插入图片描述

  2. 运行以下命令安装 open-webui(请注意镜像地址,这是使用的是速度快的国内源):

    sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

在这里插入图片描述

  1. 启动容器(启动之后需要稍等1-2分钟,下载必要文件):

    sudo docker run -d ghcr.nju.edu.cn/open-webui/open-webui

在这里插入图片描述
4. 访问 IP:3000 进入 open-webui,注册账号(第一次注册的账号默认为管理员)。
在这里插入图片描述
完美启动
在这里插入图片描述

  1. 在模型中检查 Ollama 连接状态是否成功.

在这里插入图片描述

  1. 点击头像进入管理员面板,将新用户默认改为用户(按需修改),省去用户需要审核的流程
    在这里插入图片描述

完美部署!

在这里插入图片描述

作为轻量化模型的存在8G显存即可运行7B模型,2B模型更是不需要显卡就可以流畅运行在这里插入图片描述

注意:

经过实测,虽然Gemma的使用体验不如ChatGPT-4等成熟的闭源大模型,但是本地运行模式还是有其存在的意义的,对于私密性要求较强的用户,也可以在断网的情况下本地加载运行,不用担心相关信息泄露等等。

也许您对下面的内容还感兴趣: