文章目录
- @[toc]
- 简介
- 一、安装
- 二、启动LLM服务器
- 项目链接
文章目录
- @[toc]
- 简介
- 一、安装
- 二、启动LLM服务器
- 项目链接
简介
该项目旨在为各种大语言模型（LLM）在生产环境中的部署和可观测性提供一个标准的解决方案，用最简单直接的方式把大语言模型（LLM）部署到云端或本地，并且可以放心地用于生产环境中，此外还提供了进一步的能力来让用户更加方便地基于大语言模型（LLM）构建更强大的 AI 应用。OpenLLM是一个用于在生产环境中操作大型语言模型（LLM）的开放平台，它可以轻松地微调、服务、部署和监控任何LLM。
借助 OpenLLM，您可以使用任何开源大型语言模型 (LLM) 运行推理，部署到云端或本地，并构建强大的 AI 应用程序。
-
**SOTA LLM：**内置支持广泛的开源大语言模型（LLM）和模型运行时，包括 StableLM、Falcon、Dolly、Flan-T5、ChatGLM、StarCoder 等。
-
**灵活的 API：**使用一个命令通过 RESTful API 或 gRPC 为大语言模型（LLM）提供服务，通过 WebUI、CLI、我们的 Python/Javascript 客户端或任何 HTTP 客户端进行查询。
-
**自由构建：**对 LangChain 和 BentoML 的一流支持使您可以通过将大语言模型（LLM）与其他模型和服务组合来轻松创建自己的 AI 应用程序。
-
**简化部署：**自动生成您的大语言模型（LLM）服务器 Docker 镜像或通过 ☁️ BentoCloud 部署为无服务器端点。
-
**Bring your own LLM：**使用 LLM.tuning() 微调任何大语言模型（LLM）以满足您的需求。（即将推出）
一、安装
要使用 OpenLLM，您需要在系统上安装 Python 3.8（或更新版本）和 pip 。我们强烈建议使用虚拟环境来防止包冲突。
您可以使用 pip 安装 OpenLLM，如下所示：
pip install openllm要验证它是否安装正确，请运行：
$ openllm -hUsage: openllm [OPTIONS] COMMAND [ARGS]... ██████╗ ██████╗ ███████╗███╗ ██╗██╗ ██╗ ███╗ ███╗ ██╔═══██╗██╔══██╗██╔════╝████╗ ██║██║ ██║ ████╗ ████║ ██║ ██║██████╔╝█████╗ ██╔██╗ ██║██║ ██║ ██╔████╔██║ ██║ ██║██╔═══╝ ██╔══╝ ██║╚██╗██║██║ ██║ ██║╚██╔╝██║ ╚██████╔╝██║ ███████╗██║ ╚████║███████╗███████╗██║ ╚═╝ ██║ ╚═════╝ ╚═╝ ╚══════╝╚═╝ ╚═══╝╚══════╝╚══════╝╚═╝ ╚═╝ An open platform for operating large language models in production. Fine-tune, serve, deploy, and monitor any LLMs with ease.二、启动LLM服务器
要启动 LLM 服务器，请使用 openllm start 。例如，要启动一个 dolly-v2 服务器：
openllm start dolly-v2在此之后，可以通过 http://0.0.0.0:3000 访问 Web UI，您可以在其中试验端点和样本输入提示。
OpenLLM 提供了一个内置的 Python 客户端，允许您与模型进行交互。在不同的终端窗口或 Jupyter notebook 中，创建一个客户端以开始与模型交互：
>>> import openllm>>> client = openllm.client.HTTPClient('http://localhost:3000')>>> client.query('Explain to me the difference between "further" and "farther"')您还可以使用 openllm query 命令从终端查询模型：
export OPENLLM_ENDPOINT=http://localhost:3000openllm query 'Explain to me the difference between "further" and "farther"'访问：http://0.0.0.0:3000/docs.json 了解 OpenLLM 的 API 规范。
openllm start flan-t5 --model-id google/flan-t5-large使用 openllm models 命令查看 OpenLLM 支持的模型及其变体列表。
项目链接
https://github.com/bentoml/OpenLLM
