对接vLLM

1 添加模型

选择模型供应商为vLLM，并在模型添加对话框中输入如下必要信息：

• 模型名称：MaxKB 中自定义的模型名称。
• 模型类型：大语言模型/向量模型/语音识别模型/视觉模型/重排模型。
• 基础模型：不同类型模型下的基础模型名称，下拉选项是常用的一些基础模型名称，支持自定义输入。
• API 域名：vLLM 服务地址， 如：http://192.168.20.242:8000/v1 。
• API Key：若没有 API Key，输入任意字符即可。

2 配置样例

vLLM-大语言模型配置样例图示如下：

图 1 vLLM 大语言模型 配置样例图

vLLM-向量模型配置样例图示如下：

图 2 vLLM 向量模型 配置样例图

vLLM-语音识别模型配置样例图示如下：

图 3 vLLM 语音识别模型 配置样例图

vLLM-视觉模型配置样例图示如下：

图 4 vLLM 视觉模型 配置样例图

vLLM-重排模型配置样例图示如下：

图 5 vLLM 重排模型 配置样例图