跳到主要内容

对接Xorbits Inference

1 添加模型​

选择模型供应商为Xorbits Inference,并在模型添加对话框中输入如下必要信息:

  • 模型名称:MaxKB 中自定义的模型名称。
  • 模型类型:大语言模型/向量模型/重排模型/语音识别/语音合成/视觉模型/图片生成。
  • 基础模型:不同类型模型下的基础模型名称,下拉选项是常用的一些基础模型名称,支持自定义输入。

大语言模型和重排模型需要输入 API 域名和 API Key,向量模型需要输入 API 域名。

  • API 域名:Xorbits Inference 服务地址,例如:http://192.168.20.242:9997 。
  • API Key:若没有 API Key,输入任意字符即可。

2 配置样例​

Xorbits Inference-大语言模型配置样例图示如下:

图 1  Xorbits Inference 大语言模型 配置样例图
图 1 Xorbits Inference 大语言模型 配置样例图

Xorbits Inference-向量模型配置样例图示如下:

图 2  Xorbits Inference 向量模型 配置样例图
图 2 Xorbits Inference 向量模型 配置样例图

Xorbits Inference-重排模型配置样例图示如下:

图 3  Xorbits Inference 重排模型 配置样例图
图 3 Xorbits Inference 重排模型 配置样例图

Xorbits Inference-语音识别模型配置样例图示如下:

图 4  Xorbits Inference 语音识别模型 配置样例图
图 4 Xorbits Inference 语音识别模型 配置样例图

Xorbits Inference-语音合成模型配置样例图示如下:

图 5  Xorbits Inference 语音合成模型 配置样例图
图 5 Xorbits Inference 语音合成模型 配置样例图

Xorbits Inference-视觉模型配置样例图示如下:

图 6  Xorbits Inference 视觉模型 配置样例图
图 6 Xorbits Inference 视觉模型 配置样例图

Xorbits Inference-图片生成模型配置样例图示如下:

图 7  Xorbits Inference 图片生成模型 配置样例图
图 7 Xorbits Inference 图片生成模型 配置样例图