跳到主要内容

模型组配置指南

什么是模型组​

模型组是 AskTable 中用于管理和配置大语言模型（LLM）的功能模块。通过模型组，您可以：

  • 接入不同的 LLM 服务提供商
  • 为不同的业务场景配置不同的模型

适用场景​

在以下情况下，您需要配置模型组：

  • 私有化部署：使用自己的 API 密钥接入 LLM 服务
  • 多模型管理：需要同时使用多个不同的模型
  • 自定义模型：接入企业内部部署的大模型
  • 成本控制：使用不同成本的模型处理不同复杂度的任务

配置步骤​

1. 进入系统管理​

在 AskTable 界面中，点击左侧导航栏的"系统管理"按钮。

系统管理入口

2. 进入模型组管理​

在系统管理页面中，找到并点击"模型组管理"选项。

模型组管理页面

3. 创建新模型组​

点击"新建模型组"按钮，在弹出的对话框中填写以下信息：

  • 名称：为模型组设置一个易于识别的名称
  • Base URL：LLM 服务的 API 端点地址
  • API KEY：访问 LLM 服务所需的密钥
创建新模型组
安全提示

API KEY 是敏感信息，请勿泄露给他人。建议定期更换密钥以确保安全。

4. 配置模型参数​

创建模型组后，根据实际需求对模型进行详细配置：

配置模型参数
警告

使用非 AskTable 官方提供的模型可能无法保证效果，建议使用AskTable官方默认配置。

需注意，本地模型我们推荐满血版DeepSeek-V3-671B或者Qwen3-235B其他模型则须同时满足以下条件：

  • 至少 Qwen3-80B
  • 至少 64K 上下文
  • 支持 Function Call
  • 支持 JSON（Instruct） Output

其他额外性能要求：

  • 每次 AI 问数，大概有 2-4 次 LLM 大模型并发调用
  • 每次 AI 问数，大概需要 5000 Input Tokens 和 500 Output Tokens。
本地 LLM 服务检测脚本

我们已为您准备了检测脚本，方便在服务器上快速验证本地 LLM 是否符合要求。请在服务器终端执行以下命令（记得将 YOUR_BASE_URL 和 YOUR_API_KEY 替换为您实际的模型服务地址和密钥）：

curl -O https://asktable-assets.oss-rg-china-mainland.aliyuncs.com/llm-env-test/asktable_llm_check.py && python3 asktable_llm_check.py --base-url YOUR_BASE_URL --api-key YOUR_API_KEY

若检测通过，即可无缝对接 AskTable。

5. AskTable 默认配置​

用户可以参考AskTable官方推荐配置：

AskTable 默认配置示例

故障排查​

问题：无法连接到模型服务​

可能原因：

  • Base URL 配置错误
  • 网络连接问题
  • API KEY 无效或已过期

解决方法：

  1. 检查 Base URL 是否正确，可以使用 curl 命令测试连接
  2. 确认服务器网络可以访问目标地址
  3. 验证 API KEY 是否有效，可以在服务商控制台查看

问题：模型调用失败​

可能原因：

  • API KEY 权限不足
  • 请求超出配额限制
  • 模型名称配置错误

解决方法：

  1. 检查 API KEY 的权限和配额
  2. 确认模型名称与服务商提供的名称一致
  3. 查看详细的错误日志获取更多信息