私有化部署
私有化部署适合需要自行掌控服务器、数据库、访问入口、日志和备份策略的企业客户。
部署前需要确认
基础环境
服务器地域和网络策略。
域名、备案、HTTPS 证书。
Docker 和 Compose 环境。
MySQL 或 PostgreSQL。
Redis。
对象存储或异地备份位置。
模型渠道
已授权的模型供应商账号。
可用模型列表。
供应商账单和额度策略。
备用渠道和故障切换策略。
组织权限
管理员账号。
项目负责人。
试用客户和正式客户分组。
Token 创建、禁用和轮换流程。
标准部署流程
环境检查:确认服务器、端口、域名、证书和安全组。
基础组件部署:数据库、Redis、反向代理和备份目录。
平台部署:安装大模型聚合平台并完成初始化。
渠道接入:添加合法模型渠道并完成测试调用。
权限配置:创建用户组、额度、模型权限和限流规则。
监控配置:配置健康检查、错误率和余额告警。
试用验收:用独立测试 Token 完成模型列表、聊天、流式输出、限流和日志测试。
管理员培训:交付账号管理、渠道维护、备份恢复和常见问题处理方式。
验收标准
API 域名启用 HTTPS。
数据库、Redis 和管理端口不直接暴露公网。
测试 Token 只能调用授权模型。
调用日志可以按用户、模型、时间查看。
渠道异常时有明确处理流程。
备份任务已配置并完成一次恢复演练。
不建议的做法
多个客户共用一个管理员 Token。
在文档、截图、飞书表格或聊天记录中保存完整 Key。
接入来源不明或授权不清晰的模型渠道。
以共用账号、不受限额度或规避平台规则作为卖点。
在没有验收和限额前直接开放生产大额度。
下一步
如果你准备部署,可以先按检查表自查服务器、域名、渠道、权限和备份条件。