LCEL模块
编辑器功能集
callback模块
- token消耗
- 日志
同一个VPC内
运维管理侧 - 内部
运维管理侧 - 海外
Azure OpenAI
目前还没被墙
tier1: 60 rpm
OpenAI
流控限制:
tier1: 500 rpm
tier2: 5000 rpm
文心一言
OSS
阿里云kubernetes集群
阿里云Serverless服务 [[2023-11-14]]修改:为了一个统一的应用视图,部署在后端统一集群的ai-namespace中。
阿里云上Milvus数据库
- 杭州region,目前唯一选项
- 公网https暴露url
- token鉴权
Query & Output
Contextual data - 私域数据
Backend Bridge AI-end:桥梁
Prompts Engineering - 指令中心
- 规划一下2个月的一期迭代冲刺,分成4个阶段,每2-4个星期,测试环境演示一下当前进展。预期效果:
- 2星期:测试环境的后端&AI端,搭建完成,手动请求后端接口,得到响应数据。
- 2星期:测试环境的前端,对接完成,兔宝AI应能请求得到质量不错的响应数据。
- 2星期:编辑器和兔宝AI,每个功能点的Prompts词应该已经比较完善,提示词质量较优,
- 2星期:生产ready,性能、限流、吞吐等具备,整体稳定性可靠性。应能端到端完成用户使用全流程。
用户反馈处理模块
[[LangSmith]]客户端接入
持久化存储
存mysql 用[[SQLAlchemy]]库来[[ORM]]