LCEL模块
编辑器功能集

callback模块

  • token消耗
  • 日志
同一个VPC内
运维管理侧 - 内部
运维管理侧 - 海外

Azure OpenAI

目前还没被墙
tier1: 60 rpm

OpenAI

流控限制:
tier1: 500 rpm
tier2: 5000 rpm

文心一言

OSS

阿里云kubernetes集群

阿里云Serverless服务 [[2023-11-14]]修改:为了一个统一的应用视图,部署在后端统一集群的ai-namespace中。

阿里云上Milvus数据库

  • 杭州region,目前唯一选项
  • 公网https暴露url
  • token鉴权
HTTP,不鉴权部署在部署在部署在直接访问代理转发请求直接访问直接访问数据上报
Query & Output
Contextual data - 私域数据
Backend Bridge AI-end:桥梁
Prompts Engineering - 指令中心
  • 规划一下2个月的一期迭代冲刺,分成4个阶段,每2-4个星期,测试环境演示一下当前进展。预期效果:
    • 2星期:测试环境的后端&AI端,搭建完成,手动请求后端接口,得到响应数据。
    • 2星期:测试环境的前端,对接完成,兔宝AI应能请求得到质量不错的响应数据。
    • 2星期:编辑器和兔宝AI,每个功能点的Prompts词应该已经比较完善,提示词质量较优,
    • 2星期:生产ready,性能、限流、吞吐等具备,整体稳定性可靠性。应能端到端完成用户使用全流程。

用户反馈处理模块

[[LangSmith]]客户端接入

持久化存储

存mysql 用[[SQLAlchemy]]库来[[ORM]]

chat对话

redis缓存

tubao-ai-rag-chain

tubao-ai-chain

ai-editor-chain

one-time-question-chain

重写

润色

扩写

无上下文提问

兔宝对话生成/查询编辑器重写/无上下文提问日志、监控数据上报feedback上报feedbacktoken消耗详情