sglang 计算节点 1

skypilot API Server

AWS ELB

目前使用支持4层的NLB

sky-serve-controller

可以配置多节点搞

路由中间层

gpt-load?

需要具备监控自建LLM 推理服务的占用指标情况，弹性选择是否路由到openrouter的能力

sky-load-balancer

sglang 计算节点 2

sglang 计算节点 n

openrouter backup

spot 节点弹性扩容 1

spot 节点弹性扩容 2

spot 节点弹性扩容 n