状态:Preview(Interaction)/ Experimental(Runtime / Management) — Thread、Run 与 Fellow
StreamEventSSE 是当前主路径;统一 Runtime Protocol、分布式调度、多副本实时流和协议族统一治理尚未达到 Preview。
Fellow AI Gateway 是企业 AI 的运行时执行面。它承载模型访问、Agent Run、流式事件和运行策略,使不同入口使用一致的执行语义。
了解产品价值与适用场景:Fellow AI Gateway
Gateway 负责什么
| 能力 | 说明 |
|---|---|
| 模型访问 | 从实例模型目录解析已启用模型、API 类型、地址与凭证 |
| Agent Run | 创建并执行 Run,持久化事件并通过 SSE 持续输出 |
| 策略执行 | 分别落实应用 Scope、沙箱、Skill、内容安全、配额、IP 与 Consent 策略 |
| 用量记录 | 按 Run 聚合 Token,并提供用户、模型和接入应用等视图 |
| 运行追踪 | 基于持久化 StreamEvent 查看运行步骤和工具调用 |
| 多入口一致性 | Web、Desktop、SDK 与 Channels 共用运行语义 |
默认 Gateway 在进程内执行队列中的 Run;这不等同于独立的分布式任务调度或 Worker 集群。
Run 与事件流
客户端通过 REST 创建 Run,再连接 SSE 事件流。每个事件带有递增序号并写入数据库;断线后可使用 fromSequence 回放缺失事件,再接入实时流。
当前实时 fan-out 使用内存 Stream Bridge。配置类型中预留的 Redis Bridge 尚未接入默认 RunManager,因此单实例重连回放可用,但不应把当前实现描述为 Redis 支撑的多副本实时流。
一次请求的路径
与 Console、Connectors 的分工
| 组件 | 回答的问题 |
|---|---|
| AI Gateway | 每次运行如何执行并落实策略? |
| Console | 组织、模型、应用、实例和用量如何配置与管理? |
| Connectors | Agent 可以在授权范围内访问哪些业务系统? |
Console 通过 /api/console/* 管理模型、Skills、配额、认证等实例配置,Gateway 在运行时使用这些配置;数据库、沙箱和 Stream Bridge 等基础运行参数仍由 Profile 或环境变量决定。Connectors 提供业务系统访问能力。三者协同,但职责不互相替代。
部署
- Desktop:Gateway 在本机运行,使用 SQLite、本地配置和 OS 沙箱。
- 单节点 Docker:当前默认 Cloud 镜像使用 SQLite、内存 Stream Bridge 和本地沙箱运行模式。
- 扩展 Profile:仓库提供 PostgreSQL、Redis 与 Docker sandbox 的配置结构,但并非默认镜像已完整启用的拓扑。
- Console:作为独立控制面部署,通过受保护的 Console API 管理一个或多个 Gateway 实例。