Developer Docs

文档首页

开发文档 · 运行应用

AI Gateway

Fellow AI Gateway 的运行时职责、请求路径,以及与 Console 和 Connectors 的边界。

状态:Preview(Interaction)/ Experimental(Runtime / Management) — Thread、Run 与 Fellow StreamEvent SSE 是当前主路径;统一 Runtime Protocol、分布式调度、多副本实时流和协议族统一治理尚未达到 Preview。

Fellow AI Gateway 是企业 AI 的运行时执行面。它承载模型访问、Agent Run、流式事件和运行策略,使不同入口使用一致的执行语义。

了解产品价值与适用场景:Fellow AI Gateway

Gateway 负责什么

能力说明
模型访问从实例模型目录解析已启用模型、API 类型、地址与凭证
Agent Run创建并执行 Run,持久化事件并通过 SSE 持续输出
策略执行分别落实应用 Scope、沙箱、Skill、内容安全、配额、IP 与 Consent 策略
用量记录按 Run 聚合 Token,并提供用户、模型和接入应用等视图
运行追踪基于持久化 StreamEvent 查看运行步骤和工具调用
多入口一致性Web、Desktop、SDK 与 Channels 共用运行语义

默认 Gateway 在进程内执行队列中的 Run;这不等同于独立的分布式任务调度或 Worker 集群。

Run 与事件流

客户端通过 REST 创建 Run,再连接 SSE 事件流。每个事件带有递增序号并写入数据库;断线后可使用 fromSequence 回放缺失事件,再接入实时流。

当前实时 fan-out 使用内存 Stream Bridge。配置类型中预留的 Redis Bridge 尚未接入默认 RunManager,因此单实例重连回放可用,但不应把当前实现描述为 Redis 支撑的多副本实时流。

一次请求的路径

与 Console、Connectors 的分工

组件回答的问题
AI Gateway每次运行如何执行并落实策略?
Console组织、模型、应用、实例和用量如何配置与管理?
ConnectorsAgent 可以在授权范围内访问哪些业务系统?

Console 通过 /api/console/* 管理模型、Skills、配额、认证等实例配置,Gateway 在运行时使用这些配置;数据库、沙箱和 Stream Bridge 等基础运行参数仍由 Profile 或环境变量决定。Connectors 提供业务系统访问能力。三者协同,但职责不互相替代。

部署

  • Desktop:Gateway 在本机运行,使用 SQLite、本地配置和 OS 沙箱。
  • 单节点 Docker:当前默认 Cloud 镜像使用 SQLite、内存 Stream Bridge 和本地沙箱运行模式。
  • 扩展 Profile:仓库提供 PostgreSQL、Redis 与 Docker sandbox 的配置结构,但并非默认镜像已完整启用的拓扑。
  • Console:作为独立控制面部署,通过受保护的 Console API 管理一个或多个 Gateway 实例。

具体拓扑、存储和网络边界见 架构总览部署选型

相关文档