INTELLIGENT ROUTING
智能路由与故障转移
基于延迟、成功率、费用和上下文长度实时选路。节点异常时自动切换。
REQUEST
Q通义千问23msDDeepSeek11msGGLM36ms
聚合国内主流大模型能力。统一鉴权、智能路由、用量治理与实时观测,让模型基础设施稳定、清晰、可控。
网关位于业务与模型之间,持续判断每一条请求的最佳路径。从接入、容错到成本治理,形成可观测的完整闭环。
基于延迟、成功率、费用和上下文长度实时选路。节点异常时自动切换。
项目级密钥、IP 白名单、模型权限和额度限制,把风险锁在最小边界。
按团队、项目、模型拆解成本与性能。
统一 SDK 封装厂商差异,流式输出、错误处理和计量方式保持一致。
import { TokenComp } from "@tokencomp/sdk";
const client = new TokenComp({
apiKey: process.env.TOKENCOMP_KEY,
endpoint: "https://api.tokencomp.com.cn/v1"
});
const result = await client.chat.completions.create({
model: "qwen-max",
messages: [{ role: "user", content: "分析这份报告" }],
stream: true
});按实际调用量计费,统一账单覆盖全部接入模型。每笔用量都能追溯到具体项目与密钥。