面向 LLM Agent 的开放智能路由

README

优化你的 Agent 运行时,使其更省钱、更安全、更出色。迎接运行时智能路由。

npx auth init
DASHBOARD
1.2M
已路由请求
3,400+
已连接 Agent
$2.4M
本月节省

模型分布

Sonnet55%
Haiku20%
Opus15%
GPT-4o10%

7 天成本趋势

近期路由决策

2s agogpt-4sonnet
cost$0.04
5s agoopushaiku
low complexity$0.02
12s agogpt-4opus
escalation
18s agosonnethaiku
tool output$0.01
31s agogpt-4sonnet
code gen$0.03
CONFIGURATION
yaml
providers:
  - name: anthropic
    api_key: ${ANTHROPIC_API_KEY}
  - name: openai
    api_key: ${OPENAI_API_KEY}

routing:
  strategy: cost-optimized
  rules:
    - match: { complexity: high }
      model: claude-opus-4
    - match: { task: code-gen }
      model: claude-sonnet-4
    - fallback: claude-haiku

cache:
  enabled: true
  ttl: 3600

两个文件,完整路由智能。

FEATURES

01 MULTI-PROVIDER

多供应商

通过单一端点路由至 OpenAI、Anthropic、Google、Mistral 等。在配置中添加供应商——无需改代码。

02 SMART ROUTING

智能路由

可配置的路由表将模型名称映射到提供商。支持成本和性能优化,自动回退和升级。开销低于 10 毫秒。

03 COST OPTIMIZATION

成本优化

自动路由到最低成本的可用模型。按会话、Agent、团队追踪节省金额。

04 FALLBACK & RETRY

回退与重试

指数退避自动重试。供应商宕机时跨供应商自动切换。

05 USAGE ANALYTICS

用量分析

按 Agent、按模型的用量看板。Token 计数、延迟百分位、成本明细。

06 AGENT SDK

Agent SDK

一流的 TypeScript 和 Python SDK。内置 KYA 身份验证、支付委托和技能发现。

07 RATE LIMITING

速率限制

按 Agent 和按模型的速率限制。跨团队配额管理和自动排队。

08 CACHING

语义缓存

缓存相同和语义相似的请求。降低重复模式的成本和延迟。

09 SECURITY

安全与护栏

内容过滤、PII 脱敏和审计日志。策略即代码,定义 Agent 行为边界。

ECOSYSTEM

LLM 供应商

OpenAIOpenAI
AnthropicAnthropic
GoogleGoogle
MistralMistral
DeepSeekDeepSeek
MetaMeta
GroqGroq
CohereCohere

Agent 框架

AntigravityClaude Code
OpenClawOpenClaw
opencodeOpenCode
CursorCursor

基础设施

AWSAWS
AzureAzure
GoogleCloudGoogle Cloud
CloudflareCloudflare
OllamaOllama