
使用Scala Play框架构建REST API
凌晨三点,监控群里的告警像脱缰的野马——
{"level":"error","msg":"Claude 429 in prod","count":188}
188 次限流,足够让 CI/CD 全线飘红,也足够让 CTO 把“预算”二字写进 OKR。
在 2025 年的今天,大模型不是稀缺品,稳定调用才是。
这篇文章,不谈“如何薅 Claude 羊毛”,只讲“如何让它在枪口下优雅跳舞”。读完你会得到:
Anthropic 的文档像俄罗斯套娃,打开三层才能找到真身: | 维度 | Tier1 免费 | Tier2 基础 | Tier3 标准 | Tier4 企业 |
---|---|---|---|---|---|
RPM | 5 | 8→20* | 40→100* | 自定义 | |
TPM | 25 k | 40 k | 200 k | 自定义 | |
并发 | 1 | 2 | 5 | 10+ |
带星号的是 2025-07-15 后 “暗调” 的新数值,官方公告只发在状态页脚注,导致大量开发者误以为仍是 20 RPM。
结论:“代码生成”被单独分类,RPM/TPM 均再砍 30%。
因此,监控必须精确到模型、到端点、到用户。
每次回包里都有:
anthropic-ratelimit-requests-limit: 20
anthropic-ratelimit-requests-remaining: 2
anthropic-ratelimit-tokens-limit: 40000
anthropic-ratelimit-tokens-remaining: 1680
用 curl -I
即可查看,但难持久化。
Anthropic Console → Usage → 按模型/Key 维度,延迟 5 min,适合事后审计,不适合实时告警。
/cost
在 VS Code 的 Claude Code 插件里敲 /cost
,弹出浮窗显示当前会话 token & 费用。
缺点:仅限当前 IDE 会话,CI 里无法调用。
# pip install cachetools
from cachetools import TTLCache
import requests, time, os
CACHE = TTLCache(maxsize=10_000, ttl=60) # 60 s 窗口
def call_claude(messages, model="claude-3-5-sonnet"):
url = "https://api.anthropic.com/v1/messages"
headers = {
"x-api-key": os.getenv("CLAUDE_KEY"),
"anthropic-version": "2023-06-01",
"content-type": "application/json"
}
r = requests.post(url, json={"model": model, "messages": messages, "max_tokens": 1024}, headers=headers)
# 记录
key = model
CACHE[key] = CACHE.get(key, 0) + 1
return r.json(), CACHE[key]
每 60 秒自动过期,足够在 CI 里做瞬时流量熔断。
# pip install prometheus-client
from prometheus_client import Counter, Gauge, start_http_server
REQ_TOTAL = Counter('claude_req_total', 'total requests', ['status'])
REQ_LEFT = Gauge('claude_rpm_left', 'remaining rpm')
def export_metrics(resp):
limit = int(resp.headers.get("anthropic-ratelimit-requests-limit", 0))
left = int(resp.headers.get("anthropic-ratelimit-requests-remaining", 0))
REQ_LEFT.set(left)
REQ_TOTAL.labels(status=resp.status_code).inc()
启动 start_http_server(8000)
,Grafana 模板文件已放在 Gist。
laozhang.ai 提供兼容 OpenAI 格式的中转,支持:
import openai
client = openai.OpenAI(
api_key=os.getenv("LZ_API_KEY"),
base_url="https://api.laozhang.ai/v1"
)
resp = client.chat.completions.create(
model="claude-3-5-sonnet",
messages=[{"role": "user", "content": "Hello"}],
max_tokens=512
)
只需改一行 base_url
,即可在 429 时无感迁移。
把 3 个 Tier3 Key 放进 Redis List,每次 LPOP
/RPUSH
循环,单 Key 40 RPM → 总 120 RPM。
Anthropic 2025-05 上线静态缓存,相同系统 prompt 只计费一次。
{"role": "system", "content": "You are a senior Python engineer...", "cache_control": {"type": "ephemeral"}}
实测:长 context prompt 从 18 k tokens → 10 k tokens。
用 线性回归 预测未来 30 min 用量,提前调用 升级接口 提升 Tier,避免 429。
把 5% 流量发到 laozhang.ai 做影子测试,对比延迟/成功率,提前发现官方网络抖动。
面板 | 数据源 | 刷新频率 | 告警阈值 |
---|---|---|---|
RPM 实时曲线 | Prometheus | 10 s | 剩余 < 20% |
Token/分钟 | Prometheus | 10 s | 剩余 < 1000 |
成本/小时 | laozhang.ai | 60 s | 日预算 80% |
成功率 | Grafana Alertmanager | 30 s | < 99% |
# 克隆仓库
git clone https://github.com/mycorp/claude-monitor
cd claude-monitor
# 填 key
echo "CLAUDE_KEY=sk-ant-xxx" > .env
echo "LZ_API_KEY=lz-xxx" >> .env
# 启动
docker-compose up -d
# 打开 http://localhost:3000 查看仪表盘
监控 Claude 不是“锦上添花”,而是生产底线。
把 header 读数、Prometheus、多云热备、预测扩容串成一条链,429 不再是深夜惊魂,而是一条可观测、可自愈的指标曲线。
下次告警响起时,你只需在 Slack 里回复一句:“扩容脚本已触发,5 分钟后恢复。” 然后继续睡觉。