Откуда растут счета за LLM: разбор паттернов расходов и архитектура budget governor

1# session_id: sess_abc123, разработчик: ivan@
2# Контекст растёт экспоненциально
3​
4Вызов 1:  context_size=2048,  cost=$0.003
5Вызов 10: context_size=24000, cost=$0.032
6Вызов 30: context_size=89000, cost=$0.118
7Вызов 50: context_size=156000, cost=$0.207
8Вызов 70: context_size=198000, cost=$0.263
9​
10# Итого за одну сессию: $4.87
11# × 8 разработчиков × 20 рабочих дней = $780/мес только на context

1# flowlink-agent.yaml
2context_management:
3  max_tokens: 60000            # Жёсткий лимит контекста
4  summarization_threshold: 40000  # При достижении — summarise
5  strategy: "sliding_window"    # |rolling|sliding_window|summary|
6  keep_recent: 10              # Всегда храни последние 10 exchange

1# Realextract из логов
214:00:01 → POST /v1/messages → 429 (rate limit)    # оригинальный запрос
314:00:06 → POST /v1/messages → 429 (retry 1)
414:00:16 → POST /v1/messages → 429 (retry 2)
514:00:36 → POST /v1/messages → 429 (retry 3)
614:01:16 → POST /v1/messages → 200 (retry 4, успех)
7​
8# 5 запросов вместо 1. context отправлен 5 раз.
9# При context=100k tokens: 5×100k = 500k input tokens за одну операцию

1# flowlink-governor.yaml
2retry_policy:
3  max_retries: 2                # Не более 2 повторов
4  backoff: "exponential"
5  base_delay: 2s
6  max_delay: 30s
7  jitter: true
8​
9  # При persistent 429 — переключаемся на другого provider
10  failover:
11    trigger_after_retries: 2
12    fallback: "openai/gpt-4o"
13    cache_response: true         # Кэшируем ответ fallback-провайдера

1# Анализ: GitHub Actions billing breakdown
2PR #412 (feature/auth): 14 pushes, 14 reviews
3  → 14 × (avg 8k tokens input) = 112k tokens
4  → Cost: $1.47
5​
6PR #415 (feature/dashboard): 23 pushes, 23 reviews
7  → 23 × (avg 12k tokens) = 276k tokens
8  → Cost: $3.63
9​
10# За неделю: 47 PRs × avg $2.10 = $98.70
11# За месяц: ~$400 только на code review WIP-коммитов

1# .github/workflows/claude-review.yml
2on:
3  pull_request:
4    types: [ready_for_review]   # Не draft, не push
5    paths:
6      - "src/**"                 # Не docs/, не README
7  # НЕ: on: [push]               # ← это дорого

1{
2  "version": "2",
3  "currency": "USD",
4  "period": "monthly",
5​
6  "hard_limits": {
7    "global": 2000,
8    "per_agent": {
9      "claude-code": 800,
10      "cursor": 600,
11      "github-copilot": 400
12    },
13    "per_team": {
14      "backend": 800,
15      "frontend": 500,
16      "devops": 300,
17      "ml": 400
18    }
19  },
20​
21  "soft_limits": {
22    "global": 1500,
23    "per_agent": {
24      "claude-code": 600
25    },
26    "action": "warn_and_throttle",
27    "throttle_to": "gpt-4o-mini"
28  },
29​
30  "daily_spend_cap": 150,
31  "alerts": {
32    "thresholds": [50, 75, 90],
33    "channels": ["slack:#ai-budget", "email:finops@company.com"]
34  },
35​
36  "attribution": {
37    "enabled": true,
38    "granularity": "per_pr",         # расходы привязаны к PR/issue
39    "export_to": "bigquery"          # для аналитики командам
40  }
41}