KV-кэш — новая валюта агентов: утечка в Cloudflare и кэш-инженерия от Tsinghua
Пока все следили за моделями, дёшево и дорого стало определяться в другом месте — в KV-кэше. Cloudflare закрыла утечку, при которой один запрос мог прочитать чужой кэш модели GLM-5.3, а researchers Tsinghua выпустили AKV — систему, которая режет стоимость агентных сессий на 27,7% за счёт управления кэшем. Разбираю, что такое KV-кэш простыми словами и почему он влияет на счёт за токены сильнее, чем выбор модели.
Две новости одного дня показали, куда сместилась инженерная борьба за цену и безопасность ИИ. Cloudflare отчиталась о закрытой утечке cross-request KV cache в Workers AI — один запрос теоретически мог прочитать фрагменты чужого кэша модели GLM-5.3. А researchers Tsinghua открыли AKV — сервер «кэш-инженерии», который вместо сжатия истории агента перемещает KV-кэш и экономит в среднем 27,7% стоимости. Если вы платите за токены агентами — обе новости про ваши деньги.
Что такое KV-кэш простыми словами
Когда модель читает промпт, она для каждого слова считает «контекстные карточки» — ключи и значения внимания (KV). Пересчитывать их на каждом шаге диалога дорого, поэтому их запоминают: это и есть KV-кэш. Для агентов, которые таскают за собой огромную системную часть и историю инструментов, кэш — основной фактор цены: если начало запроса совпадает с прошлым, провайдер считает только «хвост», и токены начала стоят в разы дешевле. Отсюда и взрывной интерес к «кэш-инженерии»: не сжимать историю, а правильно раскладывать её в кэш.
Утечка в Cloudflare: почему она громче, чем кажется
Кэш делают общим ради экономии — а общий ресурс всегда превращается в вопрос границ. В Workers AI граница проницалась: чужой KV-кэш частично читался cross-request. Что мог получить наблюдатель? Не текст запроса в открытом виде, но фрагменты вычисленного контекста — достаточно, чтобы атака перестала быть теоретической. Cloudflare закрыла уязвимость и опубликовала разбор; для индустрии это важный прецедент: кэш — часть threat model, наравне с логами и памятью агента.
| Событие | Суть | Урок |
|---|---|---|
| Утечка KV-кэша (Cloudflare) | cross-request доступ к чужому кэшу в Workers AI (GLM-5.3) | общий кэш должен быть изолирован по сессии/аккаунту |
| AKV (Tsinghua) | сервер кэш-инженерии на SGLang: кэш выбрасывается и переезжает вместо сжатия истории | экономия 27,7% на агентных сессиях |
| Prompt caching у провайдеров | скидки за совпадающие префиксы запросов | структура промпта = структура затрат |
Кэш одновременно источник экономии и новая поверхность атаки.
Что проверить в своей обвязке уже сейчас
- Стабильный префикс: системная часть и описание инструментов должны быть байт-в-байт одинаковыми между запросами — любое «живое» поле в начале убивает попадание в кэш.
- Порядок сообщений: историю не перемешивать; новые данные — в конец, а не в середину контекста.
- Разделение сессий: если вы сами хостите модель, кэш не должен быть общим между пользователями без изоляции по ключу.
- Мониторинг hit-rate: провайдеры отдают статистику кэшированных токенов — это число стоит вынести на дашборд, оно напрямую конвертируется в деньги.
- Секреты: конфиденциальные данные в промпте живут дольше, чем запрос — они могут остаться в кэше, поэтому у чувствительных нагрузок своя политика.
Частые вопросы
Я просто вызываю API — мой ли это вопрос?
Да: провайдеры уже дают скидки за кэшированные токены, и разница в счёте между «хорошим» и «плохим» промптом достигает раз. Плюс утечки уровня Cloudflare показывают, что кэш на стороне провайдера — тоже часть вашей приватности.
AKV можно поставить себе?
Это open-source система поверх SGLang — она для тех, кто хостит модели сам или арендует GPU. Если вы на чистом API, берите из AKV принципы: стабильные префиксы, «выбрасывать вместо сжатия», переиспользование кэша между шагами агента.
Кэш и память агента — одно и то же?
Нет. Память — это то, что вы осознанно возвращаете в контекст (базу знаний, историю). Кэш — внутренняя механика пересчёта внимания. Они влияют друг на друга: удачная память делает кэш стабильнее.
Разбор инцидента Cloudflare и материалы по AKV — в первоисточниках ниже.
Посчитать экономию на кэше
Помогу разобраться, где ваша обвязка теряет деньги на кэше: структура промптов, префиксы, провайдеры с prompt caching и оценка экономии на реальной нагрузке.
Написать на dnvitas@mail.ruМатериал подготовлен 03.11.2026 по разбору Cloudflare об утечке KV-кэша (30.10.2026, Hacker News) и публикации Marktechpost о системе AKV Tsinghua. Оценки экономии — данные авторов исследования.
