Tag: prompt-caching

Affichage 1-1 sur 1

TutorielsFrance
Ouvrir
08 juin 20267 min de lecturePlaybook AgentsIntermédiaire180 min build

Comment Viktor utilise le prompt caching et des préfixes byte‑stables pour réduire le coût des threads d'agent

Viktor transforme l'historique répété d'un thread en lectures de cache peu coûteuses grâce à des préfixes byte‑stables, des outils exposés via SDK, des logs append‑only et une compaction en cache — un thread de 40 étapes est passé de $11.35 à $2.07 dans leur exemple.